1498 阅读 2020-08-05 09:44:02 上传
以下文章来源于 语言学攻略
多模态研究四大主题
隐喻和转喻研究。早期对隐喻和转喻的研究主要限于语言层面，而多模态隐喻和转喻研究最近几年才兴起，研究对象涵盖了电视广告、政治漫画、公共演讲、儿童绘本等多种媒介。研究者通过对不同语篇所呈现的文字、图片、音乐、表情、手势等多种模态资源及其互动方式进行解析，可以发现源域和目标域在不同模态中的典型表现，从而阐明概念隐喻的含义、实现方式和创新本质。多模态隐喻通过视觉、听觉、语言等多种模态的协同和互动，旨在验证隐喻不仅是语言表达的方式，也是人类思维的方式。同时，该方法将象征看成一种特殊的转喻，能够建立体验基础、文化维度和语篇异质三位一体的认知机制，比如儿童绘本主要以视觉转喻触发故事角色与读者之间的互动，多模态认知机制更加显著。
言伴手势和手语研究。言伴手势是说话者在人际交流中无意识发出的手部动作，也是语言表达时辅助思维的工具。列文森认为，手势也体现了语言对思维的影响。多模态研究显示，不同参考框架的说话者所使用的言伴手势在幅度、频率、方向等方面存在明显差异，由此验证了言伴手势的系统性以及与语言表征的一致性。手语是聋哑人在交流时所使用的一套手势编码系统，具有特殊的形态、音位、语义、句法等特征。目前，学者们主要基于多模态语料库研究言伴手势和手语在传递信息过程中的认知特征，以及与口语的概念化方式之间的差异。当然，隐喻性也是其特征之一。
语言习得研究。一是聚焦儿童在自然条件下的语言使用情况，然后通过多阶段的对比分析发现儿童语言习得的规律。二是根据具体目标记录母语和外语说话者的语言表达特点，然后通过共性和差异来判断一语习得和二语习得之间的相互迁移作用。三是关注同一语言不同年龄的说话者在语言表征模式上的差异，借此考察语言类型的发展规律。
多模态研究有三个优势
倡导意义的社会属性。语言是人类社会交往的重要特征，因而意义不仅是个体的认知结果，而且受到社会和文化因素的制约。形式语言学把意义看作个体行为，而认知语言学主张意义具有百科知识性和社会化特征。多模态研究关注说话者通过多种感官与社会进行信息交换的情况，体现了社会化和语境化的意义观。对意义的社会属性的重视也催生了认知社会语言学这一新兴研究领域，以实现认知研究与社会维度的有机结合。
追求人类普遍的认知规律。人类的语言能力是认知能力的组成部分，而认知能力对人类的言语生成和理解有重要影响。认知语言学中框架、识解、意象图式等概念都体现了两者的紧密关联。多模态研究对语言和手势的整体观照，能够更好地描述语言、思维和身体之间的互动关系，也为认识人类普遍的认知规律提供了新的视角。比如手势可以识解为以容器或空间为具象的意象图式，而且建立在人的身体体验基础上，这说明意象图式和体验性都是人类认知的普遍特征。
多模态研究面临挑战
作者单位：浙江万里学院外语部
来源：中国社会科学网-中国社会科学报 2017年9月
本文转自：应用语言学通讯
