《多模态语篇分析》由会员分享,可在线阅读,更多相关《多模态语篇分析(21页珍藏版)》请在金锄头文库上搜索。
1、多模态语篇分析n当今,人们在交际过程中经常同时使用多种符号工具 来表达意义或创造信息。多模态(multimodality)也 称多符号(multi-semiotic),指包括口语、书面语、 图像、图表、空间以及其他可以用来构建意义的各种 符号资源。随着现代技术的发展,人们使用的交际模 态和交际媒体都发生了很大的变化。多模态话语冲击 了传统上文字在交际领域中的中心地位。在许多情况 下,语言与其它符号资源各有所长,一起构建意义。 各种模态以整合的整体共同为交际服务。 n如今,我们生活在一个多模态的社会,使用各 种符号资源来完成意义表征和交际。正如 Kress(2001: 68)所提到的,在教材、报
2、纸 、机构报告、电子媒介、网络等,图像正替代 语言成为主要的意义构建资源,或者与语言平 分秋色。在“视觉文化”的影响下,意义的构建 往往通过文化处所或实体来体现,视听动态图 像逐渐取代文本来传递信息。 n人们通常认为现代符号学研究始于Saussure和 Peirce。Saussure(1916)认为符号学属于 社会心理学,主要研究符号的构成及其支配规 律。他认为语言学是符号学的一个组成部分。 符号包括能指和所指两方面组成。符号同符号 之间的区别构成符号系统,用于实现交际目的 。Peirce(1958)则认为符号由三方面组成: 表征、对象和解释。他重点区分了三种符号: 图像符号、指示符号和象征符
3、号。 n受Saussure和Peirce的影响,主要的符号学研究都在 寻求能够适用于所有符号的理论框架。根据Hervey( 1982)的观察,Morris将符号学分为研究符号与存在 之间关系的语义学,符号与人的创造性使用的语用学 以及符号与符号之间关系的语形学。Barthes把符号 视作一种社会文化意识形态,将符号学的研究范围扩 展到整个社会,包括文学、语言、图片、电影、烹饪 和衣着等。学者们应用符号学的理论对交通信号系统 、罗马数字系统、语表意文字、文学作品、电影、广 告作了分析。 n近年来的多模态研究主要有四种视角:交互社 会学的视角、认知的视角、语体学的视角和功 能符号学视角。从交互社会
4、学的视角,学者应 用交互社会学理论研究即席话语和公共场所中 的多模态,关注人们如何在交际时采用不同模 态构建他们所处的情景和身份。其出发点不是 语篇而是人们的行为,主要代表人物有 Scollon和Norris等。 n从认知的视角,学者们关心的是概念化理论如 何指导交际者选择不同的模态或模态组合进行 连贯的交际。他们侧重研究理想的认知模式中 源和目标如何同时以一种以上的模态表征。其 主要代表人物有Forceville和Holsanova等人, 其主要代表作品有Pictorial Metaphor in Advertising(Forceville 1996)等。此外, Stckl(2004)也做
5、了相关的研究,认为不同 模态在符号属性、认知取向和语义潜势上体现 出区别性特征。 n符号属性指模态的内在结构和使用者惯常使用 该模态构建意义的方式。图像对世界的表征手 段是象似性,是对现实世界的直接模拟,而语 言则是象征性的。 n语言是线性结构,在认知取向上要求把线性的 符号组织成短语,短语组织成句子等。图像则 基于整体的完形感知(gestalt-perception)。 因此,与语言相比,图像是更快捷的意义构建 模式。心理学实验表明,图像比语言更容易吸 引读者的注意力,更容易记忆。 n语体学视角关注的语体特征与多模态的关系。 Lanham(1983;2003)注意到受计算机技术 的影响,“散
6、文”的概念已发生了变化:从书面 到电子、从静态到动态、从无声到有声等。他 认为散文分析应该包括传统的书面散文和现代 的多媒体散文,并指出计算机给文本写作提供 了动态的三维空间。因此,我们需要一种描写 这种三维文本的语法,特别是描写文字同声音 和图像的关系。n线性阅读和图像式阅读相辅相成,互为补充。 n功能符号学的视角运用系统功能语言学理论, 分析包括语言之内不同模态的意义构建模式。 在多模态话语的研究上,这一视角的研究成果 最多,成为多模态研究的主要力量。其代表人 物包括Kress,van Leeuwen,OToole, Lemke,OHalloran,Baldry,Thibault, Bat
7、eman和Martinec等。功能符号学的多模态 分析理论基础主要来自Halliday(1978)的语 言是社会符号的观点。 n早期的功能符号学多模态研究关注用Halliday的系统 功能语法来分析语言之外的某种模态,如OToole( 1994)对油画、建筑和雕塑的分析,Kress 2008)称之为系统功能的多模态 话语分析(Systemic Functional Multimodal Discourse Analysis,简称SF-MDA)。 SF-MDA主 要研究符号资源的意义潜势在不同层面(语境、语篇 语义、词汇语法、语音、书写/图形)的体现和多模态 话语中符号选择的意义整合。 n一些学
8、者运用系统功能语言学理论研究语言之 外的某种模态,较早的两部专著是Kress与 Van Leeuwen合著的Reading Images: The Grammar of Visual Design (1990/1996/2006 )和OToole的Language of Displayed Art( 1994)。两者都致力于视觉语法的构建:前者 关注图像,后者主要研究油画、雕塑和建筑。 n有些学者认为各种模态的三个元功能具有同等 的作用。 n他们根据系统功能语法中的概念功能、人际功 能和语篇功能,分析了图像的再现功能、互动 功能和构图功能。 n但是视觉符号与语音层不同,有点、线条、颜 色、光等
9、。 n此外,也有些学者认为某个元功能占主导作用 (Martinec 2005)。Van Leeuwen(1999) 认为音乐中人际功能占主导地位,因为音乐的 结构特征是韵律的和递归的,即旋律和节奏。 Lemke(1998)对书面科学语篇中的图形和图 表的分析表明呈现意义和组织意义要比取向意 义更前景化,并显示出明显的多样化。 Martinec(2001; 2004)认为在动作模态中经 验功能占主导地位。 n更多的学者关注多模态话语中各模态之间的关系和语 法整合。Lemke(1998,2000)从理论上解释了模 态之间的语义扩展。他认为,语言和其他模态共同进 化使我们拥有构建范畴意义和程度意义的
10、两种不同方 式。语言擅长范畴意义的构建,而动态动作和视觉图 像更容易表达程度意义。Lemke(2000)认为,多模 态语篇中的模态混合必然导致语义的扩展,从而产生 新的解释空间。例如,数学语篇混合使用语言、视觉 图像和数学符号构建的世界远远超越了语言所能构建 的世界,从而产生新的解释空间。 n多模态语篇中模态间的研究大致有三类。一类 是研究多模态语篇中不同部分之间的关系;另 一类是研究由不同模态体现的语篇之间的关系 ,比如图像语篇和语言语篇之间的关系,语言 、数学符号和图像之间的关系,态势与口语的 协作以及图像,语言和声音的协作。第三类是 研究多模态语篇中不同模态之间的关系。目前 大致有三种观
11、点:意义关系,成分衔接和符号 隐喻。 nLemke(2002)提出超模态(hypermodality)的概 念,指超媒体(如网络)中的语言、图像和声音等体 现的意义的互动。超模态不同于多模态,前者不仅是 具有超链接的语篇,也不仅仅是图像、文字和声音的 并置,而且还有它们之间的多种隐性或者显性的联系 。Lemke 认为,两个网页之间存在着交换关系、取向 关系和呈现关系。此外,颜色在空间分布上的差异也 体现出不同的突显模式。Djonov(2006)也分析了 儿童网站上最常见的逻辑-语义关系及其超链接对使 用者的导航作用。 n多模态研究关注的一个重点是教育,尤其是多模态读 写(multilitera
12、cy)。胡壮麟(2007: 7)将多模态读 写解释为具有能阅读所能接触到的各种媒体和模态的 信息,并能循此产生相应的材料,如阅读互联网或互 动的多媒体。传统方式的读写在多媒体时代已不够用 。教室中不断增加的多媒体设备已使教育多模态化。 多模态的发展使传统的文字读写向多模态读写转变, 教学方法、教材编写和学习任务等也相应发生了变化 。Duncum(2004)认为多模态读写涉及不同媒介的 互动来构建意义。n随着现代科学技术的迅速发展,多模态语篇的 出现打破了传统概念上的语言或言语基础上的 理解。人们需要以新的角度审视现代社会中的 话语。Kress(2001: 80)甚至认为,不存在 所谓外在的语境
13、,只有各种符号模式组成的整 体。学者们在近20年间对多模态现象进行了广 泛的研究,从理论上和实践上探索了多模态的 本质,涉及模态本身、模态之间的关系、多模 态语料库建设和软件开发以及多模态在教育中 的作用。 n研究的视角也呈多样化,包括了交互社会学的 视角、认知的视角、语体学的视角和功能符号 学视角。多模态语篇分析考察了教材、故事书 、文学作品、广告、互联网、影视、音乐等等 的多模态特征,涉及了图像、色彩、图表、声 音、文字等多种模态或模态组合。这些研究还 注意到了多模态语篇的社会作用和功能,考虑 到了话语社区、媒体以及话语的理解和阐释等 。另外,我们也看到了系统功能语言学理论在 多模态研究中的重要作用。