《张德禄多模态设计及在教学中的作用南京讲习班》由会员分享，可在线阅读，更多相关《张德禄多模态设计及在教学中的作用南京讲习班（57页珍藏版）》请在金锄头文库上搜索。
1、多模态设计及在教学中的作用,张德禄 同济大学 ,1,一、多模态设计 1. 设计 设计是一个常用的概念，可以出现在各种需要设计的领域，如建筑、报纸、刊物、科技产品制造等。 在教育领域，设计主要用在宏观的层面上，如课程设置。 在具体教学实践上，实际上我们也一直在设计，但我们一直没有用这个术语。如在教学中，老师要求学生设计教学的步骤、每个步骤的具体操作和占用的时间，环环相扣，使整个教学过程十分紧凑，不浪费时间，经济有效。 例如，教学实习,2,2. 交际的多模态化呼唤设计 随着计算机和网络的产生，交际越来越屏幕化。这样，当今占统治地位的媒体是屏幕，无论是游戏机、移动电话、个人电脑或者电视和录像都是通过
2、屏幕实现的，进行网上聊天、视频对话、写电子邮件也都是在屏幕上实现的。人类社会进入多模态话语交际阶段。 在多模态话语交际阶段，交际者可以选用多种符号资源来进行交际，完成信递任务，如词语、文字、信件、色彩、字体等，他们善于用各种符号资源来构建复杂的信息。 由于在多模态话语交际时代，交际者需要选用多种模态进行交际，那么，在什么环境中选用什么模态更合适，根据不同的交际目的选择不同的模式或模态组合就成为一个主要问题，设计就成为一个重要手段。,3,3.职业的变化要求设计 以前的单模态职业时代是专家主导时代：音乐家主要是编写乐词和谱曲，摄影师的作用是摄影，画家的工作是绘画。各自从事自己的工作，一般互不干涉。
3、 在一些行业中，各种不同的职业要相互合作，他们的关系是层级性的，例如，在新闻媒体中，画家提供绘画，摄影家提供照片，记者提供新闻稿，而编辑则把这些不同的模态进行综合，整理成可以发表的新闻版面。 单模态行业不断被多种模态并用的行业所替代。在这些行业中再没有单纯的绘画师、摄影师等，而是各种技能的综合，模态的层级性被“扁平化”，各种不同的模态被作为资源同时用来进行交际，不再区分层次和地位。 现在进入了一个多种模态组合利用的设计时代。在这些模态中，有些模态被前景化，如在屏幕设计中，文字、图像、音乐等都被用作设计的材料，但图像特别突出，被前景化。,4,4.设计的定义 设计是有意识地选择交际模态，并为模态框
4、界的过程，也就是说，他一方面要把所需要的模态选择出来，另一方面还要把它们组织起来，形成一个模态组合整体，最有效地完成交际任务。 设计可以比作图纸，设计的对象可以比作房子；设计是把要发出的话语变成图纸，与建筑相似，是把已有的资源组织起来组成一个框架，作为产出的图纸。（Kress & van Leeuven, 2001:50）。从这个角度看，设计者的任务是建造性的，即把已有的资源设计成为一个框架，来作为生产产品、物品、实物和事件的生产图纸。,5,二、设计的理论定位,1.设计的理论位置 设计一直没有被纳入语言学研究的理论框架中。当多模态成为当今社会交际的重要因素时，设计被提到前景中，需要给它确定一个
5、合适的位置。 在系统功能语言学理论中，设计是没有地位的。在社会交际中，交际者将根据交际者所处的文化环境和情景语境来选择意义，然后再在语言或其他模态中选择相应的词汇语法特征来体现意义。从这个角度可以看出，对意义的选择是受语境和交际目的支配的，不是设计的结果。 下面看Halliday & Matthiessen (2004)的几个模式：,6,Halliday & Matthiessen (2004)的元冗余模式,7,And Inclusion relation,Halliday & Matthiessen (2004)的实例化连续体,8,问题：前一个图没有概念和实例的关系，语境的表现不具体；后一个
6、图只表示语境的层次，没有把语言的层次包括在内。 我们把两者结合起来，同时把它扩展到多模态话语研究中，可以得到一个包括五个层次的、实例化的模式，即： 语境（文化语境、语境类型、情景语境）； 意义（意义潜势、次级意义潜势、语篇意义）； 模态（模态系统、体现一个语域的模态系统、语篇的模态整合体）； 媒体（媒体系统、体现某个语域的模态的媒体类型、语篇的媒体系统整合体）； 实体（实体综合、体现某个语域的模态的实体、语篇的实体综合）。,9,用图三表示为：,10,但在这个模式中，没有设计的地位。 但Kress & van Leeuven（2001）提出的话语（discourse）、设计、生产(product
7、ion)、分布(distribution)四个层次： 话语：话语是社会建构的现实的知识；是适合社会语境的话语。 设计：设计居于内容和表达之间，是表达的概念面，概念的表达面。设计是对所有符号模态以及符号模态组合形成的符号资源的运用。设计的结果是在一定的交际语境中体现话语的手段。 生产：生产是对表达的组织，是对符号事件用实际材料的表达，或是对符号物件的实际生产。这个阶段涉及一系列其他的技能，包括技术技能、手眼技能，是和媒体相关的技能。 分布：分布是对体现模态的媒体的保养和布局，如歌唱家的作用是把作曲家的歌唱好；声响工程师的工作是声音包括高保真度等。,11,这四个层面和根据语言建构的五个层面是什么关
8、系呢？ 如上所述，对意义的选择则促动了对模态的选择，而选择什么模态是要经过设计的。所以，设计是处于意义和模态选择之间。对意义选择的结果是话语（discourse/text）。从这个角度讲，设计不是一个层次，而是一个操作过程，及意义经过这个操作过程而体现为模态。这个操作过程即是一个体现过程。 从这个角度讲，以上四个层面都可以看作以上五个层面的理论框架的操作过程： 在语境和意义之间是一个话语过程，是组织交际，选择意义的过程； 在意义和模态之间是一个设计过程，是根据要表达的意义而选择合适的模态的过程； 在模态和媒介之间是一个生产过程，是由物质手段体现模态的过程。 在媒介和实体之间是一个分布过程，由尽
9、量选择优质实体来保证媒介的效果的过程。,12,13,2. 设计的实施过程 （1）根据语境的话语生成过程： 语境是产生话语的促动因素，话语生成的过程是在具体的语境中产生话语的过程。具体的语境是某个语境类型的一个实例，所以，这个具体语境要具有这个语境类型的共性特征。 这个语境类型是文化语境的一个部分，因此具有这个言语社团的文化的个性特征。 语境促动了社会交际的产生，即话语过程，即建构客观现实的知识的过程，这个过程的结果是选择了交际的意义。 文化语境 语境类型 具体语境 交际话语 （语篇意义选择）,14,（2）根据选择的意义选择模态的过程 语境决定对意义的选择。在这个特定语境中选择的意义是这个语境类
10、别决定的次级意义系统的一个实例，是一个语域（韩礼德的术语）的一个实例，所以，应该具有这个语境的特性。 根据意义的类别和特点，需要通过设计来选择合适的模态，或者模态的组合。 设计需要根据语篇意义的特点从不同的符号系统中选择合适的模态，包括语言模态和非语言模态。设计的过程产生的是适合体现意义的模态或者模态组合。 意义潜势 语域 语篇意义 设计 （对模态的选择）,15,（3）根据语篇的模态选择合适的媒体 意义决定对模态或模态组合的选择。在这个特定意义组合中选择的模态是和与实现这个特点语域的模态系统的一部分决定的模态组合的一个实例，是体现一个语域的模态系统的一个实例。 根据这个模态或模态组合的类别和特
11、点，需要通过生产来选择合适的媒体，或者媒体组合。 符号系统 体现一个语域的符号系统 模态或模态组合 生产 （选择媒体组合） 生产的结果是一系列媒体的组合。,16,（4）根据模态或模态组合选择合适的媒体 选择了合适的模态实际上确定了要选择的媒体系统，即特定的模态是固定由特定媒体来体现的。所以，媒体系统总是作为资源的实际存在形式而等待选择。 不同的意义特点决定了不同模态系统的选择，从而决定了对媒体系统的选择。但对媒体的选择还是从媒体系统选择的结果： 模态总系统适合于体现某个语域的模态系统 模态组合 分布语篇 （选择实体） 分布的结果是体现媒体的实体特征，需要通过分布保持在高质量、高效率的状态。,1
12、7,三、设计的操作框架,通过以上设计的理论框架的探讨，我们可以发现，设计要受到以下几个方面的制约： 1. 语境的制约，包括现场语境、语境类型、文化语境； 2. 话语生成过程：要经过话语生成的过程来产生意义，通过语境来从整体意义潜势中的语域中选择适合现场语境的意义； 3. 交际目的和目标：为什么要进行交际实际上受到外因和内因两个方面的制约。 外因：由于处于这种语境中，交际者必须要进行这类交际，是语境的制约，通常没有其他选择，或者是最好的选择，如在走路时遇到好朋友要交谈一阵子，不这样会产生负向效应。 内因：同时，交际者由于自己的兴趣或者理想等而主动选择做某事，完成一定交际任务。它可以不是主要由外因
13、引起的。,18,4. 已有资源： 表示设计中可以利用的符号资源，包括传统的资源，和新开发的资源： 传统的资源：是在一个言语社团中经常使用的、习惯性的、不断重复使用的符号系统，如在教学中经常使用口语、黑板书写语、手势、表情等； 新开发的资源：是新出现的交际资源，如随着科技的发展而出现的新的交际资源，如PPT、网络平台、计算机等。 5. 转换的资源：是经过设计产生的新的话语。和原有的资源相比，它既有共性，又有创新和发展。,19,20,6. 设计模态 在以上语境和交际因素的制约下，根据要体现的意义，交际者要对可利用的模态系统做出选择。 1. 在模态设计中，首先要认识交际意义的特点，根据意义的特点设计
14、要选择的模态。 2. 要认识各个模态的表义潜势，即模态的供用特征（affordances)：这个系统适合于表达什么样的意义，例如，音乐适合于表达人的情感态度等，而手势更适合表达方向、形状等的意义；语言适合于表达深奥的哲理和理论等。,21,3. 要认识模态之间的组合规律，看什么组合适合于表达什么意义，图形加口头语言解释适合于表达陌生的、特别是抽象的食物。 4. 要遵循一定的设计原则，根据这些原则选择合适的模态和模态组合。下面要简单介绍这些原则。 5. 要根据模态的供用特征、模态组合的功能、选择原则等选择出具体的模态组合结构，包括图文口语组合、图文动画口语组合、口语加手势等。,22,4.1设计的语
15、境因素,设计“是所有模态和模态组合的运用，是在某个交际语境中实现话语的手段(Kress & van Leeuven: 2001:5)”。 它的主要作用不是回顾过去，而是面向未来，看将来教师如何进行教学。 教师在设计中要： 1. 清楚教学的目标，要重视目标，有目标意识。 2. 确定教学的步骤，和每个教学步骤的微观教学目标，以及每个阶段的教学方法， 3.在教学中要采用合适的教学资源、教学媒体等。 另外，进行有效的教学设计还必须根据教学的语境因素进行。根据系统功能语言学的语境理论（Halliday & Matthiessen, 1999），在外语教学中，有三个变项是关键因素：教学内容、师生特点和教学
16、条件。,23,四、多模态教学设计,（1）教学内容： 所教授的课程的知识领域，包括深度、难度；所要培养的基本技能，包括听说读写译等能力，以及要培养的学生素质。 这里还要注重互文性，要把学生已经学过的和掌握的，和下一步应该学习和掌握的都考虑在内，上下课之间建立联系。 这是教学设计要实现的主要目标，也是制约模态选择和教学方法选择的主要因素，所以，Kress & van Leeuven（2001:5）把它作为唯一的因素提出来。,24,（2）师生特点： 然而，除了内容外，老师和学生的基本情况，如水平、性格、爱好等也同样制约教学模态和教学方法的选择。 这个变项包括: 老师的教学经历和教学理念，基本能力和知识的掌握情况，个人的爱好和兴趣; 学生的基本层次，基本特点和学习兴趣等。 由于课堂教学主要是由教师实现的，所以老师的教学理念和兴趣起关键作用。,25,（3）教学条件： 教学条件直接影响教学的交际方式，如空间条件、设备和用具、教学环境、传播渠道等。 首先，教室的大小和形状直接影响教学活动的设计，例如讨论适合于用正方形和圆形或椭圆形教室，而讲授或者讲台活
