《手语项目可行性报告》由会员分享，可在线阅读，更多相关《手语项目可行性报告（72页珍藏版）》请在金锄头文库上搜索。
1、2010年省院合作项目重大科技专项可行性报告项目名称：基于数字电视的虚拟人手语播报系统关键技术及终端产品项目承担单位： 广东中大讯通软件科技有限公司 项目联合单位： 中国科学院研究生院 项目负责人： 殷 伟 二一年二月目 录一、立项依据3（一）项目的目的及意义3（二）国内外技术发展现状与趋势5（三）项目的产业化前景分析9二、研究开发内容、方法、技术路线12（一）主要研究内容121.多媒体流驱动的中国手语合成122.虚拟人手语播报系统平台14（二）拟解决的关键技术17关键技术一：面向中国手语的自然语言文本理解17关键技术二：基于多媒体流的虚拟人手语行为建模17关键技术三：手势、文本、表情、唇动和
2、语音信息的协同表达18关键技术四：数字电视嵌入式中间件平台18关键技术五：面向数字电视访问请求的手语动画界面自适应表现19关键技术六：基于数字电视的手语动画压缩及传输方法19（三）拟采用的方法、技术路线以及工艺流程201.多媒体流驱动的中国手语合成202.基于数字电视的虚拟人手语播报系统22（四）项目的特色和创新突破点31项目特色一：人与人之间的无障碍信息交互31项目特色二： 基于数字电视的应用交互平台31技术创新点一：多模式的手语信息同步表达31技术创新点二：基于脚本驱动的数字电视手语交互系统31技术创新点三：基于数字电视的三维图形数据压缩及显示技术32（五）项目完成后预期实现的技术、经济指
3、标及社会和经济效益，对产业的带动和提升作用。321.项目产品及成果322.主要产品技术指标333.主要经济指标344.间接经济效益345.社会效益34（六）项目的阶段与进度36（七）项目的经费预算情况381.经费的筹措382.经费的配套383.经费的使用38三、省院合作优势分析（包括工作基础、合作优势分析等）39（一）承担单位概况(人员、资产、业务与管理状况)391.广东中大讯通软件科技有限公司392.中国科学院研究生院43（二）本项目现有的研究工作基础(包括已有的阶段性成果、现有科研装备条件、合作单位之间以往合作情况)441.已有阶段性成果442.现有科研装备条件503.合作单位以往合作情况
4、51（三）项目的组织实施和运行机制531.管理架构532.合作单位间的任务分工583.运行机制584.技术推广模式与保障措施59（四）合作单位之间的存在的优势互补（或强强联合）情况分析。62四、以往承担项目完成情况及主要成果(近五年内)（中科院、高校的主要以课题团队的成绩为主）64（一）承担国家省部级有关课题完成情况64（二）以往科技成果转化情况65（三）项目获奖及已发表的与本课题研究有关的主要论文、专著情况(年度刊物等说明)68（四）与项目相关的专利或版权情况列表69一、立项依据（一）项目的目的及意义随着我国数字家庭产业蓬勃发展、数字电视的整体转换以及宽带网络的大规模普及，越来越多的进入千家
5、万户，并被大众所接受。基于数字电视的手语播报系统的研究作为一种民族文化数字内容动画产品的开发及产业化技术具有重要的理论意义和应用价值，它不仅是针对2010年亚运会的研究课题，更是利用高科技手段为聋人提供无障碍信息服务的研究课题。通过手语播报系统与数字电视相结合，并使虚拟人动画融入互动内容，为聋人提供更加便捷、易于接受和可懂度更高的信息交流方式，使得聋人能够拥有和健听人同样广泛的信息渠道，建立聋人与健听人之间无障碍信息交流，使其能够更好的融入社会。目前，在我们的社会中存在着大量有听力功能障碍的人群。统计数字显示，迄今全球大约有1.2亿聋人，仅中国就有2067万人以上，其中处于1到14岁年龄段的就
6、高达117万，并且每年新生聋儿也以2到3万的速度在增加。他们在生活中所遇到的困难往往是健听人难以想象的。如今我国正处于精神与物质生活高速发展时期，人民生活水平稳步提高，网络、智能交互等高科技手段更是在不同层次丰富、便捷着我们的生活。但这些对于残障人士来说却往往是可望而不可及的，在一定程度上反而使他们更加脱离了社会群体。随着信息的飞速膨胀，交换信息早已成为我们日常生活中不可或缺的一个重要组成部分。研究如何能让聋人与健听人一样快速而准确地获得信息是一项富有挑战性，但同时对提高聋人生活质量极有意义的工作。手语是聋人交流时使用的语言，其通过手形状、位置与方向的变化来表达特定的语义。目前我国大多数聋人都
7、使用中国标准手语作为交流的工具，而聋校等教育机构已经成为标准化手语表达的核心推动力量。有统计数字表明，聋人对文字信息的接受速度仅为15-25WPM；与之相对比，而对于手语信息的接受速度却高达175-225WPM，是理解文字信息速度的7到10倍左右。这主要是因为手语语法与汉语文法有着很大的不同，所以导致聋人在阅读和理解速度上对文字信息有一定的障碍。由此可见，手语在聋人交流过程中起到了非常重要的作用，可以说手语是聋人掌握信息、交流信息的第一工具。在实际生活中，人们已在通过手语的信息传播方面进行了多种尝试。例如将手语表达应用于信息传播最通用的媒介新闻播报。通过手语培训的新闻播报员直接将新闻翻译成手语
8、动作来进行播报，从一定程度上解决了一部分聋人看新闻难的问题，但效果却并不理想并且在推广普及方面更存在着一定的问题：首先，培训手语播报员需要的周期长，对播报员本身的素质要求很高；其次，由于媒体众多，也没有足够的人力来满足这么大的需求量；此外，对于未来的媒体发展形式来说，手语播报将是一种面向用户的服务，需要它是一种多语种、可调控的自适应式的媒体，所以由人本身来实现这样的需求，难度可想而知。正是由于手语播报在面向聋人的信息传播上有着不可忽视的作用，并且通过人力本身难以达到实际的需求，这才引发了我们引入动画合成技术、用虚拟人来代替真人进行手语播报，利用数字视频在数字电视中显现出来。数字电视和数字视频点
9、播系统是世界各国公认的朝阳产业之一，随着家庭数字化和网络化的发展，人们在家里就可以通过数字电视和网络开始来获得信息，这使其成为一种理想的信息传播渠道。我们获得信息的方式主要有以下几种：音频、视频、文字及其他媒体等(如网页浏览、Flash 等)。而对于聋人来讲，音频信息他们无法获得，视频信息也只得其形不得其声，因而文字信息的理解速度也是远远低于实际需要。在数字电视方面，我们研究成功的数字电视机顶盒已经可以提供有标清电视和高清电视以及数据广播、电子政务等多项业务。为提高聋人的生活质量同时也促进数字电视产业链发展，因此研究一种通过数字电视进行手语信息播报的系统对于帮助聋人更快捷、有效的掌握信息，扩大
10、聋人与正常人群的交流，增加他们的受教育机会与推广手语的标准化过程都有着极为重要的作用和深远的意义。（二）国内外技术发展现状与趋势近些年来，国内外在手语表达方面做出了大量的研究与探索。通过不断的努力，使用虚拟人进行手语表达已经在多个国家初具规模。但由于整个系统中涉及到多项技术，包括计算机图形学、计算机动画、自然语言处理、机器学习等，所以对于实现一套完整的基于网络的手语信息播报系统是具有相当的难度的。在国外，最早的计算机手语合成的研究是1982年美国的Shantz 和Poizner制作了一种用计算机合成美国手语的程序。之后，许多国家都进行了自己国家的手语合成研究。日本日立研究中心以及通信研究中心分
11、别将基于拼接的手语合成系统用于了从语音到手语的合成原型系统中。Vcom3D也发布了基于拼接的北美手语合成应用系统，其中Vcom3D采用的是运动跟踪数据而SignTel 使用的是视频数据。Televirtual公司也开发了基于拼接合成的系统-Simon，目前这套系统被集成到ViSiCAST系统，主要用于英国手语识别与合成。有学者专门研究了在手语表达中人脸表情还有其他模式的重要性，结果表明缺乏人脸动画的手语合成的可懂度只有60%-70%。Normal Badler提出PAR(Parameterized Action Representation)参数化运动表达模型，用于EMOTE系统中，该模型根据
12、知识可以让虚拟人自动生成一些控制参数用于美国手语以及表情合成。Vcom3D Inc 开发了一个3D虚拟人Signing Avatar，可以通过手语和脸部表情在Internet上与其他人交流。I. Wachsmuth 和S. Kopp给出了基于时间的协同控制机制，使虚拟人可以合成手语并保持与语音同步。在国内，徐琳从机器翻译的角度对中国手语进行了语言学方面的分析工作，并实现了语言上的中国语言拆分技术以及基于规则的中国手语合成系统。中国科学院计算技术研究所、中国科学院研究生院和北京工业大学通过数十人的研究人员以十年的研究时间研究出一整套中国手语的表达系统，并可以在通过网络进行手语信息的表达，目前已经
13、取得国家科技进步奖二等奖一项与中国高等学校科技进步一等奖一项。YiQiang Chen实现了基于拼接的文本到手语的合成，在显示方法上实现了基于多角色虚拟人模型的中国手语三维显示，采用了多模式行为协同韵律模型，实现了手势运动与唇动、面部表情的协同同步。王海泉等也通过OpenGL 制作出了手语表达系统等。从功能上讲，中科院研究的手语表达系统与网上新闻发布系统已经可以进行手语新闻播报。但是考虑到实际应用的效果，无论是在系统结构上还是在进行新闻播报过程中，由于传输数据量过大而使服务吞吐量与鲁棒性都受到了严重的影响，从而限制了系统的实用性。而国内数字电视发展是很快的，随着数字化产品及信息服务在家庭不断渗
14、透并日益融合，数字家庭已成为新的消费热点，并且迅速发展成一个规模巨大、产业关联性强的行业。为抓住数字家庭发展机遇，世界各国政府和企业纷纷采取有力的措施，促进数字家庭产业发展。国家发展改革委、广电总局、信息产业部等部门也高度重视和支持数字电视的发展。国内一些知名企业也积极参与产业推进工作。数字电视取代模拟电视是全球广播电视发展的必然趋势。数字机顶盒是收看数字电视的必备设备，国际市场容量巨大并稳步增长，国内市场整体平移已实质性启动并快速增长。我国现有有线电视用户1亿户，模拟电视机4.7亿台。我国主要大中城市有线广播电视网已经基本完成了节目采集、制作、播出的数字化，卫星和光缆干线也基本实现了数字信号
15、的传输。但是在接收环节，由于用户电视机还是模拟的，无法接收数字电视节目，已经成为影响广播电视数字化的瓶颈。要打破这个瓶颈，实现有线电视数字化，关键就是将接收环节的电视机装上机顶盒，能够接收数字信号，从而使数字电视信号畅通无阻，实现全程数字化。广播电视数字化就是将模拟用户整体平移成数字用户。广东省在2005年10月启动了“广东数字家庭行动计划”，由于有线电视用户与电脑用户相差了一个数量级，两者比例大概为10:1，选择以电视为中心的数字家庭模式更容易解决信息化成果进入家庭的问题。按照计划，在2006年底，广东省数字电视整体转换将在珠三角发达地区完成，在2008年底完成其它地市的数字电视整体转换后，广东省数字电视用户达到1000万户，由于一户多个终端的存在，实际终端数将远远超过1000万台。而在过去七年，全国有线数字电视用户数量的增长呈现出飞速上升的势头，2003-2006年有线数字电视用户数量分别为28万户、102万户、345万户、1300万户，2007年突破
