《数字视频图像处理与通信 教学课件 ppt 作者 刘富强 王新红 宋春林 陈康力第10_11章 第11章 多媒体通信》由会员分享，可在线阅读，更多相关《数字视频图像处理与通信 教学课件 ppt 作者 刘富强 王新红 宋春林 陈康力第10_11章 第11章 多媒体通信（31页珍藏版）》请在金锄头文库上搜索。
1、第11章 多媒体通信,目录,11.1 多媒体通信概述 11.2 流媒体技术 11.3多媒体通信协议 11.4多媒体通信系统,多媒体通信概述,多媒体通信是指在一次呼叫过程中能同时提供多种媒体信息如声音、图像、图形、数据、文本等的新型通信方式。 利用多媒体通信，相隔万里的用户不仅能声像、图文并茂地交流信息，分布在不同地点的多媒体信息，还能步调一致地作为一个完整的信息呈现在用户面前，而且用户对通信全过程具有完备的交互控制能力。 多媒体通信网络主要是把多媒体信息采集、处理、存储、传输、显示、控制技术高度一体化地综合在一个系统之中，并且不断地融合各种新的信息技术。,流式传输,在网络上传输音/视频等多媒体
2、数据，目前主要有下载和流式传输两种方式。 流式传输则较好地避免了用户必须等到整个文件全部从Internet上下载完了才能观看的缺陷，实现了边下载边播放。 流式传输，主要是通过网络传输媒体（如视频、音频）的技术总称。 实现流式传输有两种方法：实时流式传输（Realtime Streaming）和顺序流式传输（Progressive Streaming）。,流媒体的实现原理,用户选择某一流媒体服务后，Web浏览器与Web服务器之间使用HTTP/TCP交换控制信息，以便把需要传输的实时数据从原始信息中检索出来； 然后客户机上的Web浏览器启动A/V Helper程序，使用HTTP从Web服务器检索相
3、关参数对Helper程序初始化。,流媒体的播放方式,基于IP的基本播放方式 IP组播技术 IP组播成员管理 建立组播组 智能流技术 在流媒体技术中通常采用智能流技术来解决组播异质性问题。首先，确立一个编码框架，允许不同速率的多个流同时编码，合并到同一个文件中；第二，采用一种复杂客户/服务器机制探测带宽变化。,流媒体的应用,视频播出(Streaming Video) 远程教学(Remote Seminar) 视频会议(Video Conference),会话初始化协议,会话初始化协议（SIP）是IETF 提出的在IP 网上进行多媒体通信的应用层控制协议。 SIP 是IETF 标准进程的一部分，它
4、是在SMTP（简单邮件传协议）和HTTP（超文本传输协议）的基础之上建立起来的。 SIP用来建立、改变和终止基于IP 网络的用户间的呼叫。 为了提供电话业务，它还需要结合不同的标准和协议，特别是需要确保传输（RTP），与当前电话网络的信令互连，能够确保语音质量（RSVP），能够提供目录（LDAP），能够鉴权用户（RADIUS）等。,SIP的功能,名字翻译和用户定位 特征协商 呼叫参与者管理 呼叫特征改变,SIP的实现机制,SIP是一个分层结构的协议，这意味着它的行为根据一组平等独立的处理阶段来描述，每一阶段之间只是松耦合。 SIP的最底层是语法和编码。它的编码使用增强Backus-Nayr形式
5、语法（BNF）来规定。 第二层是传输层。它定义了网络上一个客户机如何发送请求和接收响应，以及一个服务器如何接收请求和发送响应。 第三层是事务层。事务层处理应用层重传，匹配响应到请求，以及应用层超时。,SIP协议组件,SIP 会话使用主要组件有：SIP 用户代理、SIP 注册服务器、SIP 代理服务器和 SIP 重定向服务器。 SIP 用户代理 (User Agent, UA) 是终端用户设备,用户代理客户机发出消息，用户代理服务器对消息进行响应。 SIP注册服务器是包含域中所有用户代理的位置的数据库。在 SIP 通信中，这些服务器会检索参与方的 IP 地址和其他相关信息，并将其发送到 SIP
6、代理服务器。,SIP协议组件(续),SIP代理服务器接受SIP UA的会话请求并查询 SIP 注册服务器，获取收件方用户代理的地址信息。然后，它将会话邀请信息直接转发给收件方 用户代理（如果用户代理位于同一域中）或代理服务器（如果用户代理位于另一域中）。 SIP重定向服务器允许SIP 代理服务器将SIP 会话邀请信息定向到外部域。SIP重定向服务器可以与 SIP注册服务器和 SIP代理服务器同在一个硬件上。,SIP的主要特点,SIP与H.323 协议是并列的关系。它是分散式协议，需要智能化终端。 SIP具有简单、扩展性好，以及与Internet 应用结合紧密的特点。 SIP被用来在通信设备、媒
7、体网关、媒体服务器之间建立不同类型的对话。 SIP 独立于底层协议，一般使用UDP 等无连接的协议，而采用自己的应用层可靠性机制来保证消息的可靠传输。 SIP在设计上充分考虑了对其他协议的扩展适应性。,实时传输协议（RTP/RTCP ）,RTP是针对用于Internet上的多媒体数据流的一种传输协议。 该协议可基于多播或单播网络提供端到端的网络实时数据传输，为实时数据传输提供时序重构、帧遗失检测、数据安全等多种服务。 RTP通常使用UDP来传输数据。 RTP本身并不能为按顺序传输数据包提供可靠的传输机制，也不提供流量控制或拥塞控制，它依靠RTCP提供这些服务。 实时传输控制协议RTCP和RTP
8、一起提供流量控制和拥塞控制服务。,RTP 数据帧格式,RTP数据包由RTP包头(包括出现在每一个RTP包中的前12字节的固定包头以及出现在有混合器情况下的CSRC列表)和不定长的连续媒体数据(视频帧或音频帧)组成。RTP报文结构如图,RTCP,RTP的数据传输是无连接、无差错控制的报文传输。 RTCP是RTP中的控制功能协议，它单独运行在底层协议上。 RTCP是指接收方向发送方发送的报文，它负责监视网络服务质量、通信带宽以及网上传输的信息，并将其通知给发送端。 对应于不同应用的控制，RTCP信息由若干堆栈式的包组成，每个包有其自己的类型码和长度指示，其包格式和RTP数据包类似。 RTCP包周期
9、性地在会话成员之间组播，起着会员活动指示器的作用。,RTP/RTCP传输方式的实施,RTP/RTCP传输方式的原理框图,实时流协议 (RTSP),实时流协议 (Real Time Control Protocol，RTSP)是一个多媒体流化表示控制协议，用于在客户机/服务器之间建立和控制具有实时特性的数据传输。 它负责传输流的控制，提供对媒体流的类似VCR(Video Cassette Recorder)的控制功能，如播放、暂停、快进、录制等，也就是RTSP对多媒体服务器实施网络远程控制。 该协议定义了一对多应用程序如何有效地通过IP网络传输多媒体数据。 这个协议完成了两项关键功能：一是建立呼
10、叫连接，在用户PC和网点服务之间建立数据流链接；二是数据激活，让客户机知道用何种方法可以得到并播放所属的内容。,基于RTP的视频传输应用协议族结构模型,RSTP层在数据源和用户之间创建并控制连续媒体流，为用户接口提供对连续媒体流的远端控制。 RTP层负责数据的打包和实时传输。RTCP作为RTP层的一部分，负责控制流的处理及会话管理等功能，根据网络及会话状况对实时数据传输进行自适应调整。,资源预留协议（RSVP）,资源预留协议（RSVP）用来向网络发送信号，告诉它们用户在特定的应用程序下对网络服务的要求，也被路由器用来向沿发送方到接收方的路径传递QoS参数，预留并维持提供服务所需的资源,RSVP
11、模型,基于RSVP的QoS参数控制报文设计,在网络系统(包括主机)中，一个RSVP信令由5部分组成：协议对象、发送主机地址、发送端口、接收主机地址、接收端口。 协议对象除了有一个共同的信令头或对象头之外，其他部分由相应的控制信息组成。 这些信息有：预约风格、流特性和性能特性描述(QoS描述)、错误信息描述等。 RSVP对共同信令头(或对象头)以及预约风格和错误信息描述都有完整的定义。,RSVP的不足,1）Path/Resv过程还没有完全实现对QoS预留的可靠性保障，而将这项工作留给路由器或交换节点完成。 2）RSVP只是预留建立协议，不能进行资源预留的具体操作，还需要有相应的资源管理和调度机制
12、来实现资源预留。 3）RSVP本身的信息机制是动态发送和改变的，其控制信息Path/Resv与数据信息共享同样的路由，这样会极大地增加网络负载。 4）当网络出错或路由改变时，RSVP需要时间修复破坏的路径和预留状态并在新路由上建立预留状态。 5）RSVP不具有互操作性,基于H.320多媒体通信系统,基于H.323协议的视频会议系统,基于SIP的多媒体会议系统,基于SIP的多媒体会议逻辑框图,基于SIP的多媒体会议系统(续),基于SIP的多媒体会议整体架构 SIP会议系统核心服务器，主要包括会议控制中心 (Focus)、会议管理服务器(Manager Server) SIP服务器，主要包括代理服务器、重定向/注册服务器 其他管理和功能服务器，策略服务器和信息记录服务器,基于P2P的多媒体通信系统,下图以基于P2P-SIP技术的通信系统框架为例，展现了P2P-SIP的节点的组件。,基于P2P的多媒体通信系统(续1),节点启动以及外部节点注册,基于P2P的多媒体通信系统(续2),节点注册,End,
