《流媒体服务器设计文档.doc》由会员分享，可在线阅读，更多相关《流媒体服务器设计文档.doc（9页珍藏版）》请在金锄头文库上搜索。
1、Live555流媒体服务器-设计文档1 设计目的以Live555为平台搭建流媒体服务器，支持H.264视频流和G.729音频流两种实时流的直播功能，支持VLC、MPLAYER等标准流媒体客户端软件进行RTSP请求播放。2 系统框架Live555流媒体服务器接收到来自网络的RTSP请求后，遵循RSTP协议的标准，处理建立RTSP会话的信令流程，并分配相应的资源，建立对应的媒体通道。开始播放后，从摄像头和麦克风采集的音视频数据，视频数据在BF561子板上进行H.264编码，并将编码后的视频流通过SPORT口，交由BF536底板上的Live555流媒体服务器处理；音频数据直接由Live555流媒体服
2、务器进行G.729编码。Live555流媒体服务器根据RTSP协商的结果，将编码后的音视频数据封装为RTP数据，发送到请求的客户端。系统的整体流程如下图1所示：图 1 系统流程说明3 系统设计在live555源码的基础上，进行二次开发。Live555支持H.264源视频文件的流化，需添加对实时流直播的支持；已有优化的G.729编码库，需要添加在live555中添加对G.729音频编码格式的支持。3.1 RTSP服务器参考live555源码mediaserver/目录下的live555MediaServer.cpp，实现媒体流请求的点播功能。客户端（Client）与服务器（Server）之间的R
3、TSP信令交互过程如下图2所示：图2 RTSP信令交互过程1RTSP连接的建立过程RTSPServer类用于构建一个RTSP服务器，该类内部定义了一个RTSPClientSession类，用于处理单独的客户会话。首先创建RTSP服务器(具体实现类是DynamicRTSPServer)，在创建过程中，先建立setUpOurSocket(ourSocket)在TCP的554（或8554）端口进行监听，然后把连接处理函数句柄(RTSPServer:incomingConnectionHandler)和socket句柄传给任务调度器(taskScheduler)。任务调度器把socket句柄放入后面s
4、elect调用中用到的socket句柄集(fReadSet)中，同时将socket句柄和incomingConnectionHandler句柄关联起来。接着，主程序开始进入任务调度器的主循环（doEventLoop），在主循环中调用系统函数select阻塞，等待网络连接。当RTSP客户端输入(rtsp:/192.168.0.1/test.264)连接服务器时，select返回对应的scoket，进而根据前面保存的对应关系，可找到对应处理函数句柄，这里就是前面提到的incomingConnectionHandler了。在 incomingConnectionHandler中创建了RTSPClie
5、ntSession，开始对这个客户端的会话进行处理。2DESCRIBE请求消息处理过程RTSP服务器收到客户端DESCRIBE请求后，根据请求URL(rtsp:/192.168.0.1/test.264)，找到对应的流媒体资源，返回响应消息。live555中的ServerMediaSession类用来处理会话中描述，它包含多个（音频或视频）的子会话描述(ServerMediaSubsession)。RTSP服务器收到客户端的连接请求，建立了RTSPClientSession类，处理单独的客户会话。在建立RTSPClientSession的过程中，将新建立的socket句柄（clientSock
6、et）和RTSP请求处理函数句柄 RTSPClientSession:incomingRequestHandler传给任务调度器，由任务调度器对两者进行一对一关联。当客户端发出RTSP请求后，服务器主循环中的select调用返回，根据socket句柄找到对应的incomingRequestHandler，开始消息处理。先进行消息的解析，如果发现请求是DESCRIBE则进入handleCmd_DESCRIBE函数。根据客户端请求URL的后缀（如test.264），调用成员函数DynamicRTSPServer:lookupServerMediaSession查找对应的流媒体信息 ServerMe
7、diaSession。若ServerMediaSession不存在，但是本地存在test.264文件，则创建一个新的 ServerMediaSession。在创建ServerMediaSession过程中，根据文件后缀.264创建一个子会话描述H264VideoFileServerMediaSubsession。最后由ServerMediaSession完成组装响应消息中的SDP信息（SDP组装过程见下面的描述），然后将响应消息发给客户端，完成一次消息交互。SDP消息组装过程：ServerMediaSession负责产生会话公共描述信息，子会话描述由 H264VideoFileServerMe
8、diaSubsession产生。H264VideoFileServerMediaSubsession在其父类成员函数 OnDemandServerMediaSubsession:sdpLines()中生成会话描述信息。在sdpLines()实现里面，创建一个虚 构(dummy)的FramedSource(具体实现类为H264VideoStreamFramer)和RTPSink（具体实现类为SimpleRTPSink和 H264VideoRTPSink），最后调用setSDPLinesFromRTPSink(.)成员函数生成子会话描述。3SETUP请求消息处理过程RTSPClientSessio
9、n类用于处理单独的客户会话。其类成员函数handleCmd_SETUP()处理客户端的SETUP请求。调用parseTransportHeader()对SETUP请求的传输头解析，调用子会话(这里具体实现类为OnDemandServerMediaSubsession)的getStreamParameters()函数获取流媒体发送传输参数。将这些参数组 装成响应消息，返回给客户端。客户端发送两个SETUP请求，分别用于建立音频和视频的RTP接收。4PLAY请求消息处理过程RTSPClientSession类成员函数handleCmd_PLAY()处理客户端的播放请求。首先调用子会话的startS
10、tream()，内 部调用MediaSink:startPlaying()，然后是 MultiFramedRTPSink:continuePlaying()，接着调用 MultiFramedRTPSink:buildAndSendPacket()。buildAndSendPacke内部先设置RTP包头， 内部再调用MultiFramedRTPSink:packFrame()填充编码帧数据。packFrame内部通过FramedSource:getNextFrame(), 接着MPEGVideoStreamFramer:doGetNextFrame()，再接着经过MPEGVideoStreamF
11、ramer:continueReadProcessing()，FramedSource:afterGetting(.), MultiFramedRTPSink:afterGettingFrame(.), MultiFramedRTPSink:afterGettingFrame1(.)等一系列繁琐调用，最后到了 MultiFramedRTPSink:sendPacketIfNecessary(), 这里才真正发送RTP数据包。然后是计算下一个数据包发送时间，把MultiFramedRTPSink:sendNext(.)函数句柄传给任务 调度器，作为一个延时事件调度。在主循环中，当MultiFra
12、medRTPSink:sendNext()被调度时，又开始调用 MultiFramedRTPSink:buildAndSendPacket(.)开始新的发送数据过程，这样客户端可以源源不断的收到服务器传 来的RTP包了。5TEARDOWN删除会话过程代码实现如下所示：else if (strcmp(extension, .264) = 0) NEW_SMS(H.264 Video); OutPacketBuffer:maxSize = ; / allow for some possibly large H.264 frames sms-addSubsession(H264VideoFileSe
13、rverMediaSubsession:createNew(env, reuseSource);sms-addSubsession(G729ServerMediaSubsession:createNew(env, reuseSource);/add by yezi3.2 H.264视频流化获取发送传输参数的过程：调用子会话（具体实现类H264VideoServerMediaSubsession）的 createNewStreamSource()创建H264liveSource视频数据源，选择发送传输参数，并调用子会话的createNewRTPSink()创建H264VideoRTPSink。同
14、时将这些信息保存在StreamState类对象中，用于记录流的状态。H.264视频实现相关类图如图3所示：图3 H.264视频实现类图H.264视频流解析过程如图4所示：图4 H.264视频流解析过程3.3 G.729音频编码与流化获取发送传输参数的过程：调用子会话（具体实现类G729AudioServerMediaSubsession）的 createNewStreamSource()创建G729AudioSource视频数据源，选择发送传输参数，并调用子会话的createNewRTPSink()创建SimpleRTPSink。同时将这些信息保存在StreamState类对象中，用于记录流的
15、状态。G.729音频实现相关类图如图5所示：图5 G.729音频实现类图G.729音频流解析过程如图6所示：图6 G.729音频流解析过程4 系统实现系统整体的类图结构如下所示：1. Medium2.RTSPServer2.RTSPOverHTTPServer2.MediaSession2.ServerMediaSession2. ServerMediaSubsession3. OnDemandServerMediaSubsession4. FileServerMediaSubsession5. H264VideoFileServerMediaSubsession4. G711ServerMediaSubsession2. MediaSource3. FramedSource4. H264VideoSource4.G711AudioSource2. MediaSink3.RTPSink4. MultiFramedRTPSink5. MPEG4GenericRTPSink5. VideoRTPSink6. H264VideoRTPSink5. SimpleRTPSink2.RTCPInstance2.RTSPClient4.1 RTSP会话管理参照 live555MediaServer.cp
