《后端视频智能分析功能实现方案》由会员分享，可在线阅读，更多相关《后端视频智能分析功能实现方案（10页珍藏版）》请在金锄头文库上搜索。
1、视频智能分析实现方案1、实现的功能在智能分析系统中，智能分析模块（嘉崎智能分析模块）从视频监控平台获 取视频码流后对其进行智能分析，并将分析结果（告警信息及视频截图）上报给 视频监控平台，视频监控平台将分析结果展现给客户端，整个结构如图所示。智能分析模块需要完成如下功能：1、实现视频分析算法，包括穿越警戒区域、进入区域检测、离开区域检测、徘徊检测、聚集检测、交通拥挤检测、非法停车检测、车辆逆行检测、单向人 流量检测、双向人流量检测、物品丢失检测、物品遗留检测；2、从视频监控平台获取压缩的视频码流，解码并进行分析。（码流格式为720P 3M 码流）；3、输出视频流，其中包含规则信息和实时分析信息
2、，平台将包含规则信息 和实时分析信息的视频流转发到客户端，同时，需要提供码流的解码库，便于客 户端解码展现；4、接收智能分析规则，包括区域、阀值等参数设置；5、将分析结果和截图上报到视频监控平台；平台需要完成的功能：1、将前端编码设备的码流转发给智能分析模块；2、从智能分析模块请求视频流，并将流转发给客户端；3、接收智能分析模块的分析结果和截图；4、从客户端接收规则设置，将请求下发到智能分析模块；5、平台可提供SDK，便于智能分析设备获取视频，解码得到YUV数据；客户端需要完成的功能：1、客户端提供界面，便于用户设置智能分析规则；2、展现实时视频，包含规则信息和实时分析信息3、展现分析结果和截
3、图；4、其它功能，如报表等。2、平台协议介绍目前，前端设备与平台之间、平台与客户端之间信令协议为SIP+XML协议, 媒体协议为RTP/RTCP协议，视频建立的流程如下图所示；SIP+XML消息示例如下（平台从前端编码器获取视频编码参数）：请求：MESSAGEsip:.4.161:5060SIP/2.0Via: SIP/2.0/UDP 10.10.5.11:5060;rport;branch=z9hG4bK921473260From:;tag=849763891To:Call-ID: 2064933922cms10310353115060cms10310353115060CSeq: 39327
4、3 MESSAGEContact:User-Agent: SIP .NET 1.0 evaluation versionMax-Forwards: 70Content-Type: application/global_eye_v10+xmlContent-Length: 407 响应：SIP/2.0 200 OKVia: SIP/2.0/UDP 10.10.5.11:5060;rport;branch=z9hG4bK921473260 From:;tag=849763891To:Call-ID: 2064933922cms10310353115060cms10310353115060CSeq:
5、 393273 MESSAGEUser-Agent: SIP .NET 1.0 evaluation versionAllow: INVITE, ACK, OPTIONS, CANCEL, BYE, SUBSCRIBE, NOTIFY, MESSAGE, INFO, REFER, UPDATEContent-Type: application/global_eye_v10+xmlContent-Length: 628 3、实现方案智能分析模块与平台整合有两种方式： 1、智能分析模块实现 SIP 协议、RTP/RTCP协议，与平台之间通过协议方式交互；2、智能分析模块提供SDK,平 台开发代理模
6、块，完成嘉崎SDK与SIP协议的转换。本项目计划要在1月10 日 完成，考虑到时间进度，我们建议采用SDK方式接入。虹信和嘉崎都向对方提供 相应SDK。3.1 基本流程3.1.1 从前端编码器获取视频智能分析模块调用SDK （平台为智能分析模块提供获取视频SDK）,从平台获 取视频流并解码得到 YUV 数据。3.1.2 平台开始分析任务1、客户端在界面上设置规则，通过 SIP 消息发给中心管理单元，然后透传 给代理单元；2、代理单元将SIP消息转换为嘉崎SDK，调用SDK向智能分析模块下发规则;3、规则设置成功后，客户端请求开始分析任务；4、代理单元同样将开始分析任务转换为嘉崎SDK后下发给智
7、能分析模块；5、智能分析模块根据 3.1.1 的方法获取视频进行分析。3.1.3 告警结果上报1、智能分析模块对视频进行分析，将分析结果（告警信息）和图片通过SDK（嘉崎为虹信提供）回调函数告知代理单元；2、代理单元将告警信息转换后转发给中心管理单元3、代理单元将图片信息转换后转发给图片管理单元4、客户端从中心管理单元上查看相关告警信息。3.1.4 请求实时分析视频平台向智能分析模块请求视频，视频信息中包含规则信息和实时分析信息。1、客户端请求实时分析视频，代理单元调用SDK （嘉崎提供）下发请求给智能分析模块（接口中包含媒体分发单元的IP和端口）；2、智能分析模块将视频打包成标准 RTP 数
8、据包后发送给媒体分发单元，媒 体分发单元将数据分发给客户端。3.2 虹信为嘉崎提供的接口3.2.1 SDK初始化SDK 初始化 HxAgent_Initial函数原型int HxAgent_Initial()函数功能SDK初始化参数无返回值0：成功； 其它值：失败；3.2.2 SDK 销毁SDK 销毁 HxAgent_Destory函数原型int HxAgent_Destory()函数功能SDK销毁参数无返回值0：成功； 其它值：失败；3.2.3 设置媒体处理回调函数设置媒体处理回调函数HxAgent_Setmediacallback函数原型void HxAgent_Setmediacallb
9、ack(HxAgent_mediacallback proc);函数功能设置媒体处理回调函数参数HxAgen t_mediacallback:媒体回调函数说明：回调函数原型为：typedef int(*HxAgent_mediacallback)(long SinkID, char *pBuf, long nSize, FRAME_INFO* pMediadata, long reserved); /reserved 为 userdata 其中，SinkID :为请求视频(HxAgen t_S tar tVideo )时返回的值；pBuf：媒体数据； nSize :媒体数据长度； pMedia
10、data：媒体信息，如视频的宽、高、YUV格式(目前只支持YUV420)，帧率等。 在使用中应注意，媒体回调函数不能被阻塞，上层应用得到YUV数据后，应尽快拷贝到 其它位置进行后续处理。返回值0：成功3.2.4 用户登录登录函数 HxAgent_Login函数原型int HxAgent_Login(char* username,char *password, char* serverip, UINT port, char* ResouceID);函数功能登录到视频监控平台参数username：登录的用户名 password:用户密码 serverip:服务器的ip地址 serverpor t：
11、服务器端口号 ResouceID:暂时不用返回值0：成功；其它值：失败；注：此处的函数返回值只表明函数调用成功，并不代表是否真正登录成功到平台，登录 的结果要在事件回调函数中进行处理。3.2.5 用户登出用户登出 HxAgent LogOut函数原型int HxAgent_Log0ut();函数功能用户登出参数无返回值0：成功； 其它值：失败；3.2.6 请求视频请求视频 HxAgen t_S tart Video函数原型long HxAgent_StartVideo(char* puid, int channelno, int mediatype, int transType, long calluserdata,int playWnd);函数功能请求指定的视频播放参数puid:设备id号；channelno：设备通道号；media type:视频：HXAGENT_VIDEO 音频：HXAGENT_AUDIO transType： HXAGENT_TRANS_UDP、 HXAGENT_TRANS_TCP playWnd :视频播放窗口句柄返回值=0：成功，该返回值为请求视频的句柄，用于停止视频或媒体回调中进行关联；3.2.7 停止视频停止视频 HxAgent_StopVideo
