《多媒体大数据分析与搜索》由会员分享,可在线阅读,更多相关《多媒体大数据分析与搜索(2页珍藏版)》请在金锄头文库上搜索。
1、现代社会中,大数据来源丰富,使得交通、医疗卫生、教育、安全等都发生了变化,而在智慧城体系中,监控视频是体量最大的大数据。基于此,我主要分享媒体大数据的三个挑战问题。第一,存不下, 24 小时产生的数据量积累得很大。第二,看不清, 用眼睛看, 横看竖看,还是看不清楚,可能有时候都要猜来猜去,还需要很有经验的人才能看出来大概。为什么?存的时候做了压缩,压缩时不知将来作何用,为了节省存储量,压得太狠了,再把它解开时基本看不清。第三,找不到。现在摄像头到处都是,摄像头拍到了,但是不是想要找的?不知道,即使看清楚了,一跨摄像头也就找不到了。所以摄像机网络跨摄像头搜索问题也是个难题。超高效视频编码解决压缩
2、问题第一个挑战,我们想办法找到最高效的编码来应对这个挑战。视频流是图像序列,在每个单独的图像里是有冗余的,通常叫 “空间冗余” 。相邻的像素或图像块会有一些相关性,这些相关性即是 “冗余”,这种冗余可以通过滤波器的算法进行估算。如果参数对了, 就可以用它去做预测,继而找到一些更简洁的表达方式,不需要那么多比特就可以压缩了,这就是空间冗余。其次是“时间冗余”,即一个图像序列,第一帧和第二帧有很多是连续的,背景几乎是一样的,它有很多东西是重复的,这个重复的就是冗余,我们管它叫“时间冗余”。第三种是“感知冗余” ,行业里的人把它叫“编码冗余”。比如 26 个字母要怎么表达?给出8 个 bit或 7b
3、it ,每个字母给的bit是一样的,学计算机的人都知道这种分法是不科学的,应该怎么分?按照它的信息熵来分,图像也是一样, 每个像素表达的亮度、颜色在每类里分布不均匀,最好把出现概率高的那些单体给它比较短的码,把出现概率低的给长码,统计上面就会比较合理, 对此我们称之为“熵编码”。如果这三种用好了,就有办法把图像或视频完美地压缩下去。现在图像压缩实际达到的现状和理论有很大差别,但同时空间也很大。到现在为止,编码技术离理论上限大概还有百分之八九十的空间可以改进,因为在数学上我们很容易证明理论上限,若干个上限中可以取最低的上限,就很容易计算出有多大空间可以继续改进。这就是为什么视频编码领域这些年还在
4、不停地发展,并且,每十年编码效率就会提高1倍。在这样每十年翻一番的情况下,算法变得更复杂了,计算的复杂度换取了编码的效率。当然,这里有很多新的算法,以前因为硬件比较贵,不能让编码的器件成本太高,所以有些算法还行,只要算法太复杂就基本不用。现在不在乎这个,因为集成电路发展以后,算法愈来愈多,编码放进去后视频效果会越来越好。针对监控视频我们会有更好的方法,使它的效率更高。从编码的角度,去空间冗余、去时间冗余和去编码冗余这三种技术可以把视频流里的冗余去掉,这三种技术包含了许多算法,有变换、滤波、运动补偿、熵编码等。去空间冗余最主要的工具是变化,把时域变到频域上再进行处理,对于空间的冗余主要是采用预测
5、编码的方式去除,对于感知主要是通过熵编码去除。面向对象检测、跟踪与识别解决模式识别问题第二个挑战,对象检测、跟踪识别挑战。模式识别率再高、人脸识别再准,识别的准和不准取决于算法的好坏,还取决于在编码那端能不能提供支持。以往这两个系统像轨道一样完全平行,我们希望编码和识别能合作,把中间那堵墙翻过去或者拆掉。怎么拆掉?编码时要考虑怎么办。现在我们提出个支持是roi (region of internet) ,就是编码时识别出来哪个区域可能是识别要用的区域,把这个区域定义成感兴趣区域,对于感兴趣区域要描绘出来,现在语法里对感兴趣区域有专门的描述,除了这个区域以外还包括其他的,比如gps 信息、摄像机
6、参数信息。有了这个以后,在后面编码时,会针对编码参数进行调整,roi区域压得轻一点,这样关键的信息丢失的会少一点。有了这样的知识,可以用它架构友好的智能监控识别体系。现在即使有个算法很好,比如 266,它编码的效率和avs2 是一样的,我说那也不行,为什么?因为你压完以后还有解,解的时候才知道哪个地方是可识别的。现在压的时候就知道哪个东西有用,哪个东西没有用,有用的可以压得轻一点,这样构建分析架构,底层是完全的视频流,视频流上面可以构架一个区域描述,不是有roi么,这个“ r ”就是 region ,根据区域描述,若干的区域构成个对象,它们的关联就可以构成事件,只要处理能力足够强,我就把这个东
7、西表述出来了,这对识别非常有用。以大规模视觉搜索解决跨摄像头搜索问题第三个挑战,跨摄像头怎么办?我们可以对跨摄像头的数据进行矫正,然后再进行一些后续的工作。这方面有很多工作已经开始做了,比如我们试验室学生搭了一个系统,你在北大校园的一个地方走,其他几个框是别的几个摄像头,从一个摄像头跨到另外一个摄像头的时候,现在有一个专门技术是再认证,一个人在一个摄像头里出现过,当他出现在第二个摄像头的时候,就可以被识别出来。因为有时候可能不是正脸,靠人脸识别已经不管用了,就要靠颜色、身体、步态、外形等综合识别。要做好这个系统有一个重要的技术是能做到大规模的搜索。大规模的搜索这一块我们组有个很好的工作叫cdv
8、s ,它可以用很少的特征去搜索你要的东西,比如我用手机拍一张照片或者拍一个景色,拍完以后传送到服务器,搜索后会告诉你拍的是哪里。这个过程它需要你的特征选得非常好、非常准,然后有代表性,这样才能搜索得比较准。可以用一组特征,这组特征我们把它命名叫“cdvs ” ,cd 是一个紧缩的描述词,就是面向视觉搜索的紧缩描述词,这也是在国际标准化框架下面做的。前一段时间有个多媒体描述标准是 mepg7。这里面的关键技术,一个是选择特征点,然后是选择特征, 把这些特征进行聚合、压缩、进行点压缩,最后变得非常小。举例来说有多小,比如你照了个照片,这个照片有三、四兆大的尺寸,我们从中提出来大概500 个 bit
9、 ,连 1k 都不到,就可以进行搜索了,最高可以到16k,16k 检索的效率就更高,我们判断特征好不好是用召回率来判断,我们都希望召回率达到 90% ,低于 90% 就认为这个特征没有选好。什么叫召回率90% ?我用完整的照片到库里搜出来的东西,和我用521 个去搜,是不是有90% 都在我搜的100 个里面,如果是的话那你这个特征是可以的,这是一个准则。后台的技术会涉及到数据压缩、计算机视觉特征提取以及机器学习和视觉挖掘。和特征、视觉有关的主要是局部描述,模式识别里有个非常好的描述词叫“sift特征”,它可以保持平移不变、旋转不变、伸缩尺度不变等。但是这个特征也有问题,一个是专利问题,另一个是耗费存储比较大,耗费计算时间比较大。(本文根据高文在“2015 中国大数据技术大会”上的演讲整理而成,未经本人确认。