《人脸识别性能测试方案》由会员分享，可在线阅读，更多相关《人脸识别性能测试方案（11页珍藏版）》请在金锄头文库上搜索。
1、人脸识别系统性能测试方案2017年12月目录1事项说明12测试目的23测试方式24测试内容25测试环境25.1 网络环境25.2 硬件环境26静态人像比对系统评测 36.1 方案描述36.2 测试数据准备36.3 测试步骤36.4 评判指标 46.5 评判方法57动态离线视频布控测试 57.1 方案描述57.2 测试数据准备57.3 测试步骤57.4 评判指标 67.5 评判方法78最终成绩统计79测试流程71事项说明参测厂商操作系统安装及软件和人口照片数据导入、测试调试工作，具体部署时间由甲方通知各个参测单位；参测厂商自行准备测试环境所需的所有硬件，操作系统及软件环境；参测厂商上报不超过 2
2、人的现场操作团队，弁提供现场操作人员的身份信息（姓名、身份证号、联系方式），由组织测试 方进行身份核查，所有测试人员进场前上交通讯工具；组织测试方提供所有测试数据， 对于提供的测试素材（人像照 片），参测单位有保密义务，不得外泄或复制，禁止拍照、截 图；为保证本次系统测试数据的安全和保密性，确保测试数据不外泄，本次测试过程中的数据转换， 编辑和认定均应在组织者 制定的场地进行，弁于测试前签订保密协议，参测人员不允许 能通过任何移动存储介质（手机、U盘、移动硬盘以及光盘等） 或网络方式将测试数据带离测试现场；为保证本次测试的公平公正公开，局域网中严禁使用个人公司的笔记本，对于测试环境有任何的数据
3、导入， 都需要有测试 方专人在场监督下方可进行，严禁将测试环境的数据导出，带 离测试现场。测试结束后，所有参测设备须由测试组织方清空弁格式化后 方能带离。2测试目的了解各企业人脸识别系统的实际性能表现； 评估现有人脸识 别系统对公安实战应用需求的满足程度； 为后期人脸识别技术系 统建设选型提供数据依据。3测试方式采用实验室测试的方式。4测试内容本次测试包括两个方面：静态识别技术测试，动态识别技术 测试。5测试环境5.1 网络环境为了保证测试的公平公正，静态测试与离线视频测试的测试 环境一律采用单机或单集群局域网，不得接入外网，和外界物理隔离。5.2 硬件环境此次测试机器由各厂家自行提供， 测试
4、前需向组织测试方报 备机器数量及具体参数配置。6静态人像比对系统评测6.1 方案描述由测试方提供证件照底库和多组查询照。参测单位对底库照 片进行建库，弁启动人像检索功能，系统需将查询返回的前二 十名结果保存下来，由测试方统计命中结果。6.2 测试数据准备测试数据描述证件照底库5000万张证件照照片查询照总共300张，包括低清视频截图照、高清视查询照片一 小频截图、其他照片三类照片数据。6.3 测试步骤测试步骤描述描述测试数据准备1.组织测试方准备5000万证件照底库，并将300张测 试数据集的登记照混入人像库，并进行统一重命名。2.将5000万张照片压缩为一个zip格式压缩包，作为 测试数据源
5、。厂家建立人像库1 .各测试参商将测试服务器部署到组织测试方指定区 域，组织测试方以移动硬盘为介质将 5000万数据压缩 包以随机顺序移交给参测厂商。2 .各参测厂商拷贝人像库压缩包结束后，H开始计 时，要求在4天内完成建库，6天未完成建库，则静态 算法测试计零分。厂家测试1.参测厂商以随机顺序依次进行测试，组织测试方以U盘为介质，将300张测试集查询照卜发给当前参测J商。2 .参测单位启动系统进行批量自动人像检索，将得到 在底库中的前20名最相似人员结果写入CSVC件中。 测试完成后，参测单位将结果 CSVC件交予测试方。记录提交的CSVC件的MD5fi。3 .当前测试厂商在测试过程中不允许
6、对测试图片进行 修改，检索一旦开启，不允许对机器进行操作。4 .测试过程中，非当前测试厂商的测试人员需在指定 区域休息，不得操作各自服务器。5 .比对时间为连续2小时以内，超过2.5小时则静态 算法项计零分。人工验证测试结果测试方对各厂家的测试结果和标准答案进行对比，记 录结果，并形成测试se告。6.4 评判指标各厂家提交的csv表格格式如下:查询照首位第二位第二十Q0001B03B44B79Q0002A02B53B39统计量说明：首位命中数：系统返回检索结果中，目标人物位于第一位，即相似度最高；前十命中数：系统返回检索结果中，目标人物位于前二至十位；前二十命中数：系统返回检索结果中,目标人物
7、位于前十一至 二十位6.5 评判方法命中情况首位2-10 位11-20 位分数权重10.50.1命中数量ABC总分（百分 制）100*(1*A+0.5*B+0.2*C)/(300)7动态离线视频布控测试 7.1方案描述测试方提供离线视频文件，同时会提供一定数量登记照片作 为布控库。参测单位将布控人员导入测试系统， 弁启动离线视 频分析比对功能。系统需将离线视频分析过程中报警比中结 果记录保存下来，由测试方统计报警情况。7.2 测试数据准备测试数据描述证件照底库30万张底库布控照片。摄像头架设按人脸卡口标准架设。离线视频录制步骤1 .将20位黑名单人员，将其证件照混入布控底库中2 .测试前，组织
8、方组织测试人员前往测试点位进行视频录制3 .黑名单人员人通过镜头5次，即最终有视频后100人次通过4 .所有黑名单过人记录信息整理为 CSVC件，对于每一个视频 中出现的黑名单人员，标注其ID,起始时间，结束时间作为一 次过人记录，以作为黑名单过人记录的标准答案7.3 测试步骤测试步骤描述描述测试数据准备1 .测试方准备30万证件照底库，并将20张黑名单的 证件照混入人像库，并进行统一重命名2 .测试方按照离线视频录制方法录制一段时长约 30分 钟，人流量约为1000的离线视频，转换为标准 AVI格 式，作为测试所用视频源厂家建立人像库1 .各测试参商将测试服务器部署到组织测试方指定区域，组织
9、测试方以移动硬盘为介质将 30万数据压缩包 以随机顺序移交给参测厂商2 .参测厂商拷贝人像库，导入各自系统，并启动建库，要求在一小时内完成建库厂家测试1 .组织测试方以U盘为介质，将测试视频下发给参测）商2 .各参测厂商将视频文件上传至人脸识别系统，为了 比较各厂家在同一误报率卜.的准确率，各厂家需以同 一误报数量的前提卜，调整自身报警阈值，维持此时 的报警阈值，不得修改。3 .测试过程中，组织测试方对参测厂商一对一进行监 督，不允许参测厂商对报警结果进行增删操作4 .测试结束后，参测厂商需将报警结果在可视化页面 呈现，且将所肩报警结果导出为一个 CSVC件，组织 测试方依次对参测厂商的报警结
10、果进行统计人工验证测试结果测试方对各厂家的测试结果和标准答案进行对比，记 录结果，并形成测试se告7.4 评判指标1.组织测试方统计如下信息量用来评判结果：a）系统正确报警数：指测试结果中可以匹配标准答案中某次黑名单过人记录的报警结果，“匹配”需同时满足如下条件：i. 布控ID属于黑名单人员。ii. 报警时间处于该黑名单人员某次过人记录时间范围内。iii. 报警分数大于预设报警阈值。iv. 去重。如果标准答案中某个过人记录匹配了多次报警结果，只算作一次正确报警。b）系统错误报警数：指测试结果中不匹配标准答案中对应黑 名单过人记录的报警结果。7.5评判方法1 .组织测试方以随机顺序依次挑选测试厂
11、商进行结果统计， 将参测厂商报警结果的分数从高到低排序，从上往下筛选，当找到第十个错误报警时，记录该错误报警的报警分数，统计所有报警分数在该分数以上的正确报警结果，假设为N,则得分为No2 .为了保证统计的严肃性，统计期间其他厂家不得入场，待当前厂家统计完成后，换下一厂家入场统计。8最终成绩统计厂家名称静态测试得分动态测试得分9测试流程实验室测试环节所有参测厂商按组织方通知的时间进场部署 各自的人脸识别系统弁进行测试， 实验室部署调试测试时间为上 午9点至11:30点，下午14点至16点，分三部分进行：系统部 署及调试（不超过4小时）。实验室静态照片识别测试、功能测 试，实验室动态人脸视频测试，测试环节由检验人员操作，参测 企业技术人员需要配合检验人员。 测试结果由检验人员记录保存o
