《交通调查数据判别与修正方法》由会员分享，可在线阅读，更多相关《交通调查数据判别与修正方法（6页珍藏版）》请在金锄头文库上搜索。
1、交通调查数据判别与修正方法 张存中 河北省交通运输厅公路管理局 摘 要： 交通调查数据质量直接影响数据应用研究成果的可靠性, 以提高交通调查原始数据质量为目的, 以交通调查数据管理系统为研究对象, 提出了丢失数据、失真数据、异常数据的识别和修正方法, 并以河北省交通调查的实测数据对提出的方法进行了实例验证。关键词： 交通调查数据; 交通流; 异常数据修正; 作者简介：张存中 (1959) , 男, 高级工程师, 主要研究方向为交通运输工程。收稿日期：2017-08-02Received： 2017-08-020 引言随着社会经济的快速发展, 道路交通流数据作为动态交通信息的主体, 其采集和应用
2、状况受到交通管理部门的关注, 从事相关研究的积极性越来越高。在交调数据采集方面, 各种数据采集与检测技术得到了持续快速发展, 传感器和通讯技术, 结合存储处理功能强大、快速便捷的计算机系统, 使交通管理、控制和规划的数据需求与数据获得在数量与内容上产生了质的飞跃1, 从而进一步加快了数据采集与检测技术的开发研究。1 交通调查数据质量控制的基本思路本研究基于公路交通流数据质量控制理论, 提出了丢失数据、失真数据及异常数据2-3的判别方法, 重点针对交通调查数据中的丢失数据、失真数据及异常数据提出质量控制方法, 并建立有效算法, 如图 1 所示。图 1 交通调查数据质量控制思路 下载原图2 交通调
3、查数据的判别2.1 丢失数据的判别本文定义连续时间序列中两个不连续时间段数据已获取, 两不连续时间段之间缺失的数据判定为故障丢失数据。若某时段开始数据缺失, 至当前依然未获取有效数据, 则缺失数据判定为伪丢失数据, 丢失数据判定流程如图 2 所示。2.2 失真数据的判别(1) 数据为 0 的判别。 (1) Q=0, V0 时, 则流量数据错误; (2) Q0, V=0时, 则速度数据错误; (3) Q=0, V=0 时, 则视为丢失数据。(2) 非 0 失真数据判别。(1) 流率判别。理论上, 流率的最大取值如式 (1) 所示:4图 2 丢失数据判定标识流程图 下载原图式中:F C为流率的修正
4、系数;C 为道路通行能力 (辆/h) ;T 为数据采集时间间隔 (min) 。交通流率 QQ MAX时, 判定为失真数据。(2) 速度判别。速度的最大取值见式 (2) :式中:f V为速度修正系数, V i为路段规定的限制速度 (km/h) 。车速 VV MAX时, 判定为失真数据。2.3 异常数据的判别在正常交通状态下, 路网交通流的变化是一个平稳的随机过程, 流量数据的幅值应该在某一区间内变化, 但是当道路中出现交通事件时, 流量数据与正常情况下的数据之间会出现很大的偏差5。本文采用 t 时段之前 n (n=12) 个数据的平均值及其方差 来识别此类数据故障。(1) 流量判别。当 时, 认
5、为流量数据是正常的, 否则认为数据为异常数据。(2) 速度判别。当 时, 认为速度数据是正常的, 否则认为数据为异常数据。3 交通调查数据修正方法由于以周为周期的交通流曲线相似度最高, 规律性最强6, 故当连续错误和丢失数据量在 1 周以内, 依据连续错误或丢失数据量确定选用的数据源及修正方法;当连续错误数据和丢失数据超过 1 周, 修正补齐所用数据源的相关性大幅降低, 为保证数据应用的有效性, 该类数据视同停测数据不做修正补齐处理, 应通过相关制度保障杜绝该类数据发生, 保障制度应满足在 1 周内保证管理部门发现故障并要求厂家排除故障。3.1 丢失数据、失真数据修正由于交通流数据的随机性,
6、故而数据丢失、失真的情况也具有随机性。因此, 按照交通流检测数据连续缺失的情况把缺失数据划分为大量数据连续缺失 (失真) 、少量数据连续缺失 (失真) 和单个数据缺失三类。其中, 单个丢失 (失真) 数据是指连续丢失数据只有 1 个;少量数据连续缺失是指丢失 (失真) 数量在 13 个内, 这种缺失情况往往由偶然因素导致;大量数据连续丢失 (失真) 是指连续缺失数据在 3 个以上。(1) 单个丢失数据、失真数据处理方法 (修正方法 I) 。对于单个丢失数据、失真数据以相邻时间段的数据为数据源, 以线性插值法进行修正, 见式 (3) :式中:t j时间点对应的数据是失真数据或丢失数据, t j和
7、 tk分别是与 tj最为接近的左邻和右邻正确数据对应的时间点, x tj为 tj时间点所对应的交通量或平均速度。(2) 少量丢失数据、失真数据处理方法 (修正方法) 。若丢失和失真数据为某周一 t 时刻数据, 则数据源选择历史最近周一 t 时刻邻近相关 (60min 内) 时间序列正确数据平均值修正补齐, 见式 (4) :式中:x t为 t 时刻丢失或失真数据的交通量或平均速度, xt为数据源中对应 t时刻交通量或平均车速, 表示数据源中 t 时刻前相邻 6 个相关时间段的交通量或平均车速和, 表示数据源中 t 时刻后相邻 5 个相关时间段的交通量或平均车速和, T 为数据采集时间间隔。(3)
8、 大量丢失数据、失真数据处理方法 (修正方法) 。对于大量丢失、失真数据, 采用横向数据源即历史同期相同时间序列数据的平均值进行修正。若丢失和失真数据为某周一 t 时刻数据, 则数据源选择历史最近一个月 (四个周一) t 时刻正确数据的平均值进行修正补齐, 见式 (5) :式中:X t为 t 时刻丢失或失真数据的交通量或平均速度, x ti、x t2、x t3、x t4分别为历史最近的四个周一 t 时刻的交通量或平均速度。3.2 异常数据修正(1) 单个异常数据处理方法 (修正方法) 。对于单个异常数据采用三次拉格朗日差值多项式进行异常数据修正。若异常数据为某周一 t 时刻数据, 则数据源选择
9、历史最近周一 t 时刻邻近相关时间序列正确数据作为数据来源进行插值计算, 见式 (6) :式中:t 0、t 1、t 2、t 3分别是历史最近周一对应 t-2、t-1、t+1 和 t+2 时段的位置;q (t 0) 、q (t 1) 、q (t 2) 和 t 分别为各时段对应的交通流量。图 3 2016 年 7 月 4 日人工调查与自动检测车辆当量数对比 下载原图(2) 少量异常数据处理方法 (修正方法) 。同 3.1 中 (2) 。(3) 大量异常数据处理方法 (修正方法) 。同 3.1 中 (3) 。4 实例分析本研究将人工观测站统计数据与设备自动检测数据进行对比来判定设备是否运行正常、检测
10、的数据是否准确。以准确的设备自动检测数据为基准, 进行人为剔除、修改若干数据, 造成丢失、失真及异常数据的各种情形, 以各种数据修正方法进行数据的修正与有效性检验。本研究在高速公路 (G3, 南皮站, 观测站编号:G3L246130927) 布置人工观测站, 在 2016 年 7 月 4 日进行人工调查统计, 调查持续时间为 8 个小时 (8:0016:00) 。人工调查数据与自动调查数据对比 (见图 3) 发现匹配性较高, 人工调查数据与自动调查数据两组数据的相关系数均在 0.9 以上, 数据极强相关, 如图 3 所示在 96 (8 个小时, 每小时 12 个数据) 个数据中, 只有 12
11、个数据有偏差且偏差均在 5 辆以内, 认为在 7 月 4 日自动检测设备在每日的 8:0016:00 处于正常运行状态, 且检测数据都为准确数据。时间段的选取:以 1 小时 (7 月 4 日 14:0015:00) 调查周期为数据研究范围。数据选取:选取 2016 年 7 月 4 日北京台北高速公路 (G3) 南皮观测点 (观测站编号:G3L246130927) 自动检测数据。人为去除序号 8 中的数据, 造成单个数据丢失的情形, 如表 1 所示。采用线性插值法进行补齐, 见式 (7) :表 1 2016 年 7 月 4 日设备自动检测数据 下载原表 与正确数据的误差见式 (8) :因此, 此
12、算法对单个失真、缺失数据修正的有效性较高。5 结语本文对交通调查数据的判别与修正方法进行了研究。对丢失数据、失真数据、异常数据提出了不同的修正方法, 实例分析的结果表明, 本文提出的修正方法具有良好的实用性, 可以提高交通调查数据的准确性和可靠性。参考文献1陆化普, 孙智源, 屈闻聪.大数据及其在城市智能交通系统中的应用综述J.交通运输系统工程与信息, 2015, 15 (5) :45-52. 2韩卫国, 王劲峰, 胡建军.交通流量数据缺失值的插补方法J.交通信息与安全, 2005, 23 (1) :39-42. 3朱雷雷, 张韦华, 聂庆慧.干线公路交通流数据有效性检验规则J.东南大学学报 (自然科学版) , 2011, 41 (1) :194-198. 4姜桂艳.服务于城市交通流诱导系统的动态交通分配方法研究D.长春:吉林工业大学, 1998. 5姜桂艳, 江龙晖, 张晓东, 等.动态交通数据故障识别与修复方法J.交通运输工程学报, 2004 (1) :121-125. 6胡佩锋, 袁振洲.一种基于周相似特性的实时交通量预测模型J.公路交通技术, 2007 (1) :145-149.
