《基于dpi技术的大数据应用》由会员分享，可在线阅读，更多相关《基于dpi技术的大数据应用（14页珍藏版）》请在金锄头文库上搜索。
1、基于DPI技术术的大数据应应 用武汉绿汉绿 色网络络信息服务务有限责责任公 司2016/4/6 DPI技术术原理介 绍绍 基于DPI技术的大数据应 用目 录录3DPI原理介 绍绍DPIDPI说说 明应应用层层网络设络设 备备 DPI除了对4层以下的基础信息进 行分析外，还增加了应用层分析 ， 识别 各种应用及其内容。 DPI通过RADIUS属性和信令属性 及IP地址来识别用户，通过“包 分 析”和“流分析”来识别应 用 ， 将其进行组合，识别用户行 为并 根据策略进行控制的重要技 术。 DPI(Deep Packet Inspection)深度包检 测技术，是一种基于应用层的流量检测 和 控制
2、技术。DPI价值值体现现 DPI系统应该 作为网络运营商进行IP业务流量监控的一种 辅助手段，其主要目的是为实现服务差异化、计费多样化 、 营销 精细化以及为部分增值业务 提供技术支持，同时 也是 面向大数据方向的信息采集系统。DPI原理-特征码检测2016/4/6L7按照特征字符识 别报文间的逻辑关 系L2-L4Get报文（字符长A个字节）http回应报文（字符长3A ）按照协议指 纹FIN/PSH/URG关闭的 TCP端口 ACK=初始值+1打印机服务 ACK=初始值其他服务信令分析类类DPI整合方 案 信令分析DPI功能简述 主要对信令进行采集解析，生成信令XDR话单提供给上层业务 系
3、统InterneteNodeBP-GWS-GWSAE-GWS8 GTP-CS8 GTP-USGIS1-UMMES1-MMEHSSS6aS11ePCFA10/A11HS-GWS2aRxGxGxc分流器数据解析和存储镜像/复制接口FTP接口实 时接口其他系统手机恶 意 软 件监 控系统信令分析 系统 现网部署位置3G信令分析DPI设备主要部署在Gn/Gb口等位置；4G网络部署在UU、X2、S1-MME、S6a和SGs等位置。上网日志 留存系统网络状 态分析系统数据采集点XDR话单样 本 信令XDR摘录2016/4/6序号字段名字段类型字段长度说明1Interfaceunsigned byte11：
4、Gn 2：reserve 3：IuPS 4：Gb2IMSIstring15用户IMSI（TBCD编码） 3IMEIstring16终端IMEI（TBCD编码） 4MSISDNstring24用户号码 5USER_IPunsigendInt4用户IP地址 6LACint4LAC 7RACint4RAC 8CIDint4CI（或者SAC，ECI） 9SGSN_C_IPunsigendInt4SGSN信令面IP 10SGSN_U_IPunsigendInt4SGSN用户面IP 11GGSN_C_IPunsigendInt4GGSN信令面IP 12GGSN_U_IPunsigendInt4GGSN用户
5、面IP13RATstring321 UTRAN 0-未携带 2 GERAN 3 WLAN 4 GAN 5 HSPA Evolution 6 EUTRAN 14APNstring32XDR话单样 本 HTTP XDR规范摘录：45HOSTchar64全F 46URIchar128全F 47X-Online-Hostchar128全F 48User-Agentchar64全F 49HTTP_content_typechar64全FHTTP的内容是文字还是图片、视频、应用等 50refer_URIchar128全F参考URI 51Cookie字段char64全F协议 中Cookie字段 52Cont
6、ent-Length字段unsigned byte40协议 中Content-Length字段53目标行为unsigned byte1全F目标行为，0：会话是用户主动点击的页面； 1 站点目标而产Th的页面。 54wtp中断类型unsigned byte1WTP层的失败类 型55wtp中断原因unsigned byte1WTP层失败原因56titlechar256全F在上网内容里解析 57key wordchar256全F在上网内容里解析 58charge_IDunsignedIn t20计费 信息 DPI技术原理介 绍 基于DPI技术术的大数据应应 用目 录录关系链数据构建 对自然人在网络行
7、为中提取和关联 帮助构建基于自然人的网络唯一ID 帮助精确追踪自然人的网络行为淘宝腾讯 百度基于关系链数据的应用有效区分自然人，保证画像结果精确 。 跨屏打通，PC, Pad, 手机上完整关联用户户画 像基于自然人的数据更有效支撑风控模型计 算 对催收业务 可以支持恶意欠款用户位置查 找征信精准营销应 用用户画像 通过自然人ID标识用 户 通过APP协议识别标 识 用户兴趣点 通过URL知识库标识 用 户兴趣点 通过搜索关键字标识 用 户兴趣点基于画像属性反 查用户 输入用户使用APP属性 反查用户群 输入用户搜索兴趣属 性 反查用户群 输入用户位置属性反查 用户群用户触达 通过运营商外呼平台
8、 接 触用户 通过运营商信息推送 平 台接触用户咨询报告类应用人流/选址数据 分 析 通过信令数据积累人流 统计信息 给出指定位置的人群画 像信息竞品分 析 报告和分析同类APP的 使用情况 报告和分析同类内容网 站的使用情况舆情分 析 分析URL中的详细内 容 追踪论坛中用户的发 布 内容和用户画像关于数据质量的话题 数据质质量是大数据运营营的核心竞竞争力 如何定义和度量数据质量？ 用户话单 的信令关联率 （唯一ID的覆盖率） 用户流量的覆盖率 （DPI链路覆盖率） 用户上行流量还是上下行流量的同时数据提取 （同源同宿问题 ） 能够提取的特定信息字段在总用户数中的比例 数据的实时 性 （实时业务 的要求） 地理位置数据的精度 （决定了位置类大数据业务 的商业模式） DPI 异厂商数据差异度 （决定了是否能保证业务 一致性） 网站加密带来的影响谢 谢因为专为专 注，所以强 大
