《用户体验算法说明》由会员分享，可在线阅读，更多相关《用户体验算法说明（15页珍藏版）》请在金锄头文库上搜索。
1、、用户体验系统网络质量监测概要用户体验系统网络质量测试包括三部 分，一是互联骨干路由设备间测试（点到 点的网络层测试，也就是近出口质量测 试），二是仿真用户的测试点到测试目标 站点的测试（端到端的网络层和应用层测 试，也就是运营商质量测试），三是从宽 带用户端到目标测试站点的网络质量随机 测试。测试客户端从测试服务器端获取测 试指令，针对参考站点（例如铁通用户访问 量排名前十的网站或中国网通、中国电信 的30个省公司网站）执行各种测试，并向 测试服务器发回测试结果数据，测试服务器 收集测试数据。用户通过系统Web应用服 务来对测试数据进行分析统计，从而得到有 关网络通信质量的对比结果，以用于辅
2、助中 国铁通分析和定位网间互联以及铁通网络 服务中存在的问题，进而提升铁通网络服务 质量。二、用户体验系统测试方法说明近出口质量测试系统采用“模拟对端测 试机”的方法进行测试。也就是在铁通网本 端靠近骨干互联出口处部署发起测试的固 定测试机，向对端（接驳）运营商骨干网中 的站点发起测试（第三方运营商骨干网中的 站点就相当于对端测试机）。这种“模拟对 端测试机”的方法基本能够测试得到“铁通 网骨干核心（互联口）” “第三方运营商 骨干核心（互联口）”之间的网络质量，从 而达到工信部互联网骨干网网间通信质量 监督管理暂行办法中规定的单向测试网 间通信质量的目的。运营商网络质量对比测试是采用仿真 技
3、术进行测试分析。通过部署在全国31个 省分公司下属地市的固定测试机仿真模拟 宽带用户上网的客户机，对指定目标网站进 行七项基础网络指标进行测试，得到相应的 测试结果。并通过对每一次测试产生的测试 结果的分析，可以分析出运营商在用户上网 时提供的真实网络服务情况，测试通常需要 进行从“测试客户端“目标测试站点” 的端到端仿真测试，才能够更全面的监测和 掌握通信质量，能够获得用户真实的上网速 度体验。网络质量随机测试是采用通过ADSL 宽带用户使用WEB网页运行随机测试程 序，实现从“宽带用户机”9“目标测试站 点”的端到端真实测试，监测当前所使用宽 带的通信服务质量，以方便运维人员进行问 题分析
4、和排障，从而提升中国铁通宽带互联 网的服务质量。1、测试平台组成这三种网络质量测试的平台分为测试 客户端、测试服务端、和测试参考站点三部 分：1）测试客户端近出口质量测试客户端软件部署 在省分公司、靠近铁通网互联出口 （铁通骨干网上）处的测试机上， 运营商网络质量对比测试客户端 软件部署在各地市公司的测试机 上，随机测试客户端为IE控件， 可在任何宽带用户机上进行测试。2）测试服务端包括前端的测试服务器（负责测试 指令分发和数据采集、提供测试管 理和数据分析Web接口）和后端 的数据库服务器（数据存储）。3） 测试参考站点主要选取为铁通用户访问量排名 前十、前五的网站，或网通、电信 的30个省
5、公司网站（这些30个 省分公司网站基本都是部署在对 端运营商的骨干网中，可以用于模 拟对端测试机）2、测试过程如上图所示，整个测试过程为：1）固定测试点（近出口、运营商） 或随机测试点（主要为宽带用户 机）从测试服务器上获得测试指令（包括测试目标站点以及测试参 数）。2）测试点依据获得的测试参数向所 有测试目标站点发起“网络时延”、“网络丢包测试”、“DNS解析 时延”、“网站响应时延”等指标 的测试（所有指标及说明请见后 文），得到每个测试目标站点的测 试结果，并形成测试结果集合。3）测试点将测试结果集合上传给测 试服务器。4）一次网络质量测试结束。3、测试客户端说明1）近出口和运营商质量测
6、试客户端 软件可登陆用户体验系统Web界 面进行下载然后安装。随机测试可 直接登陆随机测试系统用网页进 行测试。2）固定测试客户端软件7*24小时 运行，每两点或每一点（每两小时 或一小时）自动进行测试。所有测 试结果数据自动上报。3）固定测试客户端每次启动测试， 会向每个测试目标站点连续发起 测试，测试相关配置参数如下表所 示（可通过Web动态设置）近出口质量测试的参数设置:测试参数名称测试参数含义测试参数取值PacketSize包转发测试包大小128字节PacketNumber包转发测试重复次数20次TTL包转发测试TTL值30跳TimeOut包转发测试超时时间2秒Interval定时测试
7、间隔60分钟运营商网络质量对比测试的参数设置：测试参数名称测试参数含义测试参数取值PacketSize包转发测试包大小128字节PacketNumber包转发测试重复次数10次TTL包转发测试TTL值30跳TimeOut包转发测试超时时间2秒Interval定时测试间隔120分钟网络质量随机测试的参数设置:测试参数名称测试参数含义测试参数取值PacketSize包转发测试包大小128字节PacketNumber包转发测试重复次数20次TTL包转发测试TTL值30跳TimeOut包转发测试超时时间2秒4）测试客户端软件在升级调整后只 需部署在服务器端，测试客户端会 根据版本自动升级更新，无需人工
8、 升级。三、测试原理和指标定义1.用户体验系统测试原理系统每次测试包含“网络质量测试”、 “DNS服务性能测试”、“信息提供商性能 测试”三个测试项目，使用“网络时延”、 “网络丢包”、“DNS解析成功率”、“DNS 物理响应时延”、“网站响应时延”、“网 页展现时延”和“网页平均下载速度”七项 数据来对用户上网感受进行评判。现对系统 涉及的三个测试项目进行解释：1）网络质量测试，主要是测试客户端与目标网站之间的网络性能，包括网络时延、网络丢包两项指标。网络质量测试示意图如下:网涪戚检测试2）公用DNS服务器性能测试，主要测试 公用DNS对用户解析请求的响应情况，主 要包括DNS物理解析时延一
9、项指标。此 外，一定统计周期内，可通过DNS解析成 功次数，与总的解析次数的比值计算出 DNS的解析成功率指标。DNS服务器质量测试示意图如 下:测H客户端3）信息提供商性能测试，主要对信息提供商的网站运行稳定程度以及网站服务器性能进行测试，主要包括网站响应时延、网页展现时延两项指标。此外，每次测试过程中，可通过计算下载网页大小与所需时间的比值，评判信息提供商的网页下载速率。针对信息服务提供商质量测试示意图如下:其中该测试包含了 DNS响应过程（即 DNS物理响应或用户本机缓存解析响应 的随机过程）、网站服务器响应过程以及 从网站服务器下载数据的过程。网页展现 时延包括了 DNS响应、网站响应
10、以及最终 数据下载完毕（不包括IE展示）的整个 测试过程。2.七项测试指标定义1）网络时延（ping时延）：应用ICMP协 议从测试客户端发起ping的操作， 从测试客户端发起ping操作开始到 该客户端收到服务器响应所使用的 时间（由ICMP协议内部实现计算） 的平均值。每次操作共发出 PacketNumber 个 ICMP 包，每个 ICMP 包大小为PacketSize。（通过“测试 参数”配置）。2）网络丢包率：应用ICMP协议从测试 客户端发起ping的操作，从测试发 起ping操作开始到该客户端收到服 务器响应，该数据为收到响应包的个 数与客户端发出请求包的个数的比 值。例如，运营
11、商测试当前设置的请 求包个数为10个，如果有1个请求 包没收到，那么丢包率为10%。3）DNS解析成功率：由测试客户端发 起，针对DNS服务器响应情况做出的 测试。DNS解析成功率指DNS解析成 功的次数与有效解析总次数之比。总 有效解析次数排除用户输入域名不 全、用户输入无效域名、用户输入错 误域名等错误次数。4）DNS物理响应（解析）时延（无缓存）: 由测试客户端发起，针对DNS服务器 响应情况做出的测试。该测试从测试 客户端发起http响应请求开始到远 端DNS服务器响应该请求，返回正确 的IP所用的时延。（测试终端自带 的DNS解析缓存做出的解析所用时 延不是本项测试内容）5） 网站响
12、应时延：由测试客户端发起，针对网站服务质量的测试。网站响应 时延指从测试客户端发起http响应 请求开始到网站对其请求的响应，并 下载网站首页基本信息结束（不包括 JS、CSS、图片等文件），所需要的 时延的平均值，包括了 DNS响应时延（即DNS物理响应或用户本机缓存 解析响应这个随机过程所需要的时 延）。默认情况进行四次测试后进行 平均。6）网页展现时延：由测试客户端发起， 针对网站服务质量的测试。网页展现 时延指从测试客户端发起http响应 请求开始到网站对其请求的响应，直 到网站网页图像、链接等所有元素下 载到本机缓存结束所需要的时延的 平均值。默认情况进行四次测试后进 行平均。7）网
13、页平均下载速度：由测试客户端 发起，针对网站服务质量的测试，下 载网站所有字节数与网页展现时延 的比值。默认情况进行四次测试后进 平均。2.其它测试指标定义（不参与统计分析）1） DNS响应（解析）时延（有缓存）:由测试 客户端发起，针对本机DNS缓存和DNS 服务器响应情况做出的测试。测试客户 端发起http响应请求会从本机DNS缓 存中查询，如果有相应缓存信息则返回 响应，如果没有相应缓存信息或者您的 DNS Client服务处于关闭状态，那么该 HTTP请求会通过远端DNS服务器解析 并返回正确的IP，所用时间便是DNS 响应时延。（在命令行下用“ ipconfig /displaydn
14、s”可查看系统DNS缓存列表，用 ipconfig /flushdns 清空 DNS 缓存列表)2) IE页面展现时延：是指从测试客户端 发起http响应请求开始到网页在本地 IE上完全展示结束所用的时间。因为这两项指标值主要是由测试机具 体环境决定的，DNS响应时延与本机DNS缓 存有关，IE页面展现时延是浏览器展示的 时间值，都与客户端具体环境有关而与网络 质量并无太大关系，所以这两项指标不参与 网络质量的统计分析。注意：指标值若为-1则表示测试超时。统计分析中指标值的计算方式：以上指标值结果由ping、trace 测试直接得出，这是针对一个目标 网站的一次测试来说的。而在对省 分、地市的
15、统计中，这些指标的结 果分别取自所有统计在内的所有 客户端测试记录总和的平均 值，注意整个省分的指标值不等 于地市指标值总和的平均值。Q 1,Q2,Q3值的计算请见下文。四、系统质量指标评判结果用户体验系统网络质量测试依据七个 基础网络质量测试数据，采用“用户体验 网络质量评判模型”对用户上网感受进行 评判。通过模型计算出的“网络质量情况”、 “信息服务质量情况”和“用户综合质量 感受三项评判指标值分别评判用户在上 网期间“运营商提供的网络服务质量”、“信息服务商提供的网站服务质量”以及“用户 上网感受”。用户体验网络质量评判模型主 要采用了 “等权分布质量区间划分方法” 和“权重计算方法”计算得到三项评判指 标值。首先，评判模型采用概率统计中的“等 权分布”划分方法，将七项网络基础测试 结果数据进行五个质量区间划分，确保每个 划分区间中测试结果所占的比例都是等值 比例（20%）。通过七项指标得到的测试数 据结果数据，在七项网络指标中“符合”的 质量区间可以得到每项指标相应的评判数 值。评判数值满分为5分，按区间递减。符 合“质量区间一”的测试值的评判值为5 分，符合“质量区间二”的测试值的评判值 为4分，符合“质
