《用户体验质量评估方法浅析》由会员分享，可在线阅读，更多相关《用户体验质量评估方法浅析（4页珍藏版）》请在金锄头文库上搜索。
1、用户体验质量评估方法浅析中国移动通信集团广东有限公司广东省电信规划设计院有限公司王 锐严 炎【摘要】全业务运营的环境下，客户竞争焦点逐步向以客户为中心的用户体验质量（QoE）转移。文章首先就新形势下，运营商的网络监控服务能力的转变需求进行分析，然后在详细讨论QoE评估复杂性的基础上，通过改进现有评估方 法的不足，建立了一个标准的自上而下的QoE评估方法。【关键词】用户体验质量 评估模型 KPI KQI1 引言近 年 来 ， 随 着 我 国 电 信 业 重 组 、 3G牌 照 发 放 以 及 全业务运营战略的有序推进，特别是移动互联网业务的迅猛 发展，我国电信运营企业再次面临业务创新策略、网络演
2、 进 策 略 、 产 业 整 合 策 略 乃 至 整 个 经 营 管 理 策 略 的 全 面 调 整，从而对通信网络运维提出了新的挑战。全业务运营的 环境下，各大运营商的业务产品类型更加趋同，因此急需 将网络运维管理的焦点从网络质量转移到以客户为中心客 户体验。网络运维管理的对象不再仅仅是网络，更强调面 向客户和面向业务的维护管理，即网络运行维护部门要成 为各项电信业务、客户、企业客服部门和业务经营部门的 强大技术支撑，面向业务计量和评价体系来调整运行维护 部门内部组织机构的设置，强调运维向运营延伸，体现网 络服务的理念。关注用户感知成为运营商的工作重点。改 善用户感知，不仅可以帮忙运营商降低
3、投诉率，还可提升 客户的体验满意度，增加用户黏度。常 规 的 网 络 运 营 管 理 目 标 是 服 务 质 量 （ QoS） 。 QoS 是网络和应用的衡量机制，用来保证用户的感受，其考核 指标可在网络或应用中监测或监控。随着运维服务向运营 延 伸 ， 网 络 运 维 的 指 标 体 系 也 由 单 纯 追 求 QoS转 向 注 重 用户 体 验 质 量 （ QoE） 。 QoE可 以 理 解 为 用 户 体 验 或 用 户 感知，即终端用户对移动网络提供的业务性能的主观感受， 其考核指标是用户对服务所作的定性评价，如：优、良、 中、差、劣。其本身是一项综合指标，影响因素包括：客 观因素，如
4、源端内容质量、端到端的网络质量、承载通道 的透明性等；主观因素，如用户期望、投诉处理、体验行 为等。2 目前网络监控存在的不足目 前 通 信 行 业 对 于 网 络 质 量 指 标 的 监 控 和 分 析 已 经非常成熟，但仍然存在着一些不足，具体表现在如下几个 方面：首 先 是 大 多 数 网 络 质 量 监 控 对 象 和 获 取 的 指 标 主 要 仍停留在单个的网元、逐段的链路，缺乏业务层面的全程 全网的质量监控。其 次 是 监 测 到 的 大 多 是 单 个 专 业 /网 元 的 KPI， 而 非 具 体的用户体验的衡量，与真实用户体验相距甚远。以常见 的“无线寻呼成功率”为例，具体
5、指标的高低不一定能够 真实反映用户体验。如一次用户通话过程中，在无线侧可 能会出现多次寻呼失败，但最后一次寻呼成功，只要中间 的 时 延 足 够 地 小 ， 用 户 感 知 不 到 多 次 连 接 ， 用 户 的 最 终 体 验 会 比 较 好 ， 而 此 时 无 线 寻 呼 成 功 率 不 一 定 很 高 。 而收稿日期：2012-05-09责任编辑：左永君 2012年 第 1 3 期 57运营之道当 无 线 寻 呼 成 功 率 指 标 数 值 很 高 时 ， 客 户 感 知 的 业 务 质量 也 不 一 定 很 好 ， 用 户 的 体 验 还 受 到 通 话 建 立 过 程 中 其 他
6、网 络 （ 如 核 心 网 、 数 据 网 等 ） 的 接 通 率 /质 量 的 影 响 ， 如 果 其 他 协 同 网 络 的 质 量 不 足 ， 用 户 通 话 质 量 也 就 难 以 提 升 。时的方式态度、账单清单的清晰程度）相关。因此，一个全 面 的 QoE模 型 ， 牵 涉 到 网 络 、 终 端 、 用 户 和 服 务 等 多 个 复杂且难以量化的因素。一 般 为 简 化 QoE模 型 的 建 立 ， 首 先 需 要 排 除 一 些 难 以 量化和监测的因素（如用户及运营商所提供的售前、售后 服务等），仅将用户终端（也可以排除）和网络环节作为 重点考察因素。以 彩 信 业 务 为
7、 例 （ 如 图 1所 示 ） ， 一 条 彩 信 的 成 功 发 送 和 接 收 包 含 手 机 、 无 线 接 入 网 、 GPRS网 络 、 WAP网 关 、 彩 信 中 心 及 底 层 的 数 据 承 载 网 等 多 个 环 节 的 协 同 配 合 ； 如 果 细 分 下 去 ， 还 会 包 含 如 路 由 器 、 防 火 墙 、 交 换 机 、 各 类 服 务 器 等 具 体 设 备 ， 因 此 彩 信 业 务 的 QoE模 型 的 建立就非常复杂。3 网络运营管理能力的转变越 来 越 多 的 运 营 商 已 经 认 识 到 ， 传 统 的 网 络 KPI并 不能 完 全 反 映 终
8、 端 用 户 的 感 受 。 据 相 关 资 料 统 计 ： 82%的 用 户离网是由于对产品或服务体验不满意，以及运营商无法 有效地处理他们的投诉；平均每个不满的客户会将不满传 播给13个人。由此，运营商网络运营支撑思路不能仍然停 留在网络、网元层面，而应该逐步向客户、服务、体验转 变。首 先 ， 运 营 管 理 对 象 必 须 从 网 络 向 业 务 转 变 。 传 统 的 基 于 网 元 、 网 络 性 能 的 监 控 和 分 析 已 经 研 究 得 非 常 充 分 ， 但 最 终 给 予 客 户 的 是 产 品 和 服 务 。 从 面 向 用 户 出 发 ， 运 营 管 理 对 象必须
9、进行调整。其 次 ， 运 营 管 理 模 式 必 须 从 专 业 向 全 网 转 变 。 要 打 破 现 有 以 专 业 为 主的监控管理模式和壁垒，为客户提供全专业、全网络的 运营管理，从而提供端到端的业务质量体验。再 次 ， 运 营 管 理 思 路 必 须 从 监 控 向 管 理 转 变 ， 由 被 动的网络性能监控，转变为主动的业务质量管理。监控的 目的是为了发现问题，需要进一步提升支撑能力、预测能 力乃至主动的管控能力。基 于 上 述 目 标 ， 运 营 商 必 须 进 一 步 加 强 以 客 户 为 中 心 的 业 务 QoE的 监 控 和 管 理 。 由 于 其 特 殊 性 ， Q
10、oE的 建 立 方法和模型一直是各运营商及研发机构关注的热点，如何 构建合理的QoE就成为首要解决的问题。图1 彩信业务的端到端的实现5 QoE评估方法文 献 1提 出 的 一 套 KPI/KQI设 计 思 路 与 架 构 ， 提 供 了自 KPI向 KQI的 由 下 至 上 的 评 估 方 法 以 及 相 对 应 的 服 务 质 量 管 理 模 型 。 但 这 个 模 型 仅 仅 提 供 了 QoE的 评 估 思 路 ， 具 体如何实现还有待进一步细化。基 于 长 期 的 运 营 商 业 务 网 络 监 控 和 分 析 经 验 ， 在 TMF GB 923的 基 础 上 ， 本 文 提 出
11、一 种 QoE评 估 方 法 。 QoE评 估 过 程 的 进 一 步 细 化 ， 可 以 按 照 如 下 五 个 步 骤 开 展：（1）分析研究标准规范 主要是根据相关标准规范（例如GB 923），研究QoE的定义方法和原理，对具体的业务实现层次和流程进行细 化 ， 建 立 起 QoE评 估 的 初 步 思 路 。 此 部 分 为 后 续 的 QoE相 关指标的定义和测算提供原则性的指引，可以采用向上汇4 QoE评估的难度广 义 的 QoE不 仅 仅 与 网 络 质 量 相 关 ， 而 且 与 用 户 使 用的终端、所接受到的服务（如客服人员在业务宣传、办理58 2012年 第 13期 责任
12、编辑：左永君 运营之道总和向下挖掘的思路确立指标。向 上 汇 总 ： 通 过 合 理 的 评 估 算 法 生 成 业 务 质 量 KQI， 选 择 重 点 、 具 有 较 大 影 响 力 的 KPI参 数 作 为 KQI的 基 础 ， 关 键 指 标 如 ： PDP激 活 成 功 率 、 掉 话 率 等 ， 非 关 键 指 标 如：CP负荷、端口利用率等。向 下 挖 掘 ： 底 层 KPI可 以 来 自 多 种 途 径 ， 不 限 于 网 元 设 备 ， 例 如 网 络 性 能 数 据 、 拨 测 类 数 据 、 信 令 数 据 等 。 KPI数 值 高 低 并 不 能 指 示 业 务 质 量
13、 的 高 低 ， 例 如 2台 设 备 互备情况。（2）确定QoE/KQI指标 针 对 具 体 的 业 务 ， 通 过 专 家 讨 论 、 用 户 访 谈 调 研 ，确 定 本 业 务 的 用 户 体 验 QoE指 标 ， 映 射 到 相 应 的 业 务 性 能 KQI指 标 。 考 虑 到 QoE指 标 的 建 立 需 要 体 现 用 户 的 感 知 ， 独 立 于 网 络 具 体 实 现 ， 体 现 端 到 端 的 业 务 体 验 ， 结 合 图2， 业 务 性 能 KQI指 标 是 关 键 。 KQI的 建 立 需 要 综 合 用 户 侧 体 验 和 业 务 网 络 实 现 具 体 而
14、定 ， 否 则 容 易 陷 入 过 于 抽 象、无法实现或者过于具体、无法体现用户感知的困境， 一般可以参考的指标有业务可用性、时效性、准确性和安 全性等。图3 QoE-KQI-KPI的映射关系示例（4）建立QoE评估算法业 内 对 QoE算 法 提 出 了 诸 多 实 践 和 研 究 ， 主 要 有 以 下 几种算法：加 权 平 均 法 ： KPI 归 一 化 成 分 数 ， 并 赋 予 不 同 的 权 值，最终得到父节点的分数。该算法还可细分为算术平均 法、最小值法、普通加权法等。模 糊 评 判 法 ： 对 被 评 判 事 物 的 变 化 区 间 做 出 划 分 ， 可以顾及对象的层次性，
15、使得评价标准、影响因素的模糊 性得以体现。通过选取因素集、确定权重集，逐步得出待 求集，从而模糊评判QoE指标的映射关系和权重值。数 据 挖 掘 算 法 ： 通 过 学 习 建 立 初 始 的 模 型 ， 然 后 经 过大量的案例训练，调教模型使之更加优化，最终达到智 能化的输出结论，例如神经网络算法等。（5）QoE 评估验证优化 对 于 QoE的 实 现 ， 笔 者 通 过 长 期 的 研 究 认 为 ， 更 重 要的是考虑算法的适用性，并非最复杂、最全面的算法才是 最 优 算 法 。 建 议 通 过 多 种 算 法 的 实 际 模 拟 ， 选 择 最 适 合 用 户 体 验 的 QoE评
16、估 算 法 。 评 估 算 法 也 不 是 一 成 不 变 的 ， 相关参数也需要在业务发展过程中不断进行验证和优化调 整 ， 例 如 可 以 采 用 真 实 环 境 /模 拟 环 境 下 模 拟 测 试 、 用 户 问卷调查等方式进行验证，从而不断适应用户体验，达到 最佳效果。图2 QoE指标的评估模型构建（3）确定底层KPI确 定 QoE/KQI后 ， 进 行 逐 层 分 解 ， 自 业 务 层 细 化 到 各 个 具 体 实 现 的 网 络 层 ， 如 涉 及 到 的 网 络 类 型 、 各 个 组 成 网 络 的 架 构 组 织 、 实 现 方 式 等 。 由 网 络 层 继 续 向 下 挖 掘 到 网 元 层 ， 包 含 每 个 网 络 中 的 网 关 、 路 由 器 、 交 换 机 、 存 储 的 具 体 KPI参 数 ， 如 CPU
