电子商务商品归一化方法研究经典

《电子商务商品归一化方法研究经典》由会员分享，可在线阅读，更多相关《电子商务商品归一化方法研究经典（14页珍藏版）》请在金锄头文库上搜索。

1、书书书第 卷第期 年月计 算 机 学 报 收 稿 日 期： ；最 终 修 改 稿 收 到 日 期： 本 课 题 得 到 国 家 自 然 基 金（ ， ） ，国 家“九 七 三”重 点 基 础 研 究发 展 规 划 项 目 基 金（ ） ，国 家“八 六 三”高 技 术 研 究 发 展 计 划 项 目 基 金（ ）资 助王立，男， 年 生，博 士 研究 生，主 要 研 究 方 向 为 数 据 挖 掘、内 存 数 据 库、海 量 数 据 管 理 ： 张蓉（通 信 作 者） ，女， 年 生，博 士，副 教 授，主 要 研 究 方 向 为 信 息 检 索、 数 据 管 理 ： 沙 朝 锋，男， 年 生

2、，博 士，讲 师，主 要 研 究 方 向为 机 器 学 习、数 据 挖 掘王 晓 玲，女， 年 生，博 士，教 授，博 士 生 导 师，主 要 研 究 领 域 为 海 量 数 据 管 理、 服 务 管 理周 傲 英，男， 年 生，博 士，教 授，博 士 生 导 师，主 要 研 究 领 域 为 数 据 管 理 与 信 息 系 统电 子 商 务 商 品 归 一 化 方 法 研 究王立）张蓉）沙 朝 锋）王 晓 玲）周 傲 英）（华 东 师 范 大 学 软 件 学 院上 海 ）（复 旦 大 学 计 算 科 学 技 术 学 院上 海 ）（复 旦 大 学 上 海 市 智 能 信 息 处 理 实 验 室上

3、 海 ）摘要电 子 商 务 网 站 中 不 断 增 长 的 商 品 数 量 和 商 品 规 模 对 数 据 管 理 提 出 了 新 的 挑 战，其 中 一 项 重 要 基 本 任 务 是商 品 归 一 化，即 识 别 属 于 同 一 个 客 观 实 体 的 所 有 商 品商 品 归 一 化 的 实 现 有 助 于 提 高 商 品 搜 索 的 准 确 性、改 善 用 户的 体 验但 由 于 在 电 子 商 务 网 站 中，特 别 是 在 （ ）模 式 下，商 品 信 息 的 数 据 质 量 很 低 且 缺乏 统 一 的 模 式 定 义 规 范，导 致 已 有 的 商 品 归 一 化 方 法 难

4、以 适 用针 对 这 一 问 题，文 中 设 计 了 一 种 将 数 据 集 成、数 据清 理 和 商 品 归 一 化 相 结 合 的 混 合 框 架该 框 架 首 先 基 于 图 的 方 法 进 行 模 式 集 成，然 后 利 用 商 品 的 描 述 信 息 进 行 数据 清 理，从 而 得 到 数 据 质 量 更 高 且 模 式 统 一 的 商 品 信 息 数 据；在 数 据 集 成 和 数 据 清 理 之 后，利 用 逻 辑 斯 蒂 回 归（ ）模 型 训 练 分 类 器，从 而 得 到 商 品 之 间 的 相 似 度 矩 阵，最 后 对 相 似 度 矩 阵 聚 类 实 现 商 品 归

5、一 化通 过 与 已 有 的 方 法 在 真 实 数 据 上 进 行 对 比 实 验，验 证 了 文 中 提 出 的 方 法 的 有 效 性关 键 词实 体 识 别；模 式 集 成；数 据 清 理；逻 辑 斯 蒂 回 归；聚 类；电 子 商 务中 图 法 分 类 号 犇 犗 犐号 犃 犘 狉 狅 犱 狌 犮狋 犖 狅 狉 犿 犪犾犻狕 犪 狋犻狅 狀 犕 犲狋 犺 狅 犱 犳 狅 狉 犈 犆 狅 犿 犿 犲 狉 犮 犲 ） ） ） ） ）（犇 犲 狆 犪 狉狋 犿 犲 狀 狋 狅 犳 犛 狅 犳 狋 狑 犪 狉 犲 犈 狀 犵 犻 狀 犲 犲 狉犻 狀 犵，犈 犪 狊狋 犆 犺 犻 狀 犪 犖

6、 狅 狉 犿 犪 犾 犝 狀 犻 狏 犲 狉 狊犻狋 狔，犛 犺 犪 狀 犵 犺 犪 犻 ）（犛 犮 犺 狅 狅 犾 狅 犳 犆 狅 犿 狆 狌 狋犲 狉 犛 犮犻犲 狀 犮 犲，犉 狌 犱 犪 狀 犝 狀 犻 狏 犲 狉 狊犻狋 狔，犛 犺 犪 狀 犵 犺 犪 犻 ）（犛 犺 犪 狀 犵 犺 犪 犻 犓 犲 狔 犔 犪 犫 狅 狉 犪 狋 狅 狉 狔 狅 犳 犐 狀 狋犲犾犾犻 犵 犲 狀 狋 犐 狀 犳 狅 狉 犿 犪 狋犻 狅 狀 犘 狉 狅 犮 犲 狊狊犻 狀 犵，犉 狌 犱 犪 狀 犝 狀 犻 狏 犲 狉 狊犻狋 狔，犛 犺 犪 狀 犵 犺 犪 犻 ）犃 犫 狊狋狉 犪 犮狋 ， ，

7、 （ ） ， ， ， ， ， ， ， ， ， ， ， 犓 犲 狔 狑 狅 狉 犱 狊 ； ； ； ； ； 引言在 过 去 的 年 里，电 子 商 务 的 交 易 量 快 速 增长 年，中 国 约 的 网 民 拥 有 网 购 经 历，全 国的 网 购 年 交 易 量 达 到 了 亿 人 民 币，其 中 超 过 的 交 易 量 在 模 式 下 完 成 模 式 电 子 商 务 的 飞 速 发 展 使 得 网 站的 商 品 种 类 和 规 模 呈 爆 炸 式 增 长这 种 增 长 虽 然 给网 购 用 户 带 来 了 更 大 的 选 择 空 间，但 由 于 缺 乏 有 效的 商 品 管 理 机 制，对

8、 用 户 的 购 物 体 验 也 产 生 了 负 面影 响目 前，对 电 子 商 务 数 据 管 理 的 一 个 迫 切 的 任 务是 实 现 有 效 的 商 品 归 一 化（ ） ，即 判 断 两 个 或 多 个 商 品 是 否 指 向同 一 个 客 观 实 体（是 否 对 应 的 是 同 款 产 品）商 品 归一 化 在 提 高 用 户 购 物 体 验 中 起 到 很 重 要 的 作 用，主要 表 现 在 以 下个 方 面：（）用 户 浏 览用 户 在 购 物 之 前 通 常 要 进 行 商品 搜 索，对 于 搜 索 结 果 的 组 织 目 前 有 两 种 解 决 方 案：同 类 商 品

9、合 并这 一 方 案 展 示 的 是 合 并 之 后 的 商品 分 类，它 的 实 现 建 立 在 商 品 归 一 化 的 基 础 之 上；搜 索 结 果 多 样 化（ ）该 技 术 用 于 对 搜 索 结 果 的 排 序，实 现 在 考 虑 相 似 度的 基 础 之 上，尽 可 能 多 地 返 回 不 同 的 实 体，从 提 高 返回 结 果 的 信 息 量当 文 本 信 息 具 有 噪 音 的 时 候，基 于文 本 相 似 度 的 搜 索 结 果 多 样 化 的 效 果 不 佳商 品 归一 化 之 后 会 得 到 更 为 准 确 的 商 品 相 似 度，从 而 提 高多 样 化 技 术 的

10、 效 果（）产 品 比 较当 用 户 决 定 购 买 某 款 产 品 时，需要 尽 可 能 多 地 调 查 由 不 同 卖 家 所 出 售 的 同 款 商 品，对 商 品 的 价 格、评 价，卖 家 的 信 用 等 诸 多 方 面 进 行 比较商 品 归 一 化 可 以 实 现 同 类 商 品 的 正 确 归 类，提高 用 户 体 验（）广 告 推 荐在 各 种 电 子 商 务 网 站 中，用 户 购买 历 史 矩 阵 常 常 用 作 协 同 过 滤 推 荐 的 输 入大 量 的同 款 商 品 会 加 剧 矩 阵 的 稀 疏 性，从 而 导 致 生 成 的 模型 不 准 确商 品 归 一 化

11、可 以 有 效 地 合 并 同 类 商 品，从而 实 现 矩 阵 降 维、祛 噪 的 目 的由 此 可 见，商 品 归 一 化 是 电 子 商 务 网 站 的 一 项 重要 任 务但 模 式 的 异 构 以 及 商 品 描 述 信 息 的 混 乱 主 要给 商 品 归 一 化 任 务 带 来 了 以 下 两 点 挑 战首 先，不 同商 品 之 间 的 模 式 异 构通 常 情 况 下 每 一 个 商 品 都 有 一个 属 性 表，包 含 有 若 干 个属 性，值对，即 ， ，如 表所 示属 性 表 提 供 了 商 品 的 详 细 描 述信 息，它 对 商 品 归 一 化 起 到 了 至 关 重

12、 要 的 作 用但 是属 性 表 往 往 缺 乏 统 一 的 模 式 规 范 化 要 求（比 如 对 于“产 品 型 号”属 性，在 一 些 商 品 中 叫“型 号” ，而 在 有 些商 品 中 则 叫“生 产 型 号” ） ，从 而 造 成 模 式 异 构 的 产 生，影 响 商 品 归 一 化 的 效 果其 次，商 品 数 据 中 噪 音 严重商 品 的 描 述 数 据（ ）是 由 卖 家 填 写对 于 值的 填 写 各 个 网 站 通 常 都 缺 乏 有 效 的 验 证 机 制，导 致商 品 描 述 数 据 中 存 在 大 量 的 异 构 信 息、噪 音 或 缺 失值（比 如 漏 填 了

13、 重 要 的 商 品 属 性，或 是 填 写 了 错 误 的商 品 属 性 值）数 据 噪 音 加 剧 了 商 品 归 一 化 的 困 难表 个 同 款 商 品 的 信 息标 题价 格属 性 表文 本 描 述无 线 路 由 器 便 携 包 邮 品 牌：空类 型：无 线 路 由 器型 号： 端 口 数：端 口 全 新 推 出 的 迷 你 型 无 线 路 由 器 ，可 以 轻 松 将 网 络 转 为 信 号 迷 你无 线 路 由 器 高 速 上 网 品 牌： 产 品 型 号：空最 大 速 率： 普 联 技 术 月 初 上 市 迷 你 无 线 路 由 器此 款 路 由 器 亮 点：划 为 ，功 能

14、超 强 迷 你 商 品 型 号： 最 大 速 率： 是 一 款 即 插 即 用 的 无 线 路 由 器基 于 以 上 挑 战，本 文 提 出 了 一 种 基 于 监 督 学 习的 归 一 化 方 法该 方 法 首 先 对 商 品 进 行 模 式 集 成 和数 据 清 理其 中 模 式 集 成 的 目 的 是 规 范 化 商 品 的 描述 属 性基 于 模 式 集 成 的 数 据 清 理 包 含 缺 失 值 的 填充、错 误 值 的 检 测 和 正 确 值 的 确 认个 步 骤，从 而 保证 每 一 个 商 品 描 述 的 准 确 性 和 全 面 性在 进 行 模 式期王立 等：电 子 商 务

15、商 品 归 一 化 方 法 研 究集 成 和 数 据 清 理 之 后，在 选 取 的 特 征 上，用 逻 辑 斯 蒂回 归 模 型 在 训 练 集 上 训 练 二 值 分 类 器该 分 类 器 用于 计 算 商 品 间 的 关 联 关 系 矩 阵，该 矩 阵 表 示 商 品 间相 互 匹 配 的 估 计 概 率训 练 分 类 器 的 过 程 本 质 上 是在 为 不 同 的 特 征 训 练 权 重，使 得 贡 献 度 高 的 特 征 被赋 予 更 高 的 权 重这 样 的 方 法 可 以 提 高 算 法 的 鲁 棒性，使 得 分 类 效 果 不 会 因 为 选 取 的 个 别 表 现 不 佳

16、特征 而 降 低 性 能最 后，利 用 该 矩 阵 进 行 聚 类，将 两 个商 品 之 间 的 实 体 识 别 转 换 为 集 合 之 间 的 实 体 识 别，从 而 实 现 商 品 归 一 化本 文 第节 介 绍 相 关 工 作；第节 阐 述 本 文 的研 究 动 机；第节 整 体 介 绍 提 出 的 商 品 归 一 化 方 法框 架；第节 描 述 模 式 集 成 和 数 据 清 理 的 过 程；第节 介 绍 商 品 归 一 化；第节 通 过 实 验 来 验 证 和 分 析本 文 的 方 法；最 后 在 第节 总 结 全 文 相 关 工 作商 品 归 一 化 是 实 体 识 别（ ）的一

17、个 分 支实 体 识 别 最 早 被 文 献提 出，其 目 的 是识 别 那 些 指 向 同 一 个 现 实 世 界 中 的 实 体 的 实 例，是一 项 重 要 且 充 满 挑 战 的 任 务传 统 的 实 体 识 别 工 作，如 文 献 ，主 要 是 通 过 定 义 字 符 串 的 相 似 度 来 实现 无 监 督 的 实 体 识 别这 类 方 法 不 需 要 有 标 注 数 据，且 进 行 实 体 识 别 的 时 候 具 有 很 高 的 处 理 速 度，但 其主 要 弊 端 是 对 字 符 串 相 似 度 过 于 敏 感，在 大 数 据 集中 往 往 难 以 定 义 出 表 现 良 好

18、的 字 符 串 相 似 度 计 算 函数有 一 些 研 究 使 用 机 器 学 习 方 法 利 用 标 注 数 据 去训 练 字 符 串 的 相 似 度 ，其 主 要 优 势 是 避 免 人 为 设计 字 符 串 相 似 度 计 算 函 数 的 要 求，但 此 类 方 法 的 主要 局 限 是 没 有 充 分 利 用 除 字 符 串 之 外 的 其 它 信 息文 献 通 过 使 用 上 下 文 中 的 实 体 引 用 来 提 高 实体 识 别 的 效 果由 于 利 用 了 额 外 的 信 息，因 此 比 起 前两 类 方 法 在 性 能 上 有 较 大 提 升与 此 类 方 法 相 似，本文

19、提 出 的 方 法 则 充 分 利 用 了 上 下 文 中 的 信 息 来 进 行信 息 填 充 和 修 复此 外，本 文 还 就 上 下 文 信 息 中 的 缺失 信 息 和 错 误 信 息 进 行 了 修 复文 献 中 提 出 了 使 用 概 率 分 类 器 来 进 行 实 体识 别 的 技 术近 年 来 的 一 些 研 究 工 作 使 用 维 基 百 科和 等 外 部 资 源 来 进 行 一 些 独 立 领 域 的 实体 识 别 这 些 方 法 都 是 基 于 待 识 别 的 实 体 在 外部 资 源 中 都 有 相 应 的 文 档 这 一 假 设，然 而 这 一 假 设的 要 求 很

20、高，常 常 不 易 满 足为 了 降 低 对 外 部 资 源 的要 求，文 献 等 研 究 工 作 在 实 体 识 别 过 程 中 提取 那 些 能 证 明 两 个 不 是 同 一 个 实 体 的 证 据，根 据 这 些 证 据 来 增 加 这 些 的 距 离，从 而 提 高实 体 识 别 的 准 确 度，但 是 这 种 方 法 对 于 反 面 证 据 的准 确 率 要 求 很 高，错 误 的 证 据 会 直 接 导 致 准 确 率 的下 降本 文 没 有 利 用 外 部 资 源，这 使 得 本 文 提 出 的 方法 具 有 更 好 的 通 用 性需 要 强 调 的 是，本 文 的 方 法 可

21、以 通 过 定 义 新 的 特 征 和 相 似 度 函 数，将 外 部 资 源 引入 到 本 文 的 相 似 度 向 量 中在 电 子 商 务 领 域，文 献 提 出 了 对 商 品 进 行聚 类 的 方 法，这 与 本 文 的 研 究 内 容 较 为 相 似该 方 法将 商 品 的 属 性 视 为 特 征，使 用 来 训 练 每 一 个属 性 的 权 重，然 后 利 用 聚 类 实 现 最 终 结 果但 是 此 方法 没 有 考 虑 到 数 据 噪 音 问 题，因 此 当 数 据 噪 音 严 重时，属 性 的 权 重 难 以 收 敛 且 很 不 准 确，实 体 识 别 的 效果 很 差文 献

22、 中 提 出 了 一 种 对 非 结 构 化 的 商 品信 息 进 行 匹 配 的 方 法，他 们 假 设 已 经 存 在 一 个 存 储着 每 一 款 商 品 详 细 信 息 的 数 据 库，然 后 将 非 结 构 化的 商 品 信 息 与 数 据 库 中 的 记 录 进 行 匹 配此 方 法 依赖 于 存 储 每 款 商 品 信 息 的 数 据 库，适 用 范 围 很 小，与本 文 的 研 究 场 景 不 同 研 究 动 机目 前 电 子 商 务 网 站 中 识 别 同 款 商 品 的 方 法 主 要是 基 于 商 品 标 题 中 的 关 键 词但 由 于 在 购 物 网 站 中（特 别

23、是 模 式 下）商 品 信 息 中 标 题 噪 音 很 严 重，导 致 现 有 的 方 法 在 商 品 分 类 上 的 性 能 很 低本 文 旨在 设 计 一 种 在 缺 乏 统 一 的 商 品 模 式 且 具 有 噪 音 的 环境 下，能 有 效 地 进 行 商 品 归 一 化 的 方 法商 品 包 含 标 题、价 格、属 性 表 和 文 本 描 述 等 信息，如 表所 示尽 管 这 些 信 息 非 常 丰 富，但 利 用 他们 进 行 实 体 识 别 却 充 满 挑 战，主 要 表 现 在：（）标 题 中 的 挑 战标 题 是 目 前 进 行 商 品 归 一化 方 法 的 重 要 信 息但

24、 标 题 中 往 往 充 满 噪 音，主 要原 因 是：卖 家 各 自 填 写 所 出 售 商 品 的 标 题，由 于卖 家 具 有 不 同 的 行 为 习 惯，因 而 造 成 标 题 信 息 异构（比 如 表中 第 二 款 商 品 的 标 题 中 缺 少 型 号“ ” ） ；很 多 卖 家 通 过 在 标 题 中 添 加 一些 与 商 品 无 关 的 热 门 词 汇 来 提 高 商 品 的 曝 光 率、增强 影 响 力，从 而 提 高 销 售 额（比 如 表中 第 三 款 商 品标 题 中 的“ ”和“ ” ）（）属 性 表 中 的 挑 战属 性 表 以 结 构 化 方 式 展示 商 品 相

25、 关 信 息但 由 于 以 下 两 点 原 因 使 得 属 性 表在 商 品 归 一 化 过 程 中 所 起 到 的 作 用 非 常 有 限：属计 算 机 学 报 年性 名 表 达 不 规 范（比 如 表中 第行“型 号”属 性 有另 外 两 种 表 述，即 第行 中 的“商 品 型 号”以 及 第行 中 的“产 品 型 号” ） ；数 据 值 缺 失 或 者 错 误（如表中“品 牌”属 性 值 缺 失， “商 品 型 号”属 性 值 错 误）（）文 本 描 述 中 的 挑 战使 用 文 本 描 述 来 进 行商 品 归 一 化 比 较 困 难，主 要 是 因 为 以 下 两 点：传统 的 文

26、 档 处 理 方 法 在 处 理 短 文 档 时 效 果 不 佳；同一 类 别 的 不 同 型 号 商 品 的 文 本 描 述 很 相 似由 于 上 述 原 因，很 难 直 接 用 当 前 的 商 品 信 息 实现 良 好 的 商 品 归 一 化 效 果但 通 过 对 数 据 的 观 察，我们 发 现 可 以 利 用 数 据 本 身 的 特 性 去 解 决 上 述 问 题，这 也 是 本 文 的 出 发 点，可 概 括 为个 方 面：（）命 名 上 不 同 但 本 质 相 同 的 属 性 会 存 在 取 值上 的 交 叉（比 如“商 品 型 号”和“产 品 型 号”本 质 上 是相 同 的 属

27、 性，它 们 的 取 值 空 间 会 有 大 量 的 交 集）因此 可 以 利 用 值 的 统 计 信 息 进 行 模 式 的 集 成，详 细 方法 见 节（）对 于 商 品 属 性 中 的 缺 失 值 或 错 误 值，可 以 利用 上 下 文 信 息 和 其 它 的 同 类 商 品 信 息 进 行 填 充 和 修复（比 如 表中 的 第个 商 品 中， “产 品 型 号”值 是 缺失 的从 第个 商 品 信 息 中 可 以 得 知“ ”是 该 属 性 的 一 个 候 选 值，并 且“ ”在 第个 商 品 的 描 述 信 息 中 出 现，因 此 我 们 可 以 推 断“ ”可 能 就 是 那

28、个 缺 失 值）寻 找 证 据 进行 数 据 值 修 整 的 方 法 见 节（）商 品 归 一 化 过 程 中 不 同 的 特 征（标 题、价 格等）具 有 不 同 的 区 分 能 力（比 如 当 两 个 商 品 的“产 品 型号”属 性 取 值 相 同 时 两 个 商 品 属 于 同 一 款 商 品 的 可 能性 比 起“品 牌”属 性 取 值 相 同 时 的 可 能 性 更 大）本 文定 义 了 一 组 商 品 特 征，使 用 训 练 数 据 来 确 定 各 个 特征 的 区 分 能 力特 征 区 分 能 力 的 判 定 方 法 见 节 整 体 框 架由 于 商 品 归 一 化 会 遇 到

29、 模 式 集 成 和 噪 音 消 除 等困 难，为 此 我 们 设 计 了 一 个 混 合 的 商 品 归 一 化 框 架，如 图所 示，它 可 以 分 为 两 个 部 分图 方 法 的 整 体 框 架首 先，进 行 数 据 预 处 理，它 分 为个 主 要 步 骤：（）将 异 构 的 模 式 集 成 为 一 个 统 一 的 全 局 模式，后 续 的 数 据 噪 音 消 除 和 相 似 度 都 是 基 于 全 局 模式 的 基 础 之 上（）在 每 个 商 品 寻 找 缺 失 的 属 性，然 后 利 用 该商 品 的 其 它 信 息 对 缺 失 的 信 息 进 行 填 充（）根 据 商 品 上

30、 下 文 以 及 全 局 模 式 中 的 统 计 信息，找 到 错 误 的 属 性，并 进 行 更 正然 后，进 行 商 品 归 一 化，它 分 为个 主 要 步 骤：（）除 全 局 模 式 中 的 每 一 个 属 性 都 作 为 一 个 特征，除 此 以 外，还 在 商 品 的 若 干 重 要 属 性 上 定 义 特 征和 相 似 度（）为 选 取 的 每 一 个 特 征 通 过 训 练 集 训 练 不 同的 权 重，从 而 加 大 重 要 的 特 征 的 作 用，降 低 或 去 除 不重 要 的 属 性 的 作 用，并 训 练 处 可 以 预 测 两 个 商 品 是否 为 同 一 个 实

31、体 的 分 类 器（）利 用 上 一 步 的 分 类 器 生 成 商 品 的 相 似 度 矩阵，在 此 基 础 上 进 行 聚 类，从 而 实 现 实 体 识 别 数 据 预 处 理 模 式 集 成本 文 的 模 式 集 成 的 目 标 是 使 所 有 的 商 品 的 属 性表 都 处 于 统 一 的 模 式 下模 式 集 成 包 含 两 步： （）全局 模 式 的 生 成； （）全 局 模 式 的 规 范 化 全 局 模 式 生 成定 义 全 局 模 式全 局 模 式 中 存 储 在 所 有 商品 属 性 表 中 出 现 的 属 性 和 值 以 及 它 们 取 值 范 围 和 相互 对 应

32、关 系定 义 全 局 模 式 图将 全 局 模 式 表 示 为 二 部图犌犃，犞，犈 ，则 称犌为 全 局 模 式 图其 中犃和犞是 点 集，犈是 边 集犃中 的 每 一 个 点 对 应 一 个 属性，犞中 的 每 一 个 点 代 表 一 个 取 值对 于 任 何犪犃和狏犞，如 果犪，狏在犽个 商 品 的 属 性 表 中 出 现，则在犈中 存 在 一 条 权 重 为犽的 边（犪，狏） ，其 权 重 记 为狑（犪，狏）对 所 有 商 品 的 属 性 表 进 行 一 遍 扫 描 后 生 成 全 局模 式，并 以 二 部 图 的 形 式 来 表 示，见 图（）犌中 任意 一 个 属 性 节 点犪犃都

33、 和 若 干 值 节 点 邻 接，所 有和犪邻 接 的 值 节 点 所 组 成 的 集 合 就 是 属 性犪的值 域期王立 等：电 子 商 务 商 品 归 一 化 方 法 研 究图 模 式 集 成 的 过 程 示 意 全 局 模 式 的 规 范 化在 全 局 模 式 中，存 在 许 多 表 述 不 同 但 相 互 等 价的 属 性 节 点 和 值 节 点例 如 属 性“产 品 型 号”和“商 品型 号”是 相 互 等 价 的， “ ”和“ ”也 是 相 互 等 价 的全 局 模 式 规 范 化 是 合 并 那 些 相 互 等 价 的 属 性 和值，从 而 有 利 于 在 属 性 表 上 对 商

34、 品 进 行 更 为 精 确 的比 较在 合 并 本 质 上 相 同 的 属 性 节 点 之 前，首 先 合 并本 质 上 相 同 的 值 节 点，这 将 有 利 于 属 性 节 点 的 合 并定 义 超 级 值（属 性）节 点将 所 有 值（属 性）节 点 划 分 为 若 干 个 互 不 相 交 的 子 集，使 得 同 一 个 子集 内 的 所 有 值（属 性）节 点 是 相 互 等 价 的划 分 中 的一 个 子 集 称 为 一 个 超 级 值（属 性）节 点算 法 值 节 点 合 并输 入：犌犃，犞，犈 ，输 出：犌犃，犞狊，犈 犞 ，犈 犈 狏犞 犞狊犞狊 狏 犞狊犻犞狊犼（ （犞狊犻

35、，犞狊犼犞狊）（犞狊犻犞狊犼）（犛 犻 犿 （犞狊犻，犞狊犼） ） 犞狊犻犞狊犻犞狊犻，犞狊犼 犞狊犻犞狊犻犞狊犻，犞狊犼 犞狊犻 犞狊犼 犈 狏犃 （犪，犞狊犻）犈 （犪，犞狊犼）犈 犈 犈 （犪， 犞狊犻犞狊犼 ） 狑（犪， 犞狊犻犞狊犼 ）狑（犪，犞狊犻）狑（犪，犞狊犼） 值 节 点 的 合 并 如 算 法所 示：首 先 将犌中 的 任意 一 个 值 节 点 作 为 一 个 超 级 值 节 点（ 行）如 果两 个 超 级 值 节 点 之 间 的 字 符 串 相 似 度 大 于 某 个 给 定的 阈 值（ ） ，则 将 两 个 超 级 值 节 点 合 并，并合 并 对 应 的 边（ 行）两

36、 个 超 级 值 节 点犞狊犻和犞狊犼之 间 的 相 似 度 是 分 别 属 于 两 个 超 级 值 节 点 的 所 有 节点 对 相 似 度 的 平 均 值：犛 犻 犿 （犞狊犻，犞狊犼） 狏犞狊犻，狏 犞狊犻犛 犻 犿 （狏，狏）本 文 并 不 关 注 字 符 串 相 似 度 的 定 义，而 是 使 用 现有 的 编 辑 距 离 或犖 相 似 度，记 为犛 犻 犿 （ ）通过 合 并 相 互 等 价 的 值，犌被 转 换 为犌 犃，犞狊，犈 ，其 中犞狊是 生 成 的 所 有 超 级 节 点 的 集 合，犈 是 连 接 超级 值 节 点 和 属 性 节 点 的 边 集，如 图（）所 示属

37、性 节 点犪和 超 级 属 性 节 点犞狊犻之 间 边 的 权 重定 义 如 下：狑（犪，犞狊犻）狏犞狊犻狑（犪，狏）对 于 任 意犞中 的 节 点狏，在 集 合犞狊中 有 且 只 有一 个 超 级 值 节 点犞狊犻中 包 含狏将 与狏对 应 的 超 级 值节 点 记 为狊 狌 狆（狏）对 于 任 何 一 个 超 级 节 点犞狊犻犞狊，在犞狊犻中 选 定 在 全 局 模 式 中 出 现 频 数 最 高 的 值 节 点作 为犞狊犻的 代 表 节 点，记 为犞狊犻狉 犲 狆合 并 本 质 上 相 同 的 值 节 点 后，进 行 本 质 上 相 同的 属 性 节 点 的 合 并如 果 只 利 用 字

38、 符 串 相 似 度 进 行属 性 节 点 的 合 并 在 很 多 情 况 下 并 不 有 效，例 如“ ”和“ ”是 本 质 上 相 同的 属 性 名，但 是 他 们 的 字 符 串 相 似 度 很 低；反 之“ ” （ 的 参 数）和“ ”的 字 符 串 相 似 度 很 高，但 它 们 在 本 质 上 并 非 同 一 个属 性经 过 观 察 发 现 本 质 上 相 同 的 属 性 的 值 域 会 有很 大 的 交 集，因 此 本 文 在 合 并 属 性 名 时 不 仅 利 用 字符 串 相 似 度，还 考 虑 到 邻 域 信 息因 此 将 属 性 节 点 之间 的 相 似 度 定 义 如

39、下：犛 （犪犻，犪犼）犛 犻 犿 （犪犻，犪犼）犛 （犪犻，犪犼） ，犛 （犪犻，犪犼）狏犞（犪犻）犞（犪犼） （狑（犪犻，狏） ，狑（犪犼，狏） ）狏犞（犪犻）犞（犪犼） （狑（犪犻，狏） ，狑（犪犼，狏） ）犛 （ ）是 字 符 串 相 似 度 和 邻 域 相 似 度 的 加 权和对 于 任 意犪犃，犞（犪）表 示 与犪邻 接 的 所 有 超 级节 点 的 集 合利 用犛 （ ）和 一 个 给 定 的 阈 值，使 用计 算 机 学 报 年与 合 并 值 节 点 相 同 的 策 略 对 属 性 进 行 合 并，合 并 后犌 就 被 转 换 为犌犃狊，犞犛，犈 ，如 图（）所 示对于 集 合犃

40、狊中 的 任 何 一 个 超 级 节 点犃狊犻，在犃狊中 选 定在 数 据 中 出 现 频 率 最 高 的 节 点 作 为犃狊的 代 表 节 点，记 为犃狊狉 犲 狆经 过 上 述 步 骤，已 经 集 成 的 模 式 就 被 存 储 于犌中，其 中 相 互 等 价 的 属 性（值）被 存 储 在 同 一 个 超级 属 性（值）节 点 中（例 如“商 品 型 号”属 性 和“产 品 型号”属 性 将 会 在 一 个 超 级 属 性 节 点 中， “ ”和“ ”将 会 在 同 一 个 超 级 值 节 点 中）我 们 利 用犌按 照 以 下 步 骤 将 所 有 的 商 品 映 射为 统 一 的 模

41、式：对 于 每 一 个 商 品狆的 属 性 表 中 的 每一 个属 性，值对犪，狏 ，将犪，狏转 换 为犃狊犻狉 犲 狆，犞狊犻狉 犲 狆 ，其 中犃狊犻和犞狊犻分 别 是 包 含犪和狏的 超 级 属性 节 点 和 超 级 值 节 点通 过犌将 所 有 的 商 品 的 属性 表 转 换 为 统 一 的 模 式 之 后，就 可 以 更 加 精 准 地 使用 属 性 表 来 计 算 两 两 商 品 之 间 的 相 似 度 参 数 调 优在 合 并 超 级 值 节 点 和 合 并 超 级 属 性 节 点 的 过 程中，须 指 定 阈 值和选 择 合 理 的 阈 值 对 进 行 商 品模 式 集 成

42、的 结 果 具 有 重 要 意 义本 文 采 取 的 策 略 是 随 机 挑 选 一 部 分 商 品 属 性 表格 中 的 属 性 和 值 进 行 人 工 标 注（标 注 两 两 属 性（值）是 否 相 互 等 价 的）利 用 人 工 标 注 的 数 据 训 练 阈 值和将 已 标 注 的 属 性 和 值 的 集 合 分 别 记 为犃 和犞 ，对 于 任 意犪，犪犃 ，犐（犪，犪） 当 且 仅 当犪与犪等 价，否 者犐（犪，犪） ；对 于 任 意狏，狏犃 ，犐（狏，狏） 当 且 仅 当狏与狏等 价，否 者犐（狏，狏） 和取 值 按 照 如 下 方 法： （ （狏，狏）犛 犻 犿 （狏，狏），犐

43、（狏，狏） （狏，狏）犛 犻 犿 （狏，狏），犐（狏，狏） ） ， （ （犪，犪）犛 犻 犿 （犪，犪），犐（犪，犪） （犪，犪）犛 犻 犿 （犪，犪），犐（犪，犪） ）即 采 用 在 标 注 样 本 中 表 现 最 好 的和的 取 值 作 为全 局 数 据 进 行 模 式 集 成 的 阈 值 数 据 填 充 和 数 据 清 理属 性 表 中 的 缺 失 和 错 误 的 值 严 重 降 低 了 商 品 归一 化 的 效 果这 一 子 节 介 绍 修 复 这 些 缺 失 和 错 误 值的 方 法对 于 任 意 商 品狆，将 其 属 性 表 转 化 为 局 部 二 部图犵（狆）犃（狆） ，犞（狆）

44、 ，犈（狆） ，如 图（）所 示，其中犃（狆）和犞（狆）是 节 点 集 合，犃（狆）中 的 每 一 个 节 点表 示 一 个 属 性，犞（狆）中 的 每 一 个 节 点 表 示 一 个 值，犈（狆）是 边 集，每 一 个属 性，值对 都 在犈（狆）中 有 一条 权 重 为的 边图犵（狆）是 全 局 模 式 图犌的 一 个子 图，犃（狆）中 的 每 一 个 顶 点 都 属 于犌中 的 某 一 个超 级 顶 点，且 是 所 属 于 的 超 级 节 点 中 的 代 表 节 点商品狆的 标 题 和 文 本 描 述 分 别 用狋犻狋（狆）和犱 犲 狊（狆）来表 示图 数 据 填 充 和 数 据 清 理

45、过 程 缺 失 值 的 填 充属 性 表 中 的 缺 失 值 分 为 两 类： （）值 级 缺 失；（）模 式 级 缺 失定 义 值 级 缺 失值 级 缺 失 是 指 某 个 属 性 的值 不 存 在 或 者 是 空 值在 图（）中，没 有 边 的 属 性 节 点 就 存 在 值 级 别的 缺 失定 义 模 式 级 缺 失如 果 一 个 商 品 比 起 同 类商 品 缺 少 了 某 些 属 性，则 称 为 是 模 式 级 别 的 缺 失例 如 表中 第个 商 品 与 同 类 商 品 相 比，缺 少“商 品 品 牌”这 一 属 性，这 属 于 模 式 级 缺 失模 式 级 缺失 蕴 含 值 缺

46、失算 法 缺 失 值 的 填 充输 入：犌犃狊，犞犛，犈 ，犵（狆）犃（狆），犞（狆），犈（狆） ，狋犻狋（狆），犱 犲狊（狆）输 出：犵（狆）犃 （狆），犞（狆），犈（狆） 犞 ，犵（狆）犵（狆） 犃狊犻犃狊 犃狊犻狉 犲 狆 犃（狆）狉 犲 狆 犃 犃 犃狊犻狉 犲 狆 期王立 等：电 子 商 务 商 品 归 一 化 方 法 研 究 犪犻犃 狏犪狊 狌 狆（犪犻）犞（犪） 狏 狋犻狋（狆） 犱 犲狊（狆） （犪犻，狊 狌 狆（狏）狉 犲 狆）犈（狆） 狑（犪犻，狊 狌 狆（狏）狉 犲 狆） 犞（狆）犞（狆）狊 狌 狆（狏）狉 犲 狆 狑（犪犻，狊 狌 狆（狏）狉 犲 狆） 犵（狆）对 于

47、任 何 商 品狆，缺 失 值 的 填 充 过 程 如 算 法所 示首 先，遍 历 全 局 模 式 中 的 任 何 一 个 超 级 属 性 节点犃狊犻，如 果犃狊犻狉 犲 狆不 在犃 （犘）中，则 可 能 是 模 式 级 缺失（第 行 进 行 验 证） ；如 果犃狊犻狉 犲 狆在犃 （犘）中 且 没有 相 应 的 值，则 是 值 级 别 缺 失将 找 到 的 值 级 缺 失 属性 和 可 能 的 模 式 级 缺 失 属 性 储 于 集 合犃 中注 意有 些 缺 失 属 性 是 相 互 等 价 的，为 了 避 免 冗 余，只 将 代表 性 节 点 存 储 于犃 中然 后，为 缺 失 属 性 赋 值

48、（ 行）对 于犃 中 每一 个 属 性犪犻，在狋犻狋（犘）和犱 犲 狊（狆）中 搜 索 所 有 与 任 意狏犪狊 狌 狆（犪犻）犞（犪）所 匹 配 的 子 字 符 串（狏犪狊 狌 狆（犪犻）犞（犪）是 属 性犪犻的 值 域）如 果 存 在 任 意 子 字 符 串 与狏匹配，则狏被 视 为 属 性犪犻的 一 个 候 选 值，并 在犵（狆）中 创建 一 条 权 重 为的 边（犪犻，狏） ，如 果（犪犻，狏）已 经 存 在，则 将 其 权 重 加 执 行 算 法之 后 将 生 成 一 张 新 的二 部 图犵（狆）犃 （狆），犞 （狆），犈 （狆） ，与犵（狆）相 比 多 了一 些 新 增 的 节 点

49、 和 边，如 图（）所 示犃 （狆）中 新 增的 节 点 是 潜 在 的 模 式 级 缺 失，而犞 （狆）中 新 增 的 节 点是 潜 在 的 值 级 缺 失，新 增 边 的 权 重 是 通 过狋犻狋（狆）和犱 犲 狊（狆）所 找 到 的 缺 失 证 据 的 支 持 数定 义 冲 突 属 性犃 （狆）中 与 多 个 值 节 点 邻 接的 属 性 节 点 称 为 冲 突 属 性我 们 需 要 在 冲 突 属 性 的 多 个 邻 接 值 节 点 之 间 保留 一 个 最 可 能 正 确 的 值 节 点，这 部 分 内 容 见 节 错 误 值 检 测对 于 任 意 商 品狆，可 以 根 据狋犻狋（狆

50、）和犱 犲 狊（狆）检 测出 属 性 表 中 可 能 错 误 的 属 性 值（比 如，表中 第个商 品 的 标 题 和 文 本 描 述 暗 示“产 品 型 号”属 性 正 确 的值 应 该 是“ ” ）算 法 错 误 值 检 测输 入：犌犃狊，犞狊，犈 ，犵（狆）犃 （狆），犞 （狆），犈 （狆） ，狋犻狋（狆），犱 犲狊（狆），犃（狆）输 出：犵（狆） 犪犻犃（狆） 狏犪狊 狌 狆（犪犻）犞（犪） 狏 狋犻狋（狆） 犱 犲狊（狆） （犪犻，狊 狌 狆（狏）狉 犲 狆）犈（狆） 狑（犪犻，狊 狌 狆（狏）狉 犲 狆） 犃 （狆）犃 （狆）犪犻 犞 （狆）犞 （狆）狊 狌 狆（狏）狉 犲 狆 狑

51、（犪犻，狊 狌 狆（狏）狉 犲 狆） 犵（狆）算 法描 述 了 错 误 值 检 测 的 过 程对 于犃（狆）中每 一 个 属 性犪犻，遍 历狏犪狊 狌 狆（犪犻）犞（犪）中 的 每 一 个 元素狏，查 看 在狋犻狋（狆）和犱 犲 狊（狆）中 是 否 存 在 任 何 一 个 子 字符 串 与狏相 等如 果 存 在，则 在犵（狆）中 添 加 一 条 新增 边，如 果 这 条 边 已 经 存 在，则 使 权 重 加 经 过 上述 步 骤，对 于 任 何 能 够 表 明 当 前 属 性 的 值 是 错 误 的证 据 都 存 储 于犵（狆）中（以 边 的 形 式 存 储，边 的 权 重对 应 支 持 数

52、） ，如 图（）所 示经 过 错 误 值 检 测 后，图犵（狆）中 会 产 生 新 的 冲 突 属 性，下 一 小 节 将 介 绍 如何 为 冲 突 属 性 选 择 最 可 能 正 确 的 值 正 确 值 确 认经 过 缺 失 值 填 充 和 错 误 值 检 测 后，图犵（狆）中 会存 在 冲 突 属 性，例 如 图（）中 的犪和犪对 于犵（狆）中 任 何 一 个 冲 突 属 性（冲 突 属 性 的 候选 值 集 合 记 为犞（犪犻） ，可 以 根 据 以 下 两 个 策 略 之 一来 为犪犻选 择 一 个 值狏：（）狏 狏犞（犪犻）狑（犪犻，狏） ；（）狏原 始 值 狑（犪犻，狏）狏犞（犪犻

53、）狑（犪犻，狏） 狏犞（犪犻）狑（犪犻，狏） ，烅烄烆其 它第个 策 略 较 为 直 观，在 多 个 值 之 间 选 择 支 持 数最 大 的 值第个 策 略 更 为 保 守，只 有 当 最 大 的 支 持计 算 机 学 报 年数 占 全 部 支 持 数 的 和 某 一 个 给 定 的 阈 值后，才 选 择支 持 数 最 大 的 值，否 则 保 持 原 值 以 防 止 错 误 的 修 改保 守 参 数的 取 值 范 围 是，越 大，在 改 变 值 时就 越 保 守当 狑（犪犻，狏）狏犞（犪犻）狑（犪犻，狏）时，策略与 策 略等 价当 时，不 会 进 行 任 何 数 据修 复经 过 上 述 步

54、骤，完 成 了 对 商 品狆的 缺 失 值 填 充和 错 误 值 修 复，最 终 的 结 果 如 图（）所 示 商 品 归 一 化本 节 介 绍 在 模 式 已 经 集 成、噪 音 已 经 消 除 的 数据 上 进 行 商 品 归 一 化本 文 的 商 品 归 一 化 包 含 特 征选 择、分 类 器 训 练 和 商 品 聚 类个 步 骤 特 征 选 择 属 性 表属 性 表 含 有 详 细 和 丰 富 的 结 构 化 信 息，它 在 商品 归 一 化 中 的 作 用 在 经 过 数 据 预 处 理 之 后 得 到 了 进一 步 加 强，因 此 是 首 选 的 特 征我 们 将 属 性 表 中

55、 的 所有 属 性 都 作 为 特 征由 于 数 据 已 经 通 过犌统 一 了模 式，因 此 共 有犃狊个 特 征若 两 个 商 品 在 某 个 属性 上 的 取 值 分 别 为狏和狏，则 他 们 在 该 特 征 上 的 相似 度 定 义 如 下：犛 犻 犿犻（狏，狏），狏狏狀 狆，狏 ，或 者狏 ，狏狏烅烄烆由 于 已 经 在 数 据 预 处 理 过 程 中 将 相 互 等 价 的 值进 行 了 统 一 的 转 化，因 此 使 用 等 值 判 断 决 定 相 似 度注 意 如 果狏或狏中 有 一 个 是 空 值，则 说 明 两 个 商 品可 能 不 是 同 一 类 商 品，这 在 一 定

56、程 度 上 说 明 两 个 商品 不 匹 配对 于 这 种 情 况，规 定 相 似 度 取 值 为狀 狆（空值 惩 罚 系 数，狀 狆取，） ） 标题标 题 是 对 属 性 表 中 的 特 征 的 补 充计 算 两 个 标 题狋和狋之 间 相 似 度 最 简 单 的 方法 是 使 用 编 辑 距 离 或 者 余 弦 相 似 度但 是 由 于 卖家 常 常 在 标 题 中 添 加 一 些 流 行 但 与 商 品 内 容 相 关性 很 低 的 关 键 词，导 致 同 款 商 品 的 标 题 相 似 度 可 能较 低，不 同 款 商 品 的 标 题 相 似 度 也 可 能 较 高为 克 服此 问 题

57、，本 文 使 用 分 词 工 具 对狋和狋进 行 分 词，然 后利 用 对 每 一 个 词 进 行 加 权，最 后 计 算 带 权 的 相 似 度，从 而 降 低 流 行 词 汇 的 影 响计 算 公式 如 下：犛 犻 犿（狋，狋）犜 犉 犐 犇 犉狑狑（狋）狑狑（狋）狑狑狑（狋）狑狑（狋）烄烆烌烎狑 价格价 格 是 进 行 商 品 归 一 化 的 一 个 重 要 特 征，尤 其 是当 一 个 商 品 是 另 一 个 商 品 的 配 件 时，两 者 价 格 上 的 差异 就 尤 为 重 要（比 如“ ”和“ 壳” ）两 个商 品 之 间 的 价 格 相 似 度 定 义 如 下：犛 犻 犿 （狆

58、 狉 犻犮 犲，狆 狉 犻犮 犲） 狆 狉 犻犮 犲狆 狉 犻犮 犲 （狆 狉 犻犮 犲，狆 狉 犻犮 犲） 用 户 评 论大 多 数 的 购 物 网 站 支 持 用 户 购 买 某 商 品 后，对该 商 品 提 交 有 关 商 品 质 量、服 务 态 度 等 方 面 的 评 论一 个 普 遍 的 规 律 是 两 个 同 款 商 品 的 评 论 内 容 往 往 涉及 许 多 共 同 的 特 征因 此 商 品 的 用 户 评 论 可 以 为 商品 归 一 化 提 供 重 要 的 特 征从 评 论 中 抽 取 用 户 所 讨 论 的 特 征 的 步 骤 如 下：首 先，使 用 分 词 和 标 注

59、工 具 将 评 论 中 的 语 句转 化 为 带 标 记 的 词例 如， “鞋 子 很 漂 亮，皮 质 很 柔软 ！”经 过 分 词 和 标 注 后 为“鞋 子很漂 亮，皮 质很柔 软！” ，其 中“” 、 “” 、 “”和“”分 别 代 表“名 词” 、 “副 词” “形 容 词”和“符 号”我 们 发 现 在 评 论 中，名 词 和 形 容 词 往 往 是 有 意 义 的词，其 中 名 词 常 常 是 谈 论 的 某 一 个 方 面，形 容 词 是 对这 一 方 面 的 评 价本 文 关 注 的 是 评 论 中 所 谈 论 的 中心 语，而 不 是 用 户 的 评 价，因 此 我 们 只

60、抽 取 名 词 作 为特 征然 后，进 行 特 征 词 选 取评 论 中 许 多 名 词 对 区 分商 品 的 贡 献 不 大，例 如“秋 季” 、 “正 品”和“韩 版”等因此 我 们 需 要 在 提 取 出 的 名 词 中 选 择 对 商 品 归 一 化 贡献 大 的 名 词 作 为 特 征所 采 取 的 策 略 是 对 某 商 品狆的 所 有 评 论 中 的 名 词 按 照 进 行 打 分，然 后 将 名词 按 照 打 分 的 降 序 排 列，选 择 前犿个 名 词 作 为 特 征将 从狆中 按 照 打 分 函 数 取 得 的 前犿个 名 词 所 组 成 的集 合 记 为犃 狊 狆（狆）

61、狑，狑， ，狑犿对 于 任 意 两 个商 品狆犻和狆犼，它 们 在 评 论 特 征 上 的 相 似 度 定 义 为犛 犻 犿 （狆犻，狆犼）犃 狊 狆（狆犻）犃 狊 狆（狆犼）犃 狊 狆（狆犻）犃 狊 狆（狆犼） 图片每 款 商 品 都 具 有 相 应 的 图 片为 了 减 少 计 算 量，期王立 等：电 子 商 务 商 品 归 一 化 方 法 研 究本 文 只 在 商 品 搜 索 页 面 中 所 显 示 的 图 片 作 为 特 征，而 暂 不 考 虑 商 品 页 面 中 的 诸 多 图 片由 于 商 品 规 模 庞 大，加 之 图 片 相 似 度 仅 仅 是 多个 特 征 中 的 一 个，因

62、 此，本 文 采 用 代 价 较 低 的 基 于 直方 图 的 图 片 相 似 度假 设 任 意 两 款 商 品 的 图 片 直 方图 分 别 为狆和 和狆 ，则 图 片 相 似 度 定 义 如 下：犛 犻 犿 （狆，狆）犖犻 狆（犻）狆（犻槡） ，其 中狆（犻）和狆（犻）分 别 为狆和狆 在 第犻个 像 素 位 上的 灰 度 值需 要 强 调 的 是，在 图 片 质 量 较 高 且 缺 乏 其它 有 效 特 征 的 情 况 下，可 以 采 用 计 算 更 为 复 杂 效 果更 好 的 其 它 图 片 相 似 度 分 类 器 训 练根 据 小 节 的 特 征 选 择，每 一 个 商 品 都 有

63、犽 犃狊 个 特 征（犃狊个 特 征 来 自 属 性 表，剩 下的 四 个 特 征 分 别 来 自 标 题、价 格、评 论 和 图 片）同 时对 于 任 意 两 个 商 品狆犻和狆犼，可 以 根 据 小 节 的 定义 计 算 它 们 的 相 似 度 向 量狊（狆犻，狆犼）狊犻， ，狊犽本文 将 两 个 商 品狆犻和狆犼是 否 匹 配 的 问 题 看 做 二 类 分类 问 题，并 使 用 线 性 逻 辑 斯 蒂 回 归 模 型 来 训 练 分 类器分 类 器 训 练 完 毕 后，就 可 以 利 用 分 类 器 预 测 两 两商 品 相 互 匹 配 的 概 率，然 后 产 生 商 品 之 间 的

64、相 似 度矩 阵，最 后 对 相 似 度 矩 阵 进 行 聚 类 实 现 商 品 归 一 化本 文 使 用 二 类 分 类 器，而 不 使 用 多 类 分 类 器 的 原 因有 两 点：（）多 类 分 类 器 中 所 需 要 训 练 的 参 数 个 数 远 远大 于 二 类 分 类 器，尤 其 是 在 网 站 这 种 实 体 数（商 品 的 款 式 数）巨 大 的 环 境 下，多 类 分 类 器 过 于复 杂（）若 使 用 多 类 分 类 器，训 练 数 据 集 就 必 须 覆盖 所 有 的 类 别然 而 在 电 子 商 务 网 站 的 场 景 下，商 品的 实 体 数 目 巨 大，甚 至 是

65、 未 知 的为 所 有 的 实 体 都 进行 数 据 标 注 显 然 是 不 现 实 的而 二 类 分 类 器 不 需 要训 练 集 覆 盖 所 有 的 实 体在 二 类 分 类 器 中，设 定犆为 匹 配，犆为 不 匹 配犆类 的 后 验 概 率 可 以 利 用 一 个 关 于 特 征 向 量 的 带权 线 性 和 的 函 数 来 建 模：犘（犆狊）狔（狊） 狑 狊 （狑犜狊狑）在犘（犆狊）中，狑狑，狑 ，其 中狑是 偏 置、狑是 特 征 向 量 的 权 重，狊，狊犘（犆狊） 犘（犆狊）的 作 用 是：如 果 两 个 商 品 的 特 征 越 相 似，它 们 在 所 有特 征 上 相 似 度

66、等 于或 者 接 近的 值 就 越 多，因 此特 征 相 似 度 的 带 权 和（狑犜狊）就 越 大，通 过 函数 得 到 的 估 计 概 率 就 越 接 近 于，反 之 亦 然利 用 训练 数 据 集 通 过 极 大 似 然 估 计 可 以 对狑以 及 偏 置狑进 行 训 练训 练 完 毕 后狑中 的 第犽个 值 反 映 了 第犽个 特 征 在 区 分 商 品 时 的 重 要 程 度：狑犽越 大，说 明 第犽个 特 征 的 重 要 性 越 高，则 分 类 器 将犽特 征 上 不 同 的商 品 进 行 匹 配 的 可 能 性 就 越 低 商 品 聚 类至 此 我 们 已 经 训 练 用 来 预

67、 测 两 两 商 品 之 间 匹 配概 率 的 分 类 器然 而 本 文 的 目 标 是 找 到 所 有 指 向 同一 个 实 体 的 商 品因 此 需 要 将 两 两 匹 配 的 估 计 概 率转 换 为 一 个 划 分，即 将 所 有 商 品 划 分 为 若 干 个 互 不相 交 的 子 集，使 得 同 一 个 子 集 里 的 所 有 商 品 都 指 向同 一 个 客 观 实 体或 者 说，我 们 需 要 设 计 一 个 算 法，将 两 个 商 品 之 间 的 实 体 匹 配 转 化 为 集 合 之 间 的 实 体匹 配最 直 观 的 方 法 是 将 所 有 商 品 建 模 为 一 张 图

68、，图中 的 节 点 为 商 品，节 点 之 间 存 在 一 条 无 向 边 当 且 仅当 两 个 节 点 所 对 应 的 商 品 指 向 同 一 实 体 的 估 计 概 率大 于 这 样 图 中 的 每 一 个 连 同 分 支 中 的 所 有 商品 就 被 认 为 是 指 向 同 一 个 实 体 的 商 品然 而 该 方 法中 分 类 器 的 伪 真 错 误 会 将 两 个 不 相 关 的 联 通 分 支 错误 地 连 同，因 此 本 方 法 对 分 类 器 的 准 确 率 过 于 敏 感本 文 的 解 决 方 案 是 用 两 两 商 品 之 间 匹 配 的 概 率生 成 商 品 的 相 似

69、度 矩 阵，然 后 对 相 似 度 矩 阵 聚 类 来实 现 划 分使 用 聚 类 进 行 划 分 时 不 但 考 虑 两 两 商 品之 间 的 相 似 度，还 会 考 虑 到 邻 域 信 息，因 此 会 得 到 更好 的 结 果本 文 使 用 现 有 的 聚 类 算 法（如犽 或 ）来 对 商 品 进 行 划 分在 聚 类 过 程 中 所 期 望 的 簇的 个 数 是 通 过 纯 度（ ）或 者 直 径（ ）来决 定 的当 商 品 个 数 很 大 时，相 似 度 矩 阵 的 存 储 代 价和 聚 类 的 计 算 代 价 都 很 高解 决 方 案 是 使 用 分 类 信息（如 商 品 的 类

70、别 信 息）将 商 品 划 分 为 若 干 个 不 相 交的 子 集，使 得 子 集 中 商 品 的 数 目 远 远 小 于 全 部 商 品的 数 目，然 后 在 各 个 划 分 上 分 别 进 行 相 似 度 矩 阵 的存 储 和 聚 类 实 验 与 评 估 数 据 集本 文 实 验 中 使 用 的 数 据 集 是 中 国 某 个 大 型 计 算 机 学 报 年网 站 的 真 实 数 据数 据 集 包 含 有 个 商 品 类 别、 多 万 个 商 品 和 多 万 条 评 论我 们 选 择 个具 有 代 表 性 的 商 品 类 别，并 从 每 个 类 别 中 随 机 选 择 的 商 品 作 为

71、 实 验 数 据实 验 数 据 中 商 品 的 类 别、商 品 数 和 实 体 数（商 品 的 款 式 数）见 表 表 实 验 数 据 中 商 品 类 别、商 品 数 目 和 实 体 数类 别商 品 数实 体 数手 机 相 机 笔 记 本 电 脑 网 络 设 备 恤 牛 仔 裤 钱 包 夹 克 香 水 洗 发 水 女 鞋 运 动 鞋 数 据 噪 音 统 计 标 题 中 的 噪 音本 文 通 过个 方 面 来 测 试 标 题 中 的 噪 音 含 量：（）标 题 中 与 商 品 内 容 非 相 关 词 的 比 例； （）同 款 商品 标 题 之 间 的 字 符 串 相 似 度； （）非 同 款 商

72、 品 之 间的 字 符 串 相 似 度非 相 关 词 是 指 那 些 对 商 品 的 归 一 化 帮 助 不 大 的词非 相 关 词 包 括 广 告 词 汇 和 情 感 词 汇（比 如“包邮”和“漂 亮” ） ，也 包 括“衣 服”和“相 机”这 种 只 有助 于 区 分 商 品 类 别，但 对 商 品 归 一 化 几 乎 没 有 帮 助的 词 汇非 相 关 词 是 进 行 归 一 化 的 噪 音我 们 随 机 选择 个 商 品 并 对 其 标 题 中 的 非 相 关 词 进 行 人 工标 注，结 果 见 图（商 品 按 照 非 相 关 词 的 比 例 降 序 排列）实 验 结 果 表 明 超

73、 过 的 商 品 标 题 中 含 有 至少 的 非 相 关 词，至 少 有 商 品 的 标 题 中 含 有至 少 的 非 相 关 词，这 说 明 标 题 中 含 有 大 量 的 非相 关 词图 商 品 标 题 中 非 相 关 词 分 布为 了 测 试 非 相 关 词 对 商 品 归 一 化 的 影 响，分 别对 比 同 款 商 品 之 间 的 字 符 串 相 似 度 和 非 同 款 商 品 之间 的 字 符 串 相 似 度我 们 随 机 选 择款 商 品 数 超 过 的 产 品，为 分 别 对 这款 产 品 随 机 抽 样 个 商品，将 每 款 产 品 的 个 抽 样 商 品 作 为 一 个

74、组，因 此得 到组 商 品然 后 再 选 取 另 外组 商 品（每 组 个 商 品） ，使 得 每 组 中 的 商 品 都 来 自 同 一 个 商 品 类 别但 各 自 属 于 不 同 款 的 商 品本 文 分 别 使 用 编 辑 距 离、 相 似 度 和犖 相 似 度，对 上 述 组 商品 分 别 计 算 组 中 两 两 商 品 之 间 的 字 符 串 相 似 度，然后 取 平 均 值，结 果 见 图 统 计 结 果 中 前组 与 后组 的 字 符 串 相 似 度（在种 不 同 的 度 量 方 法 下）没有 明 显 差 异，这 说 明 标 题 中 噪 音 很 大，仅 仅 依 靠 标 题难 以

75、 实 现 商 品 归 一 化图 同 款 商 品 和 非 同 款 商 品 的 标 题 相 似 度 属 性 表 中 的 噪 音为 了 评 估 属 性 表 中 的 噪 音，本 文 从 所 有 商 品 类 别中 随 机 抽 样 出 个 商 品，然 后 人 工 统 计 每 个 商 品的 属 性 表 中 缺 失 值 和 错 误 值 的 个 数，结 果 见 图（商品 分 别 按 照 缺 失 值 和 错 误 值 所 占 的 比 例 降 序 排 列）统 计 结 果 表 明 的 商 品 属 性 表 的 存 在 明 显 数 据 质量 问 题，有 的 商 品 属 性 表 的 数 据 质 量 问 题 严 重图 属 性

76、表 中 缺 失 值 和 错 误 值 所 占 比 例 数 据 填 充 和 数 据 清 理 算 法 的 评 估在 已 经 标 注 好 缺 失 值 和 错 误 值 的 个 商品 中，利 用 本 文 提 出 的 数 据 填 充 和 数 据 清 理 方 法 对数 据 进 行 祛 噪，将 结 果 与 标 注 数 据 进 行 比 较在 实 验期王立 等：电 子 商 务 商 品 归 一 化 方 法 研 究中，我 们 分 别 设 定 保 守 参 数为， 和 ，实 验结 果 如 表所 示（其 中 最 好 的 结 果 用 粗 体 表 示）实验 结 果 表 明 本 文 提 出 的 数 据 清 理 算 法 在 进 行

77、数 据 填充 时 的 准 确 率 和 召 回 率 都 很 高（尤 其 是 当 时） ，错 误 值 修 复 的 效 果 也 较 好（注 意 本 文 的 场 景 下，准 确 率 比 召 回 率 更 为 重 要，因 为 对 正 确 值 的 错 误 修改 比 遗 漏 修 改 错 误 值 更 为 严 重）在 后 续 的 实 验 中，我 们 设 定 缺 失 值 填 充 时 的 ，设 定 错 误 值 修 复时 的 表 数 据 清 理 的 准 确 率 和 召 回 率参 数缺 失 值 填 充准 确 率召 回 率错 误 值 修 复准 确 率召 回 率 商 品 归 一 化 效 果 评 估我 们 将 本 文 的 商

78、品 归 一 化 方 法 与 以 下个 方 法在 效 果 上 进 行 对 比：（）对 比 方 法（标 题 文 本 相 似 度）此 方 法 只 是用 商 品 的 标 题 来 进 行 商 品 归 一 化，如 果 两 个 商 品 的标 题 之 间 的 字 符 串 相 似 度 大 于 某 个 事 先 给 定 的 阈 值，则 认 为 两 者 是 匹 配 的我 们 发 现 编 辑 距 离 和犖 的 效 果 不 佳，因 此 我 们 使 用 中 文 分 词 工 具对 标 题 进 行 分 词，然 后 计 算 它 们 的 相 似 度（）对 比 方 法（标 题 的 带 权 文 本 相 似 度）此 方法 与 对 比 方

79、 法基 本 相 同，区 别 是 在 计 算 相 似 度 时，对 每 一 个 词 利 用 值 加 权（）对 比 方 法（自 适 应 的 商 品 归 一 化）此 方 法基 于 文 献 ，使 用 标 题、价 格 和 文 本 描 述 作 为 特征，然 后 使 用 感 知 机 来 训 练 每 个 特 征 的 权 重与 文 献 不 同 的 是，我 们 在 该 方 法 的 特 征 中 添 加 了 属 性 表（）对 比 方 法（自 适 应 的 商 品 归 一 化）此 方 法是 对 对 比 方 法的 扩 充，除 使 用 标 题、价 格 和 文 本 描述 作 为 特 征 外，还 添 加 属 性 表、评 论 和 图

80、 片 作 为 特征，其 目 的 是 为 了 与 本 文 提 出 的 方 法 进 行 更 公 平 的对 比我 们 将 实 验 数 据 中 的 每 一 个 商 品 类 别 的 数 据 都平 均 分 为组，并 进 行则 交 叉 验 证与 传 统 的 交 叉验 证 不 同 的 是，在 每 组 验 证 中，我 们 只 用组 数 据 对模 型 进 行 训 练，用 其 余组 数 据 对 训 练 的 模 型 进 行测 试这 是 因 为 在 环 境 中，商 品 数 目 太 大，以 至于 只 有 很 小 一 部 分 数 据 能 够 被 标 注，只 用 一 组 数 据 作为 训 练 集 是 为 了 尽 可 能 拟

81、合 网 站 的 真 实 环 境在 训 练 集 中，我 们 将 所 有 两 两 匹 配 的 商 品 对 作为 正 样 本，将 所 有 两 两 不 匹 配 的 商 品 对 作 为 负 样 本若 一 共 有犽个 实 体（犽款 商 品） ，每 个 实 体 分 别 有犖， ，犖犽个 商 品，则 总 共 有犽犻 犆犖犻个 正 样 本 和犆犖犻犽犻 犆犖犻个 负 样 本在 通 常 情 况 下 负 样 本 数 往往 远 大 于 正 样 本 数，这 将 造 成 训 练 的 不 平 衡 问 题因此 需 要 根 据 某 一 采 样 率 对 负 样 本 进 行 均 匀 采 样，使得 正 负 样 本 的 数 目 相 当

82、在 本 文 的 实 验 中，正 样 本 与负 样 本 的 比 例 为 ，故 将 采 样 率 设 定 为 实 验 结 果 的 评 测 标 准我 们 使 用 准 确 率 和 召 回 率 来 评 测 商 品 归 一 化结 果：犘 狉 犲 犮犻狊犻 狅 狀犜 犘犜 犘 犉 犘，犚 犲 犮 犪 犾犾犜 犘犜 犘 犉 犖，其 中犜 犘、犉 犘和犉 犖分 别 是 真 阳 数、假 阳 数 和伪 阴 数如 果 模 型 将 两 个 相 互 匹 配 商 品 预 测 为“相 互匹 配” ，则 是 真 阳 的 结 果，如 果 预 测 为“相 互 不 匹 配” ，则 是 伪 阴 的 结 果如 果 模 型 将 两 个 相

83、互 不 匹 配 的 商品 预 测 为“相 互 匹 配” ，则 是 假 阳 的 结 果我 们 使 用犉 来 综 合 评 价 准 确 率 和 召 回 率：犉 犘 狉 犲 犮犻狊犻 狅 狀犚 犲 犮 犪 犾犾 犘 狉 犲 犮犻狊犻 狅 狀犚 犲 犮 犪 犾犾 实 验 结 果 和 分 析我 们 在 个 商 品 类 别 上 分 别 用 本 文 的 方 法 和个 对 比 方 法 进 行 了 实 验对 比 方 法和 对 比 方 法不 需 要 训 练 模 型，可 以 通 过 改 变 阈 值来 调 整 准 确率 和 召 回 率 之 间 的 平 衡越 大，预 测 为“匹 配”的 要求 就 越 高，从 而 提 高

84、了 准 确 率，但 于 此 同 时 牺 牲 了 召回 率同 样，降 低可 以 提 高 召 回 率，但 却 牺 牲 了 准确 率对 比 方 法和 本 文 的 方 法 中 使 用 了则 交 叉验 证需 要 注 意 的 是，这 两 种 方 法 的 实 质 是 通 过 训 练数 据 集 决 定 不 同 特 征 的 权 重，因 此 训 练 集 必 须 覆 盖所 有 的 特 征，即 保 证 任 意 一 个 特 征 都 必 须 至 少 出 现在 一 个 训 练 样 本 中这 一 要 求 很 容 易 满 足，因 为 在 进行 模 式 集 成 之 后，每 一 个 商 品 类 别 的 属 性 表 中 不 同的 属

85、 性 数 不 会 超 过 在 对 比 方 法 和 本 文 的 方 法 中不 需 要 去 指 定 偏 置狑，但 可 以 在 测 试 时 调 整狑来平 衡 准 确 率 和 召 回 率本 文 的 方 法 需 要 在 计 算 特 征相 似 度 时 设 定 空 值 惩 罚 系 数狀 狆通 过 实 验 发 现，狀 狆在 取 值 为 ， 的 实 验 效 果 最 好，且 在 此 范 围 内计 算 机 学 报 年狀 狆的 取 值 变 化 对 实 验 结 果 影 响 很 小，因 此 本 文 设 定狀 狆 图展 现 了个 对 比 方 法 和 本 文 的 方 法 在 个 商 品 类 别 上 进 行 商 品 归 一 化

86、 的 平 均 准 确 率 和 召 回率实 验 结 果 表 明 对 比 方 法和 对 比 方 法的 效 果不 佳，而 且 当 准 确 率 较 高 时 召 回 率 很 低这 是 因 为 当设 为 很 高 的 值 时，这 两 个 方 法 只 将 标 题 几 乎 相 同的 商 品 预 测 为“相 互 匹 配”的 商 品，因 此 准 确 率 高，但召 回 率 会 非 常 低于 此 同 时，准 确 率 随 着 召 回 率 的 提高 而 急 剧 下 降，这 是 因 为 标 题 中 含 有 的 不 相 关 词 导致“不 匹 配”的 商 品 标 题 也 会 较 为 相 似对 比 方 法效 果 要 好 于 对 比

87、 方 法，这 是 因 为 对 比 方 法在 计算 字 符 串 相 似 度 时 给 词 加 上 了 由 计 算 的 权重，因 此 那 些 相 对 流 行 但 与 商 品 内 容 无 关 的 词 的 所起 到 的 噪 音 作 用 就 被 降 低 了但 对 比 方 法的 效 果依 然 远 远 不 能 达 到 实 际 需 求，这 也 说 明 了 进 行 商 品归 一 化 不 能 仅 仅 用 商 品 的 标 题 作 为 特 征图 本 文 方 法 和个 对 比 方 法 的 实 验 效 果对 比 方 法的 结 果 远 远 优 于 前 两 个 方 法这 得益 于 此 方 法 使 用 了 价 格 和 文 本 描

88、 述 这 两 个 更 为 丰 富的 特 征 并 使 用 了 机 器 学 习 的 方 法 来 训 练 特 征 的 权重对 比 方 法在 对 比 方 法的 基 础 上 有 所 提 高，这是 因 为 它 是 用 了 评 论、属 性 表 格 等 额 外 的 特 征但 对比 方 法的 提 升 空 间 十 分 有 限，这 反 映 出 评 论、属 性表 格 尽 管 有 用，但 由 于 其 噪 音 太 大，直 接 使 用 难 以 获得 较 大 的 帮 助本 文 的 方 法 明 显 优 于 前个 比 方 法，这 是 因 为： （）本 文 进 行 了 模 式 集 成，因 此 那 些 本 质上 相 同、表 述 不

89、同 的 属 性 可 以 被 作 为 一 个 属 性 对 待；（）本 文 进 行 了 缺 失 值 填 充 和 错 误 值 修 复，使 得 用来 训 练 模 型 的 特 征 更 为 全 面 和 准 确为 了 验 证 模 式 集 成 和 数 据 清 理 在 本 文 提 出 的 方法 中 的 作 用，在 本 文 的 方 法 基 础 上 定 义 了个 变 种：（）本 文 的 方 法（ ） ； （）不 进 行 数 据 清 理（ ） ； （）既 不 进 行 模 式 集 成 也 不 进 行 数 据 清 理（ ）分 别 按 照 上 述个 方 法 在 个 商 品 类 别 上 进行 实 验，实 验 结 果 的犉 如

90、 图所 示实 验 结果 表 明，进 行 数 据 清 理 的 实 验 效 果 在 整 体 上 要 优 于既 不 进 行 模 式 集 成 也 不 进 行 数 据 清 理 的 实 验 效 果，从 而 验 证 了 模 式 集 成 对 商 品 归 一 化 效 果 提 升 的 贡献此 外，进 行 数 据 清 理 后，各 个 商 品 类 别 的 实 验 效果 都 得 到 了 明 显 提 升，从 而 验 证 了 数 据 清 理 对 实 现商 品 归 一 化 的 重 要 作 用，以 及 本 文 提 出 的 数 据 清 理算 法 的 有 效 性图 对 比个 变 种 方 法 与 本 文 方 法 的 实 验 结 果

91、总结随 着 电 子 商 务（特 别 是 模 式）的 发 展，日 益增 长 的 商 品 规 模 使 得 进 行 商 品 归 一 化 这 一 任 务 变 得越 来 越 迫 切但 由 于 商 品 数 据 噪 音 严 重 且 缺 乏 统 一的 模 式，进 行 商 品 归 一 化 的 困 难 很 大本 文 提 出 了 一种 将 数 据 预 处 理 和 商 品 归 一 化 相 结 合 的 架 构，通 过充 分 利 用 已 有 数 据，进 行 数 据 的 验 证 以 及 填 充文 章最 后 在 真 实 数 据 集 上 进 行 了 实 验，结 果 验 证 了 本 文提 出 的 方 法 的 有 效 性本 文 在

92、 进 行 特 征 选 择 的 时 候，并 没 有 考 虑 到 个 属 性 之 间 的 正 交 性，这 使 得 本 文 的方 法 可 能 引 入 冗 余 的 特 征，从 而 造 成 计 算 代 价 的 提升 和 潜 在 的 性 能 降 低 风 险如 何 判 断 特 征 之 间 的 正交 性 及 避 免 引 入 冗 余 的 特 征，将 是 下 一 步 的 研 究工 作参考文献 ， ， ， ， ， （ ） ： ， ， （） ： 期王立 等：电 子 商 务 商 品 归 一 化 方 法 研 究 ， ： ， ， ： ， ， ， ， ， ： ， ， ， ， ： ， ， ， （） ： ， ， ， ： ， ，

93、， ， ： ， ， ， ， ： ， ， ， ： ， ， ， ， ： ， ， ， （ ） ： ， ， ， ： ， ， ： ， ， ， ： ， ， ， ， （） ： ， ， ， ， ，（ ） ： ， ， ， ， ： ， ， ： ， ， ： ， ， ， ， ， ： ， ， ， ， ， ： 犠 犃 犖 犌 犔 犻， ， ， ， 犣 犎 犃 犖 犌 犚 狅 狀 犵， ， ， 犛 犎 犃 犆 犺 犪 狅 犉 犲 狀 犵， ， ， 犠 犃 犖 犌 犡 犻犪 狅 犔 犻 狀 犵， ， ， ， ， 犣 犎 犗 犝 犃 狅 犢 犻 狀 犵， ， ， ， ， ， 计 算 机 学 报 年犅 犪 犮 犽 犵 狉 狅 狌 狀 犱 ， ， ， （ ） ， ， ， ， ， ， ， ， ， ， （ ） ， （ ） （ ） （ ） （ ）期王立 等：电 子 商 务 商 品 归 一 化 方 法 研 究