《电子商务商品归一化方法研究经典》由会员分享,可在线阅读,更多相关《电子商务商品归一化方法研究经典(14页珍藏版)》请在金锄头文库上搜索。
1、书书书第 卷第期 年月计 算 机 学 报 收 稿 日 期: ;最 终 修 改 稿 收 到 日 期: 本 课 题 得 到 国 家 自 然 基 金( , ) ,国 家“九 七 三”重 点 基 础 研 究发 展 规 划 项 目 基 金( ) ,国 家“八 六 三”高 技 术 研 究 发 展 计 划 项 目 基 金( )资 助王立,男, 年 生,博 士 研究 生,主 要 研 究 方 向 为 数 据 挖 掘、内 存 数 据 库、海 量 数 据 管 理 : 张蓉(通 信 作 者) ,女, 年 生,博 士,副 教 授,主 要 研 究 方 向 为 信 息 检 索、 数 据 管 理 : 沙 朝 锋,男, 年 生
2、,博 士,讲 师,主 要 研 究 方 向为 机 器 学 习、数 据 挖 掘王 晓 玲,女, 年 生,博 士,教 授,博 士 生 导 师,主 要 研 究 领 域 为 海 量 数 据 管 理、 服 务 管 理周 傲 英,男, 年 生,博 士,教 授,博 士 生 导 师,主 要 研 究 领 域 为 数 据 管 理 与 信 息 系 统电 子 商 务 商 品 归 一 化 方 法 研 究王立)张蓉)沙 朝 锋)王 晓 玲)周 傲 英)(华 东 师 范 大 学 软 件 学 院上 海 )(复 旦 大 学 计 算 科 学 技 术 学 院上 海 )(复 旦 大 学 上 海 市 智 能 信 息 处 理 实 验 室上
3、 海 )摘要电 子 商 务 网 站 中 不 断 增 长 的 商 品 数 量 和 商 品 规 模 对 数 据 管 理 提 出 了 新 的 挑 战,其 中 一 项 重 要 基 本 任 务 是商 品 归 一 化,即 识 别 属 于 同 一 个 客 观 实 体 的 所 有 商 品商 品 归 一 化 的 实 现 有 助 于 提 高 商 品 搜 索 的 准 确 性、改 善 用 户的 体 验但 由 于 在 电 子 商 务 网 站 中,特 别 是 在 ( )模 式 下,商 品 信 息 的 数 据 质 量 很 低 且 缺乏 统 一 的 模 式 定 义 规 范,导 致 已 有 的 商 品 归 一 化 方 法 难
4、以 适 用针 对 这 一 问 题,文 中 设 计 了 一 种 将 数 据 集 成、数 据清 理 和 商 品 归 一 化 相 结 合 的 混 合 框 架该 框 架 首 先 基 于 图 的 方 法 进 行 模 式 集 成,然 后 利 用 商 品 的 描 述 信 息 进 行 数据 清 理,从 而 得 到 数 据 质 量 更 高 且 模 式 统 一 的 商 品 信 息 数 据;在 数 据 集 成 和 数 据 清 理 之 后,利 用 逻 辑 斯 蒂 回 归( )模 型 训 练 分 类 器,从 而 得 到 商 品 之 间 的 相 似 度 矩 阵,最 后 对 相 似 度 矩 阵 聚 类 实 现 商 品 归
5、一 化通 过 与 已 有 的 方 法 在 真 实 数 据 上 进 行 对 比 实 验,验 证 了 文 中 提 出 的 方 法 的 有 效 性关 键 词实 体 识 别;模 式 集 成;数 据 清 理;逻 辑 斯 蒂 回 归;聚 类;电 子 商 务中 图 法 分 类 号 犇 犗 犐号 犃 犘 狉 狅 犱 狌 犮狋 犖 狅 狉 犿 犪犾犻狕 犪 狋犻狅 狀 犕 犲狋 犺 狅 犱 犳 狅 狉 犈 犆 狅 犿 犿 犲 狉 犮 犲 ) ) ) ) )(犇 犲 狆 犪 狉狋 犿 犲 狀 狋 狅 犳 犛 狅 犳 狋 狑 犪 狉 犲 犈 狀 犵 犻 狀 犲 犲 狉犻 狀 犵,犈 犪 狊狋 犆 犺 犻 狀 犪 犖
6、 狅 狉 犿 犪 犾 犝 狀 犻 狏 犲 狉 狊犻狋 狔,犛 犺 犪 狀 犵 犺 犪 犻 )(犛 犮 犺 狅 狅 犾 狅 犳 犆 狅 犿 狆 狌 狋犲 狉 犛 犮犻犲 狀 犮 犲,犉 狌 犱 犪 狀 犝 狀 犻 狏 犲 狉 狊犻狋 狔,犛 犺 犪 狀 犵 犺 犪 犻 )(犛 犺 犪 狀 犵 犺 犪 犻 犓 犲 狔 犔 犪 犫 狅 狉 犪 狋 狅 狉 狔 狅 犳 犐 狀 狋犲犾犾犻 犵 犲 狀 狋 犐 狀 犳 狅 狉 犿 犪 狋犻 狅 狀 犘 狉 狅 犮 犲 狊狊犻 狀 犵,犉 狌 犱 犪 狀 犝 狀 犻 狏 犲 狉 狊犻狋 狔,犛 犺 犪 狀 犵 犺 犪 犻 )犃 犫 狊狋狉 犪 犮狋 , ,
7、 ( ) , , , , , , , , , , , 犓 犲 狔 狑 狅 狉 犱 狊 ; ; ; ; ; 引言在 过 去 的 年 里,电 子 商 务 的 交 易 量 快 速 增长 年,中 国 约 的 网 民 拥 有 网 购 经 历,全 国的 网 购 年 交 易 量 达 到 了 亿 人 民 币,其 中 超 过 的 交 易 量 在 模 式 下 完 成 模 式 电 子 商 务 的 飞 速 发 展 使 得 网 站的 商 品 种 类 和 规 模 呈 爆 炸 式 增 长这 种 增 长 虽 然 给网 购 用 户 带 来 了 更 大 的 选 择 空 间,但 由 于 缺 乏 有 效的 商 品 管 理 机 制,对
8、 用 户 的 购 物 体 验 也 产 生 了 负 面影 响目 前,对 电 子 商 务 数 据 管 理 的 一 个 迫 切 的 任 务是 实 现 有 效 的 商 品 归 一 化( ) ,即 判 断 两 个 或 多 个 商 品 是 否 指 向同 一 个 客 观 实 体(是 否 对 应 的 是 同 款 产 品)商 品 归一 化 在 提 高 用 户 购 物 体 验 中 起 到 很 重 要 的 作 用,主要 表 现 在 以 下个 方 面:()用 户 浏 览用 户 在 购 物 之 前 通 常 要 进 行 商品 搜 索,对 于 搜 索 结 果 的 组 织 目 前 有 两 种 解 决 方 案:同 类 商 品
9、合 并这 一 方 案 展 示 的 是 合 并 之 后 的 商品 分 类,它 的 实 现 建 立 在 商 品 归 一 化 的 基 础 之 上;搜 索 结 果 多 样 化( )该 技 术 用 于 对 搜 索 结 果 的 排 序,实 现 在 考 虑 相 似 度的 基 础 之 上,尽 可 能 多 地 返 回 不 同 的 实 体,从 提 高 返回 结 果 的 信 息 量当 文 本 信 息 具 有 噪 音 的 时 候,基 于文 本 相 似 度 的 搜 索 结 果 多 样 化 的 效 果 不 佳商 品 归一 化 之 后 会 得 到 更 为 准 确 的 商 品 相 似 度,从 而 提 高多 样 化 技 术 的
10、 效 果()产 品 比 较当 用 户 决 定 购 买 某 款 产 品 时,需要 尽 可 能 多 地 调 查 由 不 同 卖 家 所 出 售 的 同 款 商 品,对 商 品 的 价 格、评 价,卖 家 的 信 用 等 诸 多 方 面 进 行 比较商 品 归 一 化 可 以 实 现 同 类 商 品 的 正 确 归 类,提高 用 户 体 验()广 告 推 荐在 各 种 电 子 商 务 网 站 中,用 户 购买 历 史 矩 阵 常 常 用 作 协 同 过 滤 推 荐 的 输 入大 量 的同 款 商 品 会 加 剧 矩 阵 的 稀 疏 性,从 而 导 致 生 成 的 模型 不 准 确商 品 归 一 化
11、可 以 有 效 地 合 并 同 类 商 品,从而 实 现 矩 阵 降 维、祛 噪 的 目 的由 此 可 见,商 品 归 一 化 是 电 子 商 务 网 站 的 一 项 重要 任 务但 模 式 的 异 构 以 及 商 品 描 述 信 息 的 混 乱 主 要给 商 品 归 一 化 任 务 带 来 了 以 下 两 点 挑 战首 先,不 同商 品 之 间 的 模 式 异 构通 常 情 况 下 每 一 个 商 品 都 有 一个 属 性 表,包 含 有 若 干 个属 性,值对,即 , ,如 表所 示属 性 表 提 供 了 商 品 的 详 细 描 述信 息,它 对 商 品 归 一 化 起 到 了 至 关 重
12、 要 的 作 用但 是属 性 表 往 往 缺 乏 统 一 的 模 式 规 范 化 要 求(比 如 对 于“产 品 型 号”属 性,在 一 些 商 品 中 叫“型 号” ,而 在 有 些商 品 中 则 叫“生 产 型 号” ) ,从 而 造 成 模 式 异 构 的 产 生,影 响 商 品 归 一 化 的 效 果其 次,商 品 数 据 中 噪 音 严重商 品 的 描 述 数 据( )是 由 卖 家 填 写对 于 值的 填 写 各 个 网 站 通 常 都 缺 乏 有 效 的 验 证 机 制,导 致商 品 描 述 数 据 中 存 在 大 量 的 异 构 信 息、噪 音 或 缺 失值(比 如 漏 填 了
13、 重 要 的 商 品 属 性,或 是 填 写 了 错 误 的商 品 属 性 值)数 据 噪 音 加 剧 了 商 品 归 一 化 的 困 难表 个 同 款 商 品 的 信 息标 题价 格属 性 表文 本 描 述无 线 路 由 器 便 携 包 邮 品 牌:空类 型:无 线 路 由 器型 号: 端 口 数:端 口 全 新 推 出 的 迷 你 型 无 线 路 由 器 ,可 以 轻 松 将 网 络 转 为 信 号 迷 你无 线 路 由 器 高 速 上 网 品 牌: 产 品 型 号:空最 大 速 率: 普 联 技 术 月 初 上 市 迷 你 无 线 路 由 器此 款 路 由 器 亮 点:划 为 ,功 能
14、超 强 迷 你 商 品 型 号: 最 大 速 率: 是 一 款 即 插 即 用 的 无 线 路 由 器基 于 以 上 挑 战,本 文 提 出 了 一 种 基 于 监 督 学 习的 归 一 化 方 法该 方 法 首 先 对 商 品 进 行 模 式 集 成 和数 据 清 理其 中 模 式 集 成 的 目 的 是 规 范 化 商 品 的 描述 属 性基 于 模 式 集 成 的 数 据 清 理 包 含 缺 失 值 的 填充、错 误 值 的 检 测 和 正 确 值 的 确 认个 步 骤,从 而 保证 每 一 个 商 品 描 述 的 准 确 性 和 全 面 性在 进 行 模 式期王立 等:电 子 商 务
15、商 品 归 一 化 方 法 研 究集 成 和 数 据 清 理 之 后,在 选 取 的 特 征 上,用 逻 辑 斯 蒂回 归 模 型 在 训 练 集 上 训 练 二 值 分 类 器该 分 类 器 用于 计 算 商 品 间 的 关 联 关 系 矩 阵,该 矩 阵 表 示 商 品 间相 互 匹 配 的 估 计 概 率训 练 分 类 器 的 过 程 本 质 上 是在 为 不 同 的 特 征 训 练 权 重,使 得 贡 献 度 高 的 特 征 被赋 予 更 高 的 权 重这 样 的 方 法 可 以 提 高 算 法 的 鲁 棒性,使 得 分 类 效 果 不 会 因 为 选 取 的 个 别 表 现 不 佳
16、特征 而 降 低 性 能最 后,利 用 该 矩 阵 进 行 聚 类,将 两 个商 品 之 间 的 实 体 识 别 转 换 为 集 合 之 间 的 实 体 识 别,从 而 实 现 商 品 归 一 化本 文 第节 介 绍 相 关 工 作;第节 阐 述 本 文 的研 究 动 机;第节 整 体 介 绍 提 出 的 商 品 归 一 化 方 法框 架;第节 描 述 模 式 集 成 和 数 据 清 理 的 过 程;第节 介 绍 商 品 归 一 化;第节 通 过 实 验 来 验 证 和 分 析本 文 的 方 法;最 后 在 第节 总 结 全 文 相 关 工 作商 品 归 一 化 是 实 体 识 别( )的一
17、个 分 支实 体 识 别 最 早 被 文 献提 出,其 目 的 是识 别 那 些 指 向 同 一 个 现 实 世 界 中 的 实 体 的 实 例,是一 项 重 要 且 充 满 挑 战 的 任 务传 统 的 实 体 识 别 工 作,如 文 献 ,主 要 是 通 过 定 义 字 符 串 的 相 似 度 来 实现 无 监 督 的 实 体 识 别这 类 方 法 不 需 要 有 标 注 数 据,且 进 行 实 体 识 别 的 时 候 具 有 很 高 的 处 理 速 度,但 其主 要 弊 端 是 对 字 符 串 相 似 度 过 于 敏 感,在 大 数 据 集中 往 往 难 以 定 义 出 表 现 良 好
18、的 字 符 串 相 似 度 计 算 函数有 一 些 研 究 使 用 机 器 学 习 方 法 利 用 标 注 数 据 去训 练 字 符 串 的 相 似 度 ,其 主 要 优 势 是 避 免 人 为 设计 字 符 串 相 似 度 计 算 函 数 的 要 求,但 此 类 方 法 的 主要 局 限 是 没 有 充 分 利 用 除 字 符 串 之 外 的 其 它 信 息文 献 通 过 使 用 上 下 文 中 的 实 体 引 用 来 提 高 实体 识 别 的 效 果由 于 利 用 了 额 外 的 信 息,因 此 比 起 前两 类 方 法 在 性 能 上 有 较 大 提 升与 此 类 方 法 相 似,本文
19、提 出 的 方 法 则 充 分 利 用 了 上 下 文 中 的 信 息 来 进 行信 息 填 充 和 修 复此 外,本 文 还 就 上 下 文 信 息 中 的 缺失 信 息 和 错 误 信 息 进 行 了 修 复文 献 中 提 出 了 使 用 概 率 分 类 器 来 进 行 实 体识 别 的 技 术近 年 来 的 一 些 研 究 工 作 使 用 维 基 百 科和 等 外 部 资 源 来 进 行 一 些 独 立 领 域 的 实体 识 别 这 些 方 法 都 是 基 于 待 识 别 的 实 体 在 外部 资 源 中 都 有 相 应 的 文 档 这 一 假 设,然 而 这 一 假 设的 要 求 很
20、高,常 常 不 易 满 足为 了 降 低 对 外 部 资 源 的要 求,文 献 等 研 究 工 作 在 实 体 识 别 过 程 中 提取 那 些 能 证 明 两 个 不 是 同 一 个 实 体 的 证 据,根 据 这 些 证 据 来 增 加 这 些 的 距 离,从 而 提 高实 体 识 别 的 准 确 度,但 是 这 种 方 法 对 于 反 面 证 据 的准 确 率 要 求 很 高,错 误 的 证 据 会 直 接 导 致 准 确 率 的下 降本 文 没 有 利 用 外 部 资 源,这 使 得 本 文 提 出 的 方法 具 有 更 好 的 通 用 性需 要 强 调 的 是,本 文 的 方 法 可
21、以 通 过 定 义 新 的 特 征 和 相 似 度 函 数,将 外 部 资 源 引入 到 本 文 的 相 似 度 向 量 中在 电 子 商 务 领 域,文 献 提 出 了 对 商 品 进 行聚 类 的 方 法,这 与 本 文 的 研 究 内 容 较 为 相 似该 方 法将 商 品 的 属 性 视 为 特 征,使 用 来 训 练 每 一 个属 性 的 权 重,然 后 利 用 聚 类 实 现 最 终 结 果但 是 此 方法 没 有 考 虑 到 数 据 噪 音 问 题,因 此 当 数 据 噪 音 严 重时,属 性 的 权 重 难 以 收 敛 且 很 不 准 确,实 体 识 别 的 效果 很 差文 献
22、 中 提 出 了 一 种 对 非 结 构 化 的 商 品信 息 进 行 匹 配 的 方 法,他 们 假 设 已 经 存 在 一 个 存 储着 每 一 款 商 品 详 细 信 息 的 数 据 库,然 后 将 非 结 构 化的 商 品 信 息 与 数 据 库 中 的 记 录 进 行 匹 配此 方 法 依赖 于 存 储 每 款 商 品 信 息 的 数 据 库,适 用 范 围 很 小,与本 文 的 研 究 场 景 不 同 研 究 动 机目 前 电 子 商 务 网 站 中 识 别 同 款 商 品 的 方 法 主 要是 基 于 商 品 标 题 中 的 关 键 词但 由 于 在 购 物 网 站 中(特 别
23、是 模 式 下)商 品 信 息 中 标 题 噪 音 很 严 重,导 致 现 有 的 方 法 在 商 品 分 类 上 的 性 能 很 低本 文 旨在 设 计 一 种 在 缺 乏 统 一 的 商 品 模 式 且 具 有 噪 音 的 环境 下,能 有 效 地 进 行 商 品 归 一 化 的 方 法商 品 包 含 标 题、价 格、属 性 表 和 文 本 描 述 等 信息,如 表所 示尽 管 这 些 信 息 非 常 丰 富,但 利 用 他们 进 行 实 体 识 别 却 充 满 挑 战,主 要 表 现 在:()标 题 中 的 挑 战标 题 是 目 前 进 行 商 品 归 一化 方 法 的 重 要 信 息但
24、 标 题 中 往 往 充 满 噪 音,主 要原 因 是:卖 家 各 自 填 写 所 出 售 商 品 的 标 题,由 于卖 家 具 有 不 同 的 行 为 习 惯,因 而 造 成 标 题 信 息 异构(比 如 表中 第 二 款 商 品 的 标 题 中 缺 少 型 号“ ” ) ;很 多 卖 家 通 过 在 标 题 中 添 加 一些 与 商 品 无 关 的 热 门 词 汇 来 提 高 商 品 的 曝 光 率、增强 影 响 力,从 而 提 高 销 售 额(比 如 表中 第 三 款 商 品标 题 中 的“ ”和“ ” )()属 性 表 中 的 挑 战属 性 表 以 结 构 化 方 式 展示 商 品 相
25、 关 信 息但 由 于 以 下 两 点 原 因 使 得 属 性 表在 商 品 归 一 化 过 程 中 所 起 到 的 作 用 非 常 有 限:属计 算 机 学 报 年性 名 表 达 不 规 范(比 如 表中 第行“型 号”属 性 有另 外 两 种 表 述,即 第行 中 的“商 品 型 号”以 及 第行 中 的“产 品 型 号” ) ;数 据 值 缺 失 或 者 错 误(如表中“品 牌”属 性 值 缺 失, “商 品 型 号”属 性 值 错 误)()文 本 描 述 中 的 挑 战使 用 文 本 描 述 来 进 行商 品 归 一 化 比 较 困 难,主 要 是 因 为 以 下 两 点:传统 的 文
26、 档 处 理 方 法 在 处 理 短 文 档 时 效 果 不 佳;同一 类 别 的 不 同 型 号 商 品 的 文 本 描 述 很 相 似由 于 上 述 原 因,很 难 直 接 用 当 前 的 商 品 信 息 实现 良 好 的 商 品 归 一 化 效 果但 通 过 对 数 据 的 观 察,我们 发 现 可 以 利 用 数 据 本 身 的 特 性 去 解 决 上 述 问 题,这 也 是 本 文 的 出 发 点,可 概 括 为个 方 面:()命 名 上 不 同 但 本 质 相 同 的 属 性 会 存 在 取 值上 的 交 叉(比 如“商 品 型 号”和“产 品 型 号”本 质 上 是相 同 的 属
27、 性,它 们 的 取 值 空 间 会 有 大 量 的 交 集)因此 可 以 利 用 值 的 统 计 信 息 进 行 模 式 的 集 成,详 细 方法 见 节()对 于 商 品 属 性 中 的 缺 失 值 或 错 误 值,可 以 利用 上 下 文 信 息 和 其 它 的 同 类 商 品 信 息 进 行 填 充 和 修复(比 如 表中 的 第个 商 品 中, “产 品 型 号”值 是 缺失 的从 第个 商 品 信 息 中 可 以 得 知“ ”是 该 属 性 的 一 个 候 选 值,并 且“ ”在 第个 商 品 的 描 述 信 息 中 出 现,因 此 我 们 可 以 推 断“ ”可 能 就 是 那
28、个 缺 失 值)寻 找 证 据 进行 数 据 值 修 整 的 方 法 见 节()商 品 归 一 化 过 程 中 不 同 的 特 征(标 题、价 格等)具 有 不 同 的 区 分 能 力(比 如 当 两 个 商 品 的“产 品 型号”属 性 取 值 相 同 时 两 个 商 品 属 于 同 一 款 商 品 的 可 能性 比 起“品 牌”属 性 取 值 相 同 时 的 可 能 性 更 大)本 文定 义 了 一 组 商 品 特 征,使 用 训 练 数 据 来 确 定 各 个 特征 的 区 分 能 力特 征 区 分 能 力 的 判 定 方 法 见 节 整 体 框 架由 于 商 品 归 一 化 会 遇 到
29、 模 式 集 成 和 噪 音 消 除 等困 难,为 此 我 们 设 计 了 一 个 混 合 的 商 品 归 一 化 框 架,如 图所 示,它 可 以 分 为 两 个 部 分图 方 法 的 整 体 框 架首 先,进 行 数 据 预 处 理,它 分 为个 主 要 步 骤:()将 异 构 的 模 式 集 成 为 一 个 统 一 的 全 局 模式,后 续 的 数 据 噪 音 消 除 和 相 似 度 都 是 基 于 全 局 模式 的 基 础 之 上()在 每 个 商 品 寻 找 缺 失 的 属 性,然 后 利 用 该商 品 的 其 它 信 息 对 缺 失 的 信 息 进 行 填 充()根 据 商 品 上
30、 下 文 以 及 全 局 模 式 中 的 统 计 信息,找 到 错 误 的 属 性,并 进 行 更 正然 后,进 行 商 品 归 一 化,它 分 为个 主 要 步 骤:()除 全 局 模 式 中 的 每 一 个 属 性 都 作 为 一 个 特征,除 此 以 外,还 在 商 品 的 若 干 重 要 属 性 上 定 义 特 征和 相 似 度()为 选 取 的 每 一 个 特 征 通 过 训 练 集 训 练 不 同的 权 重,从 而 加 大 重 要 的 特 征 的 作 用,降 低 或 去 除 不重 要 的 属 性 的 作 用,并 训 练 处 可 以 预 测 两 个 商 品 是否 为 同 一 个 实
31、体 的 分 类 器()利 用 上 一 步 的 分 类 器 生 成 商 品 的 相 似 度 矩阵,在 此 基 础 上 进 行 聚 类,从 而 实 现 实 体 识 别 数 据 预 处 理 模 式 集 成本 文 的 模 式 集 成 的 目 标 是 使 所 有 的 商 品 的 属 性表 都 处 于 统 一 的 模 式 下模 式 集 成 包 含 两 步: ()全局 模 式 的 生 成; ()全 局 模 式 的 规 范 化 全 局 模 式 生 成定 义 全 局 模 式全 局 模 式 中 存 储 在 所 有 商品 属 性 表 中 出 现 的 属 性 和 值 以 及 它 们 取 值 范 围 和 相互 对 应
32、关 系定 义 全 局 模 式 图将 全 局 模 式 表 示 为 二 部图犌犃,犞,犈 ,则 称犌为 全 局 模 式 图其 中犃和犞是 点 集,犈是 边 集犃中 的 每 一 个 点 对 应 一 个 属性,犞中 的 每 一 个 点 代 表 一 个 取 值对 于 任 何犪犃和狏犞,如 果犪,狏在犽个 商 品 的 属 性 表 中 出 现,则在犈中 存 在 一 条 权 重 为犽的 边(犪,狏) ,其 权 重 记 为狑(犪,狏)对 所 有 商 品 的 属 性 表 进 行 一 遍 扫 描 后 生 成 全 局模 式,并 以 二 部 图 的 形 式 来 表 示,见 图()犌中 任意 一 个 属 性 节 点犪犃都
33、 和 若 干 值 节 点 邻 接,所 有和犪邻 接 的 值 节 点 所 组 成 的 集 合 就 是 属 性犪的值 域期王立 等:电 子 商 务 商 品 归 一 化 方 法 研 究图 模 式 集 成 的 过 程 示 意 全 局 模 式 的 规 范 化在 全 局 模 式 中,存 在 许 多 表 述 不 同 但 相 互 等 价的 属 性 节 点 和 值 节 点例 如 属 性“产 品 型 号”和“商 品型 号”是 相 互 等 价 的, “ ”和“ ”也 是 相 互 等 价 的全 局 模 式 规 范 化 是 合 并 那 些 相 互 等 价 的 属 性 和值,从 而 有 利 于 在 属 性 表 上 对 商
34、 品 进 行 更 为 精 确 的比 较在 合 并 本 质 上 相 同 的 属 性 节 点 之 前,首 先 合 并本 质 上 相 同 的 值 节 点,这 将 有 利 于 属 性 节 点 的 合 并定 义 超 级 值(属 性)节 点将 所 有 值(属 性)节 点 划 分 为 若 干 个 互 不 相 交 的 子 集,使 得 同 一 个 子集 内 的 所 有 值(属 性)节 点 是 相 互 等 价 的划 分 中 的一 个 子 集 称 为 一 个 超 级 值(属 性)节 点算 法 值 节 点 合 并输 入:犌犃,犞,犈 ,输 出:犌犃,犞狊,犈 犞 ,犈 犈 狏犞 犞狊犞狊 狏 犞狊犻犞狊犼( (犞狊犻
35、,犞狊犼犞狊)(犞狊犻犞狊犼)(犛 犻 犿 (犞狊犻,犞狊犼) ) 犞狊犻犞狊犻犞狊犻,犞狊犼 犞狊犻犞狊犻犞狊犻,犞狊犼 犞狊犻 犞狊犼 犈 狏犃 (犪,犞狊犻)犈 (犪,犞狊犼)犈 犈 犈 (犪, 犞狊犻犞狊犼 ) 狑(犪, 犞狊犻犞狊犼 )狑(犪,犞狊犻)狑(犪,犞狊犼) 值 节 点 的 合 并 如 算 法所 示:首 先 将犌中 的 任意 一 个 值 节 点 作 为 一 个 超 级 值 节 点( 行)如 果两 个 超 级 值 节 点 之 间 的 字 符 串 相 似 度 大 于 某 个 给 定的 阈 值( ) ,则 将 两 个 超 级 值 节 点 合 并,并合 并 对 应 的 边( 行)两
36、 个 超 级 值 节 点犞狊犻和犞狊犼之 间 的 相 似 度 是 分 别 属 于 两 个 超 级 值 节 点 的 所 有 节点 对 相 似 度 的 平 均 值:犛 犻 犿 (犞狊犻,犞狊犼) 狏犞狊犻,狏 犞狊犻犛 犻 犿 (狏,狏)本 文 并 不 关 注 字 符 串 相 似 度 的 定 义,而 是 使 用 现有 的 编 辑 距 离 或犖 相 似 度,记 为犛 犻 犿 ( )通过 合 并 相 互 等 价 的 值,犌被 转 换 为犌 犃,犞狊,犈 ,其 中犞狊是 生 成 的 所 有 超 级 节 点 的 集 合,犈 是 连 接 超级 值 节 点 和 属 性 节 点 的 边 集,如 图()所 示属
37、性 节 点犪和 超 级 属 性 节 点犞狊犻之 间 边 的 权 重定 义 如 下:狑(犪,犞狊犻)狏犞狊犻狑(犪,狏)对 于 任 意犞中 的 节 点狏,在 集 合犞狊中 有 且 只 有一 个 超 级 值 节 点犞狊犻中 包 含狏将 与狏对 应 的 超 级 值节 点 记 为狊 狌 狆(狏)对 于 任 何 一 个 超 级 节 点犞狊犻犞狊,在犞狊犻中 选 定 在 全 局 模 式 中 出 现 频 数 最 高 的 值 节 点作 为犞狊犻的 代 表 节 点,记 为犞狊犻狉 犲 狆合 并 本 质 上 相 同 的 值 节 点 后,进 行 本 质 上 相 同的 属 性 节 点 的 合 并如 果 只 利 用 字
38、 符 串 相 似 度 进 行属 性 节 点 的 合 并 在 很 多 情 况 下 并 不 有 效,例 如“ ”和“ ”是 本 质 上 相 同的 属 性 名,但 是 他 们 的 字 符 串 相 似 度 很 低;反 之“ ” ( 的 参 数)和“ ”的 字 符 串 相 似 度 很 高,但 它 们 在 本 质 上 并 非 同 一 个属 性经 过 观 察 发 现 本 质 上 相 同 的 属 性 的 值 域 会 有很 大 的 交 集,因 此 本 文 在 合 并 属 性 名 时 不 仅 利 用 字符 串 相 似 度,还 考 虑 到 邻 域 信 息因 此 将 属 性 节 点 之间 的 相 似 度 定 义 如
39、下:犛 (犪犻,犪犼)犛 犻 犿 (犪犻,犪犼)犛 (犪犻,犪犼) ,犛 (犪犻,犪犼)狏犞(犪犻)犞(犪犼) (狑(犪犻,狏) ,狑(犪犼,狏) )狏犞(犪犻)犞(犪犼) (狑(犪犻,狏) ,狑(犪犼,狏) )犛 ( )是 字 符 串 相 似 度 和 邻 域 相 似 度 的 加 权和对 于 任 意犪犃,犞(犪)表 示 与犪邻 接 的 所 有 超 级节 点 的 集 合利 用犛 ( )和 一 个 给 定 的 阈 值,使 用计 算 机 学 报 年与 合 并 值 节 点 相 同 的 策 略 对 属 性 进 行 合 并,合 并 后犌 就 被 转 换 为犌犃狊,犞犛,犈 ,如 图()所 示对于 集 合犃
40、狊中 的 任 何 一 个 超 级 节 点犃狊犻,在犃狊中 选 定在 数 据 中 出 现 频 率 最 高 的 节 点 作 为犃狊的 代 表 节 点,记 为犃狊狉 犲 狆经 过 上 述 步 骤,已 经 集 成 的 模 式 就 被 存 储 于犌中,其 中 相 互 等 价 的 属 性(值)被 存 储 在 同 一 个 超级 属 性(值)节 点 中(例 如“商 品 型 号”属 性 和“产 品 型号”属 性 将 会 在 一 个 超 级 属 性 节 点 中, “ ”和“ ”将 会 在 同 一 个 超 级 值 节 点 中)我 们 利 用犌按 照 以 下 步 骤 将 所 有 的 商 品 映 射为 统 一 的 模
41、式:对 于 每 一 个 商 品狆的 属 性 表 中 的 每一 个属 性,值对犪,狏 ,将犪,狏转 换 为犃狊犻狉 犲 狆,犞狊犻狉 犲 狆 ,其 中犃狊犻和犞狊犻分 别 是 包 含犪和狏的 超 级 属性 节 点 和 超 级 值 节 点通 过犌将 所 有 的 商 品 的 属性 表 转 换 为 统 一 的 模 式 之 后,就 可 以 更 加 精 准 地 使用 属 性 表 来 计 算 两 两 商 品 之 间 的 相 似 度 参 数 调 优在 合 并 超 级 值 节 点 和 合 并 超 级 属 性 节 点 的 过 程中,须 指 定 阈 值和选 择 合 理 的 阈 值 对 进 行 商 品模 式 集 成
42、的 结 果 具 有 重 要 意 义本 文 采 取 的 策 略 是 随 机 挑 选 一 部 分 商 品 属 性 表格 中 的 属 性 和 值 进 行 人 工 标 注(标 注 两 两 属 性(值)是 否 相 互 等 价 的)利 用 人 工 标 注 的 数 据 训 练 阈 值和将 已 标 注 的 属 性 和 值 的 集 合 分 别 记 为犃 和犞 ,对 于 任 意犪,犪犃 ,犐(犪,犪) 当 且 仅 当犪与犪等 价,否 者犐(犪,犪) ;对 于 任 意狏,狏犃 ,犐(狏,狏) 当 且 仅 当狏与狏等 价,否 者犐(狏,狏) 和取 值 按 照 如 下 方 法: ( (狏,狏)犛 犻 犿 (狏,狏),犐
43、(狏,狏) (狏,狏)犛 犻 犿 (狏,狏),犐(狏,狏) ) , ( (犪,犪)犛 犻 犿 (犪,犪),犐(犪,犪) (犪,犪)犛 犻 犿 (犪,犪),犐(犪,犪) )即 采 用 在 标 注 样 本 中 表 现 最 好 的和的 取 值 作 为全 局 数 据 进 行 模 式 集 成 的 阈 值 数 据 填 充 和 数 据 清 理属 性 表 中 的 缺 失 和 错 误 的 值 严 重 降 低 了 商 品 归一 化 的 效 果这 一 子 节 介 绍 修 复 这 些 缺 失 和 错 误 值的 方 法对 于 任 意 商 品狆,将 其 属 性 表 转 化 为 局 部 二 部图犵(狆)犃(狆) ,犞(狆)
44、 ,犈(狆) ,如 图()所 示,其中犃(狆)和犞(狆)是 节 点 集 合,犃(狆)中 的 每 一 个 节 点表 示 一 个 属 性,犞(狆)中 的 每 一 个 节 点 表 示 一 个 值,犈(狆)是 边 集,每 一 个属 性,值对 都 在犈(狆)中 有 一条 权 重 为的 边图犵(狆)是 全 局 模 式 图犌的 一 个子 图,犃(狆)中 的 每 一 个 顶 点 都 属 于犌中 的 某 一 个超 级 顶 点,且 是 所 属 于 的 超 级 节 点 中 的 代 表 节 点商品狆的 标 题 和 文 本 描 述 分 别 用狋犻狋(狆)和犱 犲 狊(狆)来表 示图 数 据 填 充 和 数 据 清 理
45、过 程 缺 失 值 的 填 充属 性 表 中 的 缺 失 值 分 为 两 类: ()值 级 缺 失;()模 式 级 缺 失定 义 值 级 缺 失值 级 缺 失 是 指 某 个 属 性 的值 不 存 在 或 者 是 空 值在 图()中,没 有 边 的 属 性 节 点 就 存 在 值 级 别的 缺 失定 义 模 式 级 缺 失如 果 一 个 商 品 比 起 同 类商 品 缺 少 了 某 些 属 性,则 称 为 是 模 式 级 别 的 缺 失例 如 表中 第个 商 品 与 同 类 商 品 相 比,缺 少“商 品 品 牌”这 一 属 性,这 属 于 模 式 级 缺 失模 式 级 缺失 蕴 含 值 缺
46、失算 法 缺 失 值 的 填 充输 入:犌犃狊,犞犛,犈 ,犵(狆)犃(狆),犞(狆),犈(狆) ,狋犻狋(狆),犱 犲狊(狆)输 出:犵(狆)犃 (狆),犞(狆),犈(狆) 犞 ,犵(狆)犵(狆) 犃狊犻犃狊 犃狊犻狉 犲 狆 犃(狆)狉 犲 狆 犃 犃 犃狊犻狉 犲 狆 期王立 等:电 子 商 务 商 品 归 一 化 方 法 研 究 犪犻犃 狏犪狊 狌 狆(犪犻)犞(犪) 狏 狋犻狋(狆) 犱 犲狊(狆) (犪犻,狊 狌 狆(狏)狉 犲 狆)犈(狆) 狑(犪犻,狊 狌 狆(狏)狉 犲 狆) 犞(狆)犞(狆)狊 狌 狆(狏)狉 犲 狆 狑(犪犻,狊 狌 狆(狏)狉 犲 狆) 犵(狆)对 于
47、任 何 商 品狆,缺 失 值 的 填 充 过 程 如 算 法所 示首 先,遍 历 全 局 模 式 中 的 任 何 一 个 超 级 属 性 节点犃狊犻,如 果犃狊犻狉 犲 狆不 在犃 (犘)中,则 可 能 是 模 式 级 缺失(第 行 进 行 验 证) ;如 果犃狊犻狉 犲 狆在犃 (犘)中 且 没有 相 应 的 值,则 是 值 级 别 缺 失将 找 到 的 值 级 缺 失 属性 和 可 能 的 模 式 级 缺 失 属 性 储 于 集 合犃 中注 意有 些 缺 失 属 性 是 相 互 等 价 的,为 了 避 免 冗 余,只 将 代表 性 节 点 存 储 于犃 中然 后,为 缺 失 属 性 赋 值
48、( 行)对 于犃 中 每一 个 属 性犪犻,在狋犻狋(犘)和犱 犲 狊(狆)中 搜 索 所 有 与 任 意狏犪狊 狌 狆(犪犻)犞(犪)所 匹 配 的 子 字 符 串(狏犪狊 狌 狆(犪犻)犞(犪)是 属 性犪犻的 值 域)如 果 存 在 任 意 子 字 符 串 与狏匹配,则狏被 视 为 属 性犪犻的 一 个 候 选 值,并 在犵(狆)中 创建 一 条 权 重 为的 边(犪犻,狏) ,如 果(犪犻,狏)已 经 存 在,则 将 其 权 重 加 执 行 算 法之 后 将 生 成 一 张 新 的二 部 图犵(狆)犃 (狆),犞 (狆),犈 (狆) ,与犵(狆)相 比 多 了一 些 新 增 的 节 点
49、 和 边,如 图()所 示犃 (狆)中 新 增的 节 点 是 潜 在 的 模 式 级 缺 失,而犞 (狆)中 新 增 的 节 点是 潜 在 的 值 级 缺 失,新 增 边 的 权 重 是 通 过狋犻狋(狆)和犱 犲 狊(狆)所 找 到 的 缺 失 证 据 的 支 持 数定 义 冲 突 属 性犃 (狆)中 与 多 个 值 节 点 邻 接的 属 性 节 点 称 为 冲 突 属 性我 们 需 要 在 冲 突 属 性 的 多 个 邻 接 值 节 点 之 间 保留 一 个 最 可 能 正 确 的 值 节 点,这 部 分 内 容 见 节 错 误 值 检 测对 于 任 意 商 品狆,可 以 根 据狋犻狋(狆
50、)和犱 犲 狊(狆)检 测出 属 性 表 中 可 能 错 误 的 属 性 值(比 如,表中 第个商 品 的 标 题 和 文 本 描 述 暗 示“产 品 型 号”属 性 正 确 的值 应 该 是“ ” )算 法 错 误 值 检 测输 入:犌犃狊,犞狊,犈 ,犵(狆)犃 (狆),犞 (狆),犈 (狆) ,狋犻狋(狆),犱 犲狊(狆),犃(狆)输 出:犵(狆) 犪犻犃(狆) 狏犪狊 狌 狆(犪犻)犞(犪) 狏 狋犻狋(狆) 犱 犲狊(狆) (犪犻,狊 狌 狆(狏)狉 犲 狆)犈(狆) 狑(犪犻,狊 狌 狆(狏)狉 犲 狆) 犃 (狆)犃 (狆)犪犻 犞 (狆)犞 (狆)狊 狌 狆(狏)狉 犲 狆 狑
51、(犪犻,狊 狌 狆(狏)狉 犲 狆) 犵(狆)算 法描 述 了 错 误 值 检 测 的 过 程对 于犃(狆)中每 一 个 属 性犪犻,遍 历狏犪狊 狌 狆(犪犻)犞(犪)中 的 每 一 个 元素狏,查 看 在狋犻狋(狆)和犱 犲 狊(狆)中 是 否 存 在 任 何 一 个 子 字符 串 与狏相 等如 果 存 在,则 在犵(狆)中 添 加 一 条 新增 边,如 果 这 条 边 已 经 存 在,则 使 权 重 加 经 过 上述 步 骤,对 于 任 何 能 够 表 明 当 前 属 性 的 值 是 错 误 的证 据 都 存 储 于犵(狆)中(以 边 的 形 式 存 储,边 的 权 重对 应 支 持 数
52、) ,如 图()所 示经 过 错 误 值 检 测 后,图犵(狆)中 会 产 生 新 的 冲 突 属 性,下 一 小 节 将 介 绍 如何 为 冲 突 属 性 选 择 最 可 能 正 确 的 值 正 确 值 确 认经 过 缺 失 值 填 充 和 错 误 值 检 测 后,图犵(狆)中 会存 在 冲 突 属 性,例 如 图()中 的犪和犪对 于犵(狆)中 任 何 一 个 冲 突 属 性(冲 突 属 性 的 候选 值 集 合 记 为犞(犪犻) ,可 以 根 据 以 下 两 个 策 略 之 一来 为犪犻选 择 一 个 值狏:()狏 狏犞(犪犻)狑(犪犻,狏) ;()狏原 始 值 狑(犪犻,狏)狏犞(犪犻
53、)狑(犪犻,狏) 狏犞(犪犻)狑(犪犻,狏) ,烅烄烆其 它第个 策 略 较 为 直 观,在 多 个 值 之 间 选 择 支 持 数最 大 的 值第个 策 略 更 为 保 守,只 有 当 最 大 的 支 持计 算 机 学 报 年数 占 全 部 支 持 数 的 和 某 一 个 给 定 的 阈 值后,才 选 择支 持 数 最 大 的 值,否 则 保 持 原 值 以 防 止 错 误 的 修 改保 守 参 数的 取 值 范 围 是,越 大,在 改 变 值 时就 越 保 守当 狑(犪犻,狏)狏犞(犪犻)狑(犪犻,狏)时,策略与 策 略等 价当 时,不 会 进 行 任 何 数 据修 复经 过 上 述 步
54、骤,完 成 了 对 商 品狆的 缺 失 值 填 充和 错 误 值 修 复,最 终 的 结 果 如 图()所 示 商 品 归 一 化本 节 介 绍 在 模 式 已 经 集 成、噪 音 已 经 消 除 的 数据 上 进 行 商 品 归 一 化本 文 的 商 品 归 一 化 包 含 特 征选 择、分 类 器 训 练 和 商 品 聚 类个 步 骤 特 征 选 择 属 性 表属 性 表 含 有 详 细 和 丰 富 的 结 构 化 信 息,它 在 商品 归 一 化 中 的 作 用 在 经 过 数 据 预 处 理 之 后 得 到 了 进一 步 加 强,因 此 是 首 选 的 特 征我 们 将 属 性 表 中
55、 的 所有 属 性 都 作 为 特 征由 于 数 据 已 经 通 过犌统 一 了模 式,因 此 共 有犃狊个 特 征若 两 个 商 品 在 某 个 属性 上 的 取 值 分 别 为狏和狏,则 他 们 在 该 特 征 上 的 相似 度 定 义 如 下:犛 犻 犿犻(狏,狏),狏狏狀 狆,狏 ,或 者狏 ,狏狏烅烄烆由 于 已 经 在 数 据 预 处 理 过 程 中 将 相 互 等 价 的 值进 行 了 统 一 的 转 化,因 此 使 用 等 值 判 断 决 定 相 似 度注 意 如 果狏或狏中 有 一 个 是 空 值,则 说 明 两 个 商 品可 能 不 是 同 一 类 商 品,这 在 一 定
56、程 度 上 说 明 两 个 商品 不 匹 配对 于 这 种 情 况,规 定 相 似 度 取 值 为狀 狆(空值 惩 罚 系 数,狀 狆取,) ) 标题标 题 是 对 属 性 表 中 的 特 征 的 补 充计 算 两 个 标 题狋和狋之 间 相 似 度 最 简 单 的 方法 是 使 用 编 辑 距 离 或 者 余 弦 相 似 度但 是 由 于 卖家 常 常 在 标 题 中 添 加 一 些 流 行 但 与 商 品 内 容 相 关性 很 低 的 关 键 词,导 致 同 款 商 品 的 标 题 相 似 度 可 能较 低,不 同 款 商 品 的 标 题 相 似 度 也 可 能 较 高为 克 服此 问 题
57、,本 文 使 用 分 词 工 具 对狋和狋进 行 分 词,然 后利 用 对 每 一 个 词 进 行 加 权,最 后 计 算 带 权 的 相 似 度,从 而 降 低 流 行 词 汇 的 影 响计 算 公式 如 下:犛 犻 犿(狋,狋)犜 犉 犐 犇 犉狑狑(狋)狑狑(狋)狑狑狑(狋)狑狑(狋)烄烆烌烎狑 价格价 格 是 进 行 商 品 归 一 化 的 一 个 重 要 特 征,尤 其 是当 一 个 商 品 是 另 一 个 商 品 的 配 件 时,两 者 价 格 上 的 差异 就 尤 为 重 要(比 如“ ”和“ 壳” )两 个商 品 之 间 的 价 格 相 似 度 定 义 如 下:犛 犻 犿 (狆
58、 狉 犻犮 犲,狆 狉 犻犮 犲) 狆 狉 犻犮 犲狆 狉 犻犮 犲 (狆 狉 犻犮 犲,狆 狉 犻犮 犲) 用 户 评 论大 多 数 的 购 物 网 站 支 持 用 户 购 买 某 商 品 后,对该 商 品 提 交 有 关 商 品 质 量、服 务 态 度 等 方 面 的 评 论一 个 普 遍 的 规 律 是 两 个 同 款 商 品 的 评 论 内 容 往 往 涉及 许 多 共 同 的 特 征因 此 商 品 的 用 户 评 论 可 以 为 商品 归 一 化 提 供 重 要 的 特 征从 评 论 中 抽 取 用 户 所 讨 论 的 特 征 的 步 骤 如 下:首 先,使 用 分 词 和 标 注
59、工 具 将 评 论 中 的 语 句转 化 为 带 标 记 的 词例 如, “鞋 子 很 漂 亮,皮 质 很 柔软 !”经 过 分 词 和 标 注 后 为“鞋 子很漂 亮,皮 质很柔 软!” ,其 中“” 、 “” 、 “”和“”分 别 代 表“名 词” 、 “副 词” “形 容 词”和“符 号”我 们 发 现 在 评 论 中,名 词 和 形 容 词 往 往 是 有 意 义 的词,其 中 名 词 常 常 是 谈 论 的 某 一 个 方 面,形 容 词 是 对这 一 方 面 的 评 价本 文 关 注 的 是 评 论 中 所 谈 论 的 中心 语,而 不 是 用 户 的 评 价,因 此 我 们 只
60、抽 取 名 词 作 为特 征然 后,进 行 特 征 词 选 取评 论 中 许 多 名 词 对 区 分商 品 的 贡 献 不 大,例 如“秋 季” 、 “正 品”和“韩 版”等因此 我 们 需 要 在 提 取 出 的 名 词 中 选 择 对 商 品 归 一 化 贡献 大 的 名 词 作 为 特 征所 采 取 的 策 略 是 对 某 商 品狆的 所 有 评 论 中 的 名 词 按 照 进 行 打 分,然 后 将 名词 按 照 打 分 的 降 序 排 列,选 择 前犿个 名 词 作 为 特 征将 从狆中 按 照 打 分 函 数 取 得 的 前犿个 名 词 所 组 成 的集 合 记 为犃 狊 狆(狆)
61、狑,狑, ,狑犿对 于 任 意 两 个商 品狆犻和狆犼,它 们 在 评 论 特 征 上 的 相 似 度 定 义 为犛 犻 犿 (狆犻,狆犼)犃 狊 狆(狆犻)犃 狊 狆(狆犼)犃 狊 狆(狆犻)犃 狊 狆(狆犼) 图片每 款 商 品 都 具 有 相 应 的 图 片为 了 减 少 计 算 量,期王立 等:电 子 商 务 商 品 归 一 化 方 法 研 究本 文 只 在 商 品 搜 索 页 面 中 所 显 示 的 图 片 作 为 特 征,而 暂 不 考 虑 商 品 页 面 中 的 诸 多 图 片由 于 商 品 规 模 庞 大,加 之 图 片 相 似 度 仅 仅 是 多个 特 征 中 的 一 个,因
62、 此,本 文 采 用 代 价 较 低 的 基 于 直方 图 的 图 片 相 似 度假 设 任 意 两 款 商 品 的 图 片 直 方图 分 别 为狆和 和狆 ,则 图 片 相 似 度 定 义 如 下:犛 犻 犿 (狆,狆)犖犻 狆(犻)狆(犻槡) ,其 中狆(犻)和狆(犻)分 别 为狆和狆 在 第犻个 像 素 位 上的 灰 度 值需 要 强 调 的 是,在 图 片 质 量 较 高 且 缺 乏 其它 有 效 特 征 的 情 况 下,可 以 采 用 计 算 更 为 复 杂 效 果更 好 的 其 它 图 片 相 似 度 分 类 器 训 练根 据 小 节 的 特 征 选 择,每 一 个 商 品 都 有
63、犽 犃狊 个 特 征(犃狊个 特 征 来 自 属 性 表,剩 下的 四 个 特 征 分 别 来 自 标 题、价 格、评 论 和 图 片)同 时对 于 任 意 两 个 商 品狆犻和狆犼,可 以 根 据 小 节 的 定义 计 算 它 们 的 相 似 度 向 量狊(狆犻,狆犼)狊犻, ,狊犽本文 将 两 个 商 品狆犻和狆犼是 否 匹 配 的 问 题 看 做 二 类 分类 问 题,并 使 用 线 性 逻 辑 斯 蒂 回 归 模 型 来 训 练 分 类器分 类 器 训 练 完 毕 后,就 可 以 利 用 分 类 器 预 测 两 两商 品 相 互 匹 配 的 概 率,然 后 产 生 商 品 之 间 的
64、相 似 度矩 阵,最 后 对 相 似 度 矩 阵 进 行 聚 类 实 现 商 品 归 一 化本 文 使 用 二 类 分 类 器,而 不 使 用 多 类 分 类 器 的 原 因有 两 点:()多 类 分 类 器 中 所 需 要 训 练 的 参 数 个 数 远 远大 于 二 类 分 类 器,尤 其 是 在 网 站 这 种 实 体 数(商 品 的 款 式 数)巨 大 的 环 境 下,多 类 分 类 器 过 于复 杂()若 使 用 多 类 分 类 器,训 练 数 据 集 就 必 须 覆盖 所 有 的 类 别然 而 在 电 子 商 务 网 站 的 场 景 下,商 品的 实 体 数 目 巨 大,甚 至 是
65、 未 知 的为 所 有 的 实 体 都 进行 数 据 标 注 显 然 是 不 现 实 的而 二 类 分 类 器 不 需 要训 练 集 覆 盖 所 有 的 实 体在 二 类 分 类 器 中,设 定犆为 匹 配,犆为 不 匹 配犆类 的 后 验 概 率 可 以 利 用 一 个 关 于 特 征 向 量 的 带权 线 性 和 的 函 数 来 建 模:犘(犆狊)狔(狊) 狑 狊 (狑犜狊狑)在犘(犆狊)中,狑狑,狑 ,其 中狑是 偏 置、狑是 特 征 向 量 的 权 重,狊,狊犘(犆狊) 犘(犆狊)的 作 用 是:如 果 两 个 商 品 的 特 征 越 相 似,它 们 在 所 有特 征 上 相 似 度
66、等 于或 者 接 近的 值 就 越 多,因 此特 征 相 似 度 的 带 权 和(狑犜狊)就 越 大,通 过 函数 得 到 的 估 计 概 率 就 越 接 近 于,反 之 亦 然利 用 训练 数 据 集 通 过 极 大 似 然 估 计 可 以 对狑以 及 偏 置狑进 行 训 练训 练 完 毕 后狑中 的 第犽个 值 反 映 了 第犽个 特 征 在 区 分 商 品 时 的 重 要 程 度:狑犽越 大,说 明 第犽个 特 征 的 重 要 性 越 高,则 分 类 器 将犽特 征 上 不 同 的商 品 进 行 匹 配 的 可 能 性 就 越 低 商 品 聚 类至 此 我 们 已 经 训 练 用 来 预
67、 测 两 两 商 品 之 间 匹 配概 率 的 分 类 器然 而 本 文 的 目 标 是 找 到 所 有 指 向 同一 个 实 体 的 商 品因 此 需 要 将 两 两 匹 配 的 估 计 概 率转 换 为 一 个 划 分,即 将 所 有 商 品 划 分 为 若 干 个 互 不相 交 的 子 集,使 得 同 一 个 子 集 里 的 所 有 商 品 都 指 向同 一 个 客 观 实 体或 者 说,我 们 需 要 设 计 一 个 算 法,将 两 个 商 品 之 间 的 实 体 匹 配 转 化 为 集 合 之 间 的 实 体匹 配最 直 观 的 方 法 是 将 所 有 商 品 建 模 为 一 张 图
68、,图中 的 节 点 为 商 品,节 点 之 间 存 在 一 条 无 向 边 当 且 仅当 两 个 节 点 所 对 应 的 商 品 指 向 同 一 实 体 的 估 计 概 率大 于 这 样 图 中 的 每 一 个 连 同 分 支 中 的 所 有 商品 就 被 认 为 是 指 向 同 一 个 实 体 的 商 品然 而 该 方 法中 分 类 器 的 伪 真 错 误 会 将 两 个 不 相 关 的 联 通 分 支 错误 地 连 同,因 此 本 方 法 对 分 类 器 的 准 确 率 过 于 敏 感本 文 的 解 决 方 案 是 用 两 两 商 品 之 间 匹 配 的 概 率生 成 商 品 的 相 似
69、度 矩 阵,然 后 对 相 似 度 矩 阵 聚 类 来实 现 划 分使 用 聚 类 进 行 划 分 时 不 但 考 虑 两 两 商 品之 间 的 相 似 度,还 会 考 虑 到 邻 域 信 息,因 此 会 得 到 更好 的 结 果本 文 使 用 现 有 的 聚 类 算 法(如犽 或 )来 对 商 品 进 行 划 分在 聚 类 过 程 中 所 期 望 的 簇的 个 数 是 通 过 纯 度( )或 者 直 径( )来决 定 的当 商 品 个 数 很 大 时,相 似 度 矩 阵 的 存 储 代 价和 聚 类 的 计 算 代 价 都 很 高解 决 方 案 是 使 用 分 类 信息(如 商 品 的 类
70、别 信 息)将 商 品 划 分 为 若 干 个 不 相 交的 子 集,使 得 子 集 中 商 品 的 数 目 远 远 小 于 全 部 商 品的 数 目,然 后 在 各 个 划 分 上 分 别 进 行 相 似 度 矩 阵 的存 储 和 聚 类 实 验 与 评 估 数 据 集本 文 实 验 中 使 用 的 数 据 集 是 中 国 某 个 大 型 计 算 机 学 报 年网 站 的 真 实 数 据数 据 集 包 含 有 个 商 品 类 别、 多 万 个 商 品 和 多 万 条 评 论我 们 选 择 个具 有 代 表 性 的 商 品 类 别,并 从 每 个 类 别 中 随 机 选 择 的 商 品 作 为
71、 实 验 数 据实 验 数 据 中 商 品 的 类 别、商 品 数 和 实 体 数(商 品 的 款 式 数)见 表 表 实 验 数 据 中 商 品 类 别、商 品 数 目 和 实 体 数类 别商 品 数实 体 数手 机 相 机 笔 记 本 电 脑 网 络 设 备 恤 牛 仔 裤 钱 包 夹 克 香 水 洗 发 水 女 鞋 运 动 鞋 数 据 噪 音 统 计 标 题 中 的 噪 音本 文 通 过个 方 面 来 测 试 标 题 中 的 噪 音 含 量:()标 题 中 与 商 品 内 容 非 相 关 词 的 比 例; ()同 款 商品 标 题 之 间 的 字 符 串 相 似 度; ()非 同 款 商
72、 品 之 间的 字 符 串 相 似 度非 相 关 词 是 指 那 些 对 商 品 的 归 一 化 帮 助 不 大 的词非 相 关 词 包 括 广 告 词 汇 和 情 感 词 汇(比 如“包邮”和“漂 亮” ) ,也 包 括“衣 服”和“相 机”这 种 只 有助 于 区 分 商 品 类 别,但 对 商 品 归 一 化 几 乎 没 有 帮 助的 词 汇非 相 关 词 是 进 行 归 一 化 的 噪 音我 们 随 机 选择 个 商 品 并 对 其 标 题 中 的 非 相 关 词 进 行 人 工标 注,结 果 见 图(商 品 按 照 非 相 关 词 的 比 例 降 序 排列)实 验 结 果 表 明 超
73、 过 的 商 品 标 题 中 含 有 至少 的 非 相 关 词,至 少 有 商 品 的 标 题 中 含 有至 少 的 非 相 关 词,这 说 明 标 题 中 含 有 大 量 的 非相 关 词图 商 品 标 题 中 非 相 关 词 分 布为 了 测 试 非 相 关 词 对 商 品 归 一 化 的 影 响,分 别对 比 同 款 商 品 之 间 的 字 符 串 相 似 度 和 非 同 款 商 品 之间 的 字 符 串 相 似 度我 们 随 机 选 择款 商 品 数 超 过 的 产 品,为 分 别 对 这款 产 品 随 机 抽 样 个 商品,将 每 款 产 品 的 个 抽 样 商 品 作 为 一 个
74、组,因 此得 到组 商 品然 后 再 选 取 另 外组 商 品(每 组 个 商 品) ,使 得 每 组 中 的 商 品 都 来 自 同 一 个 商 品 类 别但 各 自 属 于 不 同 款 的 商 品本 文 分 别 使 用 编 辑 距 离、 相 似 度 和犖 相 似 度,对 上 述 组 商品 分 别 计 算 组 中 两 两 商 品 之 间 的 字 符 串 相 似 度,然后 取 平 均 值,结 果 见 图 统 计 结 果 中 前组 与 后组 的 字 符 串 相 似 度(在种 不 同 的 度 量 方 法 下)没有 明 显 差 异,这 说 明 标 题 中 噪 音 很 大,仅 仅 依 靠 标 题难 以
75、 实 现 商 品 归 一 化图 同 款 商 品 和 非 同 款 商 品 的 标 题 相 似 度 属 性 表 中 的 噪 音为 了 评 估 属 性 表 中 的 噪 音,本 文 从 所 有 商 品 类 别中 随 机 抽 样 出 个 商 品,然 后 人 工 统 计 每 个 商 品的 属 性 表 中 缺 失 值 和 错 误 值 的 个 数,结 果 见 图(商品 分 别 按 照 缺 失 值 和 错 误 值 所 占 的 比 例 降 序 排 列)统 计 结 果 表 明 的 商 品 属 性 表 的 存 在 明 显 数 据 质量 问 题,有 的 商 品 属 性 表 的 数 据 质 量 问 题 严 重图 属 性
76、表 中 缺 失 值 和 错 误 值 所 占 比 例 数 据 填 充 和 数 据 清 理 算 法 的 评 估在 已 经 标 注 好 缺 失 值 和 错 误 值 的 个 商品 中,利 用 本 文 提 出 的 数 据 填 充 和 数 据 清 理 方 法 对数 据 进 行 祛 噪,将 结 果 与 标 注 数 据 进 行 比 较在 实 验期王立 等:电 子 商 务 商 品 归 一 化 方 法 研 究中,我 们 分 别 设 定 保 守 参 数为, 和 ,实 验结 果 如 表所 示(其 中 最 好 的 结 果 用 粗 体 表 示)实验 结 果 表 明 本 文 提 出 的 数 据 清 理 算 法 在 进 行
77、数 据 填充 时 的 准 确 率 和 召 回 率 都 很 高(尤 其 是 当 时) ,错 误 值 修 复 的 效 果 也 较 好(注 意 本 文 的 场 景 下,准 确 率 比 召 回 率 更 为 重 要,因 为 对 正 确 值 的 错 误 修改 比 遗 漏 修 改 错 误 值 更 为 严 重)在 后 续 的 实 验 中,我 们 设 定 缺 失 值 填 充 时 的 ,设 定 错 误 值 修 复时 的 表 数 据 清 理 的 准 确 率 和 召 回 率参 数缺 失 值 填 充准 确 率召 回 率错 误 值 修 复准 确 率召 回 率 商 品 归 一 化 效 果 评 估我 们 将 本 文 的 商
78、品 归 一 化 方 法 与 以 下个 方 法在 效 果 上 进 行 对 比:()对 比 方 法(标 题 文 本 相 似 度)此 方 法 只 是用 商 品 的 标 题 来 进 行 商 品 归 一 化,如 果 两 个 商 品 的标 题 之 间 的 字 符 串 相 似 度 大 于 某 个 事 先 给 定 的 阈 值,则 认 为 两 者 是 匹 配 的我 们 发 现 编 辑 距 离 和犖 的 效 果 不 佳,因 此 我 们 使 用 中 文 分 词 工 具对 标 题 进 行 分 词,然 后 计 算 它 们 的 相 似 度()对 比 方 法(标 题 的 带 权 文 本 相 似 度)此 方法 与 对 比 方
79、 法基 本 相 同,区 别 是 在 计 算 相 似 度 时,对 每 一 个 词 利 用 值 加 权()对 比 方 法(自 适 应 的 商 品 归 一 化)此 方 法基 于 文 献 ,使 用 标 题、价 格 和 文 本 描 述 作 为 特征,然 后 使 用 感 知 机 来 训 练 每 个 特 征 的 权 重与 文 献 不 同 的 是,我 们 在 该 方 法 的 特 征 中 添 加 了 属 性 表()对 比 方 法(自 适 应 的 商 品 归 一 化)此 方 法是 对 对 比 方 法的 扩 充,除 使 用 标 题、价 格 和 文 本 描述 作 为 特 征 外,还 添 加 属 性 表、评 论 和 图
80、 片 作 为 特征,其 目 的 是 为 了 与 本 文 提 出 的 方 法 进 行 更 公 平 的对 比我 们 将 实 验 数 据 中 的 每 一 个 商 品 类 别 的 数 据 都平 均 分 为组,并 进 行则 交 叉 验 证与 传 统 的 交 叉验 证 不 同 的 是,在 每 组 验 证 中,我 们 只 用组 数 据 对模 型 进 行 训 练,用 其 余组 数 据 对 训 练 的 模 型 进 行测 试这 是 因 为 在 环 境 中,商 品 数 目 太 大,以 至于 只 有 很 小 一 部 分 数 据 能 够 被 标 注,只 用 一 组 数 据 作为 训 练 集 是 为 了 尽 可 能 拟
81、合 网 站 的 真 实 环 境在 训 练 集 中,我 们 将 所 有 两 两 匹 配 的 商 品 对 作为 正 样 本,将 所 有 两 两 不 匹 配 的 商 品 对 作 为 负 样 本若 一 共 有犽个 实 体(犽款 商 品) ,每 个 实 体 分 别 有犖, ,犖犽个 商 品,则 总 共 有犽犻 犆犖犻个 正 样 本 和犆犖犻犽犻 犆犖犻个 负 样 本在 通 常 情 况 下 负 样 本 数 往往 远 大 于 正 样 本 数,这 将 造 成 训 练 的 不 平 衡 问 题因此 需 要 根 据 某 一 采 样 率 对 负 样 本 进 行 均 匀 采 样,使得 正 负 样 本 的 数 目 相 当
82、在 本 文 的 实 验 中,正 样 本 与负 样 本 的 比 例 为 ,故 将 采 样 率 设 定 为 实 验 结 果 的 评 测 标 准我 们 使 用 准 确 率 和 召 回 率 来 评 测 商 品 归 一 化结 果:犘 狉 犲 犮犻狊犻 狅 狀犜 犘犜 犘 犉 犘,犚 犲 犮 犪 犾犾犜 犘犜 犘 犉 犖,其 中犜 犘、犉 犘和犉 犖分 别 是 真 阳 数、假 阳 数 和伪 阴 数如 果 模 型 将 两 个 相 互 匹 配 商 品 预 测 为“相 互匹 配” ,则 是 真 阳 的 结 果,如 果 预 测 为“相 互 不 匹 配” ,则 是 伪 阴 的 结 果如 果 模 型 将 两 个 相
83、互 不 匹 配 的 商品 预 测 为“相 互 匹 配” ,则 是 假 阳 的 结 果我 们 使 用犉 来 综 合 评 价 准 确 率 和 召 回 率:犉 犘 狉 犲 犮犻狊犻 狅 狀犚 犲 犮 犪 犾犾 犘 狉 犲 犮犻狊犻 狅 狀犚 犲 犮 犪 犾犾 实 验 结 果 和 分 析我 们 在 个 商 品 类 别 上 分 别 用 本 文 的 方 法 和个 对 比 方 法 进 行 了 实 验对 比 方 法和 对 比 方 法不 需 要 训 练 模 型,可 以 通 过 改 变 阈 值来 调 整 准 确率 和 召 回 率 之 间 的 平 衡越 大,预 测 为“匹 配”的 要求 就 越 高,从 而 提 高
84、了 准 确 率,但 于 此 同 时 牺 牲 了 召回 率同 样,降 低可 以 提 高 召 回 率,但 却 牺 牲 了 准确 率对 比 方 法和 本 文 的 方 法 中 使 用 了则 交 叉验 证需 要 注 意 的 是,这 两 种 方 法 的 实 质 是 通 过 训 练数 据 集 决 定 不 同 特 征 的 权 重,因 此 训 练 集 必 须 覆 盖所 有 的 特 征,即 保 证 任 意 一 个 特 征 都 必 须 至 少 出 现在 一 个 训 练 样 本 中这 一 要 求 很 容 易 满 足,因 为 在 进行 模 式 集 成 之 后,每 一 个 商 品 类 别 的 属 性 表 中 不 同的 属
85、 性 数 不 会 超 过 在 对 比 方 法 和 本 文 的 方 法 中不 需 要 去 指 定 偏 置狑,但 可 以 在 测 试 时 调 整狑来平 衡 准 确 率 和 召 回 率本 文 的 方 法 需 要 在 计 算 特 征相 似 度 时 设 定 空 值 惩 罚 系 数狀 狆通 过 实 验 发 现,狀 狆在 取 值 为 , 的 实 验 效 果 最 好,且 在 此 范 围 内计 算 机 学 报 年狀 狆的 取 值 变 化 对 实 验 结 果 影 响 很 小,因 此 本 文 设 定狀 狆 图展 现 了个 对 比 方 法 和 本 文 的 方 法 在 个 商 品 类 别 上 进 行 商 品 归 一 化
86、 的 平 均 准 确 率 和 召 回率实 验 结 果 表 明 对 比 方 法和 对 比 方 法的 效 果不 佳,而 且 当 准 确 率 较 高 时 召 回 率 很 低这 是 因 为 当设 为 很 高 的 值 时,这 两 个 方 法 只 将 标 题 几 乎 相 同的 商 品 预 测 为“相 互 匹 配”的 商 品,因 此 准 确 率 高,但召 回 率 会 非 常 低于 此 同 时,准 确 率 随 着 召 回 率 的 提高 而 急 剧 下 降,这 是 因 为 标 题 中 含 有 的 不 相 关 词 导致“不 匹 配”的 商 品 标 题 也 会 较 为 相 似对 比 方 法效 果 要 好 于 对 比
87、 方 法,这 是 因 为 对 比 方 法在 计算 字 符 串 相 似 度 时 给 词 加 上 了 由 计 算 的 权重,因 此 那 些 相 对 流 行 但 与 商 品 内 容 无 关 的 词 的 所起 到 的 噪 音 作 用 就 被 降 低 了但 对 比 方 法的 效 果依 然 远 远 不 能 达 到 实 际 需 求,这 也 说 明 了 进 行 商 品归 一 化 不 能 仅 仅 用 商 品 的 标 题 作 为 特 征图 本 文 方 法 和个 对 比 方 法 的 实 验 效 果对 比 方 法的 结 果 远 远 优 于 前 两 个 方 法这 得益 于 此 方 法 使 用 了 价 格 和 文 本 描
88、 述 这 两 个 更 为 丰 富的 特 征 并 使 用 了 机 器 学 习 的 方 法 来 训 练 特 征 的 权重对 比 方 法在 对 比 方 法的 基 础 上 有 所 提 高,这是 因 为 它 是 用 了 评 论、属 性 表 格 等 额 外 的 特 征但 对比 方 法的 提 升 空 间 十 分 有 限,这 反 映 出 评 论、属 性表 格 尽 管 有 用,但 由 于 其 噪 音 太 大,直 接 使 用 难 以 获得 较 大 的 帮 助本 文 的 方 法 明 显 优 于 前个 比 方 法,这 是 因 为: ()本 文 进 行 了 模 式 集 成,因 此 那 些 本 质上 相 同、表 述 不
89、同 的 属 性 可 以 被 作 为 一 个 属 性 对 待;()本 文 进 行 了 缺 失 值 填 充 和 错 误 值 修 复,使 得 用来 训 练 模 型 的 特 征 更 为 全 面 和 准 确为 了 验 证 模 式 集 成 和 数 据 清 理 在 本 文 提 出 的 方法 中 的 作 用,在 本 文 的 方 法 基 础 上 定 义 了个 变 种:()本 文 的 方 法( ) ; ()不 进 行 数 据 清 理( ) ; ()既 不 进 行 模 式 集 成 也 不 进 行 数 据 清 理( )分 别 按 照 上 述个 方 法 在 个 商 品 类 别 上 进行 实 验,实 验 结 果 的犉 如
90、 图所 示实 验 结果 表 明,进 行 数 据 清 理 的 实 验 效 果 在 整 体 上 要 优 于既 不 进 行 模 式 集 成 也 不 进 行 数 据 清 理 的 实 验 效 果,从 而 验 证 了 模 式 集 成 对 商 品 归 一 化 效 果 提 升 的 贡献此 外,进 行 数 据 清 理 后,各 个 商 品 类 别 的 实 验 效果 都 得 到 了 明 显 提 升,从 而 验 证 了 数 据 清 理 对 实 现商 品 归 一 化 的 重 要 作 用,以 及 本 文 提 出 的 数 据 清 理算 法 的 有 效 性图 对 比个 变 种 方 法 与 本 文 方 法 的 实 验 结 果
91、总结随 着 电 子 商 务(特 别 是 模 式)的 发 展,日 益增 长 的 商 品 规 模 使 得 进 行 商 品 归 一 化 这 一 任 务 变 得越 来 越 迫 切但 由 于 商 品 数 据 噪 音 严 重 且 缺 乏 统 一的 模 式,进 行 商 品 归 一 化 的 困 难 很 大本 文 提 出 了 一种 将 数 据 预 处 理 和 商 品 归 一 化 相 结 合 的 架 构,通 过充 分 利 用 已 有 数 据,进 行 数 据 的 验 证 以 及 填 充文 章最 后 在 真 实 数 据 集 上 进 行 了 实 验,结 果 验 证 了 本 文提 出 的 方 法 的 有 效 性本 文 在
92、 进 行 特 征 选 择 的 时 候,并 没 有 考 虑 到 个 属 性 之 间 的 正 交 性,这 使 得 本 文 的方 法 可 能 引 入 冗 余 的 特 征,从 而 造 成 计 算 代 价 的 提升 和 潜 在 的 性 能 降 低 风 险如 何 判 断 特 征 之 间 的 正交 性 及 避 免 引 入 冗 余 的 特 征,将 是 下 一 步 的 研 究工 作参考文献 , , , , , ( ) : , , () : 期王立 等:电 子 商 务 商 品 归 一 化 方 法 研 究 , : , , : , , , , , : , , , , : , , , () : , , , : , ,
93、, , : , , , , : , , , : , , , , : , , , ( ) : , , , : , , : , , , : , , , , () : , , , , ,( ) : , , , , : , , : , , : , , , , , : , , , , , : 犠 犃 犖 犌 犔 犻, , , , 犣 犎 犃 犖 犌 犚 狅 狀 犵, , , 犛 犎 犃 犆 犺 犪 狅 犉 犲 狀 犵, , , 犠 犃 犖 犌 犡 犻犪 狅 犔 犻 狀 犵, , , , , 犣 犎 犗 犝 犃 狅 犢 犻 狀 犵, , , , , , 计 算 机 学 报 年犅 犪 犮 犽 犵 狉 狅 狌 狀 犱 , , , ( ) , , , , , , , , , , ( ) , ( ) ( ) ( ) ( )期王立 等:电 子 商 务 商 品 归 一 化 方 法 研 究