吾＝营＝与一应鬲一 ＤＯＩ：１０．３９６９／ｊ ｉｓｓｎ．１００６—６４０３ ２０１５．０２．００４ 协同过滤算法优化在推荐系统中的应用 ［韩高朱正键刘思泳］ 圜 基基求 关键词： 电子商务推荐系统协同过滤情感性需求 撼耐将 韩高 男，中国移动广东公司珠海分公司网络维护中心，硕士，西安电子科技大 学，通信与信息系统，主要研究方向：移动通信网络。 朱正键刘思泳 中国移动通信集团广东有限公司珠海分公司。 引言 集个性化、精细化、自动化优势于一体的智能推荐系 其高效推送针对性产品的能力被广大电商相继采用。 性和产品信息。专门数据挖掘算法的实现包括基于用户个 人属性的类别分类和基于产品被浏览的协同过滤算法相关 表生成和基于产品被购买的协同过滤相关表生成；在线部 粤日分是调动离线部分生成的产品相关表和用户类别分类，结 合用户实时的动态操作和一定程度上的人工干预推荐形式 智能推荐系统的主流实现方式是通过协同过滤算法， 户决策购物阶段以推送实物产品形式实现自动营销。 本次智能数据挖掘应用以基于产品的协同过滤开 在前人研究的基础上，继承该算法自适应性强、不 领域知识、能跨类型推荐等优势；同时在如何处理用 （产品销售周期、产品库存、用户的操作深度、冷启动问 题），最终生成推荐产品的列表。 ；线翔ｉ分 为的时效性、保证推荐商品的新颖性、处理新客户的 动问题上提出适合珠海移动本地电商网站——“惠生 的整体解决方案。 —＿—一梧关曩ｌ ・智能数据挖掘的模型设计 如图１所示，智能推荐系统分为两个部分：离线部分 线部分。离线部分由数据的准备和数据挖掘算法的实 成。数据的准备包括从ｗｅｂ数据库的暂存ｌｏｇ文件中 —＿一＝ 一 —－ 相关寰 相关囊Ｎ 用户操作行为记录，从信息数据库中提取用户个人属 １２ 图１推荐系统结构图 协同过滤算法优化在推荐系统中的应用 本次智能推荐系统旨在基于目前协同过滤算法已有 的自适应性强、不需要领域知识、能跨类型推荐等优势 上，考虑到“惠生活”电商平台以本地服务类团购和移动 自有业务为主，具有商品周期性短、库存少，新用户占比 多，被活动类吸引用户占比大等特点。强调推荐系统优先 推荐处于旺季的产品；不推荐零库存产品；随用户操作深 入调整相关性，满足推荐的新颖性或专业性需求；新用户 冷启动等问题。下面着重讨论基于产品的协同过滤算法推 荐和优化方案的实现． ２．１相关定义 （１）定义操作事务项 设 为用户访问操作事务项，每条操作记录１６Ｌ包括： 用户主机 地址，． ，用户ｌＤ号１．ｕｉｄ，浏览产品 为 ｒｅａｄＰ．ｉｄ，浏览时间ｒｔｉｍｅ，评价产品 为ｅｓｔｐ．ｉｄ，评 价时间为ｅｔｉｍｅ；若没有用户的 则可以随意分发标识 符给用户作为 ｄ。Ｌｏｇ文件中关于用户操作的还包括： 请求方法、Ｊｐ ７＇或Ｇ 、传递文件的大小等。由于这 些信息对建模没作用，故在数据精化去冗余处理的时候就 被系统处理掉。一般浏览行为和购买行为 ｌｋ＝＜ｕｉｄ，ｒｅａｄＰｋ．ｉｄ，ｒｔｉｍｅ￣＞ 其中 ∈Ｌ， ．ｕｉｄ ＝ｕｉｄ ｒｅａｄＰｋ．ｉｄ＝ｒｅａｄＰ．ｉｄ，ｒｔｉｍｅｋ＝ｒｔｉｍｅ （１） ＝＜ｌｋ．ｕｉｄ，ｅｓｔｐｋ．ｉｄ，ｅｔｉｍｅｋ＞ 其中 ， ．ｕｉｄ＝ｕＭ ｅｓｔｐ ．ｉｄ＝ＣＳｔｐ．ｉｄ，ｅｔｉｍｅｋ＝ｅｔｉｍｅ （２） （２）定义有效浏览和评价行为事务项 基于用户浏览行为做产品推荐，需要让行为数据给 协同过滤算法所用。不但要准确定义用户在一次操作中的 事务项，更要准确定义有效浏览操作。对于用户的浏览行 为，定义用户从开始浏览网站（时间定义为ｓｔａｒｔｔｉｍｅ ）到关闭网站超过３分钟，或者停止操作超过３分钟（时间 定义为Ｐ ｄｔｉｍｅ）为一次完成网站体验。 Ｌ．ｓｔａｒｔｔｉｍｅ ｒｔｉｍｅｋ Ｌ． ｄｔｉｍｅ （３） （３）协同过滤核心算法实现 本智能推荐系统系统采用余弦公式计算产品间的相 关性。首先寻找产品ａ与产品ｂ的共同评价客户群：再以产 品ａ的评价作向量 ， 同理。产品ａ与产品ｂ的相关系数 计算公式如下： ｃｏｓ（ａ，６） ａ．ｂ （４） 余弦计算相关性在虽然高效且准确地反映了产品之 间受同类用户喜爱程度。但公式并无考虑不同用户自身的 评分松紧张度。为了弥补这方面的忽略，在原有公式的基 础上采用用户评分与用户平均评分的差异作为相关性计算 公式。设Ｃ为同时评价产品ａ和产品ｂ的用户集， 为用 国 户Ｃ对商品ａ的评分， 用户集Ｃ的平均评分。 圄 ∑（ 围 ｓ（ａ，６ ＝ ｆ∈Ｃ 国 （５） ’ 圆 本次推荐系统所部署的电子商务平台主营线下服务 性商品。产品更新速度快，销售周期短等问题较一般电商 平台突出。上述情况衍生出数据矩阵稀疏情况也将更为凸 显。基于协同过滤算法的推荐系统，至少需要两个用户评 价了两个以上相同产品才能计算，而实际上用户可能因为 无评价而与相似的用户失之交臂，系统无法作出任何推 荐。 系统采用平滑的数据矩阵填充方法解决上述问题， 用户Ｃ对产品ａ的平滑评价值为评价的矩阵元素，形式化 的表示如下： ｖ： ± ± ± （６） ２ 其中， 是用户Ｃ对于所有项目评价均值：屹是用户 Ｃ的评价偏移均值。其中，１，’是所有用户对项目ａ的评价 均值：吃是产品ａ的评价偏移均值： １ ３ ２ｏ＂１ ５．０２’广东通信技术 运营与应用 Ｖｃ，ｔ…１ ｆ ｒ（）ｄ— Ｉ７１ｌ ２∑一 ｃｃＣ （ ｌＣｌ 其中，ｌＴＩ和ｌＣＩ为系统中用户数和项目数。最后一步 计算商品的预测值，对用户群Ｃ所有已经评价的项目与要 预测的项目ｉ之间的相似度后，过滤出前Ｋ个最大的产品Ｃ， 然后计算这些值的和，每个值都以相似度为权。具体公式 如下： ・ Ｉｔｌ‘一（Ｉｓｏｂ＼） 、ｂ ａｅＣ ２．２待解决的问题 （１）新用户的冷启动问题 新用户往往由于缺乏数据导致推荐系统无法对其进行产品推荐。一般的处理方式是通过推荐热销产品代替个 性化推荐。这次推荐系统在沿用上述理论的基础上，通过 聚类算法对用户信息进行类别划分，再根据同类别用户的 热销产品向新用户推荐。对于无法获取用户信息的新用户 的则推荐大众热销产品。 对于有信息的新用户实施同类用户的热门推荐： Ｒｅｃｏｍｍａｎｄ＜Ｐ．ｉｄ＞＝｛ｍａｘ（ｃ，ｋ）ｌ ，Ｕｃｌｕｓｔｅｒ｝ 其中ｃ∈ ， ｔｅｒ，１ ｋ （１１） 对于无信息新用户实施大众推荐： Ｒｅｃｏｍｍａｎｄ＜Ｐ．ｉｄ ｛ 似（ｐ．ｉｄ，ｋ）ｌ ｝１ ｋ （１２） （２）商品销量与生命周期管理 推荐系统以通过提高产品的曝光率，拉动客户消费提升营业额为目的。考虑到在实际运营中会遇到零库存或 商品存在显著的淡旺季周期等严重影响推荐情况等因素， 本系统将自动过滤该商品的推荐。 （３）线下服务类产品的推荐问题 好，增加同类商品的曝光机会，激发长尾价值。而对于主 营线下服务业务的电商平台，其用户需求从实物消费转向 ； 刀 黹簧似仫 Ｌ、 蠹 ＿刖以艾， 最终导向用户在参与购买产品的行为中不仅仅对一类产品 感兴趣。为此，在实现推荐的时候，记录用户访问时间内 有效浏览产品的类别数有利于用于调整商品推荐的方向。 当用户浏览产品类别数超过用户购买产品前平均浏览产品 类别数，则推荐系统根据设置降低相关性阈值，从而提升 推荐的新颖性，当用户浏览产品类别数未超过用户购买产 々业量 浏Ｉ＿土ｏ 览产品类别数则调高相关性阈值，提升推荐的 Ｉ Ｉ｝）ｔｔｍｅ ＞Ａ Ｅｊ ｐｔ ｍｅｓ）Ｉ 一 一 ，厂（Ｉ．ｐｃｌｕ ｓ＇ｔｅｒ＞＞Ａ ＶＥＩ．ｐｃｌｕｓｔｅｒ）： Ｃ（），２，ｊ ｃｅ ｌｅｖｅ， ｉｎｃｏ 触门ｃ ／ｅｖｅ， （，．ｐｃｌｕｓｔｅｒ＜＜Ａ ＶＥ１．ｃｌｕｓｔｅｒ）： （＂ｏｎｉｆｄｅｎｃｅ ｌｅｖｅｌ＝ｍａｘｃｏｎｆｉｄｅｎｃｅ ｌｅｖｅｌ 最小置信值和最大置信值系统默认设置为０．４ｇｌ３０．９， 同时支持通过后台人工干预设置。 ２．３在线处理模块 （１）推荐结果调度与实施模块： 最终推荐系统将对电商平台的首页、产品展示页、 用户已购买产品后推荐产品页进行个性化产品的推荐，其 中不同页面推荐需求不一，其推荐程序如下： ２－３・１惠生活首页的产品推荐栏算法： ①Ｉｆ用户有评价信息 ②根据算法推荐用户喜好产品 ③Ｉｆ用户有注册信息无评价信息 ④通过聚类算法生成的规则判断用户所属ＵｃＩｕｓｔｅｒ ⑤根据所属分类获取热销产 ￣ｌＪＲｅｃｏｍｍａｎｄ＜ Ｐ．ｉｄ＞＝｛ｍａｘ（ｐ．ｉｄ．ｋ）ｌＴ，Ｕｃｌｕｓｔｅｒ｝ ⑥剔除用户已购买、零库存、处于淡季的产品选取 最热销的ｋ项产品。 ⑦生成最终推荐产品列表 ⑧Ｉｆ用户无注册信息 协同过滤算法优化在推荐系统中的应用 ⑨获取大众热销产品推荐列Ｒｅｃｏｍｍａｎｄ＜Ｐ．Ｉｄ＞＝｛ 件模块，特定领域模块及推荐模块等）。 ｍａｘ（ｐ．ｉｄ，ｋ）ｌＴ） ⑩剔除用户已购买、零库 存、处于淡季的产品选取最热 销的ｋ项产品。 Ｗｅｂ层 推荐数据获取 利用推荐系统完成实现功能清单如图２、图３所示。 推荐服务 系统管理 ⑨生成最终推荐产品列表 ２．３－２惠生活产品展示页的推荐 栏算法： ①＿ｆ当前用户有效浏览产品 业务层 数 据 集 组 件 推 掮获取 组件 数 ｊ ｝錾朝日务 推 推 通 特 领 景统管理 商 推 据 ｝比 曼 收 集 组 件 荐 荐 服 务 务 桩 插 Ｊ０ 件 组 框 件 架 服 用 推 商 户 商 １口 １：１：９ 品 台 信 息 管 理 荐 用 类别无超过用户购买产品前平 均浏览产品类别数 ②读取用户当前浏览产品ｉｄ 推荐引擎 收 荐 服 务 捕 件 域 推 荐 服 务 信 息 管 理 信 息 管 理 白 信 息 管 理 ③从浏览产品相关表中调 取高预测值ｎ个产品 ④剔除用户已购买、零库 存、处于淡季的产品选取最热 销的ｋ项产品。 ⑤生成最终推荐产品列表 ｔ 持久层 推荐 掘ＤＡＯ 推荐 Ｅ务ＤＡＯ 系编管理ＤＡＯ 图２推荐系统实施图 模块 功能 优先级 用户 陋，注销 访问 陆／退出推排 黼 添加商城和商 添加不『司的商城， ｊ 以【刃 城叨换 换到不 的商城平台 高 ⑥ｉｆ当前用户有效浏览产品类别 超过用户购买产品前平均浏览产品类别 ⑦读取用户当前浏览产品ｉｄ ⑧下调置信度 ⑨从浏览产品的相关表中调高相关系数 国 固 回 国 圆 ⑩剔除用户已购买、零库存、处于淡季的产品选取 最热销的ｋ项产品。 ⑩生成最终推荐产品列表 商城信息十葵块主要包拓商 商城信息 场牲小信息、征书 小信 息、统计 本 息、行为 统计等 商 。 管 奁淘 同商 Ｉ 言息 热门商根 行为、天数、 示条 ， ｒ 数， 示热门商品信息 热门推荐 目忠 淘 根据显示条数，湿示热门 推荐信 ＩＥ，ｒ 查询行为类 ｌｌ’Ｊ 抽 …Ｊ 局 ２．３，３惠生活产品购买页的推荐栏算法： ①读取用户当前购买产品ｉｄ ②根据默认支持度和置信度从浏览产品相关表中调 取高相关系数ｎ个产品 图３模块实施优先级排序 ３ 结果检验 从惠生活网站ｈｔｔｐ：／／ｗｗｗ．ｚｈｇ３．ｃｏｍ／尝试运营推荐系 统一周。通过读取站点服务器的ＬＯＧ文件，获取大约有１ 万条数据左右。经过ＥＴＬ预处理访问ＬＯＧ文件集，获得大 约４００个用户事务模式。用这些预处理用户事务模式，再 进行基于协同过滤的个性化智能推荐服务。 ③剔除用户已购买、零库存、处于淡季的产品 ④生成最终推荐产品列表 ２．４推荐系统的架构 本次推荐系统是一个易集成，易扩展，功能强大且 可视化管理的推荐系统。系统采用三层架构模式（展现 层、业务层和持久层），横向采用模块化（核心模块、插 本次检验将采用查全率和查准率来检验试验结果， 如表１所示。 １ ５ ２０１ ５．０２广东通信技术 运营与应用 ＝营＝与ｌｌ应ｌｌ用 表１ Ｒｅｃａｌｌ： ，ｚ智Ｉ Ｒ Ｉ １ （１３） ０ ０ ０ ０ ０ ｃ 玎： ｎ …） 其中ｎ为４００用户事例，ｌ厶ＡＲｉ ｌ表示推荐列表中被用 户偏好的项目数量。 表示用户ｉ产生的推荐列表，Ｒｉ表 针对线下服务产品对途中曲线的Ｘ坐标表示推荐步 骤，Ｙ坐标表示推荐用户感兴趣的项目占总数的比例，结 果显示如图４所示。 示推荐且用户喜好的全部项目。 …．．一． ０二二≯ 一≯ ｛ －．．．． ．．……． ，… ／誓一一…－一一一 ～一一 ０ … … …～．■一…… …… ． ． １ ２ ３ ４ ５ ４ Ｓｊ 惟嚣攻欺 图４ ４ 结语 电子商务凭借着方便、快捷等优点吸引着广大群众 上网购买。同时极大地唤醒消费者在“资信泛滥”时代快 速寻找自己喜好的、想要的商品需求。本次推荐系统针对 Ａｐｐｌｉｃａｔｉｏｎｓ ２００２ 参考文献 Ｂｅｎ Ｓ Ｊ；Ｋｏｎｓｔａｎ Ｊ Ａ；Ｒｉｅｄｌ Ｊ Ｅ—ｃｏｍｍｅｒｃｅ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｃｏｏｌｅｙ Ｒ：Ｍｏｂａｓｈｅｒ Ｂ；Ｓｒｉｖａｓｔａｖａ Ｊ Ｄａｔａ ｐｒｅｐａｒａｔｉｏｎ ｆｏｒ ｍｉｎｉｎｇ Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ ｂｒｏｗｓｉｎｇ ｐａｔｔｅｒｎｓ １ ９９９（０１） Ｂｒｅｅｓｅ Ｊ Ｓ：Ｈｅｃｋｅｒｍａｎ Ｄ；Ｋａｄｉｅ Ｃ Ｅｍｐｉｒｉｃａｌ Ａｎａｌｙｓｉｓ ｏｆ 协同过滤存在的一些缺陷（如：冷启动、商品周期变化 快，库存少，以服务型产品为主等问题。）提供一系列的 解决方案。首先采用用户评分与用户平均评分的差异作 为相关性计算公式，弥补余弦公式没有考虑用户自身评分 松紧程度，接着采用平滑的数据矩阵填充方法解决数据矩 阵稀疏问题，对于新用户冷启动的问题采用聚类算法对用 户信息进行类别划分，再根据同类别用户的热销产品向新 用户推荐。针对线下服务类产品的推荐问题采用逐步调低 （高）相关性提高推荐的新颖或专业性。 最终试验结果验证，经过优化的推荐系统能够较一 Ｐｒｅｄｉｃｔｉｖｅ Ａｌｇｏｒｉｔｈｍｓ ｆｏｒ Ｃ０ｌＪａｂＯｒａｔｉＶｅＦｉｌｔｅ ｎｇ １ ９９８ Ｂａｄｒｕｌ Ｓ；Ｋａｒｙｐｉｓ Ｇ：Ｋｏｎｓｔａｎ Ｊ Ｉｔｅｍ—ｂａｓｅｄ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｆｉｌｔｅｒｉｎｇ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ａｌｇｏｒｉｔｈｍｓ ２００ １ 邓爱林：朱扬勇：施伯乐基于项目评分预测的协同过滤推荐算 法ｆ期刊论文卜软件学报２００３（０９） Ｂａｄｒｕｌ Ｓ；Ｋａｒｙｐｉｓ Ｇ；Ｋｏｎｓｔａｎ Ｊ Ａｎａｌｙｓｉｓ ｏｆ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ａｌｇｏｒｉｔｈｍｓ ｏｒ ｆＥ・ｃｏｍｍｅｒｃｅ［￣＇ｋ文会议】２０００ 赵亮：胡乃静：张守志个性化推荐算法设计【期刊论文】一计算机 研究与发展２００２（０８） 邓爱林：左子叶：朱扬秀基于项目聚类的协同过滤推荐算法［期 刊论文】＿『ｊ、型微型计算机系统２００４（０９） 宁波基于Ｗｅｂ－１２问挖掘的个性化智能推荐服务＿【期刊论丈］ 一般推荐系统有更高的预测精度。后续继续在如下几方面继 续改善：①采纳更多算法的进行多方位预测，②引进更多 ２００６，５０（５） （收稿Ｅｌ期：２０１５．Ｏ１—２３） 数据源丰富数据维度。
