一对一免费咨询: 13913005726 025-66045668

现在有很多像今日头条、轻芒阅读这样为你个性推荐资讯的 app,为什么同样是个性推荐,它们却有着不同的风格?今天分享的这篇文章,作者是曾在 Facebook 工作的宋一松,他从 3 个方面为你简单介绍,app 是如何为你推荐个性化资讯的。

不了解今日头条是怎么运作的。不过因为在 Facebook 工作时负责新鲜事(Newsfeed)的个性化推荐与排序,我可以说说 Facebook 是怎么衡量自己推荐和排序的质量的。

在具体执行层面,主要有 3 个方式,分别是从机器学习模型、产品数据,和用户调查上来考核推荐引擎的效果。

1. 机器学习模型

推荐引擎的一大核心就是机器学习(不过现在都说人工智能了,但本质上还是 supervised learning)。如果是想考察机器学习模型的质量,学术上早就有一套成熟的实践方法。

无论是模型的选择(比如从 decision tree 替换成 neural network),还是迭代改进(比如模型训练时多用一倍的数据),都可以使用基于 supervised learning 的衡量办法。最常见的就是 AUC。

另一方面,对于某一类特定问题也有更细致的指标。比如说,可以通过模型特征的重要性(feature importance)知道新加的特征是不是有用。

2. 产品数据

再牛逼的机器学习模型都要经历产品数据的实际检验。这方面大家就都比较熟悉了,KPI 嘛。不过在 Facebook 特别是 Newsfeed 这种牵一发动全身的地方,我们会追踪一系列数据来描述产品,而不是依赖某一个单一标准。

这些数据包括但不限于:

日/月活跃用户(DAU,MAU)用户互动(点赞,评论,转发等)用户发帖量用户停留时间和消耗的内容量收入用户互动率(比如看过的内容中点赞/评论/长阅读/收藏的比例)用户举报和屏蔽的数量

而且,在日常的快速迭代和 A/B 测试中,只有这些笼统的数据是不够的,我们还需要些更细致的数据来真正理解我们的一些改动。比如说:

内容类型的分布是怎么变动的:用户原创和转发的比重分布,网页链接和图片视频的比重分布,长视频和短视频的比重分布等等对公众帐号是怎么影响的:什么样的公众号会受益于这次改动哪些第三方巨头受到了影响,影响是否合理:比如我最早在 FB 实习时候的项目是整顿 SPAM 帐号。那个改动重创了 Zynga(因为 Zynga 严重依赖用户骚扰它的好友来吸量),但大家觉得挺合理的,让公关去沟通了下就发布了。

另外,为了防止短暂的眼球效应,对每一个重要的产品决策,我们都会维护一个长期的 backtest,用来评估这个决策的长久影响。比铜川网站建设公司如说:

对于在 feed 里面放广告这个决定,我们会选择一小部分用户,对他们长期不显示广告,然后将他们的用户活跃度同正常能看到广告的用户做对比,来衡量广告的长期影响。类似的,对于 Newsfeed 是否排序,我们也有一个 holdout group,他们的 feed 是完全按时间排的。

这样,对每一个可能会有争议的决策,但未来的每个时间点,我们都能清楚地知道,我们是面临着怎样的取舍。有了这层保障,在决策的当下,我们也就敢于冒险些,走得更快些。

3. 用户调查

大多数产品数据有其局限性,因为它们是显性而被动的。比如说,你给用户推送了一个博眼球的低俗内容,用户在当下可能是会去点开看的,所以数据上是好的。

但用户可能心里对这个内容的评价是低的,连带着对作为内容平台的产品也会看轻,长此以往对产品的伤害是巨大的。

KPI 无法完全描述产品质量,在硅谷互联网圈是有共识的,但如何解决,每个公司答案都不同。

Twitter 系的 CEO 们,无论是 Jack Dorsey 还是 Evan Williams,都倾向于轻视 KPI 而依赖自己主观想法来决策。

Google 和 Facebook,则采取了另一条路,他们决定把用户评价纳入到 KPI 中。

Google 在这方面的工作开始得比较早,因此公开的资料也比较多。概括地说,他们雇佣大量的普通人,以用户的角度来对 Google 公司企业品牌网站建设 搜索排序的质量和广告推荐的质量做主观打分。

当打分的量大到一定程度,这些数据就足以成为一个稳定有效的,且可持续追踪并改进的 KPI 了。Facebook 虽然产品领域有所不同,但在个性化推荐上也采取了类似的方法。

回答的最后,还是想重申两个方法论:

永远不能依靠单一一个 KPI 来评价产品上的工作。任何 KPI,任何产品,都不能。在明确 KPI 局限性的前提下,数字可以终结大多数无意义的扯皮,无论是技术上的,还是政治上的。相关阅读:

「个性推荐」会让你难以跳脱自己的小圈子吗?

作者:北碚网站建设公司宋一松

来源:http://www.ifanr.com/app/826575

本文来源于人人都是产品经理合作媒体@爱范儿,作者@宋一松


 


 南京牧狼文化传媒有限公司简介:


      牧狼传媒,牧者之心,狼者之性,以牧之谦卑宽容之心待人,以狼之团结无畏之性做事!


  公司注册资金100万,主营众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放以及电商营销推广全案等相关业务,致力于为客户提供更有价值的服务,创造让用户满意的效果!


  为百度官方及其大客户、苏宁易购、金山WPS秀堂、美的、创维家电、新东方在线、伊莱克斯、宝丽莱等国内国外知名品牌服务过,服务经验丰富!同时,公司也是南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位,可以为您提供更好的服务!


  主营项目:众筹全案服务、网站营销全案服务、网站建设、微信小程序开发、电商网店设计、H5页面设计、腾讯社交广告投放、竞价托管、网站优化、电商代运营等


  合作客户:百度、苏宁易购、饿了么、美的、创维家电、新东方在线、宝丽莱、金山WPS秀堂、伊莱克斯


  资质荣誉:百度商业服务市场2017年度最佳图片服务商、南京电子商务协会会员单位、猪八戒网官方认证签约服务商、江苏八戒服务网联盟、南京浦口文化产业联合会会员单位、八戒通TOP服务商、"易拍即合杯"H5创意大赛"三等奖"。



致力于为客户创造更多价值
13913005726 025-66045668
需求提交
电话咨询
在线咨询