内容算法:把内容变成价值的效率系统 · 第二节
《内容算法:把内容变成价值的效率系统》第二节
本节以搜索系统为参照,讲解推荐系统的架构与工作原理。搜索系统分为离线和在线两部分:离线负责爬取内容并建立倒排索引等索引体系;在线响应查询,依次经过搜索词处理(分词、同义词扩充……
本节以搜索系统为参照,讲解推荐系统的架构与工作原理。搜索系统分为离线和在线两部分:离线负责爬取内容并建立倒排索引等索引体系;在线响应查询,依次经过搜索词处理(分词、同义词扩充、纠错)、召回(从不同索引获取候选集)、排序(模型打分)和规则干预(如优先返回官网)四个环节,用户点击反馈还会反过来调整排序权重。
推荐系统结构类似,离线对内容按类目、实体词、话题等维度索引化;在线则先依据用户ID调取长期画像(兴趣类目、实体词)和短期场景(时间、位置、设备等),再进行召回、排序和规则处理。其与搜索的最大差异在于用户表意不明确,因此需要更完善的画像。用户行为具有双重意义:群体层面评估内容质量,个体层面持续修正自身画像。
文中以YouTube(2016年引入深度学习,用神经网络分别做召回和排序,多种召回方式并行)和Netflix(增加NearLine近线层,区分时效敏感的行为数据与事件)为例,说明工业级架构的复杂化。最后面向三类角色给出建议:用户应通过登录、点赞、屏蔽等方式主动“训练”系统;内容创作者要兼顾机器可理解与用户点击;产品经理可从完善用户画像(避免单一兴趣断供,如NBA休赛期)和优化信息召回(类比招聘的多渠道筛选)两方面迭代。