求剧情
推荐系统实践 · 第五节

《推荐系统实践》第五节

离线实验的步骤是:从日志中获取用户行为数据生成标准数据集,按规则分成训练集和测试集,在训练集上训练兴趣模型并在测试集上预测,最后用事先定义的指标评测结果。

离线实验的步骤是:从日志中获取用户行为数据生成标准数据集,按规则分成训练集和测试集,在训练集上训练兴趣模型并在测试集上预测,最后用事先定义的指标评测结果。它不需要真实系统和真实用户,可快速测试大量算法,但难以获得点击率、转化率等商业指标。

由于离线指标与商业指标有差距,上线前还需用户调查:让真实用户在测试系统上完成任务,观察记录其行为并提问,以此获得满意度等主观指标。其缺点是成本高、难以大规模开展,测试用户的分布应与真实用户一致,且需做双盲实验;测试环境下的行为也未必能重现于真实环境。

完成前两步后,可上线进行AB测试:按规则把用户随机分组,对不同组采用不同算法,通过比较各组的点击率等指标来评判算法。它能公平获得包括商业指标在内的在线性能,但周期长、系统设计复杂,各层的流量切分必须统一且正交,以免互相干扰。一个新算法上线通常要依次通过离线实验、用户调查和AB测试这三关。

‹ 上一章目录下一章 ›

全部 32 章