AAAI 2023杰出论文一作分享：新算法加持的大批量学习加速推荐系统训练

CTR（click-through rate）预测模型是个性化推荐场景下的一种常用算法，它通常需要学习用户的反馈（点击、收藏、购买等），而每天在线产生的数据量又是空前庞大的。因此，加快 CTR 预估模型的训练速度至关重要。一般来说，提高训练速度会使用批量训练，不过批量太大会导致模型的准确度有所降低。

在 2 月 7 日至 2 月 14 日于华盛顿举办的 AAAI 2023 会议上，新加坡国立大学和字节跳动的研究者在获得 AAAI 2023 杰出论文奖（Distinguised Paper）的研究《CowClip: Reducing CTR Prediction Model Training Time from 12 hours to 10 minutes on 1 GPU》中，通过数学分析证明了在扩大批次时，对于不常见特征的学习率使用传统的学习率放缩，会影响学习的稳定性。

此外，研究者提出 CowClip 的梯度裁剪算法，可以简单有效扩展批大小。通过在 4 个 CTR 预估模型和 2 个数据集上进行测试，团队成功将原始批大小扩大了 128 倍，并没有造成精度损失。尤其是在 DeepFM 上，通过将批大小从 1K 扩大到 128K，CowClip 实现了 AUC 超过 0.1% 的改进。在单块 V100 GPU 上，将训练时长从原本的 12 小时，缩短至只需 10 分钟，训练提速 72 倍。

(资料图)

北京时间 2 月 14 日 19:00-20:00，机器之心最新一期线上分享邀请到论文一作、新加坡国立大学二年级博士生郑奘巍，为大家解读 CowClip 梯度裁剪算法如何改进大批量学习进而提升推荐系统训练效率的。

分享主题：CowClip 算法分享：大批量学习加速推荐系统训练过程

分享摘要：本次分享将讲解论文《CowClip: Reducing CTR Prediction Model Training Time from 12 hours to 10 minutes on 1 GPU》。本次分享将讨论 CTR 预测加速的必要性、大 batch 训练的优点以及如何用 cowclip 算法保持性能。此外，我们还将探讨可能的未来方向。

嘉宾介绍：郑奘巍，新加坡国立大学二年级博士生，导师为尤洋教授，HPC-AI Lab 成员。本科毕业于南京大学。目前的研究方向包括机器学习训练加速和计算机视觉。

论文链接：https://arxiv.org/abs/2204.06240

代码链接：https://github.com/bytedance/LargeBatchCTR

直播时间：2 月 14 日 19:00-20:00

直播间：关注机动组视频号，立即预约直播。

交流群：本次直播有 QA 环节，欢迎加入本次直播交流群探讨交流。

机器之心 · 机动组

机动组是机器之心发起的人工智能技术社区，聚焦于学术研究与技术实践主题内容，为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动，欢迎所有 AI 领域技术从业者加入。

点击阅读原文，访问机动组官网，观看更多精彩分享；