Awesome-Deep-Learning-Papers-for-Search-Recommendation-Advertising
工业级搜推广系统深度学习论文精选集,涵盖 Embedding、匹配、粗排、精排、重排全链路
加载项目详情…
本应用为开源项目,仅供学习研究,请遵守其开源协议。
工业级搜推广系统深度学习论文精选集,涵盖 Embedding、匹配、粗排、精排、重排全链路
加载项目详情…
本应用为开源项目,仅供学习研究,请遵守其开源协议。
想象一下,你是一位刚入职阿里巴巴推荐算法团队的新人,leader 丢给你一叠打印好的论文说:「这是咱们团队这些年做搜索推荐广告用到的核心文献,先啃一遍。」三百多篇论文,堆起来比笔记本还高——你从哪篇开始?
这就是顾宇龙(Yulong Gu)创建 Awesome-Deep-Learning-Papers-for-Search-Recommendation-Advertising 仓库时想要解决的核心痛点:工业级搜推广场景的深度学习论文,散落在学术会议和各大公司内部,缺乏一份系统化的「作战地图」。
本仓库的作者顾宇龙是一名工业界研究科学家(Research Scientist),专注于在线广告、推荐系统、搜索引擎和深度学习领域,目前在 GitHub 上拥有 206 名关注者、121 个公开仓库,是该细分领域极为活跃的实践者。他并非学院派——仓库中收录的论文大多来自 Google、Microsoft、Alibaba、Amazon、Yahoo、Spotify 等一线互联网公司的工程实践,而非纯学术动机驱动的理论研究。
2026 年,顾宇龙团队在 ACM TOIS(Transactions on Information Systems)发表了综述论文《Deep Learning to Rank in Industrial Search Engines, Recommender Systems, and Online Advertising - An Overview and New Perspectives》,这份综述既是仓库的学术背书,也是仓库内容的理论升华——它将 200+ 篇论文编织成一套完整的工业搜推广知识体系。
仓库按技术生命周期将论文划分为 9 个模块,每个模块对应搜推广系统的一个核心环节:
| 模块 | 主题 | 代表性论文 |
|---|---|---|
| 00_Overview | 总览与综述 | TOIS 2026 DLTR 综述 |
| 01_Embedding | 向量化表示学习 | Word2vec、DeepWalk、Node2vec、GCN、GraphSAGE |
| 02_Matching | 候选匹配与协同过滤 | User-CF、Item-CF、DSSM、矩阵分解 |
| 03_Pre-ranking | 粗排(初筛) | 双塔模型、DIN 等 |
| 04_Ranking | 精排(CTR/CVR) | YouTube DNN、Google DNN、DeepFM |
| 05_Post-ranking | 重排与多样性 | MMR、NDCG 多样性、SlateQ |
| 06_Relevance-ranking | 相关性排序 | DSSM、StructBERT、ReprBERT |
| 07_LLM | 大语言模型应用 | LLM-Ranking、KDD 2025 MS 文章 |
| 08_Deep_Learning | 通用深度学习基础 | ResNet、Adam、BatchNorm、Dropout |
| 09_Reinforcement_Learning | 强化学习应用 | LinUCB、DRN、Top-K Off-Policy、SlateQ |
从论文数量分布来看,02_Matching(46 篇)和 05_Post-ranking(27 篇)是论文最密集的两个模块,这恰好对应了搜推广系统中工程实践最活跃的两个环节——候选匹配和结果重排。
01_Embedding 模块收录了向量表示学习的完整演进路线。2013 年 Google 的 Word2vec 开创了分布式表示的先河;2014 年 DeepWalk 率先将 word2vec 思想迁移到图结构数据;2015 年 LINE、2016 年 Node2vec 进一步优化了图嵌入的采样策略;2017 年 GraphSAGE 和 GCN 则将图卷积网络带入工业场景,成为知识图谱增强推荐的核心技术。这一演进路径几乎可以被视为推荐系统「从符号 AI 到深度学习」转型的一个缩影。
02_Matching 模块收录了 46 篇论文,是仓库中规模最大的模块。其中 DSSM(Deep Structured Semantic Models,2013)是里程碑式的工作——它首次将深度学习引入搜索语义匹配,用双塔架构将查询和文档分别编码为向量,解决了传统 BM25 无法捕捉语义相似性的问题。如今,双塔模型已成为工业界召回阶段的标准范式,知乎、小红书、B 站的推荐召回层均基于此架构。
04_Ranking 模块涵盖了 YouTube DNN(2016,Google)等标志性工作。YouTube DNN 将推荐系统从传统的协同过滤推进到深度学习时代,用 DNN 替代矩阵分解做候选生成和排序,开启了「深度学习推荐系统」的工业应用序幕。后续的 DeepFM、Wide&Deep、DIEN 等模型都在此基础上演进。
09_Reinforcement_Learning 模块收录了 LinUCB(2010,Yahoo)、DRN(2018,Microsoft)、Top-K Off-Policy(2019,Google)等工作。其中 DRN 是微软新闻推荐系统 DRN(Deep Reinforcement Learning Framework)的核心,它用强化学习框架动态平衡推荐内容的探索与利用,解决了传统推荐系统「信息茧房」的问题。Google 2019 年提出的 Top-K Off-Policy 修正方法更是工业强化学习推荐系统的重要里程碑。
07_LLM 模块是仓库中最「年轻」的部分,目前收录了 2 个子目录(经典 LLM + 自监督学习),以及 KDD 2025 Microsoft 的相关工作。随着 GPT、PaLM 等大模型的能力涌现,业界正在探索将 LLM 直接用于搜索查询理解和推荐理由生成,这将是搜推广系统下一次演进的焦点。
本仓库的技术栈极为简洁:
generateReadme.py 脚本,负责扫描本地 PDF 目录并自动生成目录树式的 README.md这种极简设计背后的哲学是「让内容说话」——作者不希望技术复杂性分散用户的注意力,每一位研究者打开仓库,看到的就是按模块清晰组织的论文列表,直接点击即可跳转到 PDF 原始链接。
推荐阅读路径(按职业阶段):
入门(1-2周):先读 00_Overview 的 TOIS 2026 综述,建立全局视角;然后精读 08_Deep_Learning 中的基础经典(ResNet、Adam、BatchNorm),补足深度学习基础。
进阶(2-4周):聚焦 02_Matching(DSSM、双塔模型)和 04_Ranking(YouTube DNN、DeepFM),这是工业搜推广的核心知识。
专项深入:根据研究方向选择对应模块,如做推荐多样性看 05_Post-ranking,做在线学习看 09_Reinforcement_Learning。
使用技巧: GitHub 原生支持按文件夹浏览,浏览器中打开仓库后,可直接在左侧目录树点击对应模块,查看该方向下的完整论文列表。每个文件名自带元数据(年份-机构-会议),无需打开 PDF 就能了解论文出处。
需要注意的局限性:
纯论文仓库,非代码实现:本仓库只提供 PDF 链接,不提供模型实现代码。对于想动手实践的学习者,需要配合 GitHub 上其他专门的实现仓库(如 shenweichen/DeepCTR)。
2023-2026 年最新工作覆盖有限:仓库论文以 2010-2022 年为主,LLM 模块(07)的内容相对较少,这是该领域的快速演进造成的滞后。
无中文翻译:论文均为英文原版,对非英语母语研究者有一定阅读门槛。
这个仓库的存在本身,折射出搜推广算法领域的一个重要趋势:工业实践已经远远走在学术研究前面。Google、Microsoft、Alibaba 的工程师们在生产系统中验证了无数模型变体,但受限于 NDA 和商业机密,这些工程经验难以进入学术论文。顾宇龙的工作正是试图填补这一鸿沟——通过系统化整理工业级论文,让学术研究者了解工程前沿,也让工业从业者找到理论依据。
随着 LLM 的快速渗透,搜推广系统正在经历从「特征工程 + DNN」到「语言理解 + 生成」的范式转型。07_LLM 模块的设立,预示着这份知识地图正在向大模型时代延伸。可以预见,未来 2-3 年内,基于 LLM 的候选生成、相关性判断和推荐理由生成,将成为这个仓库最活跃的新增方向。
一句话总结: 这不是一份普通的论文列表——它是工业级搜推广系统的完整技术进化史,从 Word2vec 到 LLM,每一篇论文都是真实工业系统的验证节点。对于任何想在推荐/搜索/广告方向深耕的研究者和工程师,这是一座值得反复挖掘的知识金矿。