何雨果的知识库

Appearance

AI 经典论文精选 ​

本页收录 AI 领域值得深入研读的经典论文，按主题分类整理，方便查阅和学习。

🧠 大语言模型基础 ​

奠定现代 LLM 技术基础的核心论文。

论文作者/机构年份简介
Attention Is All You NeedGoogle2017必读 — Transformer 架构开山之作，现代 LLM 的基石
BERT: Pre-training of Deep Bidirectional TransformersGoogle2018双向预训练模型，开创预训练+微调范式
Language Models are Few-Shot Learners (GPT-3)OpenAI2020展示大规模语言模型的涌现能力和 In-Context Learning
Training Language Models to Follow Instructions (InstructGPT)OpenAI2022RLHF 方法论，让模型更好地遵循人类指令
LLaMA: Open and Efficient Foundation Language ModelsMeta2023开源高效基座模型，推动开源 LLM 发展

🎯 提示词与上下文工程 ​

如何更好地与 LLM 交互。

论文作者/机构年份简介
Chain-of-Thought Prompting Elicits ReasoningGoogle2022必读 — 思维链提示，显著提升 LLM 推理能力
Self-Consistency Improves Chain of Thought ReasoningGoogle2022自一致性解码，多路径推理取多数投票
Tree of Thoughts: Deliberate Problem Solving with LLMsPrinceton & Google DeepMind2023思维树，探索式推理框架
Context Engineering 2.0: The Context of Context Engineering上海交大2025上下文工程综述，从历史演进到实践设计

🤖 AI Agent ​

构建自主智能体的核心研究。

论文作者/机构年份简介
ReAct: Synergizing Reasoning and Acting in Language ModelsGoogle & Princeton2022必读 — 推理+行动交替，Agent 的经典范式
Generative Agents: Interactive Simulacra of Human BehaviorStanford & Google2023生成式智能体，模拟人类行为的虚拟社会
Toolformer: Language Models Can Teach Themselves to Use ToolsMeta2023让模型自主学习使用外部工具
AutoGPT: An Autonomous GPT-4 Experiment开源社区2023自主任务执行 Agent 的早期探索
The Landscape of Emerging AI Agent Architectures多机构2024Agent 架构综述，梳理主流设计模式

📚 检索增强生成 (RAG) ​

将外部知识与 LLM 结合。

论文作者/机构年份简介
Retrieval-Augmented Generation for Knowledge-Intensive NLPMeta (Facebook AI)2020必读 — RAG 开山之作，检索+生成的统一框架
REALM: Retrieval-Augmented Language Model Pre-TrainingGoogle2020检索增强的预训练方法
Self-RAG: Learning to Retrieve, Generate and Critique华盛顿大学2023自反思 RAG，模型学会自我批判和检索

🔧 模型能力与评估 ​

理解和评估 LLM 的能力边界。

论文作者/机构年份简介
Emergent Abilities of Large Language ModelsGoogle2022涌现能力研究，规模扩大带来的质变
Sparks of Artificial General Intelligence (GPT-4 Technical Report)Microsoft Research2023GPT-4 能力的早期深度分析
MMLU: Massive Multitask Language UnderstandingUC Berkeley2020多任务语言理解基准，广泛使用的评估标准

🔐 对齐与安全 ​

确保 AI 系统的安全和可控。

论文作者/机构年份简介
Constitutional AI: Harmlessness from AI FeedbackAnthropic2022必读 — 宪法 AI，通过 AI 反馈实现对齐
Training a Helpful and Harmless Assistant (HH-RLHF)Anthropic2022有帮助且无害的助手训练方法
Red Teaming Language Models to Reduce HarmsAnthropic2022红队测试，主动发现模型安全漏洞

📖 阅读建议 ​

入门路径 ​

如果你是 AI/LLM 新手，建议按以下顺序阅读：

  1. Attention Is All You Need — 理解 Transformer 架构
  2. GPT-3 论文 — 理解大规模语言模型的能力
  3. Chain-of-Thought — 理解如何引导模型推理
  4. ReAct — 理解 Agent 的基本范式
  5. RAG 论文 — 理解如何扩展模型知识

进阶研究 ​

掌握基础后，可以深入：

  • Constitutional AI — 理解对齐和安全
  • Context Engineering 2.0 — 系统化的上下文设计
  • Agent 架构综述 — 把握 Agent 发展方向

如何阅读论文

  1. 先读摘要和结论 — 快速把握论文核心贡献
  2. 看图表和算法 — 理解具体方法
  3. 关注实验设置 — 理解如何验证有效性
  4. 精读相关工作 — 了解领域全貌

← 返回 AI 工具