读 OpenAI 技术报告：哪些能学，哪些仍然未知

从一个具体版本开始

“OpenAI 的底层原理”不是一份统一的架构说明书。不同版本、不同产品能力和不同论文应分别阅读。这里以 GPT-4 技术报告为起点，练习如何判断一份报告到底回答了哪些问题。

能从报告中读到什么

报告描述模型的能力评估、局限性与相关安全工作。这些信息有助于建立任务和测评的框架，但能力表现不能直接反推出完整网络结构。

未披露，不等于可以猜定

GPT-4 报告没有公开足以复现模型的全部实现细节，例如完整的架构规模与训练配置。网上流传的专家数量、参数规模或数据配比，不能因为听起来合理就写成既定事实。

做一张自己的证据卡

• 研究对象：具体模型或报告版本。
• 公开事实：原文明确说明的内容，并记录章节。
• 实验观察：你的输入、输出、采样设置和时间。
• 待验证假设：你从结果提出的解释。
• 未知：公开资料无法回答的问题。

学习时怎样继续前进

遇到未公开部分，可以用开放模型学习相应的通用机制。例如先理解注意力计算，再阅读可查看权重和实现的模型；这能训练技术能力，但不能证明闭源模型也采用完全相同的细节。

原始资料

GPT-4 Technical Report。本篇围绕该报告的公开边界，不把旧报告当作 OpenAI 后续模型的架构说明。