ChatGPT o1（Strawberry）与内存简讯

PART 01：ChatGPT o1 与 Strawberry —— 算法与推理

Strawberry 项目代表了一次重要的突破。一些人可能会提出疑问：“这个项目有何特别？”事实上，这是一种新的 scaling law 与模型的训练过程产生协同作用，这被称为思维链。

正如下图所示，模型的“思考”时间越长，结果的准确性就越高。新模型展示了一种新的对数线性 scaling law，这种计算方式验证了模型在实际应用中的表现符合“苦涩的教训”（Bitter Lesson）的预测。

自从看到 scaling law 论文中讨论 AI 的“新需求向量”（“new” demand vectors ）以来，已经很久没有如此清晰的需求出现了。而当时的讨论主要集中在模型训练方面。

如今，一个新的潜在 scaling law 正在与训练过程协同。下方是 Strawberry 项目计算方式的简化版本。由于这一计算方式无需依赖更大的模型，我们正进入一个全新的计算需求水平，预计这一需求的增长将达到与训练过程一样庞大。

这一变化对半导体行业意味着什么？这很可能意味着计算能力将显著增长，这次增长主要来自推理，而不仅仅是模型训练。

如果一款产品能够同时支持推理和训练，那么无论未来的需求如何变化，它都能够满足，这通常也是 Nvidia GPU 的优势。但同时，这种需求对推理类的初创公司和 AMD 来说无疑也是一种促进作用。如果微软能为 AMD 提供定制化项目，AMD 或许能够保持一定的市场地位。

事实上，当前正处于一个迫切需要增长的需求阶段。算法的改进在很大程度上减缓了对更大模型的需求，预计这一趋势将继续保持。

但这种新的推理思维链将很有可能推动比我们此前想象的多的需求。像 Groq 这样的公司可能会获得重要的市场机会，同时，对专注于推理技术的创业者来说可能都是一个新的起点。Shelly Palmer 的文章提到了成本上的巨大差异：

“o1 模型能够处理更长的上下文窗口，从而实现更全面的文本理解和生成。这一特性使其在处理大型文档时尤为有用，特别是在大规模数据分析和文档摘要方面。然而，这些增强功能也带来了显著的成本增加。新模型需要大幅提升计算资源，其运行成本预计是 GPT-4 的 10 倍。与我们合作的一家公司每月在 GPT-4 上的开支约为 60,000 美元。如果使用 o1 模型进行类似任务，费用将高达每小时 3,000 美元。考虑到 o1 模型虽然功能更强大，但推理速度较慢，提升推理能力与处理速度之间的显著权衡使得这种成本在实际应用中难以接受。”

Strawberry 技术具有重要意义。通过大量推理计算的支持，在更小的模型下便实现了更优的结果。这有效地反驳了对模型不断缩小和优化的担忧。随着模型的缩小，为了获得更高质量的输出，推理计算将以“思维链”的方式广泛应用于各类问题中。即使模型规模增大，这一趋势也将持续存在。

AI 模型通过自我改进展现出巨大的潜力。如果强化学习能够在无人干预的情况下进行，并且只需花费大量推理 token，我们将进入一个新的竞争阶段。Strawberry 改变了游戏规则，而“苦涩的教训”这一理念再次得到验证。

PART 02：关于内存

当前市场出现了一个信号，这与我们观察到的其他现象形成了一个显著的反差。鉴于当前市场的火热，这通常在历史上被视为一个值得警惕的预警信号。这个信号便是内存价格的波动。

内存价格正在下滑。图中显示的是 DDR4 价格，同时，DDR5 的价格也在下降。

多位市场人士已确认，尽管 DRAM 的投资有所减少，但其价格却持续下跌。鉴于供应量有限，这表明需求正在逐步减弱。虽然已经有迹象显示 DRAM 产能可能会扩张，但相关企业尚未正式发布公告。

通常，Micron 的股价与内存价格密切相关。Micron 的股价会在内存价格达到顶峰之前提前见顶。而目前，DDR4 价格已达到高峰，因此 Micron 的股价会有所反应。

从历史上看，DDR4 价格与 Micron 股价之间存在明显的关联性。Micron 的股价会在内存价格下跌前达到顶峰，随后随着 DDR4 价格下跌而迅速回落。

目前内存价格整体呈下降趋势，因此，Micron 的下跌并不令人意外，尤其是在 HBM 短缺的背景下。接下来，我们回顾一下 DDR4 8GB（上图为 4GB）的历史价格走势，以分析其周期特征。

下图展示了从 2017 年开始的 8GB 内存价格变化。在此期间，内存价格经历了一次显著的上涨。

当时，尽管其他时间序列数据表现略好，但内存价格经历了 300% 的剧烈上涨。这种上涨主要是由于向 DDR4 过渡的过程中，供应链延迟了一年及供应限制导致的总体上供应减少。同时，这一时期正值 iPhone 7 发布，市场需求较为活跃。

PART 03：当前市场观点

市场上一直有一个观点是：价格是主流市场叙事的驱动力。

目前，内存价格的下跌正主导市场叙事，内存类公司普遍被认为“市场已经见顶”。

BNP 基于 DRAM 产量的预期连续两次下调了对 Micron 的评级，认为这将导致 HBM 产能过剩。Trendforce 也预测 HBM 将出现供应过剩，传统研究机构在这一周期中的预测很可能存在偏差。尽管未来可能会出现严重的 HBM 过剩，但目前时间远未到，因为 HBM 产能的扩张是支持更大规模模型推理创新的关键。如果良品率提升至 90%，确实会导致供应过剩。然而，TCB 良品率的问题可能会在较长时间内都不会发生。

虽然大部分 HBM 生产商的产能已被预定一空，但从下游晶圆启动数量的估算上却存在较大偏差。HBM 的晶圆总需求远低于预期，因此当前模型预测的需求量（约 31.5 万片）可能是合理的。预计到 2025 年底，HBM 的晶圆需求总量可能接近 100 万片。换而言之，BNP 对良率的预测存在误差。

到 2025 年底，他们对 WSPM 的总需求可能还差 20-30 万片晶圆。另一个关键问题是，良率将直接影响这一切的成败，HBM 的良率不可能在短期内达到 90%。

当然，半导体行业的市场高点往往在基本面达到顶峰之前就已经见顶，因此股价通常会提前回落，

这与它们的走势是一致的。目前市场整体情况良好，还看不到太多风险信号，而市场顶部通常伴随着库存的悄然增加。当前市场的分歧在于下个季度的收入预计仍将继续大幅增长，而库存还会进一步减少。这表明，我们可能正处于内存周期的早期阶段。