AI模型的推理能力正在迎来新一轮飞跃。

就在OpenAI的o1模型因强大的推理能力震惊业界之际，Anthropic的Claude 3.5 Sonnet却用一招"曲线救国"的方式，在某些方面甚至超越了o1的表现。

这一突破性进展不仅让人对AI的未来更加期待，也为其他模型提供了一条可行的"进化路径"。

动态思维链：Claude 3.5 Sonnet的制胜法宝

Hugging Face的技术主管Philipp Schmid(@_philschmid)最近公布了一项令人振奋的研究结果。研究团队通过结合动态思维链（Dynamic Chain of Thoughts）、反思（reflection）和语言强化（verbal reinforcement）等提示技术，成功让Claude 3.5 Sonnet在复杂推理任务上表现出色，甚至在某些方面超越了GPT-4，与o1模型不相上下。

这种方法的核心在于：

1. 利用动态思维链让模型进行多步推理

2. 通过反思机制对推理过程进行自我审查

3. 用语言强化来引导模型朝正确方向思考

实验结果显示，经过这样的"特训"，Claude 3.5 Sonnet能够在复杂问题上进行50多个推理步骤，创建内部模拟场景，大大提升了解决问题的能力。

硬核测试：学霸AI的诞生

研究团队没有选择常规的AI测试集，而是采用了一系列极具挑战性的学术考试作为benchmark，包括：

• JEE Advanced（印度高等教育联考）

• UPSC（印度公务员考试）

• IMO（国际数学奥林匹克）

• Putnam（美国大学生数学竞赛）

这些考试都以难度高、综合性强著称，对AI模型的推理能力和知识应用能力是极大的考验。

结果令人惊喜：Claude 3.5 Sonnet不仅超越了GPT-4，还在多个方面与o1模型旗鼓相当。

这一成果为AI在复杂推理任务中的应用开辟了新的可能性。

小模型也能变"聪明"

更令人兴奋的是，这种方法不仅适用于大模型，对于较小的开源模型同样有效。实验显示，应用同样的技术后，Llama 3.1 8B模型的表现提升了约10%，在某些测试中甚至接近了GPT-4的水平（Llama 3.1 8B得分33/48，而GPT-4得分36/48）。

这一发现意味着，即使是计算资源有限的研究者和开发者，也有机会通过优化提示策略来显著提升模型性能。

挑战与局限

当然，这种方法也存在一些局限性：

1. 高昂的计算成本：仅7个问题就消耗了Claude Sonnet 3.5约100万个token，这对普通用户来说可能难以承受。

2. 测试范围有限：由于计算资源和预算限制，研究团队没有进行MMLU、MMLU pro或GPQA等更全面的测试。

3. 适用性有待验证：虽然在学术测试中表现优异，但在实际应用中的效果还需进一步验证。

@kimmonismus对此评论道：

在 o1 成功使用 CoT 之后，其他模型在推理能力上赶超只是时间问题。这次，他们尝试通过 CoT 将 Sonnet 3.5 提升到 o1 水平，甚至在某些方面超越了 o1。这让人更加期待 Opus 3.5 的表现。

o1模型的成功为其他AI模型指明了方向。Claude 3.5 Sonnet的这次突破，不仅证明了思维链方法的强大，也让人对即将到来的Opus 3.5充满期待。

@BallDominance 则幽默说到：

这对 o1 和 OpenAI 来说更像是一种失望。

这次技术的进步往往是相对的，一个模型的突破可能意味着另一个模型的不足。

而此时的Sam Altman，估计刚抹完了眼泪，开始催着下一个还没经过充分测试的项目赶快发布了！

@koltregaskes则强调了提示工程的持续重要性：

提示词依然非常强大。你可以调整例如 DCoT 的提示词，使其适用于 o1 模型，从而提升回复质量。你不必依赖实验室提供的内置功能；可以额外加入提示词。😊

即使面对最先进的AI模型，人类的创造力和灵活性仍然是不可或缺的。

随着AI模型推理能力的不断提升，我们或许正在见证一个新时代的到来——在这个时代，AI不仅能够回答问题，还能真正地"思考"。

这将为科研、教育、医疗等领域带来革命性的变革。

那么，你认为下我们离真正的"思考型AI"还有多远？

相关链接

Blog: 

https://medium.com/@harishhacker3010/can-we-make-any-smaller-opensource-ai-models-smarter-than-human-1ea507e644a0

Prompt: 

https://gist.github.com/philschmid/34747bf5bc8280f3a5f10f5fd8d1cd4b

Github: 

https://github.com/harishsg993010/LLM-Research-Scripts