我也不知道要写点啥，但是我感觉最近。那就来说下我最近看的一篇论文：https://arxiv.org/abs/2610.29680
这篇论文解决的问题如下
现在Openai和anthropic 的模型都不会返回推理过程，那么我们就无法蒸馏一个含有推理过程的模型。
目前倒是可以通过API返回的加密推理快来进行跨模型重放解密，进而获得推理过程。但是这个方式是违反服务商的条款
作者就提到一个合法的替代方式：对抗训练+教师模型蒸馏
训练生成器，用来生成推理过程
训练选择器，用来选择生成的推理过程更加真实
当训练器和生成器的对抗训练达到一定的平衡后，就可以拿Openai的输入、输出、工具调用的5k条数据，用生成器生成推理过程，选择器选择一个合理的推理过程，那么就有了Openai的输入、输出、工具调用+推理过程，合计5k条数据，然后将这个5k条在一个小模型上进行SFT训练就可以获得不错的效果。
做的事情如下
- 先准备1w条数据，这1w条数据包含输入、输出、工具调用、推理过程
转载请注明出处