- A+
通常情况下，
ChatGPT的对话流畅性、Gemini的多模态能力、DeepSeek的长上下文分析……
换个角度来看，
能不能让它们强强联合，共同应对难点呢？
但实际上，
那个由Transformer作者之一Llion Jones创立的明星AI公司Sakana AI，提出了新方法AB-MCTS，核心思想是：
大家常常忽略的是，
最伟大的成就往往源于不同思想的协作，大家相信这一原则同样适用于人工智能。
AB-MCTS，全称为自适应分支蒙特卡洛树搜索（Adaptive Branching Monte Carlo Tree Search），是一种使多个人工智能模型同时处理难点的算法。模型之间交换并完善建议，协同工作，就像人类团队一样。
可能你也遇到过，
在具有挑战性的ARC-AGI-2基准测试中，多LLM AB-MCTS应对的难点比单独工作的任何单个模型（Single-LLM AB-MCTS）都多。
IC外汇报导：
有几种情况下，只有不同模型的组合才能得出正确答案。
Sakana AI已将该算法以TreeQuest的名称开源，链接可见文末。
与其相反的是，
两种搜索策略
据报道，
AB-MCTS结合了两种不同的搜索策略：它容许完善现有应对方案（深度搜索），也容许尝试全新的方法（广度搜索）。
主要的技术挑战是将无界分支引入MCTS。
从某种意义上讲，
标准MCTS仅选取并扩展叶节点（即每个节点最 EX外汇代理 多被扩展一次），且扩展会添加固定数量的子节点。然而，由于在非零温度下对LLM的每个查询都可能从相同提示中产生不同的输出，分支因子理论上无限。
说到底，
为了充分利用MCTS的无界分支的潜在性能提升，AB-MCTS允许那些已经扩展过一次的节点再次被扩展并进一步分支，并引入GEN节点来明确表示生成新子节点的动作。
尤其值得一提的是，
在AB-MCTS的搜索树中，每个节点N均附带一个GEN子节点。选中带有GEN节点的父节点时，会从N生成一个新子节点。
与传统的MCTS不同，AB-MCTS不会将宽度作为静态超参数固定。
然而，
相反，在搜索树的每个节点上，AB-MCTS会自适应地决定是探索（“变宽”）通过生成新的候选响应，还是利用（“变深”）通过改进现有的响应，利用外部反馈信号。
说出来你可能不信，
在底层，AB-MCTS通过贝叶斯后验预测分布估计节点潜力，并用Thompson采样选取动作，以确保每次扩展都以原则性的路径平衡探索和利用。
总的来说，
这种设计自然地扩展了多次采样，使AB-MCTS能够在必要时利用LLMs多样化且庞大的输出空间。
必须指出的是，
在以上基础上，Sakana AI还提出了两个变体：AB-MCTS-M和AB-MCTS-A。
说出来你可能不信，
不繁琐地说：
请记住，
AB-MCTS-M：更分层。利用混合效应模型共享子树间的统计信息，通过分层贝叶斯推断平衡全局与局部探索。
但实际上，
AB-MCTS-A：更轻量。通过CONT节点显式分离“生成”与“优化”动作，并基于共轭先验实现高效后验更新，简化计算。
IC外汇专家观点：
其利断金
事实上，
对AB-MCTS进行基准测试，结果显示，AB-MCTS在各种基准测试和LLMs中始终表现出色，获得的平均排名最高并优于既定基线。
这种持续的成功源于AB-MCTS独特的动态调整搜索策略的能力，它通过精确平衡探索和利用来适应每个难点的不同需求，而基线方法中几乎缺乏这种适应性。
令人惊讶的是，
LiveCodeBench和CodeContest
概括一下，
上图左侧和中部报告了GPT-4o在LiveCodeBench和CodeContest上的成功率与生成预算的关系，容许看到，所有方法在计算预算增加时都表现出性能提升。在这两个基准测试中，AB-MCTS算法通常优于基线方法。
在LiveCodeBench，即使预算很小，AB-MCTS也进行超越基线方法；在CodeContest，预算为32及以上时，AB-MCTS表现出优于基线的性能。
ARC-AGI
令人惊讶的是，
上图右侧展示了GPT-4o在ARC-AGI这一特别具有挑战性的基准测试上的性能表现。容许看到，重复采样在该配置中证明是一种强大的基线，这表明对于这项任务，广泛的探索非常不可忽视
根据公开数据显示，
虽然标准MCTS在预算增加时只能带来微小的改进，但AB-MCTS框架实现了与重复采样相当的性能。这表明AB-MCTS能够通过在有利时动态扩展其搜索范围来有效地探索潜在解。
MLE-Bench
但实际上，
上表展示了利用GPT-4o在MLE-Bench三个竞赛中的性能表现。由于MLE-Bench在训练和评估机器学习模型时需要大量的GPU资源，研究团队仅利用了GPT-4o，并专注于基线方法和AB-MCTS-M。
结果显示，最佳性能的基线方法在不同竞赛中有所不同，这再次强调了不同任务受益于不同的探索-利用权衡。
事实上，
相比之下，AB-MCTS-M在这些任务中始终表现出色。
值得注意的是，
这种在不同竞赛中的一致成功突显了AB-MCTS-M在有效适应其搜索策略以应对不同难点结构方面的内在优势。
说到底，
为了定量分析AB-MCTS如何平衡探索与利用，论文的研究团队还考察了生成的搜索树在每个深度的平均深度和平均宽度。
如上图显示，与标准MCTS相比，AB-MCTS方法倾向于生成更宽的树。这是缘于AB-MCTS容许从任何现有节点自适应地决定探索更宽（选取GEN节点），而标准MCTS则不能。这种机制使得在不同树深度上能够进行更灵活的探索。
除了探索宽度的灵活性之外，AB-MCTS在顺序优化表现优异的基准测试中也取得了优异的性能，这表明AB-MCTS通过选取现有子节点进行优化，能够有效地识别并利用了有潜力的分支。这种自适应特性使其能够结合探索与利用的优势，在多种基准测试中表现出强大的性能。
容易被误解的是，
为了研究AB-MCTS的扩展特性，利用DeepSeek-V3对ARC-AGI的实验进行了扩展，将生成预算增加到512。如上图所示，随着预算从200增加到500，AB-MCTS的性能继续显著提高，而重复采样的改进率进行趋于平稳。
IC外汇专家观点：
标准MCTS在增加预算后也继续改进，但与AB-MCTS方法相比，其成功率显著较低。这种性能差距表明，AB-MCTS在大型计算规模下更有效地将 福汇官网 搜索导向搜索树中更有希望的分支。
令人惊讶的是，
上图展示了由AB-MCTS-M和标准MCTS生成的搜索树示例。这些可视化展示了AB-MCTS-M相比标准MCTS具有更强的自适应分支特性。
这种自适应性表明，AB-MCTS-M在整个搜索过程中灵活地平衡探索与利用，能够动态分配预算以探索多样化的新候选者（“拓展宽度”）和优化有潜力的候选者（“深入挖掘”）。
但实际上，
以上结果表明，即使考虑到重复采样的固有优势，AB-MCTS仍是一种有前景的方法，能够高效利用生成预算在各种场景中取得更优结果。
IC外汇资讯：
在具有挑战性的ARC-AGI-2基准测试中，AB-MCTS结合ChatGPT、Gemini和DeepSeek应对了30%的ARC-AGI-2谜题，而顶尖的独立模型仅应对了23%。
说出来你可能不信，
结果显示，有几种情况下，只有不同模型的组合才能得出正确答案。
来自IC外汇官网：
自然启发与创新之路
事实上，
上述关于AB-MCTS的研究并非凭空产生，它基于Sakana AI 2024年在进化模型融合方面的工作，该团队将重点从“混合以创造”转向“混合以利用”现有的强大AI。
他们是这样说的：
反过来看，
在Sakana AI，大家始终致力于通过应用受自然启发的原则（如进化和集体智能）来开创新型AI系统。
换个角度来看，
他们也确实这样做了：
与其相反的是，
不仅仅是2024年的进化合并模型，就在今年5月，Sakana AI还和哥伦比亚大学的科研人员共同开发了达尔文-哥德尔机（DGM）——这是一个旨在自我进化的AI框架，并非针对固定目标进行优化，而是从生物进化与科学发现中汲取灵感，通过开放式搜索和持续的自我修改来生成新的应对方案。
不妨想一想，
而前段时间，有两位物理学家以生物系统自我组装的过程为参考，揭示了扩散模型“创造力”的本质……
这些发现和创造都是“自然式启发”的体现。
其实，
参考链接：
据业内人士透露，
[1]https://the-decoder.com/sakana-ais-new-algorithm-lets-large-language-models-work-together-to-solve-complex-problems/
IC外汇行业评论：
[2]https://x.com/SakanaAILabs/status/1939854145856708910
站在用户角度来说，
— 完 —
