图片由作者利用 Midjourney 创建

要点一篇新论文提出了一个“思想树”框架，以许可更寻思熟虑地办理问题将推理过程表示为搜索可能的“思想”树利用LLM本身来产生和评估这些想法采取经典搜索算法来辅导探索先容

最近，像 GPT-3 这样的大型措辞模型 （LLM） 在数学推理和知识知识等领域表现出令人印象深刻的能力。
然而，他们的基本文本天生方法——从左到右、逐个标记——可能会限定计策方案和探索。
该论文表明，这种方法显著提高了LLM在数学难题和创意写作等寻衅中办理问题的能力。

谈论

最近的一篇论文《思想之树：用大型措辞模型办理寻思熟虑的问题》（Tree of Thoughts： Deliberate Problem Solving with Large Language Models）——作者是 Shunyu Yao、Dian Yu、Jeffrey Zhao、Izhak Shafran、Thomas L. Griffiths、Yuan Cao、Karthik Narasimhan——提出了一个名为“思想之树”(ToT)的新框架，以增强 GPT-3 和 GPT-4 等大型措辞模型 （LLM） 的问题办理能力。
目前，LLM 在天生文本时仅限于从左到右的令牌级决策，这在须要更多计策方案和探索的任务中可能不敷。

ToT 将办理问题的过程表示为在树上的搜索，个中每个节点都是一个“思想”——一个连贯的文本块，代表一个中间推理步骤。
这使得LLM可以探索多种推理路径，并评估不同思想办理问题的进展。
详细而言，该框架涉及：

根据任务构造将问题分解为连贯的思维步骤。
利用LLM在每个步骤中天生多个候选思想，可以独立地或按顺序根据先前的思想进行条件。
让 LLM 通过代价估计提示来评估不同状态（部分办理方案）的承诺，这些提示评估了迄今为止的进展。
利用经典的搜索算法，如广度优先搜索或深度优先搜索树，利用 LLM 的值估计来辅导探索和修剪。

这种寻思熟虑的搜索使LLM能够向前看，回溯，并在须要时做出更多的环球选择。
模块化框架与模型无关，可以灵巧地调度其组件，如思维大小、天生、评估和搜索，以适应问题构造。

作者在三个新任务上演示了 ToT——24 人游戏、创意写作和迷你填字游戏。
在所有情形下，ToT 都比标准提示基线显著提高了 GPT-4 办理问题的性能。
例如，在 Game of 24 中，成功率从思维链提示的 4% 增加到 ToT 的 74%。

总体而言，ToT 供应了一种将经典 AI 的符号方案和搜索方法与当代 LLM 集成的方法。
其基于措辞的思想和审议的可阐明性也为人类更好地折衷供应了机会。
作者提出了一个令人愉快的新方向，以在LLM中开拓更通用的问题办理能力。

研究Q&A问答

思想之树方法与其他将符号方案或搜索与神经模型相结合的方法（例如 NeuroLogic 解码或 LLM+P 框架）比较如何？

ToT 框架的不同之处在于，它利用 LLM 本身在搜索过程中供应启示式辅导，而不是依赖于单独的经典方案器 （LLM+P） 或硬编码启示式 （NeuroLogic）。
基于措辞的思想表征也比符号方案措辞更灵巧。
然而，ToT 还没有达到 LLM+P 所展示的 LLM 和 planner 组件之间的紧密集成和双向通信水平。

思想之树方法能否运用于自然措辞任务，如对话对话或故事天生，而不仅仅是受约束的推理任务？

虽然本文的重点是推理任务，但将可能的延续表示为可以考虑的思想的一样平常框架彷佛适用于约束较少的天生问题。
对付对话，想法可以是接下来要说的候选话语，而对付故事，它们可以是情节点或角色动作。
关键的寻衅是定义连贯的思维步骤和制订有效的评估提示。

这项研究有什么创新之处？

关键的创新是将措辞模型推理构建为对思想树的搜索，而不仅仅是从左到右的标记天生。
这许可更寻思熟虑的方案、对替代方案的探索以及环球展望/回溯。
与以前的搜索方法比较，将思想表示为连贯的语义单元也是一种创新。

这项研究的更广泛意义是什么？

这项研究可以显著增强LLM的问题办理和推理能力，使其能够用于更繁芜的现实天下运用，如编码、数据剖析、机器人等。
它还使模型决策更具可阐明性。
经典搜索方法与神经模型的集成是一个令人愉快的方向。

如果有的话，这项研究有哪些潜在的问题或轻忽？

探索的任务仍旧相对大略。
这种方法是否适用于更开放的问题还有待不雅观察。
与标准采样比较，搜索过程可能会产生更高的打算本钱。
修剪次优分支的启示式方法目前尚不完善。

这项研究的下一个合乎逻辑的研究步骤是什么？

接下来的主要步骤是探索更繁芜的方案和决策任务的ToT，将其与外部知识检索相结合，并研究是否可以通过元学习或强化学习来更有效地学习变体，而不是仅仅依赖预先演习的LLM。
剖析思维规模、搜索预算和性能之间的相互浸染也是一个悬而未决的问题。

外卖思想树范式展示了经典搜索技能如何与当代神经网络模型集成。
许可 LLM 探索替代推理路径使他们的决策更具可阐明性。
该研究方向可以增强LLMs在繁芜的现实天下方案和剖析任务中的适用性。
接下来的关键步骤是将该方法扩展到约束较少的问题，提高搜索效率，并研究如何学习这些技能。
总的来说，思想之树的寻思熟虑和语义推理为人工代理供应了令人愉快的新功能。

Matthew Mayo（@mattmayo13 岁）是一名数据科学家，也是首创性的在线数据科学和机器学习资源 KDnuggets 的主编。
他的兴趣在于自然措辞处理、算法设计和优化、无监督学习、神经网络和机器学习的自动化方法。
Matthew拥有打算机科学硕士学位和数据挖掘研究生文凭。
可以通过 kdnuggets[dot]com 的 editor1 与他联系。

原文标题：Exploring Tree of Thought Prompting: How AI Can Learn to Reason Through Search

原文链接：https://www.kdnuggets.com/2023/07/exploring-tree-of-thought-prompting-ai-learn-reason-through-search.html

作者：Matthew Mayo

编译：LCR