Agent大调查

参考文献：> https://www.kaggle.com/whitepaper-agents >
1.什么是Agent？

Baseline：生成式AI模型
Training Aim：访问外部工具、自主规划和执行任务
What we get：具备推理、逻辑和访问外部信息的生成式AI（extended-output generative AI）
2.认知架构（驱动Agent行为、行动和决策的基础组件的组合）：

一般有三个核心组件，如图所示。

模型（model）主要在Agent中用作核心决策的语言模型（LLM）。Agent使用的模型可以是任何大小的小型/大型的任意数量的LM（语言模型），这些LM都可以遵循基于指令的推理和逻辑框架，如ReAct、Chain-of-Thought或Tree-of-Thought。模型可以是一般用途、多模态或根据用户特定Agent架构的需求进行微调的。需要注意的是，该模型一般不会与Agent的具体配置设置（工具选择、编排/推理设置）一同训练。但可以通过补充展示Agent能力的例子来进一步微调模型是可能的，尤其是包括Agent使用特定工具或各种上下文下的推理步骤实例。
工具主要用于Agent与外部数据和服务互动。工具可以采取多种形式，并具有不同的复杂程度，但通常会遵循常见的Web API方法，如GET、POST、PATCH 和DELETE等。例如，一个工具可以更新数据库中的客户信息或获取天气数据以影响Agent向用户提供的旅行推荐。借助工具，Agent可以访问并处理现实世界的资讯。这赋予他们支持更多专门系统的能力，如检索增强生成（RAG）。
编排层（Orchestration layer）主要描述了一个循环过程，它规定了Agent如何获取信息、进行一些内部推理，并使用这种推理来告知其下一步行动或决策。一般来说，这个循环会持续到一个Agent达到目标或停止点为止。编排层的复杂性取决于执行的任务和Agent本身。有些循环可以是简单的计算与决策规则，而其他可能包含连锁逻辑、涉及额外的机器学习算法或其他概率推理技术。
3.工作流程

Agent可以通过迭代处理信息、做出明智的决策并根据先前输出来细化下一步行动，从而使用认知架构达到他们的最终目标。
Agent的认知架构的核心是协调层，负责维护记忆、状态、推理和计划。它利用快速发展的提示工程领域及其相关框架来引导推理和规划，使Agent人能够更有效地与环境互动，并完成任务。关于语言模型的提示工程框架和任务规划的研究正在迅速发展，产生了各种有前途的方法。虽然这不是一个详尽的列表，但这些都是在本文发表时最流行的框架和技术：
ReAct 是一个提示工程框架，为语言模型提供了一种推理和对用户查询采取行动的思维过程策略。ReAct 提示已显示出优于几个最先进的基准，并提高了人类与 LLM 的互操作性和信任度。
Chain-of-Thought（CoT），一种通过中间步骤实现推理能力的提示工程框架。CoT包括各种子技术，如自我一致性、主动提示和多模态CoT，每种技术都有其优点和缺点，具体取决于特定的应用程序。
Tree-of-thoughts（ToT），，一种适用于探索或战略前瞻任务的提示工程框架。它超越了链式思维提示，并允许模型探索各种思维链条，这些思维链条作为语言模型解决一般问题的中间步骤。
Agent可以利用上述推理技术之一，或许多其他技术来选择给定用户请求的下一个最佳操作。
Agent可以利用上述推理技术之一，或许多其他技术来选择给定用户请求的下一个最佳操作。
例如，请考虑一个被编程为使用ReAct框架选择正确动作和工具以响应用户查询的Agent。
事件序列可能会像这样进行：
1.用户向Agent发送查询：
2.Agent开始启动 ReAct
3.Agent向模型提供提示，要求它生成下一个ReAct步骤及其相应的输出：
3.1.这个想法/行动/输入/观察可以重复N次，根据需要
3.1.1.这是工具选择发生的地方
3.1.2.例如，一个动作可以是[航班、搜索、代码、无]之一，在前三个代表模型可以选择的已知工具中，最后一个表示“没有选择工具”
3.1.2.1.问题：用户查询输入的问题，提供提示
3.1.2.2.思想：模特关于下一步应该做什么的想法
3.1.2.3.行动：模型对下一步采取什么行动的决定
3.1.2.4.动作输入：模型决定向工具提供什么输入（如果有）
3.1.2.5.观察：操作的结果/操作输入
3.1.2.6.最终答案：模型对原始用户查询的最终回答
4.React循环结束，最终答案返回给用户。

如图2所示，模型、工具和Agent配置一起工作以根据用户的原始查询提供了简洁响应。尽管模型可以基于其先前知识猜测答案（幻觉），但它使用了一个工具(航班搜索)，来查找实时外部信息。这些额外的信息被提供给模型，允许它基于真实事实数据做出更明智的决定，并将此信息汇总回用户。
4.工具调用

目前赋予模型与外部系统进行实时、上下文感知的互动能力有：Functions、Extensions、Data Stores、Plugins。前三种是目前谷歌模型主要互动的工具类型。
4.1 extention

extension是一种标准化方式连接API与Agent的组件，使Agent能够调用外部工具而不用管这些API背后是怎么实现的。

Agent运行时，根据提供的示例来决定使用哪个extension来处理用户的查询。

4.2 function

函数一般是指模型内部设置的一组已知的“拓展”，由模型本身根据规范决定何时使用哪个函数，以及函数需要哪些参数。
模型只是知道函数名及其参数信息，但不会执行函数。与拓展有所区别的是，函数只会在客户端执行，而extention是在Agent端执行的。

一个应用案例是教模型用格式化输出数据以方便解析。
User：I'd like to take a ski trip with my family but I'm not sure where to go.
Agent: Sure, here's a list of cities that you can consider for family ski trips:

• Crested Butte, Colorado, USA
  
• Whistler, BC, Canada
  
• Zermatt, Switzerland
  

但我们希望输出是json的结构化风格：
Agent:{
"name": "display_cities",
"args": {
“cities”: ["Crested Butte", "Colorado", "USA"],
"preferences": "skiing"
}
具体的函数调用流程如下：

函数的一个关键点是，它们旨在为开发人员提供对不仅API调用的执行，而且整个应用程序的数据流的更多控制。在图中的示例中，开发人员选择不将API信息返回给Agent，因为这与Agent可能采取的未来行动无关。然而，根据应用程序的架构，将外部API调用数据返回到Agent以影响未来的推理、逻辑和操作选择可能是有意义的。最终，应用程序开发人员需要决定什么最适合特定的应用程序。
4.3 Data Storage

数据存储为静态模型适应动态更新的信息提供了一种解决方法，它允许开发人员以原始格式向Agent提供额外的数据，从而消除了耗时的数据转换、模型重新训练或精细调整的需要。数据存储将传入文档转换为一组向量数据库嵌入，这些嵌入是Agent可以用来提取其下一步操作或对用户响应所需的信息。这样模型的返回更具有相关性与时效性，而且避免了微调甚至是重新训练模型的复杂操作。

通用的方法一般是向量数据库，这样就可以以向量embedding这一种规范化的形式存储多种多样的数据（如网站内容，结构化数据（如PDF、Word文档、CSV、Table）、非结构化数据（如html、PDF、TXT等））。

用户请求和Agent响应循环的基本过程一般如图所示：

1.将用户查询发送到嵌入模型以生成查询的嵌入
2.接下来，查询嵌入向量将与矢量数据库中的内容使用匹配算法（如SCaNN）进行匹配。
3.匹配的内容以文本格式从向量数据库中检索并发送回Agent。
4.Agent程序接收用户查询和检索内容，然后制定响应或操作。
5.最终响应发送给用户。
下面是一个以RAG为基础使用ReAct推理/规划的应用案例

5.通过目标学习增强模型性能

只是通过训练来增强模型生成输出时选择正确工具的能力是不够的，为了帮助模型获取这种特定知识，存在几种方法：
在上下文中学习：这种方法在推理时提供了一个带有提示、工具和少量示例的通用模型，这使它能够“实时”学习如何以及何时使用这些工具来完成特定任务。ReAct 框架是自然语言中这种方法的一个例子。
基于检索的上下文学习：该技术通过从外部内存中检索最相关的信息、工具和关联示例，动态地将模型提示填充为最相关的信息。一个例子是Vertex AI扩展中的“示例存储”或前面提到过的基于RAG架构的数据存储。
精确调整学习：这种方法涉及在推理之前使用特定示例的大数据集对模型进行训练。这有助于模型了解何时以及如何在收到任何用户查询之前应用某些工具。
6.基于LangChain快速创建Agent


最后，Google Vertex AI Agent创建生产应用的结构框架如下：

7.一个实际应用案例



来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！