工具扩展了 Gemini 模型的功能,使其能够在现实世界中采取行动、访问实时信息并执行复杂的计算任务。模型可以通过 Live API 在标准请求-响应互动和实时流式传输会话中使用工具。
工具是模型可用于回答查询的特定功能(例如 Google 搜索或代码执行)。Gemini API 提供了一套全托管式内置工具,您也可以使用函数调用定义自定义工具。
如需构建多步骤、以目标为导向的系统,请参阅代理概览。
可用的内置工具
| 工具 | 说明 | 使用场景 |
|---|---|---|
| Google 搜索 | 以当前事件和网络上的事实为依据来提供回答,从而减少幻觉。 | 回答有关近期事件的问题,通过各种来源验证事实。 |
| Google 地图 | 构建位置感知助理,该助理可以查找地点、获取路线,并提供丰富的本地背景信息。 | 规划包含多个经停点的旅游行程,根据用户条件查找本地商家。 |
| 代码执行 | 允许模型编写和运行 Python 代码,以准确解决数学问题或处理数据。 | 解决复杂的数学方程式,精确处理和分析文本数据。 |
| 网址上下文 | 指示模型读取和分析特定网页或文档中的内容。 | 根据特定网址或文档回答问题,检索不同网页中的信息。 |
| 计算机使用(预览版) | 使 Gemini 能够查看屏幕并生成与 Web 浏览器界面互动的操作(客户端执行)。 | 自动执行重复性基于 Web 的工作流,测试 Web 应用界面。 |
| 文件搜索 | 为自己的文档编制索引并进行搜索,以启用检索增强生成 (RAG)。 | 搜索技术手册,基于专有数据回答问题。 |
如需详细了解与特定工具相关的费用,请参阅价格页面。
工具执行方式
借助工具,模型可以在对话期间请求执行操作。具体流程因工具是内置(由 Google 管理)还是自定义(由您管理)而有所不同。
内置工具流程
对于内置工具(Google 搜索、Google 地图、网址上下文、文件搜索、代码执行),整个流程都在一次 API 调用中完成:
- 您发送提示:“GOOG 最新股价的平方根是多少?”
- Gemini 确定需要使用工具,并在 Google 的服务器上执行这些工具(例如,搜索股票价格,然后运行 Python 代码来计算平方根)。
- Gemini 会根据工具结果发送最终答案。
自定义工具流程(函数调用)
对于自定义工具和“计算机使用”,您的应用会处理执行:
- 您发送提示以及函数(工具)声明。
- Gemini 可能会发回结构化 JSON 来调用特定函数(例如
{"name": "get_order_status", "args": {"order_id": "123"}}),并且始终带有唯一的id。 - 您可以在应用或环境中执行该函数。
- 您将函数结果(与函数调用具有相同的
id)发送回 Gemini。 - Gemini 会使用这些结果来生成最终回答或其他工具调用。
如需了解详情,请参阅函数调用指南。
结合使用内置工具和自定义工具的流程
对于结合使用内置工具和自定义工具(函数调用)的请求,模型会使用工具上下文循环来协调不同环境中的执行:
- 您发送提示并声明要启用的内置工具和自定义函数,同时设置一个标志以开启组合支持。