大语言模型能够理解自然语言、生成代码和组织信息,但当应用需要查询天气、读取业务数据、调用外部 API 或执行某个动作时,仅靠模型生成文本并不够。它需要一个明确的工具执行机制。

在 Java 应用中,我曾围绕 Spring AI 的 ChatModel、FunctionToolCallback 和 Agent 执行机制做过实践。这个过程让我更清楚地认识到:工具调用不是让模型直接拥有系统权限,而是由应用把经过约束的能力交给模型使用。

模型负责判断和组织,应用负责执行和守住边界。

一次工具调用究竟发生了什么?

可以把最基础的流程拆成五步:

  1. 用户提出问题,应用把上下文和可用工具描述发送给模型。
  2. 模型判断是否需要调用工具,并返回结构化的工具名称与参数。
  3. 应用根据注册表找到对应的工具实现,校验参数后执行。
  4. 工具执行结果返回给模型,作为下一轮上下文。
  5. 模型结合工具结果组织最终答复,应用再完成展示。

其中最重要的一点是:工具真正运行在应用侧。模型输出的是调用意图和参数,不应该被视为已经完成的业务操作。

工具设计要像设计 API 一样谨慎

一个好的工具应该职责单一、输入明确、输出稳定。与其提供一个可以执行任意 SQL 或访问任意 URL 的大工具,不如把能力拆成边界清晰的查询、创建或更新接口。

  • 参数校验:对必填字段、格式、长度和枚举值做校验,不把模型输出直接拼接成 SQL 或命令。
  • 权限校验:工具执行时使用可信的用户身份和权限上下文,不依赖模型自行声明“我是谁”。
  • 执行约束:设置超时、重试边界、幂等策略和调用频率限制。
  • 结果控制:只返回完成任务所需的数据,避免把无关敏感字段带回模型上下文。
  • 审计记录:记录工具、调用人、关键参数摘要、执行结果和耗时。

从单个工具到 Agent

当工具数量增加,应用还需要处理工具选择、上下文管理、步骤循环、异常恢复和任务结束条件。此时系统已经不只是一次 Function Calling,而逐渐具备 Agent 的执行特征。

但 Agent 并不意味着把所有决策都交给模型。对于确定性的业务流程,代码仍然应该控制流程;对于需要根据上下文选择下一步的任务,模型才更适合参与规划。两者结合,通常比把所有逻辑都塞进提示词更容易维护。

我更关注的工程问题

在后续实践中,我希望继续验证工具定义如何版本化、工具结果如何结构化、失败如何恢复,以及当 Agent 需要访问企业业务系统时,如何把用户身份和业务权限贯穿整个调用链。

对我来说,工具调用真正有价值的地方,不是让演示更炫,而是让 AI 能够在清晰边界内完成可靠、可追踪的工作。