AI Agent 运行时相比传统应用有什么不同:百家企业 AI 实践观察(二)


                                                                                                                                                <p>作者:计缘</p> 

在本系列的开篇内容中,我们已经和大家一起理清了一些基本概念, 比如 AI 应用的定义,AI 应用的核心是什么,以及 AI Agent 的定义和推理模式等。

从本篇文章开始,我们将具体讲讲 AI 应用实践过程中每一个环节的核心挑战,以及我们对应的解法和思路。如果您对这些内容感兴趣,推荐您关注阿里云云原生公众号,后台回复 “企业AI实践” 获得我们整理的完整的企业级 AI 应用构建的最佳实践 PPT,配合系列文章一起食用,效果更佳。

今天我们聊聊 AI Agent 运行时。

如上文所述,我们正步入一个由 AI Agent 驱动的全新 AI 时代。AI Agent 运行时已不再是简单的代码执行环境,它演变成了一个动态、有状态且可能是事件驱动的复杂系统。这个运行时负责管理 AI Agent 的完整生命周期,包括其状态维护、与外部工具的交互以及多智能体间的协作行为。OpenAI 将 Agent 重新定义为”模型 + 指令 + 工具 + 运行时”的组合,这标志着 AI Agent 运行时本身已从”附属组件”,跃升为不可或缺的”核心基石”。

AI Agent 运行时的挑战点

AI Agent 的计算负载特征与传统应用截然不同。传统的 Web 服务通常具有可预测的请求-响应模式,而 AI Agent 的运行推理模式如上文所述,是多种多样的,并非一次简单的模型推理,而是一个复杂的、多轮次的循环工作流,涵盖了持续的规划、工具调用、自省和迭代式推理。它不是一次性的问答,而是一个为达成目标而不断”思考”和”行动”的动态过程。比如 ReAct 模式在每一步都需要 LLM 进行推理以决定下一步是思考还是行动;而 CoT/ToT 为了做出更优决策,会模拟多条未来的推理路径,这都极大地增加了并行的推理调用需求。

正因为这些特性,AI Agent 的一次运行可能是一种”脉冲式”或”突发性”的资源消耗模式——即在极短时间内进行高强度计算,随后进入长时间的闲置状态。这种动态推理过程虽然功能强大,但也带来了显著的延迟波动和高昂的基础设施成本挑战。

另外 AI Agent 正从理论走向实践,这预示着人机交互和任务自动化的根本性变革。然而,赋予这些 Agent 强大能力的自主性、学习能力和工具使用特性的同时,也引入了前所未有的安全风险。比如提示注入(Prompt Injection),工具滥用与不受控的系统命令、权限泄露、上下文泄露与级联故障等。所以运行 AI Agent 的环境需要是一个隔离的、访问控制与系统调用拦截的、可严格管理资源的、具备可观测与审计的环境,也就是沙箱环境(Sandbox)。

所以我们尝试通过阿里云函数计算 FC 这种 FaaS 形态的 Serverless 计算产品,帮助企业解决 AI Agent 运行的构建效率、资源成本、Sandbox 三大挑战。

函数计算 FC 作为 AI Agent 运行时的优势

AI Agent 的独特运行模式和对计算资源的需求在函数计算 FC 这种 FaaS 计算资源上找到相对完美的解决方案。这种对应关系可以通过下表清晰地展示出来:

| AI Agent 运行时需求 | 函数计算 FC 的优势 | | ————– | ———————– | | 事件驱动与异步执行 | 多种原生的事件触发器和异步任务执行模式 | | 不可预测的突发性工作负载 | 自动、快速的弹性伸缩(从零到N) | | 高昂的计算资源闲置成本 | 按实际使用量计费 | | 需要安全、隔离的执行环境 | 天然沙箱化的运行时 | | 复杂、多步骤的工作流 | 与工作流引擎有深度集成 | | 数据持久化 | 与OSS,NAS,PolarFS做好了深度集成 | | 快速迭代与开发的需求 | 聚焦业务逻辑,而非基础设施 |

这里先来整体看一下函数计算 FC 作为 AI Agent 运行时的方案拓扑图:

函数计算 FC 作为 AI Agent 自身的运行时(Runtime)

函数计算 FC 作为 AI Agent 的运行时有两种模式:

  • 函数计算 FC 作为 AI Agent 自身的运行时。
  • 函数计算 FC 作为辅助 AI Agent 的沙箱环境(Sandbox)。

编码式 – 函数计算 FC 作为计算资源运行 AI Agent

FC 作为 AI Agent 的运行时有两种类型:

  • 用户自研的 AI Agent。或者使用 Spring AI Alibaba、LangChain、LlamaIndex、Pydantic AI 等开发 Agent 的综合框架开发的 AI Agent。
  • 在 FunctionAI 平台上,已经托管了一些现成的 AI Agent 组件,比如 OpenManus,Jmanus,ComfyUI,SD WebUI 等,可以一键拉起使用。

FC 作为 AI Agent 运行时的优势:

  • 函数计算 FC 触发器机制,实现 AI Agent 可灵活被调度。
  • 函数计算 FC 按请求扩缩,提升 AI Agent 资源利用率,降低资源成本。
  • 函数计算 FC 支持多种存储机制,提升 AI Agent 数据存储的灵活性和安全性。
  • 函数计算 FC 函数实例动态安装依赖包,提升 AI Agent 业务形态多样性。
  • 函数计算 FC 支持 Seesion 会话亲和,进一步提升 AI Agent 执行任务的一致性和隔离性。
Chat AI Agent 解析

我们拜访中的很多客户做的 Agent 服务于 Chat 场景,本质上就是负责和用户对话交互的 Agent,用户和企业产品的一次对话就会产生一个任务,由 Agent 负责执行这个任务。

这种 Chat Agent 最大的特点是执行任务的 2 个不确定性,和 1 个一致性:

  • 不确定性:

    • 执行环境里的各依赖包的不确定性。
    • 拿用户相关文件信息路径的不确定性。
  • 一致性:

    • 需要同一个会话(Session)的请求都分配到同一个实例中,从而保证执行任务在上下文环境、上下文数据方面的一致性。
未经允许不得转载:紫竹林-程序员中文网 » AI Agent 运行时相比传统应用有什么不同:百家企业 AI 实践观察(二)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
关于我们 免责申明 意见反馈 隐私政策
程序员中文网:公益在线网站,帮助学习者快速成长!
关注微信 技术交流
推荐文章
每天精选资源文章推送
推荐文章
随时随地碎片化学习
推荐文章
发现有趣的