Article · AI translation
本月在纽约举行的 AI Engineer 大会上，我们与 Arca 的首席 AI 工程师 Aman Singh 坐下来交谈。Arca 是一家提供财富管理服务的“AI 原生”公司。
我们了解到，虽然智能体承担了公司大部分后台工作，但公司设置了防护措施，确保最终决定由人类顾问作出。目标是让 AI 引导流程；或者用 Singh 的贴切说法，“智能体提示人的次数比人提示智能体的次数更多”。
播放视频
在 YouTube 上打开视频 ↗
Arca 最近完成了由 General Catalyst 领投、Index Ventures 和 Venrock 参与的一轮融资，筹集了 4850 万美元。
Singh 解释说，在金融服务中使用 AI 的一个特点是，工作通常跨越较长时间，但并非持续运行。他在 AIE 的演讲中指出，Arca 的智能体任务可能历时长达 10 天。“整个过程时停时启，中间有许多参与者、许多决策节点和许多次交接，”他说。
因此，Arca 开发了一套内部记忆系统。
“所以，我们会为每位客户持久保存这些信息，”Singh 在我们的播客讨论中说。“到目前为止发生了什么？接下来我们在跟踪什么？未来几天需要立即做什么，[以及]长期要跟踪什么？哪个人负责哪项行动？所有这些都由我们的记忆系统跟踪，我们的智能体也会向其中提供信息。”
Arca 使用 Anthropic 和 OpenAI 等前沿实验室的模型，其中 Claude 是其主要模型供应商。该公司构建了自己的智能体运行框架，根据内部基准测试，自动为特定任务选择最合适的模型。
拥有自己的智能体运行框架，而不是使用托管式智能体运行框架，也意味着 Arca 在需要时可以灵活更换模型供应商。
安全显然是金融服务的关键。Singh 指出，虽然智能体承担了大量工作，但其职责仅限于分析和提出解决方案。交易及其他任何资金转移都由人类顾问处理。
“我们所有的安全限制都完全由确定性的规则执行，”他说。“这些限制让智能体无法自行作出相关决定。”
换句话说，智能体可以自行执行某些工具操作和任务，但不能执行涉及客户风险的操作和任务。Arca 还会针对提示词注入等已知 AI 安全问题进行验证检查。
赞助广告您的赞助广告可展示于此触达正在打造下一代产品的 AI 工程师。开发和交付智能体、模型及基础设施的人都在阅读 Latent Space。欢迎咨询此广告位的赞助事宜。
business@latent.space →
Arca 的智能体本身并未在沙箱中运行，但它会使用沙箱进行计算。Singh 解释说，他们还采取了额外的安全措施来处理敏感数据。
“我们构建了系统，使沙箱内的代码能够安全地访问我们的数据，”他说。“我们有一个机制，可以把它[智能体]编写的代码转换成我们要求的严格格式，然后丢弃代码，并在该格式的数据到达后端之前对其设置防护措施。这样，我们允许智能体用代码查询我们的数据，这意味着它们可以汇总、整理数据，并按需要处理数据，生成财务规划等[内容]。”
Arca 实施的另一个有意思的流程是，将人类顾问的反馈与智能体的运行轨迹结合起来，用于改进智能体运行框架。一个“元智能体”负责分析所有这些数据，并提出修改框架的建议。
播客时间戳
00:00 — 介绍 Arca 这家 AI 原生财富管理公司
01:40 — AI 如何支持人类财务顾问
02:40 — 利用内部基准测试选择模型
04:01 — 构建自定义智能体运行框架并分配任务
05:25 — 处理一笔 100,000 美元的税款账单：智能体与人工审批
07:20 — 智能体在长期任务中的记忆
09:22 — 安全防护措施与提示词注入防御
11:02 — 默认具备合规性与可审计性
12:14 — “智能体提示人的次数比人提示智能体的次数更多”
13:46 — Arca 为何拥有自己的智能体基础设施
15:05 — AI 原生公司与使用 AI 工具的公司
16:09 — 沙盒与财务计划验证
18:40 — 决策模型与财务事实核查
19:51 — 为何交易执行仍由人类专家负责
20:32 — 将员工反馈转化为评估和改进
22:22 — 将运营知识转化为智能体的上下文
23:41 — 客户案例：隐藏费用与主动服务
观看 Aman 的 AIE 演讲
播放视频
在 YouTube 上打开视频 ↗