正文 · AI 翻译
播放视频
在 YouTube 上打开视频 ↗
这是我们首次与一家 AI 数据公司一起对 Latent Space 进行深度探讨。在大约 1 年里，Handshake 的 AI 训练业务从启动发展到年化总收入达到 10 亿美元。前沿实验室以这样的规模购买的是什么？哪些评测项目上，模型仍远未达到人类水平？Garrett Lord 带来了构建这些强化学习环境的人，向我们展示这些环境。我们将首次现场逐一演示！
为了涵盖 Handshake 的业务范围，我们必须联合科学、工程、研究和金融播客的主持人，制作一期非常特别的联合播客，因为 Handshake 的业务横跨所有这些领域，甚至更多。
一般性介绍之后，请留意 3 个环节：
金融。在金融演示中，智能体必须在一家银行的电子邮件中找到自己的任务，弄清楚哪些文件对这笔交易具有约束力，并交付一个工作簿。请留意客户邮件中关于现有商誉的一行文字会引发什么。智能体把这个数字带入 Python 并将其减去。Collin 指出，如果直接提问，模型能够解释税务处理方式。错误出现在它必须识别出这条规则适用于这一特定代码行的时候。
生物。Nick Magazine 和 Jonas Mueller 向我们展示 VIALS，这是 Handshake 用于评测模型解读科学家工作中使用的图像的基准。Nick 在屏幕上展示 9 张脑肿瘤组织切片，询问哪 2 张显示出最严重的血管坏死。在他公布答案前，先给自己一点时间。Nick 选择 H 和 I。模型也选了这 2 张，另外还选了 G。看 Nick 指出组织中缺失的部分，比看分数更有启发。
编程。在一项模拟文件访问任务中，团队可以检查智能体读取了哪些文件、是否核对了副本，以及之后如何处理 shell 历史记录。只看智能体最终回复的文字记录，会错过 Steve Kelling 和 Nishant Ranka 正在评估的大部分内容。
参与者
🟣 AI 数据业务——Garrett Lord、Sahil Bhaiwala 和 Nishant Ranka 在节目开头和结尾讨论专家数据市场。
🌸 生命科学——Nick Magazine 和 Jonas Mueller 在屏幕上展示凝胶和脑组织任务。
🟢 金融——Collin Schweiker 和 Sahil Bhaiwala 带我们了解 Project Falcon 及其 Excel 评分器。
🟠 对齐——Steve Kelling 和 Nishant Ranka 在安全模拟中追踪智能体的工具调用。
节目注释
ATLAS-Finance——探索一项基准测试，评测智能体如何在模拟银行的收件箱、文档和财务模型之间开展工作。
银行内部——Handshake 追踪另一笔已发布的交易 Project Osprey，从客户的电子邮件一直到评分决定。我们访谈中屏幕上展示的交易是 Project Falcon。
VIALS 示例任务——试做科学图像题，包括本期节目中的凝胶和脑组织任务。
Handshake 如何训练模型读取科学图表——团队介绍了如何使用中间图像描述来训练和评估视觉语言模型。
时间戳
赞助广告您的赞助广告可刊登在此触达正在打造下一代技术的 AI 工程师。Latent Space 的读者是正在交付智能体、模型和基础设施的人。欢迎咨询赞助此广告位。
business@latent.space →
0:00 走进 Handshake AI
0:39 Garrett、Sahil 和 Nishant 谈前沿模型训练数据
5:15 如何为智能体构建银行业务环境
13:07 前沿实验室如何购买数据
15:51 实验室如何评估新数据集
20:01 在开放模型上测试训练数据
27:38 评分细则在哪些方面不及专家判断
31:30 Nick 和 Jonas 介绍 VIALS 基准测试
35:52 解读分子结构和质粒图谱
43:48 训练视觉模型解读科学图像
47:17 任务 1：读取凝胶上的条带
50:59 任务 2：在脑组织中寻找坏死
55:49 Python 工具能帮助模型看清图像吗？
1:02:52 生物学模型能自行改进吗？
1:06:19 生物学实验室能从 Handshake 购买什么
1:12:33 Collin 和 Sahil 介绍 Atlas Finance
1:18:56 走进模拟投资银行
1:25:45 智能体的财务模型哪里出了错
1:31:18 银行家如何评估电子表格
1:41:12 扣分陷阱、依赖关卡与部分得分
1:46:41 智能体如何钻 Excel 评分器的空子
1:48:52 怎样才能让 AI 银行家真正有用？
1:54:48 与 Steve 和 Nishant 谈安全与对齐
1:58:25 CAREBench 与拒绝回答的局限
2:04:42 安全反馈如何进入模型训练
2:07:21 当智能体发送了错误的文件
2:11:14 用贷款申请测试公平放贷
2:16:09 为企业设计私有基准测试
2:25:37 领导团队谈 Handshake 的使命
2:28:36 企业何时需要自己的模型
2:33:03 算力与专家数据市场
2:39:12 实验室为何留出评估任务
2:43:01 Handshake AI 招聘