aifollow.news
返回 Tibo
Tibo· @thsottiaux · X· · 原发布时间 AI 评分27

Codex 将模型请求的 WebSocket 大小上限提高至 128 MB

AI 导读

Codex 的模型请求通过 WebSocket 逐步传输数据。其团队称,大小上限已从 16 MB 提高至 128 MB,使较大的交互更少回退到 HTTP;即使请求超过上限,处理速度也约快 5 倍。

原帖引用 · AI 翻译

@thsottiaux
译文 · 以原文为准

@charliermarsh 这里正在进行真正的工程工作。

回复Charlie Marsh@charliermarsh
译文
在 Codex 中,我们使用 WebSocket 发送模型请求,以便随时间逐步传输数据。 我们现已将 WebSocket 的大小上限从 16 MB 提高到 128 MB(8 倍),因此较大的轮次可以避免回退到 HTTP(这很糟糕!)。 而且,如果请求确实超过上限,现在的处理速度也快了约 5 倍。
原文

In Codex, we use a WebSocket for model requests, to send data incrementally over time. We’ve now increased the WebSocket size limit from 16 to 128 MB (8x), so large turns avoid falling back to HTTP (bad!). And if a request _does_ go over the limit, it’s now ~5x faster.

在 X 查看这条帖子 ↗

来源:Tibo · x.com

产品
发现内容有误?提交纠错