Original post · AI translation
Tibo@thsottiaux
@charliermarsh 这里正在进行真正的工程工作。
在 Codex 中,我们使用 WebSocket 发送模型请求,以便随时间逐步传输数据。
我们现已将 WebSocket 的大小上限从 16 MB 提高到 128 MB(8 倍),因此较大的轮次可以避免回退到 HTTP(这很糟糕!)。
而且,如果请求确实超过上限,现在的处理速度也快了约 5 倍。
Original
In Codex, we use a WebSocket for model requests, to send data incrementally over time. We’ve now increased the WebSocket size limit from 16 to 128 MB (8x), so large turns avoid falling back to HTTP (bad!). And if a request _does_ go over the limit, it’s now ~5x faster.
· UTC+8