社区讨论LinuxDo 最新
关于openai的response api和completions api，应该开启流式吗？
关于openai的response api和completions api，应该开启流式吗？最近在优化我的hermes+codex使用方式，codex只支持response api，后面改成hermes+opencode，后来又发现opencode使用流式api输出，使用simulateStreamingMiddleware才会把调用模型的过程转为非流式。模型侧的流式输出和非流式输出应该怎么选
内容摘要
作者：#rinch
板块：#开发调优
关于openai的response api和completions api，应该开启流式吗？最近在优化我的hermes+codex使用方式，codex只支持response api，后面改成hermes+opencode，后来又发现opencode使用流式api输出，使用simulateStreamingMiddleware才会把调用模型的过程转为非流式。模型侧的流式输出和非流式输出应该怎么选
资讯来源
LinuxDo