流式输出

开启流式后,模型边生成边返回,用户几秒内就能看到第一个字。长回复、对话界面和 Agent 场景都建议开启。

开启方式

在请求体里加 "stream": true,响应改为 text/event-stream(SSE)。官方 SDK 都封装好了流式接口:

from openai import OpenAI

client = OpenAI(api_key="sk-...", base_url="https://api.flyrouter.ai/v1")

stream = client.chat.completions.create(
    model="gpt-6.1-sol",
    messages=[{"role": "user", "content": "写一首关于秋天的短诗"}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

各协议的事件格式

OpenAI Chat Completions:每个分片是一行 data: {...},增量文字在 choices[0].delta.content,最后以 data: [DONE] 结束。需要统计用量时,加上 "stream_options": {"include_usage": true},最后一个分片会带 usage。

Anthropic Messages:事件依次为 message_start → content_block_start → 若干 content_block_delta → content_block_stop → message_delta → message_stop。文字增量在 content_block_delta 的 delta.text,用量在 message_delta.usage。

claude_stream.py
from anthropic import Anthropic

client = Anthropic(api_key="sk-...", base_url="https://api.flyrouter.ai")

with client.messages.stream(
    model="claude-sonnet-5-5",
    max_tokens=4096,
    messages=[{"role": "user", "content": "写一首关于秋天的短诗"}],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)
    final = stream.get_final_message()
print("\n", final.usage)

Gemini:调用 streamGenerateContent 并带上 ?alt=sse,见 Gemini 原生接口。

注意事项

  • 大模型在思考阶段可能几秒到几十秒没有文字输出,这是正常的,不要过早断开。客户端的读超时建议设为 10 分钟以上。
  • max_tokens 较大(几万以上)时请务必使用流式,非流式请求容易在等待中超时。
  • 中途断开连接时,已生成的部分照常计费。