ストリーミング
すとりーみんぐ
Streaming
一言でいうと
LLMの出力を全文完成を待たず、生成された端から少しずつ受け取る仕組みのこと。
詳しい意味
ストリーミングは、LLM の出力を全文が完成するのを待たず、生成された端から少しずつ受け取る仕組みです。ChatGPT のチャット画面で「文字が左から順番に出てくる」体験は、APIのストリーミング応答を画面に逐次描画しているもの。ユーザー体感速度を大きく改善でき、長文回答でも待たされている感覚が薄れます。Server-Sent Events（SSE）や独自のチャンク形式で実装されることが多く、Anthropic / OpenAI / Google の主要 API はすべてストリーミングに対応しています。一方、JSON出力や一括処理用途では非ストリーミングの方が実装が単純です。
何に使うか
チャットUIで応答待ちのユーザー体験を改善したいとき。長文回答のレイテンシー体感を抑えたいとき。途中までの結果から次のアクションを判断したいエージェント設計。
どんな時に出るか
「ストリーミングで出して」「SSEでstream」「ストリーミング中に途中キャンセル」といった場面で登場します。
具体例
- Anthropic API のストリーミング機能を有効にし、応答が逐次表示されるようにした。
- ユーザーが Stop ボタンを押したら、ストリーミング中でも途中キャンセルする実装にした。
別名・略称
streaming(すとりーみんぐ)stream(すとりーむ)SSE(えすえすいー)
関連語
初心者向けメモ
テレビの「生中継」のようなものです。録画完成を待ってから配信（非ストリーミング）するより、撮れた端から流す（ストリーミング）方が、ユーザーは途中から見られて待ち時間が減ります。