Skip to main content

Tổng Quan

Streaming cho phép bạn nhận các token phản hồi ngay khi chúng được tạo, thay vì chờ đợi phản hồi hoàn chỉnh. Điều này cải thiện đáng kể độ trễ cảm nhận cho người dùng của bạn.

Khi Nào Sử Dụng Streaming

  • Giao diện chat — hiển thị chỉ báo đang gõ và văn bản thời gian thực
  • Phản hồi dài — không bắt người dùng chờ toàn bộ phản hồi
  • Tạo mã nguồn — hiển thị mã khi nó đang được viết

Cách Hoạt Động

  1. Đặt stream: true trong yêu cầu của bạn
  2. OpenModex mở kết nối SSE (Server-Sent Events)
  3. Các token được gửi dưới dạng sự kiện data: khi chúng được tạo
  4. Luồng kết thúc với data: [DONE]

Ví Dụ

Streaming + Chuyển Đổi Dự Phòng

Streaming hoạt động liền mạch với chuyển đổi dự phòng. Nếu mô hình chính gặp lỗi trước khi streaming bắt đầu, OpenModex tự động thử lại với mô hình dự phòng: