Tổng Quan
Streaming cho phép bạn nhận các token phản hồi ngay khi chúng được tạo, thay vì chờ đợi phản hồi hoàn chỉnh. Điều này cải thiện đáng kể độ trễ cảm nhận cho người dùng của bạn.Khi Nào Sử Dụng Streaming
- Giao diện chat — hiển thị chỉ báo đang gõ và văn bản thời gian thực
- Phản hồi dài — không bắt người dùng chờ toàn bộ phản hồi
- Tạo mã nguồn — hiển thị mã khi nó đang được viết
Cách Hoạt Động
- Đặt
stream: truetrong yêu cầu của bạn - OpenModex mở kết nối SSE (Server-Sent Events)
- Các token được gửi dưới dạng sự kiện
data:khi chúng được tạo - Luồng kết thúc với
data: [DONE]