Streaming LLM trong Next.js: khách thấy chữ ngay, không chờ lâu
Streaming LLM trong Next.js: đổi route chat sang Server-Sent Events để chữ đầu tiên tới sau 818 ms thay vì 4 giây, kèm cách đọc luồng và ngắt khi khách rời đi.
Thẻ · 1 bài
Streaming LLM trong Next.js: đổi route chat sang Server-Sent Events để chữ đầu tiên tới sau 818 ms thay vì 4 giây, kèm cách đọc luồng và ngắt khi khách rời đi.