Khi đưa một mô hình ngôn ngữ vào ứng dụng, bạn làm gì để câu trả lời sai hoặc độc hại của nó không làm hỏng dữ liệu?

Người phỏng vấn muốn biết bạn coi đầu ra của mô hình là dữ liệu không đáng tin, thay vì một hàm luôn trả đúng, và bạn có nghĩ tới các trường hợp mô hình hỏng hay chậm hay không.

Câu trả lời tốt nêu một nguyên tắc: AI chỉ đề xuất, code mới quyết định. Với một tác vụ như phân loại, bạn giới hạn đầu ra vào một danh sách nhãn cố định, yêu cầu dạng JSON và tự kiểm tra bằng code: nhãn không nằm trong danh sách thì bỏ, kể cả khi nó nghe rất hợp lý. Nhờ vậy, ngay cả khi người dùng cài một câu lệnh vào nội dung, kết quả chỉ có thể là một nhãn hợp lệ hoặc rỗng.

Phần còn lại là chuyện vận hành. Cuộc gọi cần có hạn chót, và thao tác chính (ghi dữ liệu của người dùng) phải làm trước, không phụ thuộc vào việc mô hình trả lời được hay không. Chỉ gửi cho mô hình phần dữ liệu thật cần thiết, bỏ số điện thoại, mã người dùng, số tiền nếu bước đó không cần. Phân biệt các loại lỗi (sai định dạng, quá giờ, lỗi mạng) để đếm được mô hình hỏng kiểu nào nhiều nhất.

Điểm cộng là nhắc rằng hạn chót phải nằm dưới thời gian chờ của webhook, nếu không nền tảng sẽ gửi lại yêu cầu và khoản dữ liệu bị ghi hai lần, và biết rằng độ chính xác của mô hình chỉ đo được bằng một tập mẫu đã gán nhãn.