Làm thế nào để giảm chi phí khi chạy AI agent cho khách thật mà không làm agent tệ đi?

Người phỏng vấn muốn biết bạn hiểu tiền của một agent đi đâu, và có biết cắt chi phí mà không đánh đổi chất lượng hay độ an toàn hay không.

Câu trả lời tốt bắt đầu từ chỗ mô hình không có trí nhớ giữa các lượt gọi: mỗi lượt bạn gửi lại cả hướng dẫn, mô tả công cụ và dữ liệu cố định, trong khi tin nhắn của khách chỉ vài token. Từ đó có ba hướng. Hướng thứ nhất là cache prompt: phần đầu giống hệt nhau giữa các lượt được nhà cung cấp nhớ giúp và tính giá đọc thấp hơn nhiều giá thường. Điều kiện là phần đầu phải giống hệt từng ký tự, nên những thứ đổi liên tục như giờ hiện tại hay tên khách phải đặt sau phần cố định; đặt nhầm chỗ thì cache gần như không bao giờ trúng và còn đắt hơn khi không dùng. Hướng thứ hai là chọn mô hình theo tin nhắn: mặc định mô hình lớn, chỉ câu hỏi chắc chắn đơn giản và không dính tới tiền hay dữ liệu cá nhân mới đi mô hình nhỏ. Hướng thứ ba là đặt trần: số lượt gọi tối đa cho mỗi tin nhắn và số token đầu ra, khi chạm trần thì chuyển cho người thay vì để agent lặp mãi.

Điểm cộng là nói được những cách tiết kiệm nghe hợp lý nhưng sai: ví dụ nhớ câu trả lời theo nội dung tin nhắn cho mọi tin, khiến khách này nhận được thông tin đơn hàng của khách kia. Câu trả lời cuối cùng nên nhắc rằng mỗi thay đổi đều phải chạy lại bộ eval để chắc agent không tệ đi.