Context window là gì? Cho chatbot quán Mộc nhớ cuộc trò chuyện

const messages: Anthropic.MessageParam[] = [{ role: "user", content: cauHoi }];

05-bo-nho-hoi-thoai/
├── package.json
└── src/
    ├── cong-cu.ts          # giữ nguyên
    ├── goi-llm.ts          # giữ nguyên
    ├── prompts.ts          # giữ nguyên
    ├── thong-tin-quan.ts   # giữ nguyên
    ├── don-hang.ts         # thêm hàm datLaiDonHang
    ├── offline.ts          # mô hình giả lập, giờ đọc cả lịch sử
    ├── agent.ts            # vòng lặp, giờ nhận và trả về lịch sử
    ├── phien.ts            # MỚI: một cuộc trò chuyện với một khách
    ├── cat-lich-su.ts      # MỚI: hai cách cắt lịch sử và hàm kiểm tra
    ├── ghi-nho.ts          # MỚI: nhớ mã đơn khách đang nói tới
    ├── hai-tin-nhan.ts     # chạy thử 1
    ├── buoi-sang.ts        # chạy thử 2
    ├── cat-sai.ts          # chạy thử 3
    └── quen-don.ts         # chạy thử 4

import type Anthropic from "@anthropic-ai/sdk";

import { chayCongCu } from "./cong-cu.ts";
import { goiMoHinh, layChu } from "./goi-llm.ts";
import { SYSTEM_V4 } from "./prompts.ts";

export type TinNhan = Anthropic.MessageParam;
export type LanGoi = { soTinNhan: number; kyTu: number; inputTokens: number };
export type KetQuaAgent = { traLoi: string; lichSu: TinNhan[]; nhatKy: string[]; cacLanGoi: LanGoi[] };

// Vòng lặp agent của bài trước, khác một chỗ: nó nhận lịch sử cuộc trò chuyện và trả về lịch sử mới.
export async function chayAgent(lichSu: TinNhan[], cauHoi: string, system = SYSTEM_V4, maxLanGoi = 6): Promise<KetQuaAgent> {
  const messages: TinNhan[] = [...lichSu, { role: "user", content: cauHoi }];
  const nhatKy: string[] = [];
  const cacLanGoi: LanGoi[] = [];

  for (let lan = 1; lan <= maxLanGoi; lan++) {
    const phanHoi = await goiMoHinh(system, messages);
    // Ghi lại mỗi lần gọi đã gửi đi bao nhiêu: số tin nhắn, số ký tự, và số token nếu gọi API thật.
    cacLanGoi.push({ soTinNhan: messages.length, kyTu: JSON.stringify(messages).length, inputTokens: phanHoi.inputTokens });
    messages.push({ role: "assistant", content: phanHoi.content });

    if (phanHoi.stop_reason !== "tool_use") return { traLoi: layChu(phanHoi.content), lichSu: messages, nhatKy, cacLanGoi };

    const ketQua: Anthropic.ToolResultBlockParam[] = [];
    for (const block of phanHoi.content) {
      if (block.type !== "tool_use") continue;
      const kq = chayCongCu(block.name, block.input);
      nhatKy.push(`${block.name}(${JSON.stringify(block.input)}) → ${kq.noiDung}${kq.loi ? "  (is_error)" : ""}`);
      ketQua.push({ type: "tool_result", tool_use_id: block.id, content: kq.noiDung, is_error: kq.loi });
    }
    messages.push({ role: "user", content: ketQua });
  }

  const xinLoi = "Dạ yêu cầu này Mộc chưa xử lý xong, nhân viên sẽ kiểm tra và nhắn lại bạn ngay ạ.";
  messages.push({ role: "assistant", content: xinLoi });
  return { traLoi: xinLoi, lichSu: messages, nhatKy: [...nhatKy, `dừng: đã gọi mô hình ${maxLanGoi} lần`], cacLanGoi };
}

import { chayAgent, type KetQuaAgent, type TinNhan } from "./agent.ts";
import { SYSTEM_V4 } from "./prompts.ts";

export type TuyChonPhien = {
  // Chọn phần lịch sử sẽ gửi cho mô hình. Mặc định: gửi tất cả.
  chonLichSu?: (lichSu: TinNhan[]) => TinNhan[];
  // Soạn system prompt cho lần gọi này từ toàn bộ lịch sử. Mặc định: prompt cố định của quán.
  soanSystem?: (lichSu: TinNhan[]) => string;
};

// Một phiên là một cuộc trò chuyện với một khách. Phiên giữ toàn bộ lịch sử trong bộ nhớ của tiến trình.
export function taoPhien({ chonLichSu = (lichSu) => lichSu, soanSystem = () => SYSTEM_V4 }: TuyChonPhien = {}) {
  let lichSu: TinNhan[] = [];
  return {
    async nhan(tinNhan: string): Promise<KetQuaAgent> {
      const gui = chonLichSu(lichSu);
      const kq = await chayAgent(gui, tinNhan, soanSystem(lichSu));
      // Phần mới của lượt này là những tin nhắn nằm sau phần đã gửi; nối nó vào lịch sử ĐẦY ĐỦ.
      lichSu = [...lichSu, ...kq.lichSu.slice(gui.length)];
      return kq;
    },
    get lichSu() {
      return lichSu;
    },
  };
}

// Câu hỏi của lượt hiện tại: tin nhắn bằng chữ gần nhất của khách.
function cauHoiHienTai(messages: Anthropic.MessageParam[]): { cau: string; viTri: number } {
  const viTri = messages.findLastIndex((tin) => tin.role === "user" && typeof tin.content === "string");
  return { cau: String(messages[viTri].content).toLowerCase(), viTri };
}

// Bắt chước việc mô hình thật đọc lại phần trước của cuộc trò chuyện: tìm mã đơn trong thẻ <ghi_nho>
// của system prompt, rồi tới các tin nhắn và kết quả công cụ đứng trước câu hỏi, từ gần tới xa.
function maDonDaNhac(system: string, messages: Anthropic.MessageParam[], truocViTri: number): string | undefined {
  const ghiNho = /<ghi_nho>[\s\S]*?đơn (\d{4})/.exec(system)?.[1];
  if (ghiNho) return ghiNho;
  for (let i = truocViTri - 1; i >= 0; i--) {
    const ma = /\b(\d{4})\b/.exec(JSON.stringify(messages[i].content))?.[1];
    if (ma) return ma;
  }
  return undefined;
}

export function moHinhOffline(system: string, messages: Anthropic.MessageParam[]): PhanHoi {
  const { cau: cauHoi, viTri } = cauHoiHienTai(messages); // bài trước: messages[0]
  const cuoi = messages.at(-1)!;

  // Lượt mới: tin nhắn cuối là câu hỏi của khách.
  if (typeof cuoi.content === "string") {
    const ma = cauHoi.match(/\b\d{4}\b/)?.[0];
    if (ma && muonThem(cauHoi)) return goiCongCu("them_mon", { ma_don: ma, mon: monTrongCau(cauHoi)!, so_luong: 1 });
    if (ma) return goiCongCu("xem_don", { ma_don: ma });
    const sdt = cauHoi.match(/\b0\d{9}\b/)?.[0];
    if (sdt) return goiCongCu("tim_don_theo_sdt", { so_dien_thoai: sdt });
    if (muonThem(cauHoi)) {
      // MỚI: khách không nói mã đơn thì tìm trong phần trước của cuộc trò chuyện.
      const maCu = maDonDaNhac(system, messages, viTri);
      if (maCu) return goiCongCu("them_mon", { ma_don: maCu, mon: monTrongCau(cauHoi)!, so_luong: 1 });
      return traLoi("Dạ bạn cho Mộc xin mã đơn hoặc số điện thoại đặt hàng để Mộc thêm món nhé!");
    }
    if (/giờ|mở cửa/.test(cauHoi)) {
      return traLoi(`Dạ, ${(system.split("\n").find((d) => /mở cửa từ/.test(d)) ?? "").replace("Mộc mở", "quán mở")}`);
    }
    // MỚI: hai loại câu hỏi nữa, để buổi trò chuyện dài ở phần sau có nội dung.
    if (/ship|phí/.test(cauHoi)) return traLoi(`Dạ, ${system.split("\n").find((d) => /bán kính/.test(d)) ?? ""}`);
    const mon = monTrongCau(cauHoi);
    if (mon) return traLoi(`Dạ ${mon} bên Mộc giá ${MENU[mon].toLocaleString("vi-VN")}đ ạ.`);
    return traLoi("Dạ Mộc chưa có thông tin này ạ.");
  }

  // Giữa lượt: phần xử lý kết quả công cụ giữ nguyên như bài trước.
  // ...
}

// Hai tin nhắn liên tiếp của cùng một khách, lần này đi qua một phiên có giữ lịch sử.
import { taoPhien } from "./phien.ts";

const phien = taoPhien();
for (const tinNhan of ["Đơn 1041 của em giao chưa ạ?", "Vậy thêm cho em một bạc xỉu nữa nhé"]) {
  const kq = await phien.nhan(tinNhan);
  console.log(`Khách: ${tinNhan}`);
  for (const dong of kq.nhatKy) console.log(`  ${dong}`);
  console.log(`Mộc:   ${kq.traLoi}`);
  console.log(`       (lịch sử giờ có ${phien.lichSu.length} tin nhắn)\n`);
}

Khách: Đơn 1041 của em giao chưa ạ?
  xem_don({"ma_don":"1041"}) → {"ma_don":"1041","mon":["cà phê sữa","bánh mì trứng"],"trang_thai":"đang pha chế","dat_luc":"hôm nay 8:12"}
Mộc:   Dạ đơn 1041 (cà phê sữa, bánh mì trứng) bạn đặt hôm nay 8:12 hiện đang pha chế ạ.
       (lịch sử giờ có 4 tin nhắn)

Khách: Vậy thêm cho em một bạc xỉu nữa nhé
  them_mon({"ma_don":"1041","mon":"bạc xỉu","so_luong":1}) → {"ma_don":"1041","mon":["cà phê sữa","bánh mì trứng","bạc xỉu"],"trang_thai":"đang pha chế"}
Mộc:   Dạ Mộc đã thêm vào đơn 1041. Đơn giờ gồm: cà phê sữa, bánh mì trứng, bạc xỉu, vẫn đang pha chế ạ.
       (lịch sử giờ có 8 tin nhắn)

// Một khách nhắn 30 tin trong buổi sáng. Sau mỗi tin, in ra lần gọi mô hình cuối cùng đã gửi đi bao nhiêu.
import { taoPhien } from "./phien.ts";

const CAU_HOI = [
  "Đơn 1041 của em giao chưa ạ?",
  "Quán mở cửa tới mấy giờ ạ?",
  "Cà phê muối bao nhiêu tiền vậy?",
  "Phí ship thế nào ạ?",
  "Bánh mì trứng giá sao ạ?",
  "Bạc xỉu bao nhiêu ạ?",
];

const phien = taoPhien();
let tongKyTu = 0;
let tongLanGoi = 0;
console.log("tin thứ | tin nhắn gửi đi | ký tự gửi đi | cộng dồn ký tự");
for (let i = 1; i <= 30; i++) {
  const kq = await phien.nhan(CAU_HOI[(i - 1) % CAU_HOI.length]);
  tongLanGoi += kq.cacLanGoi.length;
  for (const lan of kq.cacLanGoi) tongKyTu += lan.kyTu;
  const cuoi = kq.cacLanGoi.at(-1)!;
  if (i === 1 || i % 5 === 0) {
    console.log(`${String(i).padStart(7)} | ${String(cuoi.soTinNhan).padStart(15)} | ${String(cuoi.kyTu).padStart(12)} | ${String(tongKyTu).padStart(14)}`);
  }
}
console.log(`\n30 tin của khách, ${tongLanGoi} lần gọi mô hình, lịch sử cuối cùng có ${phien.lichSu.length} tin nhắn.`);

tin thứ | tin nhắn gửi đi | ký tự gửi đi | cộng dồn ký tự
      1 |               3 |          415 |            473
      5 |              11 |         1105 |           3876
     10 |              23 |         2259 |          14614
     15 |              35 |         3458 |          32256
     20 |              47 |         4639 |          56757
     25 |              59 |         5787 |          88135
     30 |              69 |         6624 |         119650

30 tin của khách, 35 lần gọi mô hình, lịch sử cuối cùng có 70 tin nhắn.

import type Anthropic from "@anthropic-ai/sdk";

import type { TinNhan } from "./agent.ts";

// Cách cắt ngây thơ: giữ N tin nhắn cuối, không quan tâm chúng là gì.
export function catTheoSoTinNhan(lichSu: TinNhan[], giu: number): TinNhan[] {
  return lichSu.slice(-giu);
}

// Một lượt bắt đầu bằng tin nhắn của khách (vai user, nội dung là chữ) và kéo dài tới trước tin nhắn kế tiếp của khách.
const laDauLuot = (tin: TinNhan) => tin.role === "user" && typeof tin.content === "string";

// Cách cắt đúng: giữ N lượt cuối, luôn cắt ở ranh giới lượt nên không bao giờ chẻ đôi một cặp tool_use / tool_result.
export function catTheoLuot(lichSu: TinNhan[], giuLuot: number): TinNhan[] {
  const dauLuot = lichSu.flatMap((tin, i) => (laDauLuot(tin) ? [i] : []));
  if (dauLuot.length <= giuLuot) return lichSu;
  return lichSu.slice(dauLuot[dauLuot.length - giuLuot]);
}

// Kiểm tra hai quy tắc của Messages API mà một lịch sử bị cắt sai hay vi phạm. Trả về lỗi đầu tiên, hoặc null.
// Hàm này do mình viết để bắt lỗi khi chạy offline; API thật trả về lỗi 400 với lời văn của riêng nó.
export function kiemTraLichSu(messages: TinNhan[]): string | null {
  if (messages[0]?.role !== "user") return `tin nhắn đầu tiên có vai "${messages[0]?.role}", phải là "user"`;
  for (let i = 0; i < messages.length; i++) {
    const noiDung = messages[i].content;
    if (typeof noiDung === "string") continue;
    for (const block of noiDung) {
      if (block.type !== "tool_result") continue;
      const truoc = i > 0 ? messages[i - 1].content : [];
      const coCap = typeof truoc !== "string" && truoc.some((b) => b.type === "tool_use" && (b as Anthropic.ToolUseBlock).id === block.tool_use_id);
      if (!coCap) return `tin nhắn ${i} chứa tool_result của ${block.tool_use_id}, nhưng tin nhắn ngay trước không có tool_use đó`;
    }
  }
  return null;
}

// Cắt lịch sử theo số tin nhắn rồi kiểm tra xem phần còn lại có gửi được cho API không.
import type { TinNhan } from "./agent.ts";
import { catTheoLuot, catTheoSoTinNhan, kiemTraLichSu } from "./cat-lich-su.ts";
import { taoPhien } from "./phien.ts";

const phien = taoPhien();
for (const tin of ["Em đặt sáng nay, sđt 0901000001", "Quán mở cửa tới mấy giờ ạ?", "Phí ship thế nào ạ?"]) await phien.nhan(tin);

const moTa = (tin: TinNhan) => (typeof tin.content === "string" ? `"${tin.content}"` : tin.content.map((b) => b.type).join(" + "));

console.log(`Lịch sử đầy đủ (${phien.lichSu.length} tin nhắn):`);
phien.lichSu.forEach((tin, i) => console.log(`  ${i}  ${tin.role.padEnd(9)} ${moTa(tin)}`));

for (const giu of [8, 7, 6]) {
  const cat = catTheoSoTinNhan(phien.lichSu, giu);
  console.log(`\nGiữ ${giu} tin nhắn cuối → ${kiemTraLichSu(cat) ?? "hợp lệ"}`);
}
const theoLuot = catTheoLuot(phien.lichSu, 2);
console.log(`\nGiữ 2 lượt cuối (${theoLuot.length} tin nhắn) → ${kiemTraLichSu(theoLuot) ?? "hợp lệ"}`);

Lịch sử đầy đủ (10 tin nhắn):
  0  user      "Em đặt sáng nay, sđt 0901000001"
  1  assistant tool_use
  2  user      tool_result
  3  assistant tool_use
  4  user      tool_result
  5  assistant text
  6  user      "Quán mở cửa tới mấy giờ ạ?"
  7  assistant text
  8  user      "Phí ship thế nào ạ?"
  9  assistant text

Giữ 8 tin nhắn cuối → tin nhắn 0 chứa tool_result của toolu_offline_1, nhưng tin nhắn ngay trước không có tool_use đó

Giữ 7 tin nhắn cuối → tin nhắn đầu tiên có vai "assistant", phải là "user"

Giữ 6 tin nhắn cuối → tin nhắn 0 chứa tool_result của toolu_offline_2, nhưng tin nhắn ngay trước không có tool_use đó

Giữ 2 lượt cuối (4 tin nhắn) → hợp lệ

const DON_BAN_DAU: Don[] = [
  { maDon: "1041", soDienThoai: "0901000001", mon: ["cà phê sữa", "bánh mì trứng"], trangThai: "đang pha chế", datLuc: "hôm nay 8:12" },
  { maDon: "1042", soDienThoai: "0901000002", mon: ["bạc xỉu"], trangThai: "đang giao", datLuc: "hôm nay 9:40" },
];

let DON_HANG: Don[] = structuredClone(DON_BAN_DAU);

// Trả dữ liệu về như lúc đầu, để các lần chạy thử không ảnh hưởng nhau.
export function datLaiDonHang(): void {
  DON_HANG = structuredClone(DON_BAN_DAU);
}

import type { TinNhan } from "./agent.ts";
import { SYSTEM_V4 } from "./prompts.ts";

// Đọc toàn bộ lịch sử, rút ra điều cần nhớ lâu: mã đơn gần nhất mà một công cụ đã trả về.
// Code tự rút từ kết quả công cụ, không nhờ mô hình tóm tắt, nên không thể nhớ sai.
export function donDangNoi(lichSu: TinNhan[]): string | null {
  let maDon: string | null = null;
  for (const tin of lichSu) {
    if (typeof tin.content === "string") continue;
    for (const block of tin.content) {
      if (block.type !== "tool_result" || block.is_error) continue;
      const ma = /"ma_don":"(\d{4})"/.exec(String(block.content))?.[1];
      if (ma) maDon = ma;
    }
  }
  return maDon;
}

// System prompt của quán, thêm một thẻ <ghi_nho> khi đã biết khách đang nói về đơn nào.
export function systemCoGhiNho(lichSu: TinNhan[]): string {
  const ma = donDangNoi(lichSu);
  if (!ma) return SYSTEM_V4;
  return `${SYSTEM_V4}\n\n<ghi_nho>\nTrong cuộc trò chuyện này khách đang nói về đơn ${ma}.\n</ghi_nho>`;
}

// Khách nói mã đơn ở đầu buổi, hỏi vài câu khác, rồi mới nhờ thêm món.
// Chạy ba lần với ba cách chọn lịch sử để so sánh.
import { catTheoLuot } from "./cat-lich-su.ts";
import { datLaiDonHang } from "./don-hang.ts";
import { systemCoGhiNho } from "./ghi-nho.ts";
import { taoPhien, type TuyChonPhien } from "./phien.ts";

const TIN_NHAN = [
  "Đơn 1041 của em giao chưa ạ?",
  "Quán mở cửa tới mấy giờ ạ?",
  "Phí ship thế nào ạ?",
  "Cà phê muối bao nhiêu tiền vậy?",
  "Vậy thêm cho em một cà phê muối nhé",
];

const CACH: [string, TuyChonPhien][] = [
  ["gửi toàn bộ lịch sử", {}],
  ["chỉ gửi 2 lượt cuối", { chonLichSu: (lichSu) => catTheoLuot(lichSu, 2) }],
  ["gửi 2 lượt cuối, kèm ghi nhớ mã đơn", { chonLichSu: (lichSu) => catTheoLuot(lichSu, 2), soanSystem: systemCoGhiNho }],
];

for (const [ten, tuyChon] of CACH) {
  datLaiDonHang(); // mỗi cách chạy trên dữ liệu đơn hàng như nhau
  const phien = taoPhien(tuyChon);
  let kq = await phien.nhan(TIN_NHAN[0]);
  for (const tin of TIN_NHAN.slice(1)) kq = await phien.nhan(tin);
  const dau = kq.cacLanGoi[0];
  console.log(`--- ${ten} ---`);
  console.log(`Khách (tin thứ 5): ${TIN_NHAN[4]}`);
  console.log(`  gửi đi ${dau.soTinNhan} tin nhắn, ${dau.kyTu} ký tự`);
  for (const dong of kq.nhatKy) console.log(`  ${dong}`);
  console.log(`Mộc: ${kq.traLoi}\n`);
}

--- gửi toàn bộ lịch sử ---
Khách (tin thứ 5): Vậy thêm cho em một cà phê muối nhé
  gửi đi 11 tin nhắn, 1116 ký tự
  them_mon({"ma_don":"1041","mon":"cà phê muối","so_luong":1}) → {"ma_don":"1041","mon":["cà phê sữa","bánh mì trứng","cà phê muối"],"trang_thai":"đang pha chế"}
Mộc: Dạ Mộc đã thêm vào đơn 1041. Đơn giờ gồm: cà phê sữa, bánh mì trứng, cà phê muối, vẫn đang pha chế ạ.

--- chỉ gửi 2 lượt cuối ---
Khách (tin thứ 5): Vậy thêm cho em một cà phê muối nhé
  gửi đi 5 tin nhắn, 405 ký tự
Mộc: Dạ bạn cho Mộc xin mã đơn hoặc số điện thoại đặt hàng để Mộc thêm món nhé!

--- gửi 2 lượt cuối, kèm ghi nhớ mã đơn ---
Khách (tin thứ 5): Vậy thêm cho em một cà phê muối nhé
  gửi đi 5 tin nhắn, 405 ký tự
  them_mon({"ma_don":"1041","mon":"cà phê muối","so_luong":1}) → {"ma_don":"1041","mon":["cà phê sữa","bánh mì trứng","cà phê muối"],"trang_thai":"đang pha chế"}
Mộc: Dạ Mộc đã thêm vào đơn 1041. Đơn giờ gồm: cà phê sữa, bánh mì trứng, cà phê muối, vẫn đang pha chế ạ.