Mục lục · 7 phần
- Token không phải là từ, cũng không phải là ký tự
- Vì sao cùng một câu hỏi, lần sau lại tốn nhiều hơn?
- Đưa bảng bán hàng vào AI: chọn phần cần đọc trước
- Đọc chi phí AI mà không nhầm giữa đầu vào và đầu ra
- Những việc nhỏ giúp AI bớt tốn token mà vẫn dễ dùng
- Khi nào anh/chị chỉ cần biết sơ qua?
- Câu hỏi thường gặp
Trả lời nhanh
Token trong AI là mảnh văn bản nhỏ mà hệ thống dùng để đọc yêu cầu và tạo câu trả lời. Một từ anh/chị viết có thể thành một token hoặc bị tách thành nhiều token. Vì số, mã sản phẩm và địa chỉ web có cách tách riêng, anh/chị không thể dựa vào số từ để kết luận số token.
Token trong AI là gì? Token là mảnh văn bản nhỏ mà AI dùng để đọc yêu cầu và tạo câu trả lời. Khi anh/chị gửi một câu hỏi, AI không nhìn câu đó như con người nhìn từng từ; nó chia nội dung thành token để xử lý.
Token không phải là từ, cũng không phải là ký tự
Một từ là thứ anh/chị nhìn thấy khi viết. Một ký tự là từng chữ cái, dấu cách hoặc dấu câu. Token là đơn vị bên trong hệ thống AI, nằm giữa hai cách đếm đó. Có khi một từ tạo thành một token. Có khi một từ được tách thành nhiều token. Một con số, địa chỉ web, mã sản phẩm hoặc chuỗi viết tắt cũng có thể được tách theo cách riêng.
Ước lượng thực tế cho tiếng Việt: 1.000 từ tiếng Việt có dấu thường tương đương khoảng 2.000–3.000 token (cao hơn mức ~1.300 token của tiếng Anh). Giới hạn lượng token tối đa mà AI đọc được trong một phiên gọi là context window (cửa sổ ngữ cảnh). Với tiếng Việt, cùng một nội dung thường tốn lượng token gấp 2–3 lần so với tiếng Anh do các bộ tokenizer tách chữ có dấu thành nhiều mảnh. Ví dụ một đoạn mô tả 500 từ tiếng Việt có thể tốn 1.000–1.500 token. Anh/chị có thể dán thử văn bản vào công cụ Tokenizer của nhà cung cấp để kiểm tra lượng token thực tế trước khi tính toán chi phí.
Anh/chị không cần tự học cách máy cắt từng chữ. Việc quan trọng là hiểu token là “phần dung lượng ngôn ngữ” của một lần làm việc với AI. Nội dung anh/chị đưa vào chiếm dung lượng. Nội dung AI trả về cũng chiếm dung lượng. Cả hai đều ảnh hưởng đến giới hạn xử lý hoặc chi phí, tùy công cụ đang dùng.
Muốn hiểu sâu hơn về cách một mô hình nhận và tạo nội dung, anh/chị có thể xem bài cần nắm vững cơ chế nền tảng của trí tuệ nhân tạo. Tài liệu kỹ thuật chính thức của nhà cung cấp AI cũng đặt token trong phần hướng dẫn xử lý văn bản: OpenAI API documentation.
Vì sao cùng một câu hỏi, lần sau lại tốn nhiều hơn?
AI không chỉ nhận câu cuối cùng anh/chị vừa gõ. Trong nhiều cách dùng, hệ thống còn gửi kèm hướng dẫn nền, dữ liệu anh/chị dán vào và lịch sử trao đổi cần thiết để trả lời đúng ngữ cảnh. Phần được gửi vào gọi là đầu vào. Phần AI viết ra gọi là đầu ra. Đầu vào dài hơn hoặc đầu ra dài hơn thì lượng token cần xử lý cũng tăng.
Ví dụ, anh/chị yêu cầu AI viết mô tả cho một sản phẩm. Nếu chỉ cung cấp tên sản phẩm và vài ý chính, AI có ít dữ liệu để đọc. Nếu dán thêm toàn bộ lịch sử chat, nhiều mô tả cũ, bảng tồn kho và danh sách bình luận không liên quan, AI phải đọc tất cả trước khi bắt đầu viết. Câu trả lời có thể vẫn chỉ là một đoạn ngắn, nhưng phần đầu vào đã phình lên.
Một ví dụ khác là chatbot tư vấn. Khách hỏi về phí giao hàng. Chatbot không nhất thiết cần đọc lại mọi cuộc trò chuyện của khách từ trước đến nay. Nếu hệ thống luôn gửi cả lịch sử dài, mỗi lượt hỏi đều mang theo những phần đã cũ. Đây là lý do một chatbot ban đầu chạy ổn nhưng về sau có thể chậm hơn, tốn hơn hoặc bắt đầu trả lời lạc đề khi ngữ cảnh bị nhồi quá nhiều thông tin.
Token cũng liên quan đến giới hạn của từng lần xử lý. AI chỉ có thể đọc và suy luận trong một lượng nội dung nhất định ở mỗi lượt. Khi anh/chị đưa vào quá nhiều dữ liệu, công cụ có thể báo không xử lý được, cắt bớt một phần, hoặc làm rơi mất chi tiết quan trọng. Đừng hiểu nhầm đây là AI “nhớ kém”. Có thể phần thông tin cần thiết đã không còn nằm trong nội dung mà hệ thống dùng để trả lời lượt đó.
Đưa bảng bán hàng vào AI: chọn phần cần đọc trước
Người mới thường làm một việc rất tốn token: xuất toàn bộ báo cáo rồi dán thẳng vào khung chat, sau đó hỏi “phân tích giúp tôi”. Câu hỏi quá rộng khiến AI phải đoán anh/chị muốn xem điều gì. Dữ liệu dư lại khiến kết quả khó kiểm tra.
Hãy bắt đầu từ quyết định anh/chị cần đưa ra. Nếu muốn biết sản phẩm nào cần ưu tiên, chỉ lấy các cột liên quan như tên sản phẩm, đơn hàng, doanh thu, chi phí và thời gian. Nếu muốn tìm lý do khách bỏ giỏ, hãy đưa dữ liệu của hành trình mua hàng thay vì lẫn cả bảng tồn kho. Mỗi lần gửi dữ liệu đều nên có mục tiêu rõ ràng.
Trước khi dán dữ liệu, xóa các cột lặp, dòng trống, ghi chú nội bộ không phục vụ câu hỏi và thông tin nhận diện khách hàng. Việc này không chỉ giúp giảm token. Nó còn giúp bảo vệ dữ liệu và khiến anh/chị dễ đối chiếu câu trả lời hơn. AI có thể tóm tắt nhanh, nhưng anh/chị vẫn là người chịu trách nhiệm kiểm tra số liệu gốc.
Nếu báo cáo dài, chia công việc thành nhiều lượt có đầu ra rõ ràng. Lượt đầu yêu cầu AI chuẩn hóa hoặc gom nhóm dữ liệu. Lượt sau mới yêu cầu nhận xét từ phần đã gom. Đừng bắt AI vừa đọc một khối dữ liệu lớn, vừa tìm lỗi, vừa lập kế hoạch, vừa viết nội dung quảng cáo trong cùng một yêu cầu. Khi nhiều việc bị gộp lại, anh/chị khó biết câu trả lời nào dựa trên dữ liệu nào.
Với tài liệu chứa thông tin nhạy cảm, hãy thay tên khách, số điện thoại, địa chỉ và mã định danh bằng nhãn chung trước khi sử dụng. Token không phải là biện pháp bảo mật. Nó chỉ là đơn vị hệ thống dùng để xử lý văn bản.
Đọc chi phí AI mà không nhầm giữa đầu vào và đầu ra
Khi tính chi phí theo token, điểm mấu chốt cần lưu ý là giá token đầu ra thường đắt gấp 3 đến 5 lần (thậm chí có mô hình đắt gấp 8 lần) so với token đầu vào. Do đó, việc nạp nhiều tài liệu làm dữ liệu đầu vào nhưng yêu cầu AI trả lời ngắn gọn, có cấu trúc thường tiết kiệm chi phí hơn rất nhiều so với việc đưa prompt ngắn nhưng để AI sinh ra văn bản dàn trải.
Một lần dùng AI thường có hai phần cần để ý. Phần đầu vào gồm câu lệnh, dữ liệu, hướng dẫn và đôi khi là lịch sử hội thoại. Phần đầu ra là nội dung AI sinh ra. Nếu anh/chị chỉ cần dàn ý, hãy nói rõ chỉ cần dàn ý. Nếu cần bảng kết quả, hãy nêu đúng các cột cần có. Yêu cầu đầu ra cụ thể giúp tránh việc AI viết một bài dài trong khi công việc thực tế chỉ cần vài ý để đội ngũ xử lý tiếp.
Đừng tối ưu bằng cách làm câu lệnh mơ hồ đến mức AI không hiểu việc. Một prompt tốt không phải prompt ngắn nhất. Nó là prompt chỉ giữ lại thông tin cần để AI làm đúng. Chẳng hạn, “viết lại mô tả này cho người mới, giữ nguyên tên sản phẩm, không thêm công dụng chưa có trong dữ liệu” hữu ích hơn một yêu cầu dài nhưng không nói rõ đầu ra cần gì.
Nếu đang làm tự động hóa, hãy ghi lại mỗi tác vụ dùng dữ liệu gì, cần câu trả lời ở dạng nào và có cần lịch sử chat hay không. Nhờ vậy, khi chi phí tăng, anh/chị có chỗ để kiểm tra: dữ liệu đầu vào tăng, câu trả lời quá dài, hay luồng tự động gửi lặp một phần thông tin cũ. Không nên cắt ngắn dữ liệu một cách mù quáng, vì thiếu dữ liệu có thể khiến AI trả lời sai.
Những việc nhỏ giúp AI bớt tốn token mà vẫn dễ dùng
Việc đầu tiên là tách “thông tin dùng lại nhiều lần” khỏi “thông tin chỉ dùng cho một lần”. Hướng dẫn về giọng văn, quy tắc trả lời hoặc danh mục sản phẩm có thể được chuẩn bị thành một mẫu ngắn, rà soát định kỳ. Dữ liệu của từng khách hoặc từng đơn chỉ thêm vào khi nhiệm vụ thật sự cần đến.
Việc thứ hai là yêu cầu đầu ra có cấu trúc. Anh/chị có thể nói rõ: trả lời bằng bảng, nêu nhận xét theo từng sản phẩm, hoặc chỉ liệt kê việc cần kiểm tra. Cấu trúc khiến AI ít lan man và người đọc cũng dễ kiểm lại. Nếu cần một bài dài, hãy yêu cầu dàn ý trước. Sau khi duyệt dàn ý, mới viết từng phần. Cách này giảm nguy cơ phải bỏ cả đoạn dài rồi làm lại từ đầu.
Việc thứ ba là không dùng lịch sử trò chuyện như một kho lưu trữ. Lịch sử hữu ích khi nó giúp AI hiểu việc đang làm. Khi cuộc trao đổi đã chuyển sang nhiệm vụ mới, hãy tạo phiên mới hoặc tóm tắt phần thật sự cần giữ. Một bản tóm tắt ngắn, có xác nhận của người dùng, thường dễ kiểm soát hơn một chuỗi trao đổi dài mà không ai nhớ nội dung nào còn giá trị.
Cuối cùng, phân biệt giới hạn token với kiến thức của mô hình. AI có thể không đọc hết tài liệu vì dung lượng của lượt làm việc bị giới hạn. Điều đó khác với knowledge cutoff, tức mốc kiến thức mà mô hình được huấn luyện đến. Cũng đừng xem token là hàng rào chống mọi rủi ro khi dùng AI; các hành vi cố tình ép công cụ làm sai quy tắc thường được nhắc đến dưới khái niệm jailbreak, là một vấn đề khác.
Khi nào anh/chị chỉ cần biết sơ qua?
Nếu anh/chị dùng AI để hỏi một câu ngắn, soạn vài tiêu đề hoặc chỉnh một đoạn mô tả, không cần ngồi đếm token. Hãy ưu tiên kiểm tra nội dung AI trả về có đúng sản phẩm, đúng giá và đúng thông tin khách hàng hay không. Token chỉ trở thành việc cần theo dõi khi anh/chị dùng AI thường xuyên, dán tài liệu dài, xây chatbot hoặc đưa AI vào luồng tự động.
Khi công cụ thông báo đã chạm giới hạn, đừng tiếp tục dán thêm dữ liệu. Hãy quay lại câu hỏi ban đầu: mục tiêu là tìm số nào, viết nội dung nào, hay phân loại việc nào? Chia dữ liệu theo mục tiêu rồi xử lý lần lượt. Cách làm này giúp anh/chị kiểm soát chất lượng trước, sau đó mới kiểm soát mức sử dụng.
Câu hỏi thường gặp
Token có phải là một từ không?
Không. Token là mảnh văn bản AI dùng để xử lý, nên một từ có thể là một token hoặc nhiều token. Vì vậy, đếm số từ chỉ cho anh/chị một ước lượng rất thô, không phải kết quả chính xác.
Tôi dán file Excel vào AI thì token tính ở chỗ nào?
Nội dung chữ và số mà công cụ đọc được từ file sẽ trở thành phần đầu vào để AI xử lý. Bảng càng dài, nhiều cột hoặc nhiều dòng lặp thì phần đầu vào càng lớn. Hãy lọc dữ liệu theo câu hỏi cần giải quyết trước khi tải lên.
Chatbot trả lời ngắn mà sao vẫn tốn nhiều?
Vì chi phí hoặc giới hạn không chỉ nằm ở câu trả lời. Chatbot có thể đã gửi kèm hướng dẫn hệ thống, thông tin sản phẩm và lịch sử trò chuyện. Cần kiểm tra toàn bộ nội dung được gửi trong mỗi lượt, không chỉ nhìn phần khách thấy.
Tôi có nên xóa hết lịch sử chat để tiết kiệm token không?
Không nên xóa hết theo thói quen. Chỉ giữ lại phần lịch sử giúp AI hiểu đúng việc đang làm, rồi tóm tắt hoặc bỏ những phần không còn liên quan. Nếu xóa thông tin cần thiết, AI có thể trả lời thiếu bối cảnh.
Viết prompt càng ngắn có phải càng rẻ không?
Không hẳn. Prompt quá ngắn nhưng mơ hồ có thể khiến AI hỏi lại hoặc tạo ra nội dung không dùng được, làm anh/chị phải chạy thêm lượt khác. Mục tiêu là viết đủ rõ, bỏ phần thừa và nói chính xác đầu ra cần nhận.
Token có giống knowledge cutoff không?
Không giống. Token nói về lượng nội dung AI xử lý trong một lượt. Knowledge cutoff nói về mốc kiến thức mà mô hình đã được huấn luyện đến; hai khái niệm giải quyết hai vấn đề khác nhau.
