Mục lục · 8 phần
- RLHF vận hành ra sao trước khi AI đến tay anh/chị?
- RLHF không phải là việc anh/chị tự dạy chatbot mỗi ngày
- Chủ shop nhận được lợi ích gì từ một AI đã qua RLHF?
- Muốn AI trả lời đúng việc bán hàng, anh/chị vẫn phải giao việc rõ
- Kinh nghiệm thực tế: đừng nhầm câu trả lời mượt với thông tin đúng
- RLHF có giới hạn nào mà người mới hay bỏ qua?
- Nên xem RLHF như một tiêu chí chọn công cụ, không phải lời hứa kết quả
- Câu hỏi thường gặp
Trả lời nhanh
RLHF là cách dùng phản hồi của con người để hướng AI ưu tiên câu trả lời được đánh giá tốt hơn. Quá trình này không đồng nghĩa với việc anh/chị tự huấn luyện lại chatbot qua những cuộc trò chuyện hằng ngày. Anh/chị vẫn phải giao việc bán hàng rõ ràng và không coi câu trả lời mượt là bằng chứng thông tin đúng.
RLHF là gì? RLHF là cách dùng phản hồi của con người để hướng AI trả lời hữu ích, đúng ý và an toàn hơn. Thay vì chỉ học từ văn bản có sẵn, AI còn được xem những câu trả lời được người thật đánh giá để biết kiểu phản hồi nào nên ưu tiên.
RLHF vận hành ra sao trước khi AI đến tay anh/chị?
RLHF là viết tắt của Reinforcement Learning from Human Feedback, nghĩa là học tăng cường từ phản hồi của con người. “Học tăng cường” ở đây không phải AI tự nhận thưởng bằng tiền. Nó là cách điều chỉnh để AI có xu hướng chọn câu trả lời được đánh giá tốt hơn. Hãy hình dung một người chấm đọc câu trả lời của AI cho cùng một yêu cầu. Chẳng hạn, người dùng hỏi cách viết tin nhắn xin lỗi vì giao hàng chậm. Một câu trả lời có thể vòng vo, đổ lỗi hoặc quên đề xuất bước xử lý. Câu khác có thể nhận trách nhiệm, nói rõ việc cần kiểm tra và giữ giọng lịch sự. Người chấm sẽ chọn câu phù hợp hơn.
Từ các lần chọn như vậy, hệ thống học được một tín hiệu đơn giản: với loại yêu cầu này, cách trả lời thứ hai thường được con người muốn nhận hơn. AI không lưu nguyên từng câu để lặp lại cho mọi khách. Nó điều chỉnh xu hướng tạo câu trả lời trong những tình huống tương tự.
Phần “phản hồi của con người” rất quan trọng. Dữ liệu văn bản trên internet có thể chứa câu trả lời hay, dở, thiếu bối cảnh hoặc gây hiểu nhầm. Việc chấm chọn bổ sung cho AI một định hướng về cách phản hồi. Bài nghiên cứu gốc về việc huấn luyện mô hình ngôn ngữ theo hướng dẫn và phản hồi của con người được công bố tại Training language models to follow instructions with human feedback.
RLHF không biến AI thành người hiểu mọi chuyện như nhân viên lâu năm. Nó giúp AI có điểm xuất phát tốt hơn khi phải chọn cách diễn đạt, từ chối một yêu cầu không phù hợp hoặc hỏi lại khi thiếu dữ kiện.
RLHF không phải là việc anh/chị tự dạy chatbot mỗi ngày
Nhiều người mới dùng AI nhầm hai việc này với nhau. RLHF là công đoạn đội ngũ phát triển làm khi huấn luyện hoặc cải thiện một mô hình. Còn việc anh/chị viết yêu cầu cho AI hôm nay là viết câu lệnh, tức là nói rõ mình muốn AI làm gì trong cuộc trò chuyện hiện tại.
Ví dụ, anh/chị gõ: “Viết tin nhắn xác nhận đơn, giọng thân thiện, không hứa thời gian giao nếu chưa có mã vận đơn.” Câu đó đang đặt quy tắc cho đầu việc cụ thể. Nó không sửa vĩnh viễn mô hình AI cho mọi người dùng sau này.
RLHF giải thích vì sao nhiều công cụ đã biết trả lời có cấu trúc ngay từ đầu. Nhưng RLHF không thể biết chính sách đổi trả, mức tồn kho hay giọng thương hiệu riêng của shop anh/chị nếu anh/chị không cung cấp. Một AI được huấn luyện tốt vẫn chỉ có thể làm việc với thông tin nó nhận được trong phiên làm việc.
Điểm này giúp anh/chị bớt kỳ vọng sai. Đừng chờ AI tự biết sản phẩm mới, chương trình đang chạy hay một khách đã mua gì trước đó. Hãy đưa dữ liệu cần thiết, chỉ rõ mục tiêu và yêu cầu AI nêu chỗ nào chưa đủ thông tin.
Nếu muốn hiểu phần nền tảng hơn, anh/chị có thể đọc cách các mô hình AI ngôn ngữ được huấn luyện từ những bước sơ khai nhất. Bài đó giúp đặt RLHF vào toàn bộ quá trình tạo ra một mô hình ngôn ngữ, thay vì coi đây là nút bấm làm AI thông minh ngay lập tức.
Chủ shop nhận được lợi ích gì từ một AI đã qua RLHF?
Lợi ích dễ thấy nhất là AI thường dễ hợp tác hơn. Khi được yêu cầu soạn nội dung, nó có xu hướng bám vào câu hỏi, trình bày rõ hơn và giữ giọng giao tiếp lịch sự. Điều này có ích khi anh/chị đang phải viết mô tả sản phẩm, kịch bản trả lời tin nhắn hoặc tóm tắt các việc cần xử lý trong ngày.
Chẳng hạn, một chủ shop có thể yêu cầu AI biến ghi chú rời rạc thành câu trả lời khách hàng. Nếu ghi chú nói “màu này hết, hàng về sau, mời chọn màu khác”, AI có thể soạn thành lời nhắn mềm hơn. Tuy vậy, người gửi vẫn phải kiểm tra xem hàng có thực sự hết hay chưa và có được phép hẹn thời gian về hàng hay không. RLHF hỗ trợ cách nói; nó không xác nhận sự thật thay cho shop.
Trong công việc marketing, AI cũng có thể giúp tạo nhiều cách mở đầu quảng cáo hoặc sắp lại một đoạn mô tả dài thành các ý dễ quét trên điện thoại. Anh/chị nên coi đó là bản nháp nhanh. Tên sản phẩm, ưu đãi, giá, điều kiện áp dụng và các tuyên bố về công dụng đều cần người phụ trách kiểm tra trước khi đăng.
Với chăm sóc khách, AI được huấn luyện theo phản hồi con người thường biết chọn giọng điềm tĩnh khi gặp câu hỏi khó chịu. Đây là điểm có ích để bắt đầu một phản hồi. Nhưng chatbot không tự biết mức bồi hoàn, không được tự hứa tặng quà và không nên tự kết luận lỗi thuộc về bên nào. Những phần có liên quan đến tiền, đơn hàng hoặc khiếu nại phải có quy tắc do shop đặt ra.
Muốn AI trả lời đúng việc bán hàng, anh/chị vẫn phải giao việc rõ
Một câu lệnh tốt thường có đủ bối cảnh để AI không phải đoán. Bối cảnh là thông tin đứng trước yêu cầu, chẳng hạn sản phẩm nào đang nói tới, khách đang vướng ở bước nào và câu trả lời sẽ được gửi qua kênh nào. Khi thiếu bối cảnh, AI dễ tạo ra câu nghe trôi chảy nhưng không dùng được.
Thay vì viết “trả lời khách đi”, anh/chị có thể nói rõ: “Khách hỏi mẫu này còn màu đen không. Kho chưa được xác nhận. Viết một tin nhắn ngắn, lịch sự, nói chúng tôi sẽ kiểm tra và không tự hẹn giờ trả lời.” Cách giao việc này giảm chỗ cho AI tự điền thông tin chưa có.
Anh/chị cũng nên nêu ranh giới. Nếu không có chính sách hoàn tiền trong dữ liệu đưa vào, hãy yêu cầu AI không tự đưa ra mức hoàn. Nếu đang soạn nội dung cho sản phẩm chăm sóc sức khỏe, hãy yêu cầu AI tránh biến mô tả bán hàng thành lời khẳng định điều trị. AI có thể biết cách nói thuyết phục hơn nhờ RLHF, nhưng người dùng mới là người quyết định điều gì được phép nói.
Khi cần một định dạng cố định, hãy đưa mẫu. Ví dụ, anh/chị có thể yêu cầu câu trả lời gồm lời chào, thông tin đã xác nhận, việc sẽ làm tiếp theo và lời kết. Mẫu giúp giảm khác biệt giữa các lần trả lời, nhất là khi nhiều người trong đội cùng sử dụng AI.
Kinh nghiệm thực tế: đừng nhầm câu trả lời mượt với thông tin đúng
Một tình huống rất dễ gặp là AI viết được một đoạn chăm sóc khách nghe tự nhiên đến mức người đọc muốn gửi ngay. Câu đó có thể dùng từ lịch sự, biết xin lỗi và biết trấn an. Những đặc điểm này phù hợp với mục tiêu mà phản hồi của con người thường khuyến khích.
Vấn đề là giọng điệu tốt không chứng minh nội dung bên trong đúng. AI có thể ghép một câu hẹn giao hàng rất hợp lý dù anh/chị chưa có thông tin từ đơn vị vận chuyển. Nó cũng có thể đề xuất lời hứa đổi trả vì thấy đó là cách giải quyết quen thuộc, trong khi shop chưa áp dụng chính sách đó.
Vì vậy, hãy tách việc đọc thành hai lượt. Lượt đầu xem câu có rõ, đúng giọng và trả lời đúng câu hỏi hay không. Lượt sau kiểm tra từng dữ kiện có thể gây hậu quả: tên sản phẩm, giá, tình trạng kho, thời gian giao, điều kiện ưu đãi, mức hỗ trợ và thông tin cá nhân của khách. Không có RLHF nào thay được lượt kiểm tra này.
Nếu chatbot cần nhớ điều đã trao đổi ở các lần trước, anh/chị cần thiết kế nơi lưu và đưa lại thông tin đó cho nó theo cách phù hợp. Khái niệm này được giải thích trong bài memory trong AI. Đừng nhầm việc AI trả lời có vẻ nhất quán với việc nó đang có một hồ sơ khách hàng đáng tin cậy.
RLHF có giới hạn nào mà người mới hay bỏ qua?
RLHF không làm AI có dữ liệu thời gian thực. Một công cụ có thể trả lời rất tự nhiên về quảng cáo, nhưng không vì thế mà biết tài khoản của anh/chị đang tiêu bao nhiêu hoặc chiến dịch nào vừa dừng. Muốn phân tích báo cáo, AI phải được cấp đúng số liệu và cần được yêu cầu nói rõ khi dữ liệu thiếu.
RLHF cũng không loại bỏ hoàn toàn lỗi bịa thông tin. “Bịa thông tin” là khi AI đưa ra một chi tiết nghe hợp lý nhưng không có căn cứ trong dữ liệu được cung cấp. Điều nguy hiểm là câu văn có thể rất tự tin. Với nội dung liên quan đến giá, pháp lý, sức khỏe, chính sách nền tảng hoặc quyền lợi khách hàng, anh/chị nên mở tài liệu gốc để đối chiếu.
Một giới hạn khác là AI không tự hiểu ưu tiên kinh doanh của shop. Có shop ưu tiên trả lời nhanh. Có shop ưu tiên chỉ xác nhận khi kho đã kiểm. Có shop cần giọng nói tối giản, có shop cần tư vấn kỹ. Mô hình được RLHF giúp tạo phản hồi hợp lý cho số đông, còn quy tắc riêng phải do anh/chị xác định.
RLHF cũng không phải AGI. AGI là ý tưởng về AI có năng lực giải quyết nhiều loại vấn đề rộng như con người, chứ không chỉ giỏi tạo văn bản. Anh/chị có thể xem thêm bài AGI là gì để phân biệt khái niệm này với các công cụ AI đang dùng trong công việc hằng ngày.
Nên xem RLHF như một tiêu chí chọn công cụ, không phải lời hứa kết quả
Khi thử một công cụ AI, anh/chị không cần hỏi đội ngũ phát triển mọi chi tiết kỹ thuật về RLHF. Cách thực tế hơn là kiểm tra nó trên các đầu việc thật nhưng an toàn: viết lại một tin nhắn, tóm tắt một đoạn nội bộ không chứa dữ liệu nhạy cảm, hoặc tạo dàn ý cho một bài đăng.
Hãy xem công cụ có hiểu yêu cầu không, có biết hỏi lại khi thiếu dữ kiện không, có giữ được định dạng không và có tự thêm lời hứa ngoài thông tin đầu vào không. Những điểm này nói nhiều hơn về mức độ dùng được trong quy trình của anh/chị.
Sau khi chọn được công cụ, phần quan trọng vẫn là quy trình duyệt. Nội dung công khai cần người chịu trách nhiệm đọc lại. Nội dung gửi khách cần quy tắc rõ về dữ liệu được phép dùng. AI càng trả lời mượt, người dùng càng phải tập thói quen kiểm tra dữ kiện trước khi bấm gửi.
Câu hỏi thường gặp
RLHF có phải là AI tự học từ tin nhắn của khách shop tôi không?
Không. RLHF là cách nhà phát triển dùng phản hồi của con người để huấn luyện hoặc cải thiện mô hình. Việc một công cụ có dùng dữ liệu trong cuộc trò chuyện của anh/chị cho mục đích nào còn phụ thuộc vào điều khoản và cài đặt của chính công cụ đó.
Tôi viết prompt kỹ thì có cần biết RLHF là gì nữa không?
Anh/chị vẫn dùng AI được mà không cần hiểu sâu RLHF. Biết khái niệm này chỉ giúp anh/chị hiểu vì sao AI thường có cách trả lời sẵn và vì sao prompt rõ ràng vẫn cần thiết. Prompt cung cấp việc cụ thể; RLHF không thay prompt để biết việc shop đang cần.
Chatbot trả lời lịch sự có nghĩa là nó nói đúng không?
Không. Câu trả lời lịch sự chỉ cho thấy phần diễn đạt có vẻ phù hợp. Anh/chị vẫn cần kiểm tra giá, kho, thời gian giao, điều kiện đổi trả và mọi thông tin có thể ảnh hưởng đến khách.
Shop nhỏ có tự làm RLHF cho chatbot được không?
Shop nhỏ thường không cần tự huấn luyện mô hình theo cách này. Việc thiết thực hơn là chọn công cụ có sẵn, viết hướng dẫn trả lời, chuẩn bị tài liệu nội bộ đã kiểm duyệt và đặt bước duyệt trước khi gửi khách. Khi cần cải thiện, anh/chị có thể ghi lại các câu trả lời sai để sửa hướng dẫn.
RLHF khác gì với việc tạo chatbot theo kịch bản?
Chatbot theo kịch bản đi theo các nhánh câu hỏi và câu trả lời đã được chuẩn bị trước. RLHF giúp một mô hình AI tạo câu trả lời linh hoạt hơn dựa trên cách con người đánh giá phản hồi. Hai cách có thể dùng cùng nhau: kịch bản giữ các quy tắc cứng, còn AI hỗ trợ diễn đạt và xử lý câu hỏi mở.
AI hay quên thông tin khách thì RLHF có sửa được không?
Không trực tiếp. RLHF chủ yếu liên quan đến cách mô hình ưu tiên phản hồi, không phải kho lưu lịch sử khách hàng của shop. Anh/chị cần một cách quản lý dữ liệu và chỉ đưa vào cuộc trò chuyện những thông tin mà chatbot được phép sử dụng.
