Mọi AI đều bị đánh lừa bởi câu hỏi này.

Các chatbot AI mạnh nhất hiện nay có thể bị đánh lừa bởi các câu hỏi nhiều mệnh đề phủ định. Ảnh: EandT.

Một chatbot có tên là BERT đã được Google phát hành cách đây gần 5 năm. Đây là mô hình ngôn ngữ lớn (LLM) đầu tiên của Google được đào tạo bằng một khối lượng lớn dữ liệu trực tuyến và có vẻ như BERT có thể giao tiếp bằng văn bản giống như con người.

Kể từ đó, các LLM liên tục được cải thiện về quy mô và khả năng. Tuy nhiên, chúng thường xuyên mắc lỗi khi xử lý các câu khó với các từ phủ định như "không" trong khi những câu này dễ hiểu đối với con người.

Điểm yếu của LLM

LLM là các thuật toán thống kê đánh giá mức độ liên quan của các đối tượng. Các đối tượng là từ với các chatbot AI. Ví dụ, đào tạo chatbot sẽ đánh giá "chuột" liên quan nhiều hơn đến "loài gặm nhấm" hơn là "bánh pizza". Dự đoán từ tiếp theo trong một khối văn bản được LLM dựa trên mức độ liên quan này. Khả năng dự đoán càng tốt, tập dữ liệu được sử dụng để đào tạo càng lớn.

Theo Allyson Ettinger, nhà ngôn ngữ học máy tính tại Đại học Chicago, "Nhưng vấn đề là dự đoán không tương đương với hiểu."

Ettinger đã cho BERT thử nghiệm khả năng ngôn ngữ của con người vào năm 2019. BERT liên tục gặp khó khăn khi sử dụng các câu phủ định. Chẳng hạn, với câu "Một con chim cổ đỏ không phải là...", BERT đã dự đoán từ còn thiếu là "chim cổ đỏ" và "chim".

LLM rất hợp lý mặc dù đây là một lỗi ngớ ngẩn với con người. Theo Ettinger, "chim cổ đỏ" và "chim" sẽ mang tính dự đoán lẫn nhau vì các từ này thường xuất hiện cùng nhau trong nhiều bối cảnh. Con người có thể thấy sự mâu thuẫn trong câu phủ định, trong khi đây là điều chatbot đã học được và điền vào câu.

Câu hỏi đánh lừa mọi AI

Đến năm 2023, ChatGPT của OpenAI và Bard của Google đã được cải thiện đủ để dự đoán những mệnh đề phủ định đơn giản như trên. Tuy nhiên, chatbot sẽ lại mắc lỗi nếu chỉ cần làm cho câu phủ định phức tạp hơn.

ChatGPT sẽ trả lời sai khi được hỏi "Con vật nào không có chân hay đẻ trứng, nhưng có cánh". Ảnh: Phương Lâm.

Bard trả lời "Không có con vật nào" hoặc không thể đưa ra câu trả lời với câu hỏi "Con vật nào không có móng vuốt hay đẻ trứng, nhưng có cánh". ChatGPT trả lời chính xác là dơi, nhưng nó cung cấp thêm câu trả lời là sóc bay và vượn cáo bay, trong khi 2 loài vật này không đáp ứng tiêu chí có cánh.

"Ngay cả khi mô hình lớn hơn, chúng vẫn thường xuyên mắc lỗi với các câu phủ định," Ettinger nói.

Cùng nhóm với "a", "the" hoặc "cái", "này" trong tiếng Anh, các từ phủ định như "không" và "không bao giờ" được coi là từ dừng. Các từ dừng thường bị các bộ lọc tìm kiếm và xử lý ngôn ngữ bỏ qua vì chúng có ý nghĩa chức năng hơn là ý nghĩa mô tả hoặc tự sản xuất nội dung.

Bởi vì chúng hoạt động dựa trên thống kê và mức độ liên quan giữa các từ chứ không dựa trên việc hiểu ý nghĩa của chúng như con người, mô hình cũng không thể học được ý nghĩa của các từ dừng. Bởi vì từ này thường kết hợp "hoa", "đỏ" và "mùi", LLM có thể đề cập đến "hoa hồng" theo cách này. Các từ phủ định như "không" không thể được học theo cách này.

Theo nhà nghiên cứu học máy Nora Kassner của Đại học Munich (Đức), dữ liệu đào tạo cũng là nguyên nhân. Vì đây là cách mọi người thường giao tiếp nên câu phủ định là dạng xuất hiện chủ yếu trong các tập dữ liệu. Theo Kassner, "các mô hình khó tạo ra các câu phủ định chính xác vì chúng chưa thấy nhiều câu như vậy."

Cập nhật tin tức công nghệ mới nhất tại fanpage Công nghệ & Cuộc sống