Chatbot AI của Google đã vượt qua bài thi cấp phép hành nghề y của Hoa Kỳ

Trong một nghiên cứu được công bố vào tháng 12/2022 nhưng không được áp dụng rộng rãi, Google lần đầu tiên tiết lộ về chatbot mới này. Chatbot với tên gọi Med-PaLM được tạo ra trên cơ sở của PaLM, mô hình ngôn ngữ lớn (LLM) mới nhất và tiên tiến nhất của Google.

Med-PaLM được cho là có thể cung cấp các câu trả lời chuyên ngành y tế có chất lượng hơn so với các chatbot thông thường khác do đặc thù của nó về y tế. Theo một số ý kiến chuyên gia, Med-PaLM sẽ rất hữu ích ở các quốc gia "hạn chế tiếp cận các y, bác sĩ".

Theo một nghiên cứu trên Nature, Med-PaLM đã đạt điểm số 67,6% đối với bài kiểm tra trắc nghiệm thi cấp phép y tế (USMLE) của Hoa Kỳ, vượt tỷ lệ đạt tối thiểu là 60%. Theo nghiên cứu, chuyên môn y tế của Med-PaLM khá tốt nhưng vẫn chưa thể so sánh với chuyên môn của các y bác sĩ hoặc bác sĩ.

Theo Google, Med-PaLM là công cụ mô hình ngôn ngữ lớn (LLM) đầu tiên đậu USMLE. Theo một nghiên cứu được công bố hồi tháng 5, Med-PaLM 2 đạt điểm số 86,5% trong bài kiểm tra USMLE, cao điểm hơn chatbot phiên bản gốc, nhưng nghiên cứu này chưa được các chuyên gia khác đánh giá để có thể đưa ra kết luận. Ngoài Med-PaLM, chatbot ChatGPT của OpenAI được cho là gần như có thể vượt qua bài thi này.

James Davenport, chuyên gia khoa học máy tính tại Đại học Bath của Vương quốc Anh, nhấn mạnh "có sự khác biệt lớn trong việc trả lời câu hỏi y tế và xử lý tính huống thực tiễn, bao gồm việc chẩn đoán và đưa ra phương pháp điều trị."

Anthony Cohn, chuyên gia về AI của Đại học Leeds, cho rằng khả năng chatbot đưa ra thông tin sai lệch vẫn khá cao đối với các mô hình dựa trên cơ sở LLM do bản chất mang tính thống kê của hệ thống này. Thay vì có quyền lựa chọn cách điều trị bệnh nhân, ông tin rằng chỉ nên sử dụng các chatbot này như một trợ lý.