Đột phá trong khả năng đọc suy nghĩ: Một công cụ AI có thể tái tạo lại hình ảnh con người nhìn thấy

Mục tiêu lâu dài của các nhà khoa học thần kinh là quét não bộ của con người và hiểu cách đôi mắt mọi người nhìn thế giới xung quanh. Các nhà khoa học có thể tìm ra các cách để cải thiện khả năng giao tiếp của người khuyết tật với người khác và với thế giới xung quanh nếu họ có được kiến thức này.

Với sự phát triển của công nghệ AI, ước mơ đó giờ đây đang dần trở thành hiện thực. Các phần mềm AI từ tháng 10 năm ngoái đã giúp các nhà nghiên cứu quét hình ảnh não và tái tạo chúng thành dạng văn bản. Ngày nay, các mô hình AI ngôn ngữ tự nhiên không chỉ hỗ trợ tái tạo lại các hình ảnh mà đôi mắt con người nhìn thấy.

Mô hình AI hỗ trợ cho các nhà khoa học lần này đến từ thuật toán của Stable Diffusion, công cụ AI nổi tiếng với khả năng sản sinh ra các hình ảnh từ những lời gợi ý của người dùng, giống như các công cụ AI khác như Dall-E 2 và Midjourney.

Sử dụng các dữ liệu văn bản thu được từ quét não

Các nhà thần kinh học của trường Đại học Osaka, Nhật Bản, sử dụng hệ thống Stable Diffusion để huấn luyện bổ sung cho dữ liệu của nghiên cứu của họ, liên kết các mô tả bằng văn bản về hàng nghìn bức ảnh do những người tham gia nghiên cứu quét não tạo ra khi họ được quan sát chúng.

Stable Diffusion, giống như các mô hình AI ngôn ngữ lớn hiện nay, có khả năng học tập cực kỳ nhanh mặc dù chỉ được đào tạo trên một lượng rất nhỏ dữ liệu. Khi các nhà nghiên cứu có thể tiết kiệm đáng kể thời gian và công sức cho quá trình này, đây là một bước tiến dài đối với quá trình huấn luyện AI. Theo nhà thần kinh học Ariel Goldstein, đây cũng là một cách tiếp cận mới khi có thể kết hợp cả thông tin bằng văn bản và hình ảnh để "giải mã bộ não".

Thay vì gắn các điện cực vào não, giờ đây các nhà nghiên cứu sử dụng máy chụp cộng hưởng từ chức năng (fMRI: magnetic resonance imaging) để quét và phát hiện các thay đổi trong lưu lượng máu đến các vùng hoạt động của não nhằm thu thập được phần mô tả bằng văn bản của bộ não đối với hình ảnh mà đôi mắt nhìn thấy.

Thùy thái dương đóng vai trò đăng ký thông tin về nội dung bức ảnh (con người, vật thể hoặc phong cảnh) khi mọi người xem nó, trong khi thùy chẩm đóng vai trò đăng ký dữ liệu về bố cục và phối cảnh, chẳng hạn như tỷ lệ hoặc vị trí của nội dung. Khi máy fMRI theo dõi các hoạt động đỉnh não, các dữ liệu này sẽ được ghi lại.

Tương tự như cách nó đang tạo ra các hình ảnh từ những lời gợi ý của người dùng, thuật toán AI của Stable Diffusion có thể chuyển hóa thành một hình ảnh mô phỏng từ thông tin mô tả bằng văn bản này. Trong nghiên cứu này, các nhà khoa học huấn luyện Stable Diffusion bằng cách sử dụng bộ dữ liệu trực tuyến do trường đại học Minnesota cung cấp. Mỗi người tham gia thí nghiệm được xem 10.000 hình ảnh và bộ dữ liệu này bao gồm thông tin quét não của 4 người.

Khi thuật toán của Stable Diffusion so sánh hình ảnh vừa tạo với các mô hình trong dữ liệu huấn luyện của nó, nó sẽ phát hiện ra rằng mỗi hình ảnh do AI tạo ra ban đầu đều có nhiễu và sau đó chúng được thay thế bằng các đường nét có thể phân biệt được. Do đó, hệ thống này có thể tạo ra một hình ảnh miêu tả gần đúng bố cục, nội dung và phối cảnh của hình ảnh mà người tham gia thí nghiệm đã xem.

Tuy nhiên, các nhà nghiên cứu phát hiện ra rằng thuật toán lại gặp khó khăn trong việc nhận biết đối tượng trong ảnh, ví dụ, nó không tạo ra được hình ảnh tháp đồng hồ như trong bức ảnh mà thay vào đó tạo ra các hình dạng trừu tượng. Các nhà nghiên cứu Nhật Bản cho biết dữ liệu từ máy fMRI quá hạn chế so với yêu cầu này, mặc dù có thể giải quyết vấn đề này bằng cách sử dụng các bộ dữ liệu huấn luyện lớn hơn.

Thay vào đó, các nhà nghiên cứu giải quyết vấn đề này bằng cách bổ sung các từ vào phần chú thích về hình ảnh trong bộ dữ liệu fMRI của trường Minnesota. Ví dụ, nếu một bức ảnh có tháp đồng hồ, phần thông tin quét não sẽ được liên kết với đối tượng đó, sau đó dữ liệu này sẽ được nạp vào hệ thống huấn luyện của Stable Diffusion.

Điều quan trọng hơn là thuật toán của Stable Diffusion không trực tiếp tạo ra hình ảnh từ lời nhắc trong dữ liệu văn bản; nó chỉ có thể xác định đối tượng trong hình ảnh nếu mô hình hoạt động của não khớp với mẫu mô hình trong dữ liệu huấn luyện. Do đó, thuật toán mới chỉ tái tạo lại các đối tượng xuất hiện trong các hình ảnh huấn luyện thay vì các hình ảnh mới.

Những người tham gia thí nghiệm được quét não bổ sung khi xem các mẫu hình ảnh riêng biệt về đồng hồ, gấu đồ chơi, máy bay và tàu để vượt qua thách thức này. Thuật toán AI có thể tạo ra những hình ảnh chính xác hơn, thuyết phục hơn ngay cả khi gặp phải những hình ảnh mới bằng cách so sánh các mẫu hình ảnh được quét riêng biệt đó với mẫu hình ảnh được tìm thấy trong bộ dữ liệu huấn luyện. Kết quả của phương pháp này thật đáng kinh ngạc.

Để nhận diện được hình ảnh của mà những người khác nhìn thấy, hệ thống này cần phải được huấn luyện lại. Tuy nhiên, hiện tại hệ thống chỉ kiểm tra dữ liệu quét não của 4 người tham gia thí nghiệm. Do đó, sẽ mất thêm một thời gian nữa để hệ thống này được áp dụng rộng rãi.

Các nhà nghiên cứu hy vọng rằng khi công nghệ này trở nên phổ biến hơn, họ có thể sử dụng nó để điều tra cách các loài vật nhận thức thế giới và thậm chí một ngày nào đó có thể ghi lại giấc mơ của con người ngoài việc giúp chúng giao tiếp với những người bị liệt.

Tham khảo Science

Cập nhật tin tức công nghệ mới nhất tại fanpage Công nghệ & Cuộc sống