Thuật toán mới của Google chỉnh sửa ảnh trên di động từ trước khi bạn bấm nút chụp

Vài năm gần đây, camera trên smartphone đã phát triển đến đỉnh điểm và dường như ngày càng khó hơn để “vắt kiệt” hiệu suất của phần cứng cảm biến ảnh trên điện thoại. Đó là lý do tại sao những công ty như Google đang chuyển hướng tập trung sang nhiếp ảnh máy tính: hiểu đơn giản là thay vì nâng cấp phần cứng, giờ đây điện thoại sẽ sử dụng thuật toán và machine learning để cải thiện chất lượng ảnh chụp.

Nghiên cứu mới nhất được triển khai của người khổng lồ tìm kiếm với sự hợp tác của Đại học Công nghệ Massachusetts đã đưa công nghệ này lên tầm cao mới, tạo ra các thuật toán có khả năng “retouch” ảnh như một nhiếp ảnh gia chuyên nghiệp trong thời gian thực, nghĩa là từ trước khi bạn bấm máy.

Các nhà nghiên cứu đã sử dụng machine learning để tạo ra phần mềm, đào tạo mạng lưới thần kinh nhân tạo trên một cơ sở dữ liệu gồm 5.000 tấm ảnh tạo ra bởi Adobe và MIT. Từng tấm ảnh trong bộ sưu tập này đã được chỉnh sửa lại qua năm nhiếp ảnh gia chuyên nghiệp khác nhau. Và thuật toán mới của Google và MIT hợp tác tạo ra sẽ sử dụng dữ liệu này để hiểu được những điểm gì trên một tấm hình cần được cải thiện. Đồng nghĩa với việc phần mềm có thể tự động tăng độ sáng, giảm độ tương phản... tại nhiều vị trí trên một bức ảnh.

Đây không phải điều gì mới mẻ, sử dụng machine learning để cải thiện chất lượng ảnh chụp đã được các nhà sản xuất điện thoại áp dụng từ lâu, nhưng đột phá của nghiên cứu này là tối ưu hóa thuật toán sao cho chúng tiết kiệm điện năng và nhẹ đủ để chạy tốt trên mọi thiết bị mà không gây lag. Bản thân phần mềm này chỉ nhỏ ngang một bức ảnh số, theo thông tin từ bài đăng blog của MIT, và có thể được trang bị lên các điện thoại để “xử lý hình ảnh theo nhiều kiểu khác nhau”.

Một bức ảnh cho thấy thuật toán của MIT đã chỉnh sửa bức ảnh gốc 12MP bên trái thành bức ảnh bên phải.

Điều này có nghĩa là mạng lưới thần kinh nhân tạo có thể được đào tạo với nhiều set hình ảnh khác nhau, hay thậm chí có thể được dạy cách tái tạo lại gu thẩm mỹ của một nhiếp ảnh gia nhất định, theo cách mà các công ty như Facebook và Prisma đã dùng để tạo ra các bộ lọc nghệ thuật mô phỏng nét vẽ của các họa sĩ nổi tiếng. Tất nhiên, cần chỉ ra rằng camera smartphone hiện đã có thể xử lý hình ảnh trong thời gian thực rồi, nhưng những công nghệ mới này nhẹ và nhạy bén hơn, đáp ứng với nhu cầu chỉnh sửa của từng khung hình tùy theo điều kiện môi trường, chứ không phải áp dụng một quy tắc chung ám lên ống kính điện thoại.

Để có thể “cắt gọt” thuật toán sao cho nhẹ nhất, các nhà nghiên cứu đã phải dùng kết hợp nhiều kĩ thuật, bao gồm biến những thay đổi trong ảnh thành công thức bằng cách sử dụng các tọa độ để định vị tấm hình. Tất cả những điều này nghĩa là thông tin về việc làm thế nào để retouch tấm hình được thể hiện ngược lại bằng toán học, để máy tính có thể hiểu được.

Jon Barron đã nói với MIT: “Công nghệ này có tiềm năng trở nên hữu ích cho chỉnh sửa ảnh trong thời gian thực trên các nền tảng di động. Sử dụng machine learning trong nhiếp ảnh máy tính là một đề tài thú vị nhưng vẫn còn vấp phải nhiều hạn chế vì khả năng tính toán cũng như sức mạnh cấu hình còn quá yếu của điện thoại di động. Nghiên cứu này có thể cung cấp cho chúng ta một cách để né những vấn đề trên và cho ra những tấm hình đẹp, hấp dẫn được chỉnh sửa trong thời gian thực mà không gây tốn pin điện thoại hay làm lag trải nghiệp chụp hình của bạn”.

Liệu chúng ta sẽ thấy các thuật toán này trên Pixel 2? Nhiều khả năng là không. Công ty Google trước đây đã sử dụng thuật toán HDR+ để giữ lại chi tiết ảnh trong điều kiện thiếu sáng trên điện thoại từ Nexus 6. Và trong phỏng vấn với The Verge năm ngoái, trường bộ phận nhiếp ảnh máy tính của Google, Marc Levoy cho biết họ “mới chỉ bắt đầu khai thác những sức mạnh bề mặt của công nghệ này thôi”.