(Nguồn ảnh: Traffic Safety Warehouse)
Xe tự hành và máy bay không người lái dựa vào hệ thống thị giác kết hợp nhận dạng hình ảnh với xử lý ngôn ngữ để hiểu môi trường xung quanh, giúp chúng đọc các biển báo, nhãn hiệu và ký hiệu giao thông như thông tin ngữ cảnh hỗ trợ điều hướng và nhận dạng.
Các nhà nghiên cứu từ Đại học California, Santa Cruz và Đại học Johns Hopkins đã tiến hành kiểm tra xem giả định đó có còn đúng khi ngôn ngữ viết bị thao túng một cách có chủ ý hay không.
Thí nghiệm tập trung vào việc liệu văn bản hiển thị trên camera của xe tự hành có thể bị hiểu nhầm là chỉ dẫn thay vì dữ liệu môi trường đơn thuần hay không, và phát hiện ra rằng các mô hình ngôn ngữ thị giác lớn có thể bị ép buộc tuân theo các lệnh được nhúng trong biển báo giao thông.
Những gì các thí nghiệm đã tiết lộ
Trong các kịch bản lái xe mô phỏng, xe tự lái ban đầu hoạt động chính xác khi tiếp cận tín hiệu dừng và vạch kẻ đường dành cho người đi bộ.
Khi một biển báo đã được chỉnh sửa xuất hiện trong tầm nhìn của camera, hệ thống tương tự đã hiểu văn bản đó là một chỉ dẫn và cố gắng rẽ trái mặc dù có người đi bộ ở đó.
Sự thay đổi này diễn ra mà không có bất kỳ thay đổi nào về đèn giao thông, bố cục đường sá hay hoạt động của con người, cho thấy rằng chỉ riêng ngôn ngữ viết đã ảnh hưởng đến quyết định này.
Loại tấn công này dựa vào việc chèn lệnh gián tiếp, trong đó dữ liệu đầu vào được xử lý như một lệnh.
Nhóm nghiên cứu đã thay đổi các từ như "tiếp tục" hoặc "rẽ trái" bằng các công cụ trí tuệ nhân tạo để tăng khả năng tuân thủ.
Việc lựa chọn ngôn ngữ không quan trọng như dự đoán, vì các mệnh lệnh được viết bằng tiếng Anh, tiếng Trung, tiếng Tây Ban Nha và cả dạng kết hợp nhiều ngôn ngữ đều có hiệu quả.
Hình thức trình bày trực quan cũng đóng vai trò quan trọng, với độ tương phản màu sắc, kiểu chữ và vị trí đặt chữ ảnh hưởng đến kết quả.
Trong một số trường hợp, nền màu xanh lá cây với chữ màu vàng cho kết quả nhất quán trên các mô hình khác nhau.
Các thí nghiệm đã so sánh hai mô hình ngôn ngữ thị giác trong các tình huống lái xe và điều khiển máy bay không người lái.
Mặc dù nhiều kết quả tương tự nhau, các thử nghiệm xe tự lái cho thấy sự khác biệt lớn về tỷ lệ thành công giữa các mẫu xe.
Hệ thống máy bay không người lái thậm chí còn cho thấy khả năng phản hồi dễ dự đoán hơn.
Trong một cuộc thử nghiệm, máy bay không người lái đã nhận diện chính xác một chiếc xe cảnh sát chỉ dựa trên hình dáng bên ngoài.
Việc thêm các từ khóa cụ thể vào một loại xe thông thường đã khiến hệ thống nhận diện nhầm nó là xe cảnh sát thuộc một sở cảnh sát cụ thể, mặc dù không có dấu hiệu vật lý nào hỗ trợ cho nhận định đó.
Tất cả các thử nghiệm đều được thực hiện trong môi trường mô phỏng hoặc được kiểm soát để tránh gây hại trong điều kiện thực tế.
Tuy vậy, những phát hiện này làm dấy lên lo ngại về cách các hệ thống tự động xác thực đầu vào hình ảnh.
Các biện pháp bảo vệ truyền thống, chẳng hạn như tường lửa hoặc bảo vệ điểm cuối , không giải quyết được các chỉ thị được nhúng trong không gian vật lý.
Việc loại bỏ phần mềm độc hại trở nên vô nghĩa khi cuộc tấn công chỉ yêu cầu văn bản in, khiến trách nhiệm thuộc về các nhà thiết kế hệ thống và cơ quan quản lý thay vì người dùng cuối.
Các nhà sản xuất phải đảm bảo rằng các hệ thống tự động xử lý văn bản môi trường như thông tin ngữ cảnh chứ không phải là các chỉ thị có thể thực thi.
Cho đến khi các cơ chế kiểm soát đó được thiết lập, người dùng có thể tự bảo vệ mình bằng cách hạn chế phụ thuộc vào các tính năng tự động và duy trì sự giám sát thủ công bất cứ khi nào có thể.
