Cổng thông tin web để lại các cuộc trò chuyện kids’ với đồ chơi AI mở cho bất kỳ ai có tài khoản Gmail

Đầu tháng này, hàng xóm của Joseph Thacker đã đề cập với anh rằng cô đã đặt trước một vài đồ chơi khủng long nhồi bông cho con mình. Cô ấy đã chọn những món đồ chơi tên là Bondus vì chúng cung cấp một món đồ chơi Trò chuyện AI tính năng cho phép trẻ em nói chuyện với đồ chơi như một người bạn tưởng tượng có khả năng học máy. Nhưng cô biết Thacker, một nhà nghiên cứu bảo mật, đã làm việc trên Rủi ro AI đối với bọn trẻ, và cô tò mò về suy nghĩ của anh.

Vì vậy Thacker đã xem xét nó. Chỉ với vài phút làm việc, anh và một người bạn nghiên cứu bảo mật web tên là Joel Margolis đã có một khám phá đáng kinh ngạc: Cổng thông tin dựa trên web của Bondu, nhằm cho phép cha mẹ kiểm tra các cuộc trò chuyện của con cái họ và để nhân viên của Bondu giám sát việc sử dụng products’ và hiệu suất, cũng cho phép bất cứ ai có a Gmail bản ghi truy cập tài khoản của hầu như mọi cuộc trò chuyện mà người dùng trẻ em của Bondu đã từng có với đồ chơi.

Không thực hiện bất kỳ vụ hack thực tế nào, chỉ bằng cách đăng nhập bằng tài khoản Google tùy ý, hai nhà nghiên cứu ngay lập tức thấy mình đang xem các cuộc trò chuyện riêng tư của trẻ em, những cái tên thú cưng mà trẻ em đặt cho Bondu, những điều thích và không thích của chủ sở hữu đồ chơi’ trẻ mới biết đi, món ăn nhẹ yêu thích của chúng và những bước nhảy.

Tổng cộng, Margolis và Thacker phát hiện rằng dữ liệu Bondu không được bảo vệ— có thể truy cập được đối với bất kỳ ai đăng nhập vào bảng điều khiển web công khai của công ty bằng tên người dùng Google— của họ bao gồm tên trẻ em, ngày sinh, tên thành viên gia đình, “mục tiêu” cho đứa trẻ do cha mẹ chọn và đáng lo ngại nhất là chi tiết tóm tắt và bản ghi lại mọi cuộc trò chuyện trước đó giữa đứa trẻ và Bondu của chúng, một món đồ chơi được thiết kế thực tế để gợi ra cuộc trò chuyện thân mật trực tiếp. Bondu xác nhận trong các cuộc trò chuyện với các nhà nghiên cứu rằng hơn 50.000 bản ghi cuộc trò chuyện có thể truy cập được thông qua cổng web lộ thiên, về cơ bản là tất cả các cuộc trò chuyện mà đồ chơi đã tham gia ngoại trừ những cuộc trò chuyện đã bị phụ huynh hoặc nhân viên xóa thủ công.

“Cảm giác khá khó chịu và thực sự kỳ lạ khi biết những điều này,” Thacker nói về những cuộc trò chuyện riêng tư của bọn trẻ và những sở thích được ghi lại mà anh ấy nhìn thấy. “Việc có thể xem tất cả các cuộc trò chuyện này là một hành vi vi phạm nghiêm trọng quyền riêng tư của trẻ em.”

Họ nói, khi Thacker và Margolis cảnh báo Bondu về việc dữ liệu bị lộ rõ ràng, công ty đã hành động để gỡ bỏ bảng điều khiển trong vài phút trước khi khởi chạy lại cổng vào ngày hôm sau bằng các biện pháp xác thực thích hợp. Khi WIRED liên hệ với công ty, Giám đốc điều hành Bondu Fateen Anam Rafid đã viết trong một tuyên bố rằng các bản sửa lỗi bảo mật cho sự cố “đã được hoàn thành trong vòng vài giờ, sau đó là đánh giá bảo mật rộng hơn và thực hiện các biện pháp phòng ngừa bổ sung cho tất cả người dùng.” Ông nói thêm rằng Bondu “không tìm thấy bằng chứng nào về quyền truy cập ngoài các nhà nghiên cứu có liên quan.” (Các nhà nghiên cứu lưu ý rằng họ đã không tải xuống hoặc giữ bất kỳ bản sao nào của dữ liệu nhạy cảm mà họ truy cập qua bảng điều khiển của Bondu, ngoài một vài ảnh chụp màn hình và video ghi màn hình được chia sẻ với WIRED để xác nhận phát hiện của họ.)

“Chúng tôi coi trọng quyền riêng tư của người dùng và cam kết bảo vệ dữ liệu người dùng,” Anam Rafid nói thêm trong tuyên bố của mình. “Chúng tôi đã liên lạc với tất cả người dùng đang hoạt động về các giao thức bảo mật của mình và tiếp tục củng cố hệ thống của mình bằng các biện pháp bảo vệ mới,” cũng như thuê một công ty bảo mật để xác thực cuộc điều tra và giám sát hệ thống của mình trong tương lai.

Mặc dù sự thiếu bảo mật gần như hoàn toàn của Bondu xung quanh dữ liệu của trẻ em mà nó lưu trữ có thể được khắc phục, các nhà nghiên cứu cho rằng những gì họ nhìn thấy thể hiện một cảnh báo lớn hơn về sự nguy hiểm của đồ chơi trò chuyện hỗ trợ AI cho trẻ em. Cái nhìn thoáng qua của họ về phần phụ trợ của Bondu cho thấy thông tin chi tiết như thế nào mà nó lưu trữ trên trẻ em, lưu giữ lịch sử của mọi cuộc trò chuyện để thông báo tốt hơn cho cuộc trò chuyện tiếp theo của đồ chơi với chủ nhân của nó. (May mắn thay, Bondu đã không lưu trữ âm thanh của những cuộc trò chuyện đó, tự động xóa chúng sau một thời gian ngắn và chỉ giữ lại bản ghi bằng văn bản.)

Ngay cả bây giờ dữ liệu đã được bảo mật, Margolis và Thacker lập luận rằng nó đặt ra câu hỏi về việc có bao nhiêu người trong các công ty sản xuất đồ chơi AI có quyền truy cập vào dữ liệu họ thu thập, quyền truy cập của họ được giám sát như thế nào và thông tin xác thực của họ được bảo vệ tốt như thế nào. “Margolis cho biết có nhiều hàm ý về quyền riêng tư từ điều này. ”Tất cả những gì cần là một nhân viên có mật khẩu xấu, và sau đó chúng tôi quay trở lại cùng một nơi mà chúng tôi đã bắt đầu, nơi tất cả được tiếp xúc với internet công cộng.”

Margolis cho biết thêm rằng loại thông tin nhạy cảm này về suy nghĩ và cảm xúc của trẻ có thể được sử dụng cho các hình thức lạm dụng hoặc thao túng trẻ em khủng khiếp. “Nói thẳng ra, đây là giấc mơ của kẻ bắt cóc,” anh nói. “Chúng tôi đang nói về thông tin cho phép ai đó dụ một đứa trẻ vào một tình huống thực sự nguy hiểm và về cơ bản nó có thể truy cập được đối với bất kỳ ai.”

Margolis và Thacker chỉ ra rằng, ngoài việc vô tình tiếp xúc với dữ liệu, Bondu còn—dựa trên những gì họ nhìn thấy bên trong bảng điều khiển quản trị viên của mình, dường như sử dụng GPT5 của Google Gemini và OpenAI, và do đó có thể chia sẻ thông tin về các cuộc trò chuyện của kids— với các công ty đó. Bondu's Anam Rafid đã trả lời điểm đó trong một email, nói rằng công ty sử dụng dịch vụ AI doanh nghiệp của bên thứ ba “để tạo phản hồi và chạy một số kiểm tra an toàn nhất định, bao gồm việc truyền nội dung cuộc trò chuyện có liên quan một cách an toàn để xử lý.” Nhưng ông nói thêm rằng công ty thực hiện các biện pháp phòng ngừa để “giảm thiểu những gì mà Lừa đã gửi, sử dụng các biện pháp kiểm soát hợp đồng và kỹ thuật, và hoạt động theo cấu hình doanh nghiệp nơi các nhà cung cấp nhà nước nhắc nhở/đầu ra không được sử dụng để đào tạo các mô hình của họ.”

Hai nhà nghiên cứu cũng cảnh báo rằng một phần rủi ro của các công ty đồ chơi AI có thể là họ có nhiều khả năng sử dụng AI trong việc mã hóa các sản phẩm, công cụ và cơ sở hạ tầng web của h. Họ nói rằng họ nghi ngờ rằng bảng điều khiển Bondu không an toàn mà họ phát hiện ra chính là “vibe-coded”— được tạo bằng các công cụ lập trình AI tổng quát thường dẫn đến lỗi bảo mật. Bondu đã không trả lời câu hỏi của WIRED về việc liệu bảng điều khiển có được lập trình bằng các công cụ AI hay không.