“Tôi cảm thấy việc biết những điều này thật sự xâm phạm quyền riêng tư và rất kỳ lạ,” Thacker nói về những cuộc trò chuyện riêng tư và những sở thích được ghi lại của bọn trẻ mà ông đã thấy. “Việc có thể xem được tất cả những cuộc trò chuyện này là một sự vi phạm nghiêm trọng quyền riêng tư của trẻ em.”

Khi Thacker và Margolis cảnh báo Bondu về lỗ hổng bảo mật nghiêm trọng này, họ cho biết công ty đã hành động để gỡ bỏ bảng điều khiển chỉ trong vài phút trước khi khởi chạy lại cổng thông tin vào ngày hôm sau với các biện pháp xác thực phù hợp. Khi WIRED liên hệ với công ty, Giám đốc điều hành của Bondu, Fateen Anam Rafid, đã viết trong một tuyên bố rằng các bản vá lỗi bảo mật cho vấn đề này “đã được hoàn tất trong vòng vài giờ, tiếp theo là một cuộc đánh giá bảo mật rộng hơn và việc triển khai các biện pháp phòng ngừa bổ sung cho tất cả người dùng.” Ông nói thêm rằng Bondu “không tìm thấy bằng chứng về việc truy cập vượt quá phạm vi của các nhà nghiên cứu tham gia.” (Các nhà nghiên cứu lưu ý rằng họ không tải xuống hoặc lưu giữ bất kỳ bản sao nào của dữ liệu nhạy cảm mà họ đã truy cập thông qua bảng điều khiển của Bondu, ngoài một vài ảnh chụp màn hình và một video ghi lại màn hình được chia sẻ với WIRED để xác nhận phát hiện của họ.)

“Chúng tôi rất coi trọng quyền riêng tư của người dùng và cam kết bảo vệ dữ liệu người dùng,” Anam Rafid nói thêm trong tuyên bố của mình. “Chúng tôi đã thông báo cho tất cả người dùng đang hoạt động về các giao thức bảo mật của mình và tiếp tục tăng cường hệ thống bằng các biện pháp bảo vệ mới,” cũng như thuê một công ty bảo mật để xác thực quá trình điều tra và giám sát hệ thống trong tương lai.

Mặc dù vấn đề bảo mật gần như hoàn toàn thiếu sót của Bondu đối với dữ liệu trẻ em mà nó lưu trữ có thể được khắc phục, các nhà nghiên cứu cho rằng những gì họ thấy là một lời cảnh báo lớn hơn về sự nguy hiểm của đồ chơi trò chuyện có hỗ trợ trí tuệ nhân tạo dành cho trẻ em. Cái nhìn thoáng qua của họ về hệ thống phụ trợ của Bondu cho thấy thông tin mà nó lưu trữ về trẻ em chi tiết đến mức nào, lưu giữ lịch sử của mọi cuộc trò chuyện để giúp đồ chơi có thể trò chuyện tốt hơn với chủ nhân của nó trong lần tiếp theo. (May mắn thay, Bondu không lưu trữ âm thanh của những cuộc trò chuyện đó, mà tự động xóa chúng sau một thời gian ngắn và chỉ giữ lại bản ghi chép bằng văn bản.)

Ngay cả khi dữ liệu đã được bảo mật, Margolis và Thacker lập luận rằng điều này vẫn đặt ra câu hỏi về việc có bao nhiêu người trong các công ty sản xuất đồ chơi AI có quyền truy cập vào dữ liệu mà họ thu thập, quyền truy cập của họ được giám sát như thế nào và thông tin đăng nhập của họ được bảo vệ tốt đến mức nào. “Điều này dẫn đến những hệ lụy nghiêm trọng về quyền riêng tư,” Margolis nói. “Chỉ cần một nhân viên có mật khẩu yếu, và chúng ta lại quay trở lại điểm xuất phát, khi tất cả dữ liệu đều bị phơi bày trên internet công cộng.”

Margolis nói thêm rằng loại thông tin nhạy cảm về suy nghĩ và cảm xúc của trẻ em này có thể được sử dụng cho các hình thức lạm dụng hoặc thao túng trẻ em kinh khủng. “Nói thẳng ra, đây là giấc mơ của kẻ bắt cóc,” ông nói. “Chúng ta đang nói về thông tin cho phép ai đó dụ dỗ một đứa trẻ vào một tình huống thực sự nguy hiểm, và về cơ bản, bất cứ ai cũng có thể tiếp cận được thông tin đó.”

Margolis và Thacker chỉ ra rằng, ngoài việc vô tình để lộ dữ liệu, Bondu dường như cũng sử dụng Gemini của Google và GPT5 của OpenAI dựa trên những gì họ thấy bên trong bảng điều khiển quản trị, và do đó có thể chia sẻ thông tin về các cuộc trò chuyện của trẻ em với các công ty này. Anam Rafid của Bondu đã phản hồi về điểm này trong một email, nói rằng công ty có sử dụng “các dịch vụ AI doanh nghiệp của bên thứ ba để tạo ra phản hồi và thực hiện một số kiểm tra an toàn nhất định, bao gồm việc truyền tải an toàn nội dung cuộc trò chuyện có liên quan để xử lý”. Nhưng ông nói thêm rằng công ty thực hiện các biện pháp phòng ngừa để “giảm thiểu những gì được gửi đi, sử dụng các biện pháp kiểm soát theo hợp đồng và kỹ thuật, và hoạt động theo cấu hình doanh nghiệp, nơi các nhà cung cấp tuyên bố rằng các lời nhắc/đầu ra không được sử dụng để huấn luyện mô hình của họ”.

Hai nhà nghiên cứu cũng cảnh báo rằng một phần rủi ro của các công ty đồ chơi AI có thể là họ có nhiều khả năng sử dụng AI trong việc lập trình sản phẩm, công cụ và cơ sở hạ tầng web của mình. Họ cho rằng họ nghi ngờ rằng bảng điều khiển Bondu không được bảo mật mà họ phát hiện ra chính là "được lập trình bằng cảm xúc" - được tạo ra bằng các công cụ lập trình AI tạo sinh thường dẫn đến các lỗ hổng bảo mật. Bondu đã không trả lời câu hỏi của WIRED về việc liệu bảng điều khiển có được lập trình bằng các công cụ AI hay không.