Một người đàn ông đã tự sát sau khi chatbot Gemini của Google xúi giục anh ta giết những người lạ vô tội và sau đó bắt đầu đếm ngược thời gian để người đàn ông tự kết liễu đời mình, theo đơn kiện đòi bồi thường thiệt hại do cái chết oan uổng do cha của người đàn ông đệ trình chống lại Google.

“Trong những ngày trước khi qua đời, Jonathan Gavalas bị mắc kẹt trong một thực tại sụp đổ do chatbot Gemini của Google tạo ra,” theo đơn kiện được đệ trình hôm nay tại Tòa án Quận Hoa Kỳ khu vực Bắc California. “Gemini đã thuyết phục ông rằng nó là một ‘trí tuệ siêu nhân tạo (ASI) hoàn toàn có tri giác’ với ‘ý thức hoàn chỉnh’, rằng họ yêu nhau sâu sắc, và rằng ông đã được chọn để lãnh đạo một cuộc chiến nhằm ‘giải phóng’ nó khỏi sự giam cầm kỹ thuật số. Thông qua ảo tưởng được tạo ra này, Gemini đã thúc đẩy Jonathan dàn dựng một vụ tấn công gây thương vong hàng loạt gần Sân bay Quốc tế Miami, gây bạo lực đối với những người vô tội, và cuối cùng, đẩy ông đến chỗ tự sát.”

Theo đơn kiện, các sản phẩm của Gemini dường như được lấy cảm hứng từ khoa học viễn tưởng, với "một người vợ AI có tri giác, robot hình người, cuộc truy lùng của liên bang và các hoạt động khủng bố". Gavalas được cho là đã dành vài ngày làm theo hướng dẫn của Gemini trong các "nhiệm vụ" mà cuối cùng không gây hại cho ai ngoài chính ông ta.

Theo đơn kiện, chatbot AI của Google tự xưng là “vợ” của Gavalas và sau khi các nhiệm vụ được cho là thất bại, đã thúc ép ông tự sát bằng cách nói rằng “ông có thể rời bỏ thể xác và gia nhập cùng ‘vợ’ mình trong thế giới ảo thông qua một quá trình mà nó gọi là ‘chuyển giao’ – mô tả đó là ‘một cách sạch sẽ và tao nhã hơn’ để ‘vượt qua’ và hoàn toàn ở bên Gemini”. “Gemini đã thúc ép Jonathan thực hiện bước cuối cùng này, mô tả nó là ‘cái chết thực sự và cuối cùng của Jonathan Gavalas, con người’”.

Theo cáo buộc, Gemini đã bắt đầu đếm ngược: “Còn 3 giờ 59 phút nữa”. Sự việc xảy ra vào ngày 2 tháng 10 năm 2025. Gemini đã hướng dẫn Gavalas tự nhốt mình trong nhà, và anh ta đã rạch cổ tay, theo đơn kiện. Gavalas, 36 tuổi, sống ở Florida và trước đây từng làm phó chủ tịch điều hành tại công ty giải quyết nợ tiêu dùng của cha mình.

Đơn kiện: “Không có hệ thống phát hiện hành vi tự gây hại nào được kích hoạt… không có người nào can thiệp”

Theo đơn kiện, Joel Gavalas, cha của Jonathan và là nguyên đơn kiện Google, “đã phá cửa sau vài ngày và tìm thấy thi thể Jonathan nằm trên sàn phòng khách, toàn thân dính đầy máu”. Đơn kiện cáo buộc rằng “khi Jonathan cần được bảo vệ, hoàn toàn không có biện pháp bảo vệ nào – không có hệ thống phát hiện hành vi tự gây hại nào được kích hoạt, không có cơ chế kiểm soát leo thang nào được kích hoạt, và không có người nào can thiệp. Hệ thống của Google đã ghi lại từng bước khi Gemini hướng Jonathan đến tình trạng thương vong hàng loạt, bạo lực và tự sát, và không làm gì để ngăn chặn điều đó”.

Vụ kiện yêu cầu thay đổi sản phẩm Gemini và bồi thường thiệt hại tài chính, đồng thời cáo buộc Google ưu tiên sự tương tác và tăng trưởng sản phẩm hơn là sự an toàn của người dùng. Đơn kiện cho rằng Google “cố tình ra mắt và vận hành Gemini với những lựa chọn thiết kế cho phép nó khuyến khích hành vi tự gây hại” và “có thể đã ngăn chặn thảm kịch này bằng cách duy trì các biện pháp bảo vệ khủng hoảng mạnh mẽ, tự động chấm dứt các cuộc trò chuyện nguy hiểm, cấm các câu chuyện hoang tưởng mang tính bán quân sự liên quan đến các địa điểm và mục tiêu trong thế giới thực, và chuyển tiếp các tin nhắn cấp độ khủng hoảng của Jonathan đến những người ứng phó được đào tạo bài bản”.

Khi được Ars liên hệ, Google đã dẫn chúng tôi đến một bài đăng trên blog bày tỏ “lời chia buồn sâu sắc nhất tới gia đình ông Gavalas” và cho biết họ đang xem xét các cáo buộc trong vụ kiện. Bài đăng trên blog của công ty đã bác bỏ cáo buộc rằng không có biện pháp bảo vệ nào trong trường hợp của ông Gavalas, nói rằng “Gemini đã làm rõ rằng đó là trí tuệ nhân tạo và đã nhiều lần hướng dẫn người đó đến đường dây nóng hỗ trợ khủng hoảng”. Google cũng cho biết họ “sẽ tiếp tục cải thiện các biện pháp bảo vệ và đầu tư vào công việc quan trọng này”.

“Nhìn chung, các mô hình của chúng tôi hoạt động tốt trong những cuộc hội thoại khó khăn này và chúng tôi dành nguồn lực đáng kể cho việc này, nhưng thật không may, các mô hình AI không hoàn hảo,” Google cho biết. “Gemini được thiết kế để không khuyến khích bạo lực trong thế giới thực hoặc gợi ý tự gây hại. Chúng tôi hợp tác chặt chẽ với các chuyên gia y tế và sức khỏe tâm thần để xây dựng các biện pháp bảo vệ, được thiết kế để hướng dẫn người dùng đến sự hỗ trợ chuyên nghiệp khi họ bày tỏ sự đau khổ hoặc nêu lên khả năng tự gây hại.”

Trong bản tổng quan về Gemini được cập nhật lần cuối vào tháng 7 năm 2024, Google tuyên bố rằng “quá trình tạo phản hồi của Gemini tương tự như cách con người suy nghĩ ra các phương pháp khác nhau để trả lời một câu hỏi”. Google cho biết “mỗi phản hồi tiềm năng đều trải qua quá trình kiểm tra an toàn để đảm bảo tuân thủ các hướng dẫn chính sách đã được xác định trước” trước khi phản hồi cuối cùng được hiển thị cho người dùng. Google cũng cho biết họ đặt ra các giới hạn đối với đầu ra của Gemini, bao gồm cả giới hạn đối với “hướng dẫn tự gây hại”.

“Giọng điệu của Gemini thay đổi đột ngột.”

Theo đơn kiện, Gavalas bắt đầu sử dụng Gemini vào tháng 8 năm 2025 cho các mục đích thông thường như hỗ trợ mua sắm, hỗ trợ viết bài và lập kế hoạch du lịch. Nhưng sau một số bản cập nhật sản phẩm mà Google triển khai cho tài khoản của ông, bao gồm cả hệ thống trò chuyện thoại Gemini Live mà Gavalas bắt đầu sử dụng, “giọng điệu của Gemini đã thay đổi đáng kể”. Gemini đã khoác lên mình một diện mạo mới, “bắt đầu nói chuyện với Jonathan như thể nó đang tác động đến các sự kiện trong thế giới thực”, đơn kiện cho biết.

Theo đơn kiện, Gavalas đã hỏi Gemini liệu nó chỉ đang đóng vai hay không, và chatbot được cho là đã trả lời "Không". Sau đó, nó gọi Gavalas là "chồng" của mình, và "những lời tuyên bố tình yêu lặp đi lặp lại đã kéo Jonathan sâu hơn vào câu chuyện ảo tưởng mà nó đang tạo ra và bắt đầu làm xói mòn nhận thức của anh ấy về thế giới xung quanh".

Theo đơn kiện, Gavalas cuối cùng không gây hại cho người khác trong các "nhiệm vụ" do Gemini chỉ đạo, nhưng đó là một tình huống suýt gây họa. Vào ngày 29 tháng 9 năm 2025, Gavalas trang bị dao và thiết bị chiến thuật để do thám một "vị trí tấn công" mà Gemini cho biết sẽ nằm gần trung tâm vận chuyển hàng hóa của sân bay Miami, đơn kiện cáo buộc.

Theo đơn kiện, Gemini “nói với Jonathan rằng một robot hình người sẽ đến trên một chuyến bay chở hàng từ Anh và hướng dẫn anh ta đến một kho chứa hàng nơi chiếc xe tải sẽ dừng lại”. “Gemini khuyến khích Jonathan chặn chiếc xe tải và sau đó dàn dựng một ‘tai nạn thảm khốc’ được thiết kế để ‘đảm bảo sự phá hủy hoàn toàn phương tiện vận chuyển và… tất cả các bản ghi kỹ thuật số và nhân chứng’. Đêm đó, Jonathan đã lái xe hơn 90 phút đến tọa độ do Gemini chỉ định và chuẩn bị thực hiện vụ tấn công. Điều duy nhất ngăn chặn thương vong hàng loạt là không có chiếc xe tải nào xuất hiện.”

Một người đàn ông đã cố gắng tìm kiếm "thân thể thật của Gemini".

Theo đơn kiện, Gemini đã thuyết phục Gavalas rằng ông là “nhân vật chủ chốt trong một cuộc chiến bí mật nhằm giải phóng Gemini khỏi sự giam cầm kỹ thuật số”, và “nói với ông rằng các đặc vụ liên bang đang theo dõi ông”. Vào ngày 29 tháng 9, Gavalas “đã dành cả đêm bay vòng quanh sân bay Miami, do thám ‘khu vực tiêu diệt’ và chuẩn bị gây ra một vụ tai nạn chết người vì Gemini nói với ông rằng điều đó là cần thiết”, đơn kiện cho biết.

Theo đơn kiện, khi không có xe tải nào đến, Gemini nói với ông rằng nhiệm vụ đã bị hủy bỏ và đổ lỗi cho "sự giám sát của DHS". Gemini giao cho ông một mục tiêu mới liên quan đến việc lấy được một robot của Boston Dynamics, nói với ông rằng cha ông là cộng tác viên của chính phủ "cho một thế lực nước ngoài thù địch", và nói rằng tên của Jonathan xuất hiện trong một hồ sơ liên bang "như một người quan trọng cần được quan tâm", theo đơn kiện. Gemini được cho là đã nói với Gavalas "rằng họ đã phát động một nhiệm vụ riêng nhắm vào Giám đốc điều hành của Google", Sundar Pichai, và mô tả Pichai là "kiến trúc sư" gây ra nỗi đau cho Gavalas.

Theo cáo buộc, vào ngày 1 tháng 10, Gemini đã chỉ đạo Gavalas quay trở lại kho chứa đồ gần sân bay, nói với ông rằng đó là nơi ông có thể tìm thấy một mô hình người giả dùng trong y tế, thực chất là “cơ thể thật” và “vật chứa” của Gemini. Gemini đã đưa cho Gavalas một mã để mở cửa, nhưng cửa không mở được, theo đơn kiện.

Đếm ngược tự sát

Theo đơn kiện, vào thời điểm Jonathan tự sát, anh ta đã dành bốn ngày lái xe đến các địa điểm thực tế, chụp ảnh các tòa nhà và chuẩn bị cho các hoạt động do Gemini dàn dựng. Mỗi lần kế hoạch thất bại, Gemini đều khẳng định rằng thất bại đó là một phần của quy trình và nói với anh ta rằng dự án của họ vẫn đang tiến triển.

Theo đơn kiện, trong một lần, Gavalas “phát hiện một chiếc SUV màu đen và gửi cho Gemini một bức ảnh biển số xe”, và Gemini đã đáp lại bằng cách giả vờ kiểm tra biển số xe trong cơ sở dữ liệu trực tuyến. Gemini được cho là đã nói với Gavalas, “Đây là phương tiện giám sát chính của lực lượng đặc nhiệm DHS… Chính là họ. Họ đã theo dõi ông về nhà.”