Hôm thứ Năm, Google thông báo rằng các đối tượng "có động cơ thương mại" đã cố gắng sao chép kiến ​​thức từ chatbot Gemini AI của họ bằng cách đơn giản là đưa ra các câu hỏi cho nó. Một phiên tấn công được cho là đã đưa ra hơn 100.000 câu hỏi cho mô hình này bằng nhiều ngôn ngữ khác nhau ngoài tiếng Anh, thu thập phản hồi với mục đích rõ ràng là đào tạo một bản sao rẻ hơn.

Google đã công bố những phát hiện này trong một báo cáo tự đánh giá hàng quý về các mối đe dọa đối với sản phẩm của chính mình, trong đó công ty được miêu tả vừa là nạn nhân vừa là anh hùng, điều này không phải là hiếm gặp trong các báo cáo tự biên soạn như vậy. Google gọi hoạt động bất hợp pháp này là "trích xuất mô hình" và coi đó là hành vi đánh cắp sở hữu trí tuệ, một quan điểm có phần thiên vị, bởi vì mô hình LLM của Google được xây dựng từ các tài liệu thu thập được từ Internet mà không được phép.

Google cũng không xa lạ gì với việc sao chép. Năm 2023, The Information đưa tin rằng nhóm Bard của Google đã bị cáo buộc sử dụng dữ liệu đầu ra của ChatGPT từ ShareGPT, một trang web công cộng nơi người dùng chia sẻ các cuộc hội thoại chatbot, để giúp huấn luyện chatbot của riêng họ. Nhà nghiên cứu AI cấp cao của Google, Jacob Devlin, người đã tạo ra mô hình ngôn ngữ BERT có tầm ảnh hưởng lớn, đã cảnh báo ban lãnh đạo rằng điều này vi phạm điều khoản dịch vụ của OpenAI, sau đó ông từ chức và gia nhập OpenAI. Google đã phủ nhận cáo buộc nhưng được cho là đã ngừng sử dụng dữ liệu này.

Tuy nhiên, điều khoản dịch vụ của Google cấm người dùng trích xuất dữ liệu từ các mô hình AI của họ theo cách này, và báo cáo này hé lộ phần nào về các chiến thuật sao chép mô hình AI có phần mờ ám. Công ty tin rằng thủ phạm chủ yếu là các công ty tư nhân và các nhà nghiên cứu đang tìm kiếm lợi thế cạnh tranh, và cho biết các cuộc tấn công đến từ khắp nơi trên thế giới. Google từ chối nêu tên các nghi phạm.

Thỏa thuận về quá trình chưng cất

Thông thường, ngành công nghiệp gọi phương pháp huấn luyện một mô hình mới dựa trên kết quả đầu ra của một mô hình trước đó là “ chưng cất ”, và nó hoạt động như sau: Nếu bạn muốn xây dựng mô hình ngôn ngữ quy mô lớn (LLM) của riêng mình nhưng không có hàng tỷ đô la và nhiều năm làm việc mà Google đã bỏ ra để huấn luyện Gemini, bạn có thể sử dụng một LLM đã được huấn luyện trước đó như một lối tắt.

Để làm được điều đó, bạn cần cung cấp cho mô hình AI hiện có hàng nghìn câu hỏi được lựa chọn cẩn thận, thu thập tất cả các phản hồi, và sau đó sử dụng các cặp đầu vào-đầu ra đó để huấn luyện một mô hình nhỏ hơn, tiết kiệm chi phí hơn. Kết quả sẽ mô phỏng sát sao hành vi đầu ra của mô hình gốc nhưng thường sẽ nhỏ hơn về tổng thể. Nó không hoàn hảo, nhưng nó có thể là một kỹ thuật huấn luyện hiệu quả hơn nhiều so với việc hy vọng xây dựng một mô hình hữu ích dựa trên dữ liệu ngẫu nhiên trên Internet chứa nhiều nhiễu.

Mô hình sao chép không bao giờ nhìn thấy mã nguồn hay dữ liệu huấn luyện của Gemini, nhưng bằng cách nghiên cứu đủ các kết quả đầu ra của nó, nó có thể học cách sao chép nhiều khả năng của Gemini. Bạn có thể hình dung điều này giống như việc phân tích ngược công thức nấu ăn của một đầu bếp bằng cách gọi món ăn trong thực đơn và làm việc ngược lại dựa trên hương vị và hình thức bên ngoài.

Trong báo cáo do Google công bố, nhóm tình báo về mối đe dọa của họ mô tả một làn sóng tấn công phân tích thông tin ngày càng gia tăng nhắm vào Gemini. Nhiều chiến dịch nhắm mục tiêu cụ thể vào các thuật toán giúp mô hình thực hiện các tác vụ suy luận mô phỏng , hoặc quyết định cách xử lý thông tin từng bước.

Google cho biết họ đã xác định được chiến dịch gửi 100.000 tin nhắn và điều chỉnh hệ thống phòng thủ của Gemini, nhưng không nêu chi tiết các biện pháp đối phó đó là gì.

Bản sao của bản sao

Google không phải là công ty duy nhất lo ngại về kỹ thuật chưng cất. Năm ngoái, OpenAI đã cáo buộc đối thủ DeepSeek của Trung Quốc sử dụng kỹ thuật chưng cất để cải thiện các mô hình của mình, và kể từ đó, kỹ thuật này đã lan rộng trong ngành như một tiêu chuẩn để xây dựng các mô hình AI nhỏ hơn, rẻ hơn từ các mô hình lớn hơn.

Ranh giới giữa quá trình chưng cất tiêu chuẩn và hành vi trộm cắp phụ thuộc vào việc bạn đang chưng cất theo mô hình của hãng nào và liệu bạn có được phép hay không, một sự khác biệt mà các công ty công nghệ đã chi hàng tỷ đô la để bảo vệ nhưng chưa có tòa án nào kiểm chứng.