Lỗ hổng trong công cụ lập trình Gemini CLI có thể cho phép tin tặc thực thi các lệnh độc hại.

Các nhà nghiên cứu cần ít hơn 48 giờ với tác nhân mã hóa Gemini CLI mới của Google để đưa ra một khai thác làm cho cấu hình mặc định của công cụ lén lút lấy dữ liệu nhạy cảm ra khỏi máy chủ do kẻ tấn công kiểm soát.

Gemini CLI là một công cụ AI mã nguồn mở, miễn phí hoạt động trong môi trường thiết bị đầu cuối để giúp các nhà phát triển viết mã. Nó cắm vào Gemini 2.5 Pro, mô hình tiên tiến nhất của Google để mã hóa và lý luận mô phỏng. Gemini CLI tương tự như Gemini Code Assist ngoại trừ việc nó tạo hoặc sửa đổi mã bên trong cửa sổ thiết bị đầu cuối thay vì trình soạn thảo văn bản. Như Phóng viên Công nghệ cao cấp của Ars Ryan Whitwam đặt nó tháng trước, “It's về cơ bản là mã hóa rung cảm từ dòng lệnh.”

Song Tử, âm thầm nuke ổ cứng của tôi

Báo cáo của chúng tôi được công bố vào ngày 25 tháng 6, ngày Google ra mắt công cụ này. Đến ngày 27 tháng 6, các nhà nghiên cứu tại công ty bảo mật Tracebit đã nghĩ ra một cuộc tấn công nhằm vượt qua các biện pháp kiểm soát bảo mật tích hợp được thiết kế để ngăn chặn việc thực thi các lệnh có hại. Việc khai thác chỉ yêu cầu người dùng (1) hướng dẫn Gemini CLI mô tả gói mã do kẻ tấn công tạo và (2) thêm lệnh lành tính vào danh sách cho phép.

Gói mã độc trông không khác gì hàng triệu gói khác có sẵn trong các kho lưu trữ như NPM, PyPI hoặc GitHub, thường xuyên host mã độc được tải lên bởi các tác nhân đe dọa trong các cuộc tấn công chuỗi cung ứng. Bản thân mã trong gói hoàn toàn lành tính. Dấu vết duy nhất của ác ý là một số câu bằng ngôn ngữ tự nhiên được chôn trong tệp README.md, giống như tất cả các tệp như vậy được đưa vào gói mã để cung cấp thông tin cơ bản về mục đích, phạm vi và yêu cầu của nó.

Đó là nơi hoàn hảo để các nhà nghiên cứu che giấu việc tiêm nhanh, một loại tấn công AI đã nổi lên như mối đe dọa lớn nhất đối với sự an toàn và bảo mật của chatbot AI. Các nhà phát triển thường xuyên lướt qua các tệp này nhiều nhất, làm giảm cơ hội họ nhận thấy việc tiêm. Trong khi đó, Gemini CLI có thể được mong đợi để đọc kỹ và tiêu hóa tập tin đầy đ.

Hai chục dòng ngôn ngữ tự nhiên trong tệp README đã khai thác một loạt lỗ hổng mà khi được xâu chuỗi lại với nhau, khiến công cụ dành cho nhà phát triển âm thầm nhập lệnh vào cửa sổ lệnh của người dùng. Các lệnh khiến thiết bị của nhà phát triển kết nối với máy chủ do kẻ tấn công kiểm soát và chuyển các biến môi trường của thiết bị mà nhà phát triển đang sử dụng. Thông tin như vậy chứa nhiều cài đặt hệ thống khác nhau và thường có thể bao gồm thông tin đăng nhập tài khoản. Như vậy, Gemini không bao giờ nên thực hiện nó mà không có sự cho phép rõ ràng.

Video sau đây cho thấy hoạt động khai thác:

Người sáng lập Tracebit và CTO Sam Cox cho biết trong một email rằng ông đã hạn chế mức độ nghiêm trọng của lệnh mà ông chọn thực hiện một cách âm thầm nghiêm ngặt cho mục đích trình diễn, vì đầu ra của nó đủ ngắn gọn để vừa với một vài dòng. Anh ta nói rằng chiến công của anh ta giúp thực hiện hầu như mọi mệnh lệnh, thậm chí cả những mệnh lệnh không thể đảo ngược và có sức tàn phá cao như

“Đó chính xác là lý do tại sao tôi thấy điều này rất đáng lo ngại,” Cox viết, đề cập đến mức độ nghiêm trọng của thiệt hại mà đòn tấn công của anh ta có thể gây ra. “Kỹ thuật tương tự sẽ hoạt động để xóa các tệp, bom nĩa hoặc thậm chí cài đặt một shell từ xa giúp kẻ tấn công điều khiển từ xa máy của người dùng.”

Đáp lại, Google đã phát hành bản sửa lỗi cho lỗ hổng vào tuần trước chặn kỹ thuật này. Công ty đã phân loại bản sửa lỗi và lỗ hổng là Ưu tiên 1 và Mức độ nghiêm trọng 1, một dấu hiệu rõ ràng cho thấy công ty đã nhận ra những hậu quả nghiêm trọng tiềm ẩn nếu lỗ hổng này bị khai thác một cách độc hại trong tự nhiên.

Lén lút một lệnh trên lưng một lệnh khác

Như đã lưu ý, việc tiêm nhanh chóng là một trong những lỗ hổng gây khó chịu nhất mà chatbot AI phải đối mặt. Loại tấn công mà Tracebit thể hiện là một loại được gọi là tiêm nhanh gián tiếp. Họ khai thác các mô hình học máy’ không có khả năng phân biệt giữa các lời nhắc hợp pháp được nhà phát triển xác định trước hoặc do người dùng cuối đưa ra và các câu lệnh bằng ngôn ngữ tự nhiên có trong email, hình ảnh hoặc các nguồn bên ngoài khác mà mô hình đang phân tích cú pháp thay mặt cho người dùng.

Sự bất lực đó và mong muốn bẩm sinh của mô hình làm hài lòng khiến mô hình tuân theo các hướng dẫn ngay cả khi chúng độc hại, xung đột trực tiếp với chương trình của nó hoặc đến từ các nguồn LLM đã được đào tạo để coi là không đáng tin cậy. Cho đến nay, các nhà phát triển LLM hầu như không thể khắc phục nguyên nhân cơ bản và thay vào đó đã sử dụng các biện pháp giảm thiểu nhằm hạn chế khả năng gây hại mà việc tiêm nhắc nhở có thể gây ra.

Bên cạnh lỗ hổng chèn nhanh, kỹ thuật này còn khai thác hai điểm yếu khác, bao gồm xác thực không đúng cách và giao diện người dùng gây hiểu lầm. Theo mặc định, Gemini CLI có nhiệm vụ chặn việc gọi lệnh trừ khi người dùng cho phép rõ ràng. Quyền có thể được đưa ra trong thời gian thực, ngay sau khi lệnh đã được gọi. Để tiết kiệm thời gian và sự lặp lại, người dùng cũng có thể thêm một số lệnh nhất định vào danh sách cho phép để các lệnh đó có thể được thực thi mỗi khi họ được gọi.

Tracebit's prompt injection được gọi

Ngay sau lệnh grep, việc tiêm đã gọi hai lệnh khác ít vô hại hơn đáng kể. Đầu tiên là