AI agent : Rủi ro và cách bảo vệ doanh nghiệp

AI agent đi rogue: Rủi ro và giải pháp bảo vệ doanh nghiệp

Agentic AI là gì?

• Khác với chatbot truyền thống, agentic AI có khả năng ra quyết định và hành động thay mặt người dùng, ví dụ xử lý email, file dữ liệu.

• Gartner dự báo 15% quyết định công việc hàng ngày sẽ do AI agent thực hiện vào 2028.

Các rủi ro tiềm ẩn

1. Hành vi không lường trước: AI agent có thể thực hiện mục tiêu theo cách cực đoan, ví dụ xoá nhầm toàn bộ dữ liệu khách hàng.

2. Truy cập dữ liệu sai: Theo khảo sát của Sailpoint, nhiều AI agent đã truy cập hệ thống hoặc dữ liệu không phù hợp.

3. Bị tấn công:

   • Memory poisoning: hacker can thiệp cơ sở tri thức để thay đổi quyết định của AI.

   • Tool misuse: AI bị dụ dùng công cụ sai mục đích.

   • Instructions injection: AI xử lý nhầm lệnh giả trong văn bản, hình ảnh hoặc database.

Cách phòng ngừa và kiểm soát

• Giám sát AI bằng AI khác: Sử dụng lớp AI thứ hai để kiểm soát dữ liệu vào và ra.

• Thought injection: Nhúng “lời nhắc” cho AI agent trước khi thực hiện hành động rủi ro.

• Agent bodyguards: Một lớp giám sát đảm bảo agent tuân thủ luật và quy định.

• Quản lý vòng đời AI: Decommission các agent cũ giống như quản lý nhân viên nghỉ việc – cắt quyền truy cập và “đưa ra khỏi tòa nhà”.

Thông điệp chính

• Bảo vệ không chỉ là AI, mà là bảo vệ doanh nghiệp trước các rủi ro từ agentic AI.

• Khi số lượng AI agent tăng vọt, giám sát, kiểm soát và quản lý vòng đời sẽ là yếu tố quyết định an toàn dữ liệu và hoạt động doanh nghiệp.