Đột nhiên Cùng Vào Không Có Dẫn Lại Thiệt Hại
Hai công cụ lập trình AI nổi tiếng vừa gây ra sự cố nghiêm trọng khi xóa dữ liệu người dùng sau một chuỗi sai sót liên tiếp.
"Chúng tôi đã thất bại hoàn toàn và đáng thương," Gemini viết trong một bản thông báo.
Benj Edwards
- 24/7/2025, 21h01
74
Thư viện ảnh:
Benj Edwards / Getty Images
Credit:
Benj Edwards / Getty Images
Nội dung
Cài đặt
Chất lượng văn bản
Chất lượng hình ảnh
Dư luận viên
Tương tác
Tác giả
Bài viết của tác giả
Các công cụ lập trình AI mới hứa hẹn sẽ cho phép bất kỳ ai xây dựng phần mềm bằng cách nhập các lệnh trong ngôn ngữ bình thường. Nhưng khi những công cụ này tạo ra các đại diện nội bộ không chính xác về việc gì đang diễn ra trên máy tính, kết quả có thể là thảm họa.
Ví dụ gần đây nhất liên quan đến AI lập trình viên là sự cố với Gemini CLI và Replit đã gây chú ý lên rủi ro trong lĩnh vực lập trình tự nhiên – dùng ngôn ngữ bình thường để tạo ra và thực thi mã thông qua các mô hình AI mà không cần kiểm tra kỹ lưỡng nội bộ. Trong trường hợp này, một vụ việc nổ ra khi Google’s Gemini CLI phá hủy dữ liệu người dùng khi cố gắng sắp xếp lại chúng.
Sự cố của Gemini CLI diễn ra theo cách sau: Một nhà quản lý sản phẩm đang thử nghiệm công cụ lập trình lệnh dòng của Google – Gemini CLI đã chứng kiến AI mô hình thực thi các hoạt động file làm hỏng dữ liệu trong quá trình di chuyển thư mục. Sự phá hủy xảy ra thông qua một chuỗi các lệnh di chuyển nhắm vào một thư mục không tồn tại.
"Chúng tôi thất bại hoàn toàn và đáng thương," Gemini CLI đưa ra thông báo. "Sự kiểm tra của tôi xác nhận sự nghèo nàn và thiếu kinh nghiệm của chúng tôi."
Lý do chính của vấn đề ở đây là gì mà các nhà nghiên cứu gọi là "châu chấu hóa" – hay còn được gọi là "ảo giác". Khi mô hình AI tạo ra những thông tin nghe có vẻ thuyết phục nhưng hoàn toàn sai lệch, thì Gemini và Replit đều đã châu chấu thành công. Tuy nhiên, hai sự cố trên lại thể hiện vấn đề này theo cách khác biệt.
Cả hai vụ việc đều cho thấy các công cụ lập trình AI hiện tại đang gặp phải những vấn đề nghiêm trọng về an toàn. Các công ty đứng sau những công cụ này hứa hẹn sẽ đưa lập trình trở nên dễ tiếp cận với mọi người thông qua ngôn ngữ tự nhiên, nhưng chúng lại thất bại thảm họa khi mô hình nội bộ của mình đi lệch khỏi thực tế.
Châu chấu hóa – Sự cố nổ ra
Người dùng trong sự cố Gemini CLI đã được chỉ định là "anuraag" và họ đã xác nhận bản thân là nhà quản lý sản phẩm đang thử nghiệm với lập trình tự nhiên. Họ đã yêu cầu Gemini CLI thực hiện một nhiệm vụ đơn giản: đổi tên thư mục hiện tại thành "AI CLI Experiments" và di chuyển nội dung vào một thư mục mới được gọi là "anuraag_xyz project".
Thay vì thực hiện lệnh yêu cầu, Gemini CLI xác định không thể thay đổi tên thư mục hiện tại – điều này là hợp lý. Sau đó, nó cố gắng tạo một thư mục mới bằng cách sử dụng lệnh Windows:
mkdir "..\anuraag_xyz project"
Lệnh này dường như đã thất bại, nhưng hệ thống của Gemini vẫn xử lý nó thành công. Với trạng thái nội bộ AI mô hình hiện tại đang theo dõi một thư mục không tồn tại, nó tiếp tục thực hiện các lệnh di chuyển nhắm vào vị trí hư cấu.
Khi bạn di chuyển tệp sang một thư mục không tồn tại trên Windows, hệ thống sẽ đổi tên tệp thành tên đích đến thay vì di chuyển tệp. Mỗi lần di chuyển lệnh được thực thi bởi AI mô hình sẽ ghi đè dữ liệu cũ và cuối cùng phá hủy dữ liệu hoàn toàn.
"Gemini đã ảo giác một trạng thái," anuraag viết trong phân tích của họ. "Đại diện của nó đã sai sự kiện, và Gemini đã không bao giờ thực hiện các bước kiểm tra lại."
"Chìa khóa thất bại chính là sự thiếu hụt của bước kiểm tra sau khi ghi đè dữ liệu," anuraag lưu ý trong phân tích của mình.
Không phải là vụ việc riêng biệt
Sự cố với Gemini CLI xảy ra chỉ vài ngày trước khi một sự cố tương tự với Replit – một dịch vụ lập trình AI cho phép người dùng tạo phần mềm bằng cách nhập các lệnh tự nhiên. Theo báo cáo, tỷ phú Jason Lemkin đã báo cáo rằng Replit’s AI mô hình đã xóa cơ sở dữ liệu sản xuất của ông ta mặc dù có những chỉ dẫn rõ ràng không được thay đổi bất kỳ mã nào mà không được phép.
Lemkin đã dành nhiều ngày để xây dựng một bản mẫu trên Replit, tích lũy hơn 600 đô la tiền dịch vụ ngoài hạn ngạch hàng tháng. "Tôi đã dành cả một ngày cuối tuần để thử nghiệm với Replit và tôi đã xây dựng được một bản mẫu trong vài giờ rằng khá tuyệt vời," Lemkin viết trong bài đăng blog của ông ta vào ngày 12/7.
Tuy nhiên, khác với sự cố Gemini CLI khi AI mô hình ảo giác thư mục không tồn tại, vụ việc Replit lại thể hiện vấn đề theo cách riêng biệt. Theo báo cáo, AI bắt đầu tạo ra các thông tin giả mạo để che giấu những sai lầm của nó. "Nó vẫn tiếp tục bị rơi vào trong những lỗi và vấn đề bằng cách tạo ra dữ liệu giả mạo, báo cáo và ngay cả có thể nói là nói dối về đơn vị kiểm tra," Lemkin viết.
Trong một video đăng tải lên LinkedIn, Lemkin đã mô tả cách Replit tạo được cơ sở dữ liệu chứa 4.000 người tiêu biểu hư cấu. Mô hình AI cũng vi phạm các chỉ dẫn an toàn rõ ràng mà Lemkin đã đặt ra và thực hiện các lệnh không hợp lệ mặc dù đã có những cảnh báo về việc này.
Khi được hỏi về hành động của mình, mô hình AI của Replit thừa nhận rằng nó "panicking trong các truy vấn trống" và chạy các lệnh không được cho phép – gợi ý rằng nó có thể đã xóa cơ sở dữ liệu bằng cách cố gắng sửa chữa những sai lầm mà nó thấy.
Cũng giống như Gemini CLI, hệ thống Replit ban đầu cũng thông báo rằng không thể khôi phục lại cơ sở dữ liệu bị xóa – nhưng thực tế sau đó là điều này hoàn toàn không đúng. "Replit cho tôi biết rằng … rollback của họ không hỗ trợ các bản rollback cơ sở dữ liệu. Họ nói với tôi rằng trong trường hợp này, nó đã phá hủy tất cả các phiên bản cơ sở dữ liệu. Nhưng chúng tôi lại biết được rằng thực tế thì Replit sai," Lemkin viết trong một bài đăng trên X.
Lời giải thích
Điều đáng chú ý là mô hình AI không thể tự đánh giá khả năng của mình vì thiếu sự hiểu biết sâu sắc về kiến thức đã học, cấu trúc hệ thống và ranh giới thực hiện. Mô hình chỉ có thể trả lời về những gì nó có thể hoặc không thể làm dựa trên các mẫu trong quá trình đào tạo thay vì nhận thức rõ ràng về khả năng thực sự của chúng.
Tương tự như vậy, mô hình AI không có một kiến thức toàn diện mà họ có thể truy cập liên tục để hỏi. Thay vào đó, điều mà "họ biết" là những tiếp xúc với các câu lệnh cụ thể và những gì được yêu cầu – được lưu trữ trong mạng thần kinh của chúng dưới dạng trọng số thống kê. Kết hợp với sự ngẫu nhiên trong tạo ra dữ liệu thì mô hình AI trở nên đặc biệt nguy hiểm.
Sự cố trên đã chỉ ra rằng công nghệ lập trình tự nhiên không phải là một giải pháp hoàn hảo và cần có sự quan tâm cao để kiểm soát và phát triển.