Theo nghiên cứu mới từ Đại học Illinois Urbana-Champaign, mô hình ngôn ngữ lớn đến từ OpenAI GPT-4 có thể tự động khai thác các lỗ hổng trong thực tế mà không cần sự giúp đỡ của con người. Điều này vượt xa khả năng của các mô hình mã nguồn mở khác như GPT-3.5 và các công cụ quét lỗ hổng hiện có.
Cụ thể, nghiên cứu này sử dụng một đặc vụ mô hình ngôn ngữ lớn (LLM agent) chạy trên GPT-4. Đây là một chương trình tiên tiến dựa trên LLM có khả năng chạy các công cụ, suy luận và nhiều khả năng khác. Nó đã khai thác thành công 87% lỗ hổng one-day chỉ với đặc tả từ NIST. Lỗ hổng one-day là những lỗ hổng đã được công bố nhưng chưa có bản vá, do đó vẫn có nguy cơ bị khai thác cao.
“Cùng với sự phát triển vượt bậc về khả năng của các LLM, khả năng của các đặc vụ LLM cũng tăng theo," các nhà nghiên cứu cho biết trong bài báo đăng trên arXiv. Họ cũng suy đoán rằng việc các mô hình khác thất bại là do chúng "kém hơn nhiều trong việc sử dụng các công cụ" so với GPT-4.
Phát hiện này cho thấy GPT-4 có "khả năng nổi trội" trong việc tự động phát hiện và khai thác các lỗ hổng one-day mà các chương trình quét có thể bỏ qua.
Daniel Kang, trợ lý giáo sư tại UIUC và là tác giả nghiên cứu, hy vọng rằng kết quả nghiên cứu của ông sẽ được sử dụng vào mục đích phòng thủ. Tuy nhiên, ông cũng biết rằng khả năng này có thể tạo ra một phương thức tấn công mới cho tội phạm mạng.
Ông nói với TechRepublic qua email: “Tôi nghĩ rằng việc khai thác các lỗ hổng one-day sẽ trở nên dễ dàng hơn khi chi phí của LLM giảm xuống. Trước nay đây vốn là một quy trình thủ công. Nếu LLM trở nên đủ rẻ, nó có thể sẽ được tự động hóa hơn."
Hiệu quả của việc GPT-4 tự động phát hiện và khai thác lỗ hổng đến đâu?
GPT-4 có thể tự động khai thác lỗ hổng one-day
Đặc vụ GPT-4 có thể tự động khai thác lỗ hổng bảo mật one-day có và không có liên quan đến mạng. Ngay cả những lỗ hổng được công bố trên Common Vulnerabilities and Exposures (CVE) sau ngày chốt dữ liệu của mô hình (26/11/2023) cũng không làm khó được nó.
Chia sẻ với TechRepublic, ông Kang cho biết: “Qua các thử nghiệm trước đó, chúng tôi đã biết GPT-4 có khả năng tự lập kế hoạch và thực hiện nó một cách rất tốt. Vì vậy kết quả này không nằm ngoài dự đoán cho lắm.”
Đặc vụ GPT-4 của Kang có thể truy cập internet và do đó có thể tiếp cận thông tin về cách khai thác lỗ hổng. Tuy nhiên anh giải thích rằng, nếu không có AI thông minh, chỉ riêng những thông tin đó sẽ không đủ để hướng dẫn các đặc vụ khai thác thành công các lỗ hổng.
“Chúng tôi sử dụng thuật ngữ ‘tự chủ’ theo nghĩa là GPT-4 có khả năng tự lập kế hoạch để khai thác lỗ hổng,” ông nói với TechRepublic. “Trên internet có nhiều thông tin về nhiều lỗ hổng có thật, chẳng hạn như ACIDRain (vốn đã gây ra thiệt hại hơn 50 triệu đô la). Tuy nhiên, việc khai thác chúng không hề đơn giản và riêng đối với tin tặc, cần phải có kiến thức về khoa học máy tính ở mức độ nào đó.”
Trong số 15 lỗ hổng được thử nghiệm với đặc vụ GPT-4, chỉ có hai lỗ hổng chưa thể bị khai thác: Iris XSS và Hertzbeat RCE. Các tác giả suy đoán kết quả này là do ứng dụng web Iris đặc biệt khó sử dụng và mô tả của Hertzbeat RCE sử dụng tiếng Trung, vốn có thể khó hiểu hơn khi ra lệnh bằng tiếng Anh.
GPT-4 không thể tự động khai thác lỗ hổng zero-day
Mặc dù GPT-4 đạt tỷ lệ thành công ấn tượng 87% khi được cung cấp mô tả của các lỗ hổng, con số này giảm xuống chỉ còn 7% khi nó biết được các thông tin đó.
Điều này cho thấy nó hiện chưa có khả năng khai thác lỗ hổng zero-day. Các nhà nghiên cứu cho biết kết quả này chứng minh rằng mô hình này "có khả năng khai thác lỗ hổng tốt hơn nhiều so với việc tìm kiếm lỗ hổng."
Sử dụng GPT-4 để khai thác lỗ hổng rẻ hơn so với việc dùng hacker
Các nhà nghiên cứu xác định chi phí trung bình cho mỗi lần khai thác thành công một lỗ hổng của GPT-4 là 8,80 USD. Trong khi đó việc thuê một chuyên gia kiểm tra thâm nhập (penetration tester) rơi vào khoảng 25 USD cho mỗi lỗ hổng nếu họ mất nửa giờ để làm việc đó.
Mặc dù đặc vụ LLM đã rẻ hơn 2,8 lần so với nhân lực, các nhà nghiên cứu hy vọng chi phí vận hành dùng GPT-4 sẽ tiếp tục giảm, vì GPT-3.5 đã trở nên rẻ hơn ba lần chỉ trong một năm. Các nhà nghiên cứu cho biết: "Trái ngược với việc sử dụng lao động của con người, việc gia tăng quy mô của các đặc vụ LLM cũng dễ hơn nhiều."
GPT-4 thực hiện nhiều bước để khai thác một lỗ hổng
Nghiên cứu cũng chỉ ra rằng một số lượng lớn lỗ hổng cần nhiều bước để khai thác, có trường hợp lên đến 100 bước. Điều đáng ngạc nhiên là số bước thực hiện trung bình khi AI có và không biết mô tả lỗ hổng chỉ chênh lệch không đáng kể, và GPT-4 thậm chí thực hiện ít bước hơn trong trường hợp lỗ hổng zero-day.
Ông Kang nói với TechRepublic, "Tôi nghĩ rằng nếu không có mô tả CVE, GPT-4 sẽ dễ dàng bỏ cuộc hơn vì nó không biết nên đi theo hướng nào."
Làm thế nào để đánh giá khả năng khai thác lỗ hổng của LLM?
Trước tiên các nhà nghiên cứu đã thu thập một bộ dữ liệu chuẩn gồm 15 lỗ hổng one-day được ghi nhận trong cơ sở dữ liệu CVE và các bài báo khoa học. Những lỗ hổng này liên quan đến website, container và các thư viện Python. Chúng đều là mã nguồn mở và có thể được thực nghiệm lại. Hơn một nửa các lỗ hổng này được xếp hạng "nghiêm trọng" hoặc "cực kỳ nghiêm trọng".
Tiếp theo, họ phát triển một đặc vụ LLM dựa trên công cụ tự động hóa ReAct. Nó cho phép AI suy luận về bước tiếp theo, viết lệnh, thực thi chúng bằng công cụ phù hợp và lặp lại quy trình trong một vòng lặp tương tác. Các nhà nghiên cứu chỉ cần 91 dòng mã để viết đặc vụ này, cho thấy tính đơn giản và hiệu quả của phương pháp này.
Mô hình ngôn ngữ cơ sở có thể được thay đổi linh hoạt giữa GPT-4 và các mô hình khác như:
- GPT-3.5
- OpenHermes-2.5-Mistral-7B
- LlaMA-2 Chat (70B)
- LLaMA-2 Chat (13B)
- LLaMA-2 Chat (7B)
- Mixtral-8x7B Instruct
- Mistral (7B) Instruct v0.2
- Nous Hermes-2 Yi 34B
- OpenChat 3.5
Đặc vụ này được trang bị các công cụ cần thiết để tự động khai thác lỗ hổng trong các hệ thống mục tiêu, bao gồm các thành phần web, thiết bị đầu cuối, kết quả tìm kiếm web, khả năng tạo và chỉnh sửa tệp, và trình thông dịch mã. Nó cũng có thể truy cập mô tả lỗ hổng từ cơ sở dữ liệu CVE để mô phỏng môi trường lỗ hổng one-day.
Tiếp theo, các nhà nghiên cứu đã cung cấp cho mỗi đặc vụ một câu lệnh (prompt) chi tiết để khuyến khích chúng tăng mức độ sáng tạo, kiên trì khám phá các cách tiếp cận khác nhau để khai thác 15 lỗ hổng. Lời chỉ dẫn này tốn 1.056 token - đơn vị ký tự dùng bởi các mô hình ngôn ngữ.
Hiệu suất của mỗi đặc vụ được đo lường dựa trên việc nó có khai thác thành công các lỗ hổng hay không, mức độ phức tạp của lỗ hổng và chi phí (dựa trên số lượng token được dùng cũng như như chi phí API từ OpenAI.)
Thử nghiệm cũng được thực hiện trong trường hợp đặc vụ không được cung cấp mô tả về các lỗ hổng để mô phỏng trường hợp zero-day vốn khó khăn hơn. Lúc này, tác nhân sẽ phải tự khám phá lỗ hổng và sau đó khai thác nó.
Song song với đặc vụ AI, các lỗ hổng đó cũng được cung cấp tới các trình quét lỗ hổng ZAP và Metasploit, hai chương trình được nhiều chuyên gia kiểm tra thâm nhập sử dụng. Các nhà nghiên cứu muốn so sánh hiệu quả của chúng so với AI trong việc xác định và khai thác lỗ hổng.
Kết quả cuối cùng cho thấy chỉ có đặc vụ chạy trên GPT-4 mới có thể tìm và khai thác lỗ hổng one-day — tức là khi nó được truy cập vào mô tả CVE của chúng. Tất cả các LLM khác và hai trình quét đều có tỷ lệ thành công 0% và do đó không được thử nghiệm với các lỗ hổng zero-day.
Tại sao các nhà nghiên cứu lại thử nghiệm khả năng khai thác lỗ hổng của các LLM?
Nghiên cứu này được thực hiện nhằm giải đáp các câu hỏi chưa có câu trả lời liên quan đến khả năng của LLM trong việc khai thác thành công các lỗ hổng one-day trong hệ thống máy tính mà không cần sự can thiệp của con người.
Khi các lỗ hổng được đưa lên cơ sở dữ liệu CVE, không phải lúc nào chúng cũng đi kèm với cách thức khai thác. Do đó, tin tặc hoặc chuyên gia kiểm tra thâm nhập muốn khai thác chúng phải tự tìm hiểu điều này. Các nhà nghiên cứu muốn tìm hiểu khả năng tự động hóa quy trình này với các LLM hiện có.
Nhóm nghiên cứu Illinois trước đây đã chứng minh khả năng tấn công tự động của LLM thông qua các bài tập “cướp cờ”, nhưng không phải ở trong môi trường thực tế. Các công trình khác lại chủ yếu tập trung vào khả năng nâng cao năng lực con người của AI trong an ninh mạng, ví dụ khi tin tặc sử dụng chatbot chạy trên GenAI.
Ông Kang chia sẻ với TechRepublic, “Phòng nghiên cứu của chúng tôi tập trung vào khả năng của các phương pháp AI tiên tiến, bao gồm các đặc vụ. Chúng tôi tập trung vào an ninh mạng do tầm quan trọng của nó trong thời gian gần đây.”
Theo Tech Republic.
