Chatbot AI đang trở nên 'điên' hơn

[pizza]

Một làn sóng mới của các hệ thống "suy luận" từ các công ty như OpenAI đang khiến thông tin sai lệch xảy ra thường xuyên hơn. Điều nguy hiểm là các công ty cũng không biết tại sao.

Tháng 4, một bot AI xử lý hỗ trợ kỹ thuật cho Cursor, công cụ mới nổi dành cho các lập trình viên, đã thông báo cho một số khách hàng về một thay đổi trong chính sách của công ty. Cụ thể, thông báo cho biết họ không còn được phép sử dụng Cursor trên nhiều hơn một máy tính.

Trên các diễn đàn và mạng xã hội, khách hàng đã đăng bài bày tỏ sự tức giận. Một số thậm chí còn hủy tài khoản Cursor. Tuy nhiên, một số còn tức giận hơn khi nhận ra điều gì đã xảy ra: bot AI đã thông báo một thay đổi chính sách không tồn tại.

"Chúng tôi không có chính sách như vậy. Bạn tất nhiên có thể sử dụng Cursor trên nhiều máy. Thật không may, đây là một phản hồi không chính xác từ một bot hỗ trợ AI", Michael Truell, giám đốc điều hành và đồng sáng lập của công ty viết trong một bài đăng trên Reddit.

Thông tin giả nhiều không kiểm soát
Hơn hai năm sau sự xuất hiện của ChatGPT, các công ty công nghệ, nhân viên văn phòng và người tiêu dùng hàng ngày đều đang sử dụng bot AI cho một loạt các tác vụ với tần suất ngày càng cao.

Tuy nhiên, vẫn chưa có cách nào đảm bảo rằng các hệ thống này tạo ra thông tin chính xác. Có một nghịch lý rằng các công nghệ mới và mạnh mẽ nhất, hay còn được gọi là hệ thống "suy luận" từ các công ty như OpenAI, Google và DeepSeek, lại đang tạo ra nhiều lỗi hơn.


Đoạn hội thoại vô nghĩa của ChatGPT khi người dùng hỏi có nên cho chó ăn ngũ cốc không. Ảnh: Reddit.
Trái với kỹ năng toán học đã cải thiện đáng kể, khả năng nắm bắt sự thật của các mô hình ngôn ngữ lớn (LLM) lại trở nên lung lay hơn. Đáng nói, đến chính các kỹ sư cũng hoàn toàn không rõ tại sao.

Theo New York Times, các chatbot AI ngày nay dựa trên các hệ thống toán học phức tạp để học kỹ năng bằng cách phân tích lượng dữ liệu số khổng lồ. Tuy nhiên, chúng không thể quyết định điều gì đúng và điều gì sai.

Từ đó, tình trạng "ảo giác" (hallucinate) hay tự bịa đặt thông tin xuất hiện. Thậm chí, theo các nghiên cứu, những LLM thế mới nhất còn gặp "ảo giác" nhiều hơn một số mô hình cũ.

Cụ thể, trong báo cáo mới nhất, OpenAI đã phát hiện ra việc mô hình o3 đã "ảo giác" khi trả lời 33% câu hỏi trên PersonQA, tiêu chuẩn nội bộ công ty để đo lường độ chính xác kiến thức của mô hình về con người.

Để so sánh, con số này gấp đôi tỷ lệ "ảo giác" của các mô hình lập luận trước đó của OpenAI là o1 và o3-mini, với tỷ lệ lần lượt 16% và 14,8%. Trong khi đó, mô hình o4-mini thậm chí còn tệ hơn trên PersonQA khi gặp "ảo giác" tới 48% thời lượng bài kiểm tra.

Đáng lo ngại hơn, "cha đẻ ChatGPT" thực sự không biết tại sao điều này lại xảy ra. Cụ thể, trong báo cáo kỹ thuật về o3 và o4-mini, OpenAI viết rằng "cần nghiên cứu thêm để hiểu tại sao tình trạng "ảo giác" lại trở nên tồi tệ hơn" khi mở rộng quy mô các mô hình lập luận.

o3 và o4-mini hoạt động tốt hơn ở một số lĩnh vực, bao gồm các tác vụ liên quan đến lập trình và toán học. Tuy nhiên, do cần "đưa ra nhiều tuyên bố hơn là nói tổng quát", cả hai mô hình này đã gặp tình trạng cho ra kết quả gồm "nhiều tuyên bố chính xác hơn, nhưng đồng thời cũng xuất hiện nhiều tuyên bố không chính xác hơn".

"Điều đó sẽ không bao giờ biến mất"
Thay vì một bộ quy tắc nghiêm ngặt được xác định bởi các kỹ sư con người, các hệ thống LLM sử dụng xác suất toán học để đoán phản hồi tốt nhất. Vì vậy, chúng luôn mắc một số lỗi nhất định.

"Bất chấp những nỗ lực tốt nhất của chúng tôi, mô hình AI sẽ luôn bị ảo giác. Điều đó sẽ không bao giờ biến mất", Amr Awadallah, cựu giám đốc Google nói.


Theo IBM, ảo giác là hiện tượng mô hình ngôn ngữ lớn (LLM) - thường là chatbot hoặc công cụ thị giác máy tính - nhận mẫu dữ liệu không tồn tại hoặc không thể nhận dạng với con người, từ đó tạo kết quả vô nghĩa hoặc sai lệch. Ảnh: iStock.
Trong một bài báo chi tiết về các thử nghiệm, OpenAI cho biết hãng cần nghiên cứu thêm để hiểu nguyên nhân của những kết quả này.

Theo các chuyên gia, do những hệ thống AI học từ lượng dữ liệu lớn hơn nhiều so với khả năng con người có thể hiểu được, dẫn đến việc sẽ rất khó khăn trong việc xác định tại sao chúng lại hành xử theo những cách như vậy.

"Ảo giác vốn dĩ phổ biến hơn trong các mô hình suy luận, mặc dù chúng tôi đang tích cực làm việc để giảm tỷ lệ đã thấy ở o3 và o4-mini. Chúng tôi sẽ tiếp tục nghiên cứu về ảo giác trên tất cả mô hình để cải thiện độ chính xác và độ tin cậy", Gaby Raila, người phát ngôn của OpenAI nói.

Các thử nghiệm từ nhiều công ty độc lập và nhà nghiên cứu cho thấy tỷ lệ ảo giác cũng đang gia tăng đối với các mô hình suy luận từ những công ty như Google hay DeepSeek.

Từ cuối năm 2023, công ty Vectara của Awadallah đã theo dõi tần suất các chatbot đưa thông tin sai sự thật. Công ty yêu cầu các hệ thống này thực hiện một nhiệm vụ đơn giản dễ dàng xác minh là tóm tắt những bài báo cụ thể. Ngay cả khi đó, các chatbot vẫn kiên trì bịa đặt thông tin.

Cụ thể, nghiên cứu ban đầu của Vectara ước tính rằng trong giả thuyết này, các chatbot đã bịa đặt thông tin ít nhất 3% và đôi khi lên tới 27%.

Trong một năm rưỡi qua, các công ty như OpenAI và Google đã giảm các con số đó xuống khoảng 1 hoặc 2%. Các công ty khác, như startup Anthropic ở San Francisco, dao động quanh mức 4%.

Tuy nhiên, tỷ lệ ảo giác trong thử nghiệm này vẫn tiếp tục tăng lên đối với các hệ thống suy luận. Tần suất hệ thống suy luận R1 của DeepSeek gặp ảo giác tăng 14,3%, trong khi o3 của OpenAI tăng lên 6,8%.

Một vấn đề khác là các mô hình suy luận được thiết kế để dành thời gian "suy nghĩ" về các vấn đề phức tạp, trước khi đưa ra câu trả lời cuối cùng.


Một câu lệnh (prompt) ngăn AI bịa đặt thông tin được Apple chèn vào trong bản thử nghiệm đầu tiên macOS 15.1. Ảnh: Reddit/devanxd2000.
Mặc dù vậy, mặt trái là khi cố gắng giải quyết vấn đề từng bước, mô hình AI lại càng có nguy cơ gặp ảo giác ở mỗi bước. Quan trọng hơn, lỗi có thể tích lũy khi mô hình dành nhiều thời gian hơn để suy nghĩ.

Các bot mới nhất hiển thị từng bước cho người dùng, điều đó có nghĩa là người dùng cũng có thể thấy từng lỗi. Các nhà nghiên cứu cũng phát hiện ra rằng trong nhiều trường hợp, bước suy nghĩ được hiển thị bởi một chatbot thực tế là không liên quan đến câu trả lời cuối cùng mà nó đưa ra.

"Những gì hệ thống nói rằng đang suy luận không nhất thiết là những gì thực tế nó đang suy nghĩ", Aryo Pradipta Gema, một nhà nghiên cứu AI tại Đại học Edinburgh và là cộng tác viên tại Anthropic nói.

VietBF@ sưu tập