Google nói về siêu máy tính AI nhanh hơn, tiết kiệm năng lượng hơn loại dùng chip Nvidia

[miro1510]

Google hôm 4.4 đã công bố thông tin mới chi tiết về siêu máy tính mà công ty sử dụng để huấn luyện các mô hình trí tuệ nhân tạo (AI).

Google cho biết các siêu máy tính này vừa nhanh hơn vừa tiết kiệm năng lượng hơn hệ thống tương đương của Nvidia.

Google đã thiết kế chip tùy chỉnh của riêng mình được gọi là Tensor Processing Unit (TPU). Google sử dụng những con chip đó cho hơn 90% công việc của công ty về đào tạo trí tuệ nhân tạo (AI), quy trình cung cấp dữ liệu thông qua các mô hình để làm cho chúng hữu ích trong các tác vụ như trả lời truy vấn bằng văn bản giống con người hoặc tạo hình ảnh. TPU của Google đang ở thế hệ thứ tư.

Google hôm 4.3 đã xuất bản bài viết khoa học mô tả chi tiết cách họ kết nối hơn 4.000 chip lại với nhau thành một siêu máy tính, bằng cách sử dụng các công tắc quang học do chính họ phát triển để giúp kết nối các máy tính với nhau.

Cải thiện các kết nối này đã trở thành điểm cạnh tranh chính giữa các công ty chế tạo siêu máy tính AI vì các mô hình ngôn ngữ lớn (làm nền tảng cho Bard của Google hay ChatGPT của OpenAI) đã tăng đáng kể về kích thước, nghĩa là quá lớn để lưu trữ trên một con chip duy nhất.

Các mô hình ngôn ngữ lớn được lưu trữ trên hàng ngàn chip thay vì một chip duy nhất. Sau đó, các chip này phải làm việc cùng nhau trong vài tuần hoặc hơn nữa để huấn luyện mô hình ngôn ngữ lớn.

Mô hình PaLM của Google (mô hình ngôn ngữ lớn nhất mà công ty công bố công khai đến thời điểm này) được huấn luyện trong hơn 50 ngày bằng cách chia nó và đặt trên hai siêu máy tính có 4.000 chip.

Google nói các siêu máy tính của họ giúp dễ dàng cấu hình lại kết nối giữa các chip một cách nhanh chóng, giúp tránh các sự cố và tinh chỉnh được để đạt hiệu suất tốt hơn.

"Chuyển mạch giúp dễ dàng định tuyến xung quanh các thành phần bị lỗi. Tính linh hoạt này cho phép chúng tôi thay đổi cấu trúc liên kết siêu máy tính để tăng hiệu suất của mô hình học máy", Norm Jouppi và David Patterson, hai kỹ sư Google, viết trong một bài đăng trên blog về hệ thống.

Đến nay, Google mới công bố thông tin chi tiết về siêu máy tính của mình. Thế nhưng, nó đã hoạt động bên trong công ty từ năm 2020 tại một trung tâm dữ liệu ở quận Mayes, bang Oklahoma, Mỹ.

Google cho biết công ty khởi nghiệp Midjourney đã sử dụng siêu máy tính của họ để đào tạo mô hình ngôn ngữ (tạo ra những hình ảnh mới sau khi được cung cấp vài từ).

Trong bài viết, Google cho biết đối với các hệ thống cùng kích thước, siêu máy tính của họ nhanh hơn tới 1,7 lần và tiết kiệm điện hơn 1,9 lần so với siêu máy tính dựa trên chip Nvidia A100 (được tung ra cùng thời điểm với TPU thế hệ thứ tư). Người phát ngôn Nvidia từ chối bình luận.

Google cho biết không so sánh TPU thế hệ thứ tư với chip H100 hàng đầu hiện tại của Nvidia. Lý do vì H100 được tung ra thị trường sau TPU thế hệ thứ tư và được sản xuất bằng công nghệ mới hơn.

Google gợi ý rằng công ty có thể đang làm việc trên một TPU mới sẽ cạnh tranh với Nvidia H100 nhưng không cung cấp thông tin chi tiết. Norm Jouppi nói với Reuters rằng Google có "hệ thống chip tiềm năng trong tương lai để phát triển".

TPU, chip tùy chỉnh của Google, hiện ở thế hệ thứ tư

Nvidia thống trị lĩnh vực chip AI

Nvidia (có trụ sở tại thành phố Santa Clara, bang California, Mỹ) đã thống trị lĩnh vực chip được sử dụng để phát triển các công nghệ generative AI.

Generative AI là loại trí tuệ nhân tạo mà máy tính được lập trình để tự động tạo ra nội dung mới, như văn bản, hình ảnh, âm thanh và video. Nó khác với các hệ thống AI khác như máy học sâu (deep learning) hoặc học máy (machine learning) trong việc dự đoán kết quả từ dữ liệu đã có sẵn. Thay vì dựa trên dữ liệu huấn luyện, hệ thống generative AI có khả năng tự tạo ra dữ liệu mới và phong phú hơn. Các ví dụ của generative AI bao gồm các mô hình ngôn ngữ tự động tạo văn bản, các hệ thống nhận dạng hình ảnh, video và âm thanh.

Những công nghệ mới này dựa trên việc sử dụng hàng ngàn chip Nvidia cùng lúc để huấn luyện hệ thống AI trên kho dữ liệu khổng lồ. Ví dụ, Microsoft đã xây dựng một hệ thống với hơn 10.000 chip Nvidia cho OpenAI để sử dụng trong việc phát triển các công nghệ làm nền tảng cho ChatGPT, cụ thể là GPT.

Dù phải đối mặt với sự cạnh tranh trên thị trường chip AI từ AMD và một số công ty khởi nghiệp, Nvidia chiếm hơn 80% thị phần chip được sử dụng trong việc huấn luyện hệ thống AI.

Sự bùng nổ về AI đã giúp cổ phiếu Nvidia tăng mạnh trong năm 2023. Với giá trị vốn hóa thị trường là 678 tỉ USD, Nvidia đã phát triển trở nên có giá trị gấp khoảng 5 lần so với đối thủ lâu năm là Intel.

Đầu tháng 3, trang SCMP đưa tin tham vọng tạo chatbot giống ChatGPT của Trung Quốc bị đe dọa do thiếu chip AI tiên tiến.

Để đào tạo các mô hình ngôn ngữ lớn cần thiết cho các chatbot AI như ChatGPT, Trung Quốc có thể phải dựa vào số lượng thay vì chất lượng GPU (bộ xử lý đồ họa) sau khi bị Mỹ chặn mua các chip tiên tiến nhất, theo các doanh nhân và các kỹ sư trong nước.

Ví mô hình ngôn ngữ lớn là động cơ hơi nước của kỷ nguyên hiện đại, doanh nhân công nghệ AI trong hội đồng của Hiệp hội Trí tuệ Nhân tạo Trung Quốc nói ở cuộc hội thảo kín rằng Mỹ dẫn trước Trung Quốc về sức mạnh điện toán chủ yếu nhờ ưu thế về các GPU. GPU có lợi thế độc đáo trong học máy so với CPU (bộ xử lý trung tâm) do cách sử dụng tính toán đồng thời một cách hiệu quả.

“Chúng ta không có GPU mạnh như A100, nhưng có thể tập hợp các GPU kém mạnh hơn để giành chiến thắng nhờ số lượng. Tôi nghĩ rằng sức mạnh tính toán vẫn là một yếu tố rất quan trọng, mang tính quyết định để giành chiến thắng trong cuộc cạnh tranh sau này”, doanh nhân này nhận xét. A100 là chip AI cho trung tâm dữ liệu của Nvidia mà Mỹ đã chặn xuất khẩu sang Trung Quốc.

Doanh nhân trên, giống như những người khác được trích dẫn trong câu chuyện này, yêu cầu không nêu tên vì tính nhạy cảm của chủ đề.

Kể từ khi OpenAI ra mắt ChatGPT vào tháng 11.2022, mức độ phổ biến đáng kinh ngạc của chatbot này dẫn đến cuộc chạy đua giữa các hãng công nghệ lớn để phát triển các phiên bản sản phẩm generative AI của riêng họ. Điều này đã mở rộng sang Trung Quốc, nơi công ty tìm kiếm internet Baidu, chủ sở hữu ứng dụng TikTok - ByteDance, gã khổng lồ về truyền thông xã hội và game Tencent Holdings và hãng khổng lồ thương mại điện tử Alibaba đều tham gia cuộc đua.

Tuy nhiên, các chuyên gia đã cảnh báo rằng Trung Quốc phải đối mặt với một số trở ngại lớn trong việc tạo ra chatbot tương tự như ChatGPT. Sản phẩm này có thể bị cản trở bởi sự kiểm duyệt hoặc các hạn chế ngày càng tăng với việc tiếp cận các chất bán dẫn tiên tiến. Khi nói đến chip được sử dụng để đào tạo AI, GPU là thành phần chính.

Theo TrendForce (công ty nghiên cứu thị trường và dự báo xu hướng công nghệ trụ sở tại Đài Loan), việc triển khai một số lượng lớn GPU hiệu suất cao giúp rút ngắn thời gian đào tạo generative AI, đòi hỏi phải sàng lọc lượng dữ liệu khổng lồ.

Trong trường hợp mô hình GPT cung cấp sức mạnh cho ChatGPT, số lượng tham số đào tạo tăng từ khoảng 120 triệu vào năm 2018 lên gần 180 tỉ vào năm 2020, TrendForce ước tính.

“Số lượng GPU cần thiết để thương mại hóa mô hình GPT dự kiến sẽ trên 30.000”,TrendForce cho biết trong ghi chú, đưa ra ước tính giả định việc sử dụng A100 của Nivida.

CPU và GPU tiên tiến của các nhà phát triển hàng đầu như Intel, AMD và Nvidia được sử dụng rộng rãi trong số các nhà cung cấp dịch vụ đám mây AI của Trung Quốc.

Tại Hội nghị các nhà phát triển AI toàn cầu ở thành phố Thượng Hải cuối tháng 2, một số chuyên gia lo ngại tham vọng tạo chatbot AI tương tự ChatGPT của các hãng công nghệ lớn Trung Quốc có thể bị cản trở do thiếu chip cung cấp sức mạnh tính toán khổng lồ cần thiết để hỗ trợ các mô hình AI tinh vi.

“Nếu Trung Quốc muốn tạo ChatGPT của riêng mình, chúng ta cần hàng chục ngàn chip Nvidia A100 để cung cấp sức mạnh tính toán cần thiết”, Zheng Weimin, giáo sư Đại học Thanh Hoa trực thuộc Học viện Kỹ thuật Trung Quốc, cho hay.

Theo Yang Fan, đồng sáng lập và Phó chủ tịch của SenseTime (công ty phần mềm AI hàng đầu Trung Quốc bị Mỹ trừng phạt thương mại kể từ năm 2019), giá chip A100 đã tăng 50% trong hai tuần qua do sự náo nhiệt xung quanh ChatGPT.

“Trung Quốc vẫn chưa thể sản xuất chip và phần mềm có thể hỗ trợ ít nhất 50 đến 70% công suất tính toán cần thiết để chạy ChatGPT”, Yang Fan nhấn mạnh.