Anthropic quan tâm công nghệ chip AI siêu nhanh từ startup Anh để tăng tốc suy luận AI gấp 100 lần

Anthropic, công ty đứng sau Claude AI, hiện đang dùng hạ tầng chip từ nhiều bên gồm NVIDIA, Google và Amazon để tránh phụ thuộc vào một nhà cung cấp duy nhất, trong bối cảnh nhu cầu tính toán cho AI ngày càng tăng. Tuy vậy, xu hướng chung của các hãng AI lớn là dần chuyển sang đầu tư hoặc phát triển chip “nội bộ” phù hợp hơn với bài toán của riêng mình, và bước đi mới nhất của Anthropic là bắt đầu đàm phán với một startup tại Anh tên Fractile.

Theo nguồn tin từ The Information được trích dẫn, Fractile đang phát triển một kiến trúc gọi là Memory Compute Fusion Architecture, tập trung giảm tối đa lượng dữ liệu phải đưa ra DRAM và hạn chế phụ thuộc vào bộ nhớ ngoài chip. Thay vì để dữ liệu liên tục đi và về giữa chip và DRAM, kiến trúc này cố gắng xử lý ngay bên trong chip nhờ hệ thống SRAM do chính Fractile thiết kế, khá giống cách NVIDIA đang làm với các LPU Groq và nền tảng Groq 3 LPX. Ý tưởng là đưa nhiều SRAM tốc độ cao lên rất gần phần tính toán, từ đó tăng băng thông, giảm độ trễ và tối ưu cho suy luận mô hình lớn.

Sau khi NVIDIA mua lại Groq, hãng này đã tích hợp LPU Groq 3 vào hệ sinh thái Vera Rubin như một bộ tăng tốc suy luận AI riêng, với cấu hình đáng chú ý: 500MB SRAM, băng thông SRAM 150TB/s, băng thông scale-up 2.5TB/s. Các LPU này được đóng gói trong rack Groq 3 LPX, chứa 256 LPU với tổng cộng 128GB SRAM để tối ưu cho xử lý độ trễ thấp ở quy mô trung tâm dữ liệu. Groq 3 LPU được NVIDIA định vị là “Inference accelerator”, một lớp chip chuyên đẩy nhanh phần suy luận của mô hình, khác với GPU truyền thống vốn gánh cả huấn luyện lẫn suy luận.

Fractile tạm thời chưa có chip thử nghiệm, nhưng tuyên bố tham vọng là tăng tốc suy luận AI gấp 100 lần và giảm chi phí xuống 10 lần so với giải pháp Groq hiện tại. Đội ngũ kỹ sư của startup này đến từ những cái tên quen thuộc trong ngành như NVIDIA, Graphcore và Imagination Technologies, cho thấy tham vọng nhắm vào mảng phần cứng AI hiệu năng cao chứ không chỉ là thử nghiệm mang tính nghiên cứu. Nếu các cuộc đàm phán với Anthropic tiến triển, đây có thể là bước khởi đầu cho chiến lược chip “nhà làm” của hãng, song hiện tại mọi thứ vẫn ở giai đoạn rất sớm.

Trong khi đó, Anthropic vẫn tiếp tục xây dựng hạ tầng tính toán dựa trên các nhà cung cấp lớn bên ngoài. Công ty đã ký thỏa thuận Multi-Gigawatt với Broadcom, đồng thời được cho là sắp bổ sung thêm AMD vào danh sách đối tác tính toán bên cạnh NVIDIA, Google và Amazon. Cấu trúc nhiều nguồn cung này giúp Anthropic có thể vừa tận dụng hệ sinh thái GPU/NPU truyền thống, vừa mở đường cho các giải pháp tăng tốc suy luận mới như kiến trúc Memory Compute Fusion của Fractile nếu mọi thứ đi đúng lộ trình.