Micron trình làng module LPDRAM SOCAMM2 256GB dành cho AI data center, đang chờ JEDEC chuẩn hóa

Micron vừa bắt đầu gửi mẫu cho khách hàng module LPDRAM SOCAMM2 dung lượng 256 GB, được hãng giới thiệu là module LPDRAM dung lượng cao nhất hiện nay cho hạ tầng trung tâm dữ liệu, hướng đến các hệ thống AI và HPC cần bộ nhớ nhiều nhưng tiết kiệm điện.

Micron cho biết họ sử dụng thiết kế module LPDDR5X 32 Gb dạng monolithic, qua đó mở đường cho các cấu hình bộ nhớ công suất thấp nhưng dung lượng lớn, phục vụ các máy chủ mới trong bối cảnh AI training, inference, agentic AI và tác vụ tính toán phổ thông đang đồng thời làm phình nhu cầu bộ nhớ.

Theo Micron, các mô hình AI hiện đại ngày càng đòi hỏi cửa sổ ngữ cảnh lớn, tham số mô hình nặng hơn và đặc biệt là KV cache, khiến dung lượng, hiệu quả băng thông, độ trễ và hiệu quả điện năng trở thành nút thắt trực tiếp chi phối hiệu năng, khả năng mở rộng cũng như tổng chi phí sở hữu của hệ thống.

Về lợi ích ở cấp hệ thống, Micron cho biết 1 thanh SOCAMM2 256GB mang lại mức dung lượng cao hơn 33% so với thế hệ 192GB trước đó và có thể đạt tổng 2 TB LPDRAM trên một CPU 8 kênh, nhằm đáp ứng các bài toán inference ngữ cảnh dài và suy luận phức tạp. Bên cạnh đó, hãng nhấn mạnh module này tiêu thụ khoảng 1/3 điện năng và chỉ chiếm 1/3 diện tích so với RDIMM, qua đó cải thiện mật độ lắp đặt trong rack và giúp tối ưu TCO cho trung tâm dữ liệu.

Ở khía cạnh triển khai, Micron nhấn mạnh SOCAMM2 là thiết kế dạng module nhằm tăng khả năng bảo trì, hỗ trợ kiến trúc máy chủ làm mát bằng chất lỏng và tạo dư địa nâng cấp dung lượng trong tương lai khi nhu cầu bộ nhớ cho AI và core compute tiếp tục tăng. Đồng thời, Micron cho biết đang phối hợp với NVIDIA để đồng thiết kế bộ nhớ phục vụ hạ tầng AI tiên tiến và phía NVIDIA cũng khẳng định việc tăng dung lượng và băng thông với mức điện năng thấp hơn so với bộ nhớ máy chủ truyền thống là yếu tố giúp thúc đẩy thế hệ CPU AI tiếp theo.

Micron nói họ đang chờ JEDEC chuẩn hóa cho SOCAMM2 và hiện đã bắt đầu giao các lô đầu tiên của SOCAMM2 256 GB, đồng thời quảng bá danh mục LPDRAM cho trung tâm dữ liệu trải dài từ 8–64 GB đến module SOCAMM2 48–256 GB.