Google Gemma 4 chính thức hỗ trợ GPU RTX của NVIDIA, mở ra kỷ nguyên AI cá nhân hóa

Google Gemma 4 chính thức hỗ trợ GPU RTX của NVIDIA, mở ra kỷ nguyên AI cá nhân hóa

Google và NVIDIA vừa công bố sự hợp tác nhằm tối ưu hóa dòng mô hình mã nguồn mở Gemma 4 cho các GPU NVIDIA, bao gồm cả dòng RTX dành cho người dùng phổ thông. Đây được xem là bước tiến quan trọng trong xu hướng triển khai AI trực tiếp trên thiết bị cá nhân, thay vì phụ thuộc hoàn toàn vào đám mây.

Mô hình Gemma 4 mới nhất bao gồm bốn biến thể: E2B, E4B, 26B và 31B, được thiết kế để phục vụ nhiều nhu cầu khác nhau. Trong đó, các mô hình E2B và E4B hướng đến hiệu suất siêu nhẹ với độ trễ gần như bằng không, có thể chạy hoàn toàn ngoại tuyến trên các thiết bị edge như Jetson Nano. Trong khi đó, các mô hình 26B và 31B được tối ưu cho các tác vụ suy luận phức tạp và môi trường phát triển phần mềm, phù hợp với các workflow AI tự động hóa (agentic AI) trên RTX PC, workstation và DGX Spark.

Để triển khai Gemma 4 trên máy tính cá nhân, người dùng có thể sử dụng Ollama hoặc cài đặt llama.cpp kết hợp với checkpoint GGUF trên Hugging Face. Ngoài ra, nền tảng Unsloth cũng hỗ trợ ngay từ ngày đầu ra mắt với các mô hình đã được lượng tử hóa, cho phép tinh chỉnh và triển khai hiệu quả thông qua Unsloth Studio.

Hiệu suất vượt trội trên GPU NVIDIA đến từ khả năng tăng tốc của Tensor Cores, giúp đẩy nhanh tốc độ suy luận AI với thông lượng cao hơn và độ trễ thấp hơn. Cùng với đó, hệ sinh thái phần mềm CUDA đảm bảo khả năng tương thích rộng rãi với các framework và công cụ phổ biến, cho phép các mô hình mới như Gemma 4 hoạt động hiệu quả ngay lập tức mà không cần tối ưu hóa thêm.