ASUS giới thiệu UGen Intel Arc Pro B70 32GB, mở rộng lựa chọn chạy AI tại máy

ASUS giới thiệu UGen Intel Arc Pro B70 32GB, mẫu card tăng tốc phục vụ suy luận AI trên máy tính để bàn và workstation. Sản phẩm tập trung vào dung lượng bộ nhớ lớn, khả năng mở rộng nhiều GPU và hệ sinh thái phần mềm dành cho AI.

Với 32GB GDDR6 hỗ trợ ECC, UGen B70 hướng đến các nhà phát triển, studio và doanh nghiệp muốn triển khai mô hình AI trên hệ thống riêng. Những ứng dụng được ASUS đề cập bao gồm mô hình ngôn ngữ lớn, trợ lý AI và quy trình làm việc sử dụng nhiều AI agent.

32GB VRAM đáp ứng nhu cầu bộ nhớ của mô hình AI

Khi triển khai AI, bộ nhớ GPU phải chứa trọng số mô hình và dữ liệu cần thiết trong quá trình xử lý. Nhu cầu này còn tăng lên khi mở rộng độ dài ngữ cảnh hoặc phục vụ nhiều yêu cầu cùng lúc.

Dung lượng 32GB của ASUS UGen B70 tạo thêm dư địa cho các tác vụ đó. Theo ASUS, một card có thể phục vụ nhiều mô hình dưới 27 tỷ tham số, tùy mô hình và phương án triển khai.

Con số tham số không phải điều kiện duy nhất quyết định khả năng vận hành. Độ chính xác dữ liệu, phương pháp lượng tử hóa, độ dài ngữ cảnh và phần mềm đều ảnh hưởng đến lượng VRAM cần sử dụng. Vì vậy, người dùng cần lựa chọn cấu hình theo mô hình thực tế dự định chạy.

Mở rộng lên tổng VRAM 128GB với bốn card

ASUS công bố UGen Intel Arc Pro B70 có thể triển khai theo cấu hình hai hoặc bốn card:

Đây là tổng dung lượng bộ nhớ trên các GPU. Việc sử dụng nhiều card cho cùng một mô hình cần phần mềm hỗ trợ phân chia tác vụ và dữ liệu phù hợp.

Hướng mở rộng này cho phép người dùng bắt đầu từ một card, sau đó nâng cấp theo quy mô ứng dụng. Với doanh nghiệp, khả năng triển khai tại chỗ cũng giúp chủ động hơn về nơi lưu trữ và xử lý dữ liệu.

Thiết kế hai khe cho workstation nhiều GPU

UGen Intel Arc Pro B70 sử dụng kiến trúc Intel Xe2, có 32 Xe-core và 256 bộ máy XMX AI. ASUS công bố năng lực tính toán tối đa 367 TOPS ở định dạng INT8, cùng mức công suất bo mạch điển hình 310W.

Card sử dụng giao tiếp PCIe 5.0 x16, thiết kế dày hai khe và hệ thống tản nhiệt dạng blower. Kiểu dáng này hướng đến việc bố trí nhiều GPU trong workstation. Khi xây dựng hệ thống nhiều card, người dùng vẫn cần tính toán đầy đủ khe cắm, nguồn điện và luồng gió của vỏ máy.

Hỗ trợ nhiều công cụ triển khai AI

ASUS giới thiệu hệ sinh thái phần mềm hỗ trợ UGen B70 gồm Intel LLM Scaler, vLLM XPU, llama.cpp với SYCL hoặc Vulkan, PyTorch XPU, OpenVINO và oneAPI.

Đối với nhà phát triển, đây là cơ sở để lựa chọn công cụ phù hợp với mô hình và ứng dụng đang xây dựng. Khả năng tương thích cụ thể vẫn cần được đối chiếu theo backend, phiên bản phần mềm và driver sử dụng.

Thêm lựa chọn cho hạ tầng AI tại chỗ

ASUS UGen Intel Arc Pro B70 32GB mở rộng lựa chọn phần cứng cho người dùng muốn tự triển khai AI. Điểm đáng chú ý của sản phẩm là bộ nhớ ECC 32GB trên mỗi card, thiết kế phù hợp workstation và khả năng phát triển thành hệ thống nhiều GPU.

Với cá nhân, sản phẩm có thể phục vụ thử nghiệm trợ lý AI và ứng dụng mô hình ngôn ngữ. Với doanh nghiệp, hướng triển khai nhiều card tạo nền tảng cho chatbot nội bộ, tìm kiếm tài liệu và tự động hóa quy trình trên hạ tầng riêng.

Bạn đọc quan tâm đến triển khai AI tại máy có thể tham khảo các cấu hình PC AI Local và Agent Computer powered by ASUS tại An Phát Computer.

Nguồn: ASUS.