Enfabrica phát triển hệ thống bộ nhớ Ethernet Emfasys, bổ sung lên đến 18TB DDR5 cho AI và giảm chi phí tạo token tới 50%

Enfabrica phát triển hệ thống bộ nhớ Ethernet Emfasys, bổ sung lên đến 18TB DDR5 cho AI và giảm chi phí tạo token tới 50%

Enfabrica, một startup được Nvidia hỗ trợ, đã phát triển hệ thống bộ nhớ Ethernet Emfasys, cho phép các máy chủ AI bổ sung lên đến 18TB bộ nhớ DDR5 thông qua kết nối Ethernet tiêu chuẩn, giúp giảm chi phí tạo token trong các tác vụ suy luận quy mô lớn tới 50%.

Giới thiệu về hệ thống Emfasys

Hệ thống Emfasys của Enfabrica sử dụng công nghệ Remote Direct Memory Access (RDMA) qua Ethernet để kết nối bộ nhớ DDR5 với các máy chủ GPU. Hệ thống này tương thích với các máy chủ GPU 4-way và 8-way thông qua cổng Ethernet 400G hoặc 800G, sử dụng giao thức CXL.mem để truy cập bộ nhớ với độ trễ thấp và không cần sự can thiệp của CPU. Điều này giúp giảm bớt áp lực lên bộ nhớ HBM đính kèm GPU, vốn có dung lượng hạn chế và chi phí cao.

Lợi ích của hệ thống Emfasys

• Mở rộng bộ nhớ linh hoạt: Hệ thống Emfasys cho phép mở rộng bộ nhớ lên đến 18TB cho mỗi máy chủ AI, giúp xử lý các tác vụ suy luận với yêu cầu bộ nhớ cao mà không cần thay thế phần cứng hiện có.

• Giảm chi phí: Việc sử dụng bộ nhớ DDR5 ngoài hệ thống giúp giảm chi phí so với việc sử dụng bộ nhớ HBM đính kèm GPU, đồng thời tối ưu hóa việc sử dụng tài nguyên tính toán.

• Tương thích cao: Hệ thống Emfasys tương thích với phần cứng và phần mềm hiện có, không yêu cầu thay đổi kiến trúc hệ thống, giúp việc triển khai trở nên đơn giản và tiết kiệm thời gian.

Tình trạng triển khai và thử nghiệm

Hiện tại, hệ thống Emfasys đang được Enfabrica thử nghiệm với một số khách hàng chọn lọc. Chưa có thông tin chính thức về thời gian ra mắt sản phẩm này ra thị trường rộng rãi.