‘); glxm.que.push(function() { glxm.display(‘header_ad’); }); } } else { /* desktop*/ /* NOTHING */ }
công ty khởi nghiệp Pháp ZML muốn giảm sự phụ thuộc của các công ty vào một nhà cung cấp chip AI duy nhất. Được hỗ trợ bởi một số nhân vật lớn trong lĩnh vực AI, bao gồm Yann LeCun, công ty ở Paris vừa trình bày ZML/LLMDmột máy chủ suy luận có khả năng chạy các mô hình ngôn ngữ nguồn mở trên các kiến trúc khác nhau, bao gồm Nvidia, AMD, Google TPU, Apple Metal và Intel Arc!
Tăng tốc suy luận mà không bị ràng buộc vào nhà cung cấp
Suy luận, nghĩa là việc thực thi một mô hình đã được đào tạo để đáp ứng các truy vấn của người dùng, đang trở thành một trong những lĩnh vực chi phí chính của trí tuệ nhân tạo. ZML muốn cho phép các công ty và nhà cung cấp đám mây kết hợp nhiều loại chip, tùy thuộc vào nhu cầu về hiệu suất, giá cả hoặc mức tiêu thụ năng lượng của họ.
Steeve Morin, người sáng lập ZML và cựu Phó Giám đốc Kỹ thuật tại Zenly, tóm tắt khái niệm này theo cách này: “Ý tưởng là mang lại cho mọi người sức mạnh để tạo ra hệ thống của riêng họ và đạt được hiệu quả thực sự.” » Công ty khởi nghiệp này cho biết họ muốn phá bỏ các kho phần mềm thường hạn chế việc triển khai AI ở một kiến trúc thống trị.
Một công cụ miễn phí nhưng không phải nguồn mở
Không giống như khung công khai đầu tiên của nó, ZML/LLMD không được phát hành dưới dạng nguồn mở. Tuy nhiên, sản phẩm bắt đầu miễn phí để đo lường mức độ sử dụng trước khi có thể kiếm tiền.
ZML hoạt động trong một thị trường rất cạnh tranh, phải đối mặt với các dự án như vLLM, SGLang hay các nền tảng thương mại chuyên về suy luận. Tuy nhiên, công ty trẻ tuyên bố sẽ nhắm mục tiêu rộng hơn, đến mức làm việc gần giống nhất có thể với chính thiết kế của chip.
Một tín hiệu mạnh mẽ cho AI châu Âu
Với 20 triệu đô la đã được huy động và đội ngũ khoảng 20 người, ZML dường như đã trở thành hiện thân của một thế hệ khởi nghiệp mới ở châu Âu có khả năng xây dựng các nền tảng kỹ thuật cơ bản. ZML/LLMD là minh họa tuyệt vời cho sự làm chủ công nghệ này, trong một lĩnh vực tuy nhiên vẫn cực kỳ cạnh tranh và bị thống trị bởi một số gã khổng lồ (đầu tiên là Nvidia).
