Тестирование трех рабочих станций с унифицированной памятью для локального ИИ

Цифровой суверенитет предполагает использование локальных моделей искусственного интеллекта (ИИ) на собственном оборудовании. Часто ошибочно полагают, что выбор ограничен либо меньшими версиями крупных языковых моделей (LLM), либо инвестициями в более чем 100 000 евро в оборудование для центров обработки данных, такое как H200. При этом, модели, подобные Ministral 3 с 14 миллиардами параметров, которые еще могут работать на стандартных потребительских видеокартах с 16 или 24 ГБ видеопамяти, быстро достигают пределов своей производительности.

Значительно более мощными модели становятся только при размере от 100 миллиардов параметров. Однако такие модели, даже с учетом квантования (использование параметров с меньшей точностью, например INT4 вместо FP16), требуют графического процессора с минимум 80 ГБ видеопамяти.

Рабочие станции с унифицированной памятью (Unified-Memory Workstations) представляют собой категорию доступного и компактного оборудования, идеально подходящего для вычислений ИИ. Эти устройства особенно хорошо подходят для LLM-моделей размером около 100 миллиардов параметров, в частности, при использовании архитектуры Mixture-of-Experts. В рамках данного обзора сравнивается производительность систем DGX Spark, Ryzen AI Max+ 395 и Apple M4 Max для плотных и разреженных моделей в режимах Prefill и Decode.

Таким образом, для разработчиков ИИ и выполнения задач инференса в малых и средних предприятиях (МСП) представляет интерес новая категория устройств: рабочие станции с унифицированной памятью, которые сочетают большой объем видеопамяти с доступной ценой. В этой статье сравниваются три таких устройства.