Компания Nvidia объявила о значительном повышении производительности своих видеокарт GeForce RTX и платформ RTX AI для ПК благодаря выпуску новой версии драйвера 555.85 WHQL. Это обновление позволяет в три раза повысить производительность алгоритмов искусственного интеллекта (ИИ) при работе с платформами ONNX Runtime и DirectML, которые используются для запуска моделей ИИ в среде операционной системы Windows.
По словам представителей компании, последние оптимизации направлены на ускорение работы ряда крупных языковых моделей, используемых в генеративном ИИ. Кроме того, драйвер повышает производительность интерфейса программирования WebNN для DirectML, который используется веб-разработчиками для размещения новых моделей искусственного интеллекта.
Nvidia активно работает с Microsoft над дальнейшим повышением производительности графических процессоров RTX и добавлением поддержки DirectML в PyTorch. Новый драйвер также включает в себя ряд других улучшений, таких как поддержка мета-команды DQ-GEMM для обработки квантования INT4 по весу только для LLM, новые методы нормализации RMSNorm для моделей Llama 2, Llama 3, Mistral и Phi-3, механизмы групповой обработки и обработки нескольких запросов, а также помимо скользящего окна attention для поддержки Mistral, обновления KV улучшают внимание и поддерживают тензоры GEMM, которые не кратны 8, для повышения производительности контекстной фазы.
Тесты производительности показывают значительный прирост производительности во всех областях, включая работу с данными типов INT4 и FP16. Большие языковые модели Phi-3, Llama 3, Gemma и Mistral демонстрируют трехкратное увеличение производительности благодаря этим оптимизациям. NVIDIA заверяет, что их графические процессоры обеспечивают производительность искусственного интеллекта на уровне до 1300 вершин, что значительно превышает возможности любых других конкурирующих решений.
]]>
Свежие комментарии