NVLink не дает значительных преимуществ в тестах

Введение

Цель проведенного тестирования - выяснить, насколько оправданы заявленные преимущества технологии NVLink от Nvidia при работе с нейросетями, особенно в контексте параллельной обработки данных. Для этого были использованы две видеокарты Nvidia A5000 с 24 ГБ видеопамяти каждая. Первоначально их объединили с помощью NVLink, что должно было по идее улучшить производительность благодаря более высокой пропускной способности и прямому соединению между чипами, минуя процессор. Однако после проведения серии тестов с использованием языковой модели LLaMA 3.2 на 90 миллиардов параметров значительных различий в скорости выполнения задач не было обнаружено. езультаты, полученные с подключенным NVLink, оказались почти на одном уровне с результатами, полученными без него, что наводит на мысль о том, что в реальных условиях потенциал NVLink не всегда оправдывает ожидания.

Мотивация исследований

Nvidia действительно активно продвигает NVLink как превосходное решение для современных вычислительных задач, особенно в контексте работы с нейросетями. Идея заключается в том, что такая высокая пропускная способность и возможность обойти процессор позволяют GPU более эффективно обмениваться данными, что должно привести к заметному увеличению скорости выполнения задач, связанных с глубоким обучением. Однако, на практике, важность этих теоретических преимуществ вызывает вопросы.

В условиях реального использования, когда вычислительные задачи требуют не только передачи данных между видеокартами, но и быстрого доступа к памяти и оптимизации работы самих моделей, эффективность NVLink может оказаться не столь значительной, как предполагалось. Для множества распространённых сценариев применения нейросетей, таких как инференс и базовое обучение, наличие NVLink не всегда обосновано, так как недостаток оптимизации может нивелировать теоретическое преимущество, которое оно предлагает. Поэтому важным аспектом является не только технологическая новизна, но и реальная настройка и оптимизация под конкретные задачи для выявления полного потенциала NVLink.

Настройка и запуск моделей

С запуском модели LLaMA 3.2, обладающей 90 миллиардами параметров, никаких проблем не возникло благодаря поддержке, предлагаемой платформой Ollama. Эта мощная языковая модель была квантизирована до 4 бит, что позволило значительно сократить требования к видеопамяти, не влияя при этом на качество её работы. Такой шаг стал необходимым, поскольку даже обладая 48 гигабайтами видеопамяти на двух видеокартах Nvidia A5000, полноценная реализация модели в формате FP16 была невозможна. Квантизация — это компромисс, позволяющий сохранить приемлемые показатели производительности, при этом минимизируя использование ресурсов. Это облегчает работу с объемными моделями, особенно в условиях недостатка вычислительных мощностей, и делает их доступными для тестирования и экспериментов в средах с ограниченными ресурсами.

Тестовые сценарии

В тестах начали с простой задачи — создания примитивного лендинга с использованием модели LLaMA 3.2, при этом NVLink был включен. Результат показал скорость генерации 2.82 токена в секунду, а при выполнении текстовых запросов модель работала еще быстрее, демонстрируя 3.75 токенов в секунду. Это дало основание полагать, что NVLink оказывает заметное влияние на производительность в простой обработке текстов.

Затем, отключив NVLink, решили усложнить задачу и попросили модель создать клеточный автомат. Интересно, что итоговая скорость инференса без NVLink оказалась 3.68 токенов в секунду. Это всего лишь на 1.86% медленнее, чем с активным NVLink, что вписывается в пределы статистической погрешности. Данные результаты свидетельствуют о том, что в некоторых случаях работа без NVLink может не только не ухудшать, но даже сохранять производительность на уровне, сопоставимом с технологиями, которые должны обеспечивать преимущества в скорости.

Распознавание текста

Тесты по распознаванию текста показали неожиданные результаты в контексте использования технологии NVLink. При работе без NVLink система продемонстрировала скорость обработки 3.14 токенов в секунду, что значительно превысило показатели с включенным NVLink, который показал лишь 2.82 токена в секунду. Аналогичная ситуация наблюдалась и при распознавании английского текста, где также была отмечена высокая производительность без использования этой технологии.

Эти данные указывают на то, что значительно увеличенная пропускная способность NVLink не всегда является решающим фактором для повышения скорости выполнения задач, связанных с распознаванием и генерацией текста. Вместо этого, производительность может зависеть от многих других факторов, включая оптимизацию алгоритмов и специфику обрабатываемых задач, что еще раз подчеркивает необходимость тщательной оценки преимуществ NVLink в различных сценариях использования.

Итоги и рекомендации

Несмотря на теоретические преимущества NVLink в производительности, проведенные тесты продемонстрировали неоднозначные результаты. В большинстве сценариев, особенно при выполнении типовых задач интенсива в использовании GPU, конфигурация из двух видеокарт без NVLink показала схожую, если не лучшую, эффективность. Это делает базовую конфигурацию более привлекательной для тех, кто только начинает работу с нейросетями. Тем не менее, для энтузиастов и исследователей, готовых экспериментировать с оптимизацией и специализированными задачами, NVLink может открыть новые горизонты и остановить возможность более глубокого изучения сложных моделей, которые требуют совместной работы нескольких GPU.

Видеокарты Nvidia A5000 все еще остаются на переднем крае технологий для GPU-серверов. Благодаря своей высокой производительности, значительному объему видеопамяти и современным архитектурным особенностям, они способны эффективно выполнять широкий спектр вычислительных задач. Строго говоря, несмотря на некоторые ограничения, Nvidia A5000 предоставляет достаточно возможностей для большинства сценариев, что делает их отличным выбором для создания надежных и мощных систем обработки данных.