Суперкомпьютер NVIDIA Eos побил собственный рекорд по обучению ИИ

В зависимости от используемого вами оборудования обучение большой языковой модели любого значительного размера может занять недели, месяцы и даже годы. Так вести бизнес невозможно — ни у кого нет электричества и времени ждать так долго. В среду NVIDIA представила новейшую версию своего суперкомпьютера Eos, оснащенного более чем 10 000 графическими процессорами H100 Tensor Core и способного обучать модель GPT-3 со 175 миллиардами параметров на 1 миллиарде токенов менее чем за четыре минуты. Это в три раза быстрее, чем предыдущий тест отраслевого стандарта MLPerf AI, который NVIDIA установила всего шесть месяцев назад.

Eos представляет собой огромный объем вычислений. Он использует 10752 графических процессора, объединенных с помощью сети NVIDIA Infiniband, и 860 терабайт памяти с высокой пропускной способностью (совокупная пропускная способность 36 ПБ/сек и 1,1 ПБ сек при соединении между собой), чтобы обеспечить 40 эксафлопс вычислительной мощности ИИ. Вся облачная архитектура состоит из 1344 узлов — отдельных серверов, доступ к которым компании могут арендовать примерно за 37 000 долларов в месяц, чтобы расширить свои возможности искусственного интеллекта без создания собственной инфраструктуры.

В целом NVIDIA установила шесть рекордов в девяти тестах производительности: отметка 3,9 минуты для GPT-3, отметка 2,5 минуты для обучения модели Stable Diffusion с использованием 1024 графических процессоров Hopper, минута даже для обучения DLRM, 55,2 секунды для RetinaNet, 46 секунд для 3D U-Net, а модели BERT-Large потребовалось всего 7,2 секунды для обучения.

В последние месяцы NVIDIA постоянно уделяет внимание своим возможностям и приложениям искусственного интеллекта. «Мы находимся на этапе внедрения искусственного интеллекта в iPhone», — заявил генеральный директор Дженсен Хуанг во время своего выступления на GTC в марте. Тогда компания анонсировала свою облачную систему DGX, которая распределяет часть вычислительной мощности суперкомпьютера — в частности, восемь чипов H100 или A100 с 60 ГБ видеопамяти (всего 640 памяти). Компания расширила свой портфель суперкомпьютеров, выпустив DGX GH200 на выставке Computex в мае.