Новые инстансы AWS EC2 P3 открывают новый путь в скорости и мощности

Amazon Web Services объявила о доступности своих новых инстансов Amazon EC2 P3, которые, как говорят, значительно быстрее и мощнее, чем предыдущие инстансы. AWS считает это новым поколением инстансов графического процессора EC2, оптимизированных для вычислений, и, как говорят, делает обучение моделей машинного обучения быстрее, чем когда-либо.

Руководствуясь потребительским спросом, AWS гордится тем, как далеко они продвинулись с момента запуска своего первоначального инстанса m1.small в 2006 году. Теперь инстансы могут размещать гораздо больше вычислительной мощности, памяти, хранилища и многого другого.

Эти инстансы предназначены для очень сложных вычислительных рабочих нагрузок, включая машинное обучение (ML), высокопроизводительные вычисления (HPC), сжатие данных и криптографию. По словам Amazon, «они также идеально подходят для конкретных отраслевых приложений для научных вычислений и моделирования, финансовой аналитики и обработки изображений и видео».

Они специально «разработаны для обработки ресурсоемких машинного обучения, глубокого обучения, вычислительной гидродинамики, вычислительных финансов, сейсмического анализа, молекулярного моделирования и рабочих нагрузок геномики».

Сведения об инстансах EC2 P3

По сути, эти новые экземпляры отлично подходят для всего, что может потребовать очень высокой вычислительной мощности. AWS объясняет, что они используют 64 виртуальных ЦП с использованием пользовательских процессоров Intel Xeon E5, 488 ГБ ОЗУ и до 25 Гбит/с совокупной пропускной способности сети с использованием технологии эластичного сетевого адаптера.

Увеличение мощности не является предельным. Фактически, инстансы P3 обеспечивают 14-кратное повышение производительности по сравнению с инстансами P2 для приложений машинного обучения. Это означает, что если вы разработчик, работающий с моделями машинного обучения, вы можете обучить их всего за несколько часов, а не дней, как раньше.

Amazon утверждает, что это «самые мощные экземпляры GPU, доступные в облаке». На данный момент они доступны только в регионах Восток США (Северная Вирджиния), Запад США (Орегон), Запад ЕС (Ирландия) и Азиатско-Тихоокеанский регион (Токио), хотя у них есть планы выйти на другие рынки в будущее.

Эти инстансы доступны в трех разных размерах (все только для VPC и только для EBS):

По данным AWS, «каждый из графических процессоров Nvidia содержит 5120 ядер CUDA и еще 640 ядер Tensor и может обеспечивать до 125 терафлопс операций с плавающей запятой смешанной точности, 15,7 терафлопс операций с плавающей запятой одинарной точности и 7,8 терафлопс операций двойной точности. точность с плавающей запятой».

Два графических процессора большего размера могут быстро обмениваться промежуточными результатами, а также другими типами данных без необходимости отправлять их через ЦП или фабрику PCI-Express. Это связано с тем, что эти графические процессоры «соединены друг с другом через Nvidia NVLink 2.0 с общей скоростью передачи данных до 300 Гбит/с».

Понимание производительности

Восемь графических процессоров Nvidia Tesla V100 всего на одном p3.16xlarge способны выполнять 125 триллионов операций умножения с плавающей запятой одинарной точности в секунду, что затрудняет сравнение этой производительности с другими вариантами, доступными прямо сейчас.

Джефф Барр, главный евангелист AWS, написал сообщение в блоге о новых инстансах AWS EC2 P3 и объяснил, почему p3.16xlarge в целых 150 миллиардов раз быстрее, чем один из первых микропроцессорных чипов, Intel 8080A 1977 года. пройти долгий путь с тех пор. Как говорит Барр, «сегодня я могу выполнить в 100 раз больше вычислений за одну секунду, чем мой «Альтаир» мог сделать за последние 40 лет».

Хотя мы можем наблюдать значительный скачок между сегодняшним днем и 1977 годом, Барр объясняет, что трудно сравнивать P3 с современными масштабируемыми суперкомпьютерами, потому что «вы можете думать о P3 как о пошаговом и повторяющемся компоненте суперкомпьютера, который вы можете запускать по мере необходимости».

Образы машин Amazon для глубокого обучения AWS (AMI)

AWS также решила выпустить новый набор образов машин Amazon (AMI) для глубокого обучения. К ним относятся инструменты, помогающие разработчикам создавать системы искусственного интеллекта на AWS, такие как набор инструментов Nvidia CUDA, а также популярные фреймворки, такие как Google TensorFlow или Caffe2; они обещают добавить больше фреймворков, когда они станут доступны для Volta.

Эти AMI поставляются с предустановленными «средами глубокого обучения, оптимизированными для графических процессоров Nvidia Volta V100 в новом семействе Amazon EC2 P3». Образы AMI доступны как в Ubuntu, так и в Amazon Linux, они предварительно установлены и настроены с помощью Cuda 9.

AWS предлагает своим клиентам пошаговое руководство по началу использования AMI AWS Deep Learning.

Эти образы AMI созданы для того, чтобы предоставить специалистам по машинному обучению и исследователям всю инфраструктуру и инструменты, необходимые для развития глубокого обучения в облаке. Согласно Амазонке:

Вы можете быстро запускать инстансы EC2 с предустановленными популярными платформами глубокого обучения, такими как Apache MXNet и Gluon, TensorFlow, Microsoft Cognitive Toolkit, Caffe, Caffe2, Theano, Torch, Pytorch и Keras, для обучения сложных настраиваемых моделей ИИ, экспериментов с новыми алгоритмы или для изучения новых навыков и методов.

AWS серьезно относится к продвижению глубокого обучения в облаке, не взимая плату ни за один из образов AMI для глубокого обучения. Вместо этого они требуют, чтобы их клиенты платили только за ресурсы AWS, необходимые для хранения и запуска приложений.

Выбрать образ AWS Deep Learning AMI непросто даже для тех, кто имеет опыт работы с машинным обучением. Предлагается три разных типа AMI, каждый из которых отвечает различным потребностям разработчиков. AWS составил руководство по выбору и предлагает дополнительные ресурсы для углубленного изучения, которые помогут вам принять решение.

Проще говоря:

• Их Conda AMI предназначен для разработчиков, которые предпочитают предустановленные пакеты pip фреймворков глубокого обучения в отдельных виртуальных средах.
• Их Base AMI больше ориентирован на тех, кто предпочитает «чистый лист для создания частных репозиториев механизмов глубокого обучения или пользовательских сборок механизмов глубокого обучения».
• И, наконец, их AMI с исходным кодом предназначен для тех разработчиков, которые предпочитают предустановленные фреймворки глубокого обучения и свой исходный код в общей среде Python.

Понятно, что AWS хочет оставаться во главе облачных войн, и для этого они предлагают функции и возможности. Несмотря на то, что их новые инстансы EC2 P3 недешевы, они, безусловно, стоят той мощности, которую вы можете использовать.