Разное

Топ 500 суперкомпьютеров 2020: впервые лидером стал суперкомпьютер на процессорах ARM / Productivity Inside corporate blog / Habr

Содержание

впервые лидером стал суперкомпьютер на процессорах ARM / Productivity Inside corporate blog / Habr

Опубликована 55 редакция рейтинга самых высокопроизводительных суперкомпьютеров мира.
О новых лидерах списка и возможностях суперкомпьютеров экстра-класса читайте под катом.


Предыдущий лидер списка — суперкомпьютер Summit (OLCF-4) Ок-Риджской национальной лаборатории — стал вторым, уступив почетное первое место новой японской топ-системе Fugaku, которая показала результат High Performance Linpack (HPL) равный 415,5 петафлопс. Данный показатель превосходит возможности Summit в 2,8 раза. Fugaku оснащен 48-ядерным процессором A64FX SoC от Fujitsu, таким образом, японская разработка стала первой в истории системой №1 в списке ТOP500, оснащенной процессорами ARM. При одинарной или более низкой точности, которая часто используется для задач машинного обучения и искусственного интеллекта, пиковая производительность Fugaku составляет более 1000 петафлопс (1 экзафлопс). Новая система установлена в Центре вычислительных наук RIKEN (R-CCS) в Кобе, Япония.

Упомянутый выше Summit, суперкомпьютер, созданный IBM, показывает в тесте HPL производительность в 148,8 петафлопс. Система имеет 4356 узлов, каждый из которых оснащен двумя 22-ядерными процессорами Power9 и шестью графическими ускорителями NVIDIA Tesla V100. Узлы объединяет сеть InfiniBand EDR. Summit остается самым быстрым суперкомпьютером в США.

На третьем месте тоже оказался американец — суперкомьютер Sierra Ливерморской национальной лаборатории им. Лоуренса (LLNL), Калифорния, показавший результат в 94,6 петафлопс. Его архитектура очень похожа на Summit: он оснащен двумя процессорами Power9 и четырьмя графическими ускорителями NVIDIA Tesla V100 в каждом из 4320 узлов. Sierra использует тот же InfiniBand Mellanox EDR, что и Sunway TaihuLight, суперкомпьютер, разработанный Китайским национальным исследовательским центром параллельной вычислительной техники и технологий (NRCPC). Он, к слову, опустился на четвертое место в списке. Система полностью основана на 260-ядерных процессорах Sunway SW26010. Его отметка HPL в 93 петафлопс осталась неизменной с момента его установки в Национальном суперкомпьютерном центре в Уси, Китай, в июне 2016 года.

На пятом месте также находится китайская разработка — Tianhe-2A (Milky Way-2A), реализованная Китайским национальным университетом оборонных технологий (NUDT). Его производительность HPL 61,4 петафлопс является результатом гибридной архитектуры с использованием процессоров Intel Xeon и специально созданных сопроцессоров Matrix-2000. Он развернут в Национальном суперкомпьютерном центре в Гуанчжоу, Китай.

Новичок в списке, HPC5, занял шестое место, показав производительность HPL 35,5 петафлопс. HPC5 — это система PowerEdge, созданная Dell и реализованная итальянской энергетической фирмой Eni S.p.A, что делает ее самым быстрым суперкомпьютером в Европе.

Еще одна новая система, Selene, находится на седьмом месте с показателем HPL 27,58 петафлопс. Selene установлена на NVIDIA в США.

Frontera, система Dell C6420, установленная в Техасском вычислительном центре (TACC) в США, занимает восьмое место в списке. Его 23,5 HPL петафлопс достигается с помощью 448,448 ядер Intel Xeon.

Второй итальянский суперкомпьютер в топ-10 — Marconi-100, он установлен в исследовательском центре CINECA. Marconi-100 работает на процессорах IBM Power9 и графических ускорителях NVIDIA V100, его производительность равна 21,6 петафлопс, он занял девятое место в списке.

Завершает топ-10 с показателем 19,6 петафлопс система Cray XC50, установленная в Швейцарском национальном суперкомпьютерном центре (CSCS) в Лугано. Он оснащен процессорами Intel Xeon и графическими ускорителями NVIDIA P100.

Российская разработка — суперкомпьютер «Кристофари» (Christofari) на базе Xeon Platinum, Nvidia DGX-2 и Tesla V100 — набирает в тесте HPL 6,67 петафлопс, занимая пока лишь 36 место.

Результаты Green500

Самая энергоэффективная система в списке Green500 — это MN-3, основанная на новом сервере от Preferred Networks. Суперкомпьютер достиг рекордного показателя в 21,1 гигафлопс /ватт при производительности 1,62 петафлопс. Система обладает превосходной энергоэффективностью благодаря чипу MN-Core, ускорителю, оптимизированному для матричной арифметики. Занимает 395 место в списке TOP500.

На втором месте новый суперкомпьютер NVIDIA Selene, DGX A100 SuperPOD, работающий на новых графических ускорителях A100. На третьем месте находится система NA-1, система PEZY Computing / Exascaler, установленная в NA Simulation в Японии. Суперкомпьютер достиг 18,4 гигафлопс / ватт и находится на позиции 470 в TOP500.

Основные тренды

  • Совокупная производительность списка теперь составляет 2,23 экзафлопс, по сравнению с показателем в 1,65 экзафлопс всего шесть месяцев назад. Львиная доля такого бурного роста является заслугой нового суперкомпьютера Fugaku, занявшего 1е место в списке.
  • Общее количество новых систем в списке составляет всего 51, что является антирекордом с самого начала создания списка TOP500 (с 1993 года).
  • Китай продолжает доминировать в TOP500 по количеству систем (226), США по количеству суперкомпьютеров в списке занимает втрое место (114), Япония- третье (30).;
  • В общей сложности 144 системы из списка используют ускорители или сопроцессоры. Как и раньше, большинство систем, используют графические ускорители NVIDIA.
  • X86 продолжает оставаться доминирующей архитектурой процессора, присутствуя в 481 из 500 систем. Intel используется на 469 из них, AMD установлен в 11, Hygon — в оставшихся.
  • Китайские производители доминируют в списке: на Lenovo (180), Sugon (68) и Inspur (64) приходится 312 из 500 систем.

впервые лидером стал суперкомпьютер на процессорах ARM / Блог компании Productivity Inside / Хабр

Опубликована 55 редакция рейтинга самых высокопроизводительных суперкомпьютеров мира.
О новых лидерах списка и возможностях суперкомпьютеров экстра-класса читайте под катом.


Предыдущий лидер списка — суперкомпьютер Summit (OLCF-4) Ок-Риджской национальной лаборатории — стал вторым, уступив почетное первое место новой японской топ-системе Fugaku, которая показала результат High Performance Linpack (HPL) равный 415,5 петафлопс. Данный показатель превосходит возможности Summit в 2,8 раза. Fugaku оснащен 48-ядерным процессором A64FX SoC от Fujitsu, таким образом, японская разработка стала первой в истории системой №1 в списке ТOP500, оснащенной процессорами ARM. При одинарной или более низкой точности, которая часто используется для задач машинного обучения и искусственного интеллекта, пиковая производительность Fugaku составляет более 1000 петафлопс (1 экзафлопс). Новая система установлена в Центре вычислительных наук RIKEN (R-CCS) в Кобе, Япония.

Упомянутый выше Summit, суперкомпьютер, созданный IBM, показывает в тесте HPL производительность в 148,8 петафлопс. Система имеет 4356 узлов, каждый из которых оснащен двумя 22-ядерными процессорами Power9 и шестью графическими ускорителями NVIDIA Tesla V100. Узлы объединяет сеть InfiniBand EDR. Summit остается самым быстрым суперкомпьютером в США.

На третьем месте тоже оказался американец — суперкомьютер Sierra Ливерморской национальной лаборатории им. Лоуренса (LLNL), Калифорния, показавший результат в 94,6 петафлопс. Его архитектура очень похожа на Summit: он оснащен двумя процессорами Power9 и четырьмя графическими ускорителями NVIDIA Tesla V100 в каждом из 4320 узлов. Sierra использует тот же InfiniBand Mellanox EDR, что и Sunway TaihuLight, суперкомпьютер, разработанный Китайским национальным исследовательским центром параллельной вычислительной техники и технологий (NRCPC). Он, к слову, опустился на четвертое место в списке. Система полностью основана на 260-ядерных процессорах Sunway SW26010. Его отметка HPL в 93 петафлопс осталась неизменной с момента его установки в Национальном суперкомпьютерном центре в Уси, Китай, в июне 2016 года.

На пятом месте также находится китайская разработка — Tianhe-2A (Milky Way-2A), реализованная Китайским национальным университетом оборонных технологий (NUDT). Его производительность HPL 61,4 петафлопс является результатом гибридной архитектуры с использованием процессоров Intel Xeon и специально созданных сопроцессоров Matrix-2000. Он развернут в Национальном суперкомпьютерном центре в Гуанчжоу, Китай.

Новичок в списке, HPC5, занял шестое место, показав производительность HPL 35,5 петафлопс. HPC5 — это система PowerEdge, созданная Dell и реализованная итальянской энергетической фирмой Eni S.p.A, что делает ее самым быстрым суперкомпьютером в Европе.

Еще одна новая система, Selene, находится на седьмом месте с показателем HPL 27,58 петафлопс. Selene установлена на NVIDIA в США.

Frontera, система Dell C6420, установленная в Техасском вычислительном центре (TACC) в США, занимает восьмое место в списке. Его 23,5 HPL петафлопс достигается с помощью 448,448 ядер Intel Xeon.

Второй итальянский суперкомпьютер в топ-10 — Marconi-100, он установлен в исследовательском центре CINECA. Marconi-100 работает на процессорах IBM Power9 и графических ускорителях NVIDIA V100, его производительность равна 21,6 петафлопс, он занял девятое место в списке.

Завершает топ-10 с показателем 19,6 петафлопс система Cray XC50, установленная в Швейцарском национальном суперкомпьютерном центре (CSCS) в Лугано. Он оснащен процессорами Intel Xeon и графическими ускорителями NVIDIA P100.

Российская разработка — суперкомпьютер «Кристофари» (Christofari) на базе Xeon Platinum, Nvidia DGX-2 и Tesla V100 — набирает в тесте HPL 6,67 петафлопс, занимая пока лишь 36 место.

Результаты Green500

Самая энергоэффективная система в списке Green500 — это MN-3, основанная на новом сервере от Preferred Networks. Суперкомпьютер достиг рекордного показателя в 21,1 гигафлопс /ватт при производительности 1,62 петафлопс. Система обладает превосходной энергоэффективностью благодаря чипу MN-Core, ускорителю, оптимизированному для матричной арифметики. Занимает 395 место в списке TOP500.

На втором месте новый суперкомпьютер NVIDIA Selene, DGX A100 SuperPOD, работающий на новых графических ускорителях A100. На третьем месте находится система NA-1, система PEZY Computing / Exascaler, установленная в NA Simulation в Японии. Суперкомпьютер достиг 18,4 гигафлопс / ватт и находится на позиции 470 в TOP500.

Основные тренды

  • Совокупная производительность списка теперь составляет 2,23 экзафлопс, по сравнению с показателем в 1,65 экзафлопс всего шесть месяцев назад. Львиная доля такого бурного роста является заслугой нового суперкомпьютера Fugaku, занявшего 1е место в списке.
  • Общее количество новых систем в списке составляет всего 51, что является антирекордом с самого начала создания списка TOP500 (с 1993 года).
  • Китай продолжает доминировать в TOP500 по количеству систем (226), США по количеству суперкомпьютеров в списке занимает втрое место (114), Япония- третье (30).;
  • В общей сложности 144 системы из списка используют ускорители или сопроцессоры. Как и раньше, большинство систем, используют графические ускорители NVIDIA.
  • X86 продолжает оставаться доминирующей архитектурой процессора, присутствуя в 481 из 500 систем. Intel используется на 469 из них, AMD установлен в 11, Hygon — в оставшихся.
  • Китайские производители доминируют в списке: на Lenovo (180), Sugon (68) и Inspur (64) приходится 312 из 500 систем.

Суперкомпьютер — Supercomputer — qaz.wiki

Чрезвычайно мощный компьютер для своего времени

IBM Blue Gene / P суперкомпьютер «Intrepid» в Аргоннской национальной лаборатории работает 164,000 процессорных ядер с использованием нормального центром обработки данных кондиционера, сгруппированный в 40 стойках / шкафов , соединенных высокоскоростной 3-D торы сети.

FLOPS на крупнейшем суперкомпьютере с течением времени

Суперкомпьютер является компьютером с высоким уровнем производительности по сравнению с компьютером общего назначения. Производительность суперкомпьютера обычно измеряется в операциях с плавающей запятой в секунду ( FLOPS ) вместо миллиона инструкций в секунду (MIPS). С 2017 года существуют суперкомпьютеры, которые могут выполнять более 10 17 FLOPS (сто квадриллионов FLOPS, 100 петафлопс или 100 PFLOPS). С ноября 2017 года все 500 самых быстрых суперкомпьютеров в мире работают под управлением операционных систем на базе Linux . Дополнительные исследования ведутся в США , Евросоюзе., Тайвань , Японию и Китай для создания более быстрых, более мощных и технологически превосходящих суперкомпьютеров exascale .

Суперкомпьютеры играют важную роль в области вычислительной науки и используются для широкого круга вычислительно-ресурсоемких задач в различных областях, включая квантовую механику , прогнозирование погоды , исследования климата , разведку нефти и газа , молекулярное моделирование (вычисление структур и свойств химических соединений, биологических макромолекул , полимеров и кристаллов) и физического моделирования (например, моделирования первых моментов развития Вселенной, аэродинамики самолетов и космических кораблей , детонации ядерного оружия и ядерного синтеза ). Они сыграли важную роль в области криптоанализа .

Суперкомпьютеры были представлены в 1960-х годах, и в течение нескольких десятилетий самые быстрые из них были созданы Сеймуром Крэем из Control Data Corporation (CDC), Cray Research и последующими компаниями, носящими его имя или монограмму. Первые такие машины были хорошо настроенными традиционными конструкциями, которые работали быстрее, чем их более универсальные современники. В течение десятилетия было добавлено все больше параллелизма , обычно от одного до четырех процессоров . В 1970-х годах стали преобладать векторные процессоры, работающие с большими массивами данных. Ярким примером является очень успешный Cray-1 1976 года. Компьютеры Vector оставались доминирующей разработкой в ​​1990-е годы. С тех пор и до сегодняшнего дня массово-параллельные суперкомпьютеры с десятками тысяч стандартных процессоров стали нормой.

США долгое время были лидером в области суперкомпьютеров, сначала благодаря почти непрерывному доминированию Cray в этой области, а затем благодаря множеству технологических компаний. Япония добилась значительных успехов в этой области в 1980-х и 90-х годах, при этом Китай становится все более активным в этой области. По состоянию на июнь 2020 года самым быстрым суперкомпьютером в списке суперкомпьютеров TOP500 является Fugaku в Японии с оценкой теста LINPACK 415 PFLOPS, за которым следует Summit , примерно на 266,7 PFLOPS. В США четыре из 10 лучших; В Китае и Италии по два, в Швейцарии — по одному. В июне 2018 года все суперкомпьютеры в списке вместе преодолели отметку в 1 эксафлопс .

История

Печатная плата от IBM 7030

CDC 6600. За системной консолью находятся два «плеча» шкафа в форме знака «плюс» с открытыми крышками. На каждом плече машины было до четырех таких стоек. Справа — система охлаждения.

В 1960 году UNIVAC построил Ливерморский компьютер для атомных исследований (LARC), который сегодня считается одним из первых суперкомпьютеров для Центра исследований и разработок ВМС США. Он по-прежнему использовал высокоскоростную барабанную память , а не новую технологию дисководов . Также среди первых суперкомпьютеров был IBM 7030 Stretch . IBM 7030 был построен IBM для Национальной лаборатории Лос-Аламоса , которая в 1955 году запросила компьютер в 100 раз быстрее, чем любой из существующих компьютеров. В IBM 7030 использовались транзисторы , память на магнитных сердечниках, конвейерные инструкции, данные, предварительно загруженные через контроллер памяти, и были включены новаторские дисковые накопители с произвольным доступом. IBM 7030 был построен в 1961 году, и, несмотря на то, что он не справился со стократным увеличением производительности, он был куплен Лос-Аламосской национальной лабораторией. Заказчики из Англии и Франции также купили компьютер, и он стал основой для IBM 7950 Harvest , суперкомпьютера, созданного для криптоанализа .

Третьим новаторским суперкомпьютерным проектом в начале 1960-х был Атлас в Манчестерском университете , созданный командой под руководством Тома Килберна . Он разработал Атлас так, чтобы в памяти было до миллиона слов по 48 бит, но поскольку магнитная память такой емкости была недоступна, фактическая основная память Атласа составляла всего 16000 слов, а барабан предоставлял память еще для 96000 слов . Операционная система Atlas меняла местами данные в виде страниц между магнитным сердечником и барабаном. Операционная система Atlas также ввела разделение времени в суперкомпьютере, так что на суперкомпьютере можно было одновременно выполнять более одной программы. Atlas был совместным предприятием Ферранти и Манчестерского университета и был разработан для работы со скоростью обработки, приближающейся к одной микросекунде на инструкцию, около миллиона инструкций в секунду.

CDC 6600 , разработанный Seymour Cray , был закончен в 1964 году и отмечен переход от германия в кремниевые транзисторы. Кремниевые транзисторы могли работать быстрее, и проблема перегрева была решена за счет внедрения охлаждения в конструкцию суперкомпьютера. Таким образом, CDC6600 стал самым быстрым компьютером в мире. Учитывая, что 6600 превзошел все другие современные компьютеры примерно в 10 раз, он был назван суперкомпьютером и определил рынок суперкомпьютеров, когда сто компьютеров были проданы по 8 миллионов долларов каждый.

Крей покинул CDC в 1972 году, чтобы основать собственную компанию Cray Research . Через четыре года после ухода из CDC в 1976 году Cray поставил Cray-1 80 МГц , который стал одним из самых успешных суперкомпьютеров в истории. Cray-2 был выпущен в 1985 году было восемь центральных процессоров (ЦП), жидкостного охлаждения и охлаждающей жидкости электроники Fluorinert прокачивали через архитектуру суперкомпьютеров . Он работал со скоростью 1,9 гигафлопс и был вторым по скорости в мире после суперкомпьютера М-13 в Москве.

Массивно параллельные конструкции

Шкаф массивно параллельного Blue Gene / L, демонстрирующий сложенные друг на друга лезвия , на каждом из которых установлено несколько процессоров.

Единственным компьютером, который серьезно бросил вызов производительности Cray-1 в 1970-х, был ILLIAC IV . Эта машина была первым реализованным примером настоящего компьютера с массовым параллелизмом , в котором множество процессоров работали вместе для решения различных частей одной более крупной задачи. В отличие от векторных систем, которые были разработаны для максимально быстрого запуска единого потока данных, в этой концепции компьютер вместо этого передает отдельные части данных на совершенно разные процессоры, а затем повторно объединяет результаты. Конструкция ILLIAC была завершена в 1966 году с 256 процессорами и обеспечивала скорость до 1 GFLOPS, по сравнению с пиковым значением Cray-1 1970-х годов в 250 MFLOPS. Однако проблемы разработки привели к созданию только 64 процессоров, и система никогда не могла работать быстрее, чем примерно 200 MFLOPS, будучи намного больше и сложнее, чем Cray. Другая проблема заключалась в том, что написание программного обеспечения для системы было трудным, и для достижения максимальной производительности требовались серьезные усилия.

Но частичный успех ILLIAC IV был широко расценен как указатель пути в будущее суперкомпьютеров. Крей возражал против этого, как известно, шутя: «Если бы вы вспахивали поле, что бы вы предпочли использовать? Двух сильных волов или 1024 цыплят?» Но к началу 1980-х несколько команд работали над параллельными проектами с тысячами процессоров, в частности над Connection Machine (CM), разработанным на основе исследований в MIT . В CM-1 использовалось до 65 536 упрощенных специализированных микропроцессоров, объединенных в сеть для обмена данными. Последовало несколько обновленных версий; Суперкомпьютер CM-5 — это компьютер с массовым параллелизмом, способный выполнять многие миллиарды арифметических операций в секунду.

В 1982 году , Университет Осаки «s LINKS-1 Компьютерная графика система использовала массивно параллельной архитектуры обработки, с 514 микропроцессорами , в том числе 257 Zilog Z8001 процессоров управления и 257 iAPX 86/20 процессоров с плавающей точкой . В основном он использовался для рендеринга реалистичной компьютерной 3D-графики . Fujitsu VPP500 1992 года необычна, поскольку для достижения более высоких скоростей в ее процессорах использовался GaAs , материал, обычно предназначенный для микроволновых приложений из-за его токсичности. Fujitsu «ы Численное аэродинамическая суперкомпьютер используется 166 векторных процессоров , чтобы получить первое место в 1994 с пиковой скоростью 1,7  гигафлопс (GFLOPS) на каждый процессор. Hitachi SR2201 получил максимальную производительность 600 GFLOPS в 1996 году с использованием 2048 процессоров , соединенных с помощью быстрого трехмерной поперечин сети. Intel Paragon может иметь от 1000 до 4000 Intel i860 процессоров в различных конфигурациях и занял самый быстрый в мире в 1993 году Paragon был MIMD машина , которая соединила процессоры с помощью высокой скорости два мерных сетки , позволяя процессам выполняться на отдельных узлах, общение через интерфейс передачи сообщений .

Разработка программного обеспечения оставалась проблемой, но серия CM вызвала серьезные исследования по этому вопросу. Подобные проекты с использованием специального оборудования были созданы многими компаниями, включая Evans & Sutherland ES-1 , MasPar , nCUBE , Intel iPSC и Goodyear MPP . Но к середине 1990-х производительность ЦП общего назначения настолько улучшилась, что можно было построить суперкомпьютер, используя их в качестве отдельных процессоров, а не использовать специальные микросхемы. На рубеже 21-го века проекты с десятками тысяч стандартных процессоров стали нормой, а более поздние машины добавляли графические блоки к этому миксу.

Системы с большим количеством процессоров обычно выбирают один из двух путей. В подходе к сетевым вычислениям вычислительная мощность многих компьютеров, организованных как распределенные, разнообразные административные домены, гибко используется всякий раз, когда компьютер доступен. В другом подходе большое количество процессоров используется рядом друг с другом, например, в компьютерном кластере . В такой централизованной массивно-параллельной системе скорость и гибкость межсоединений становятся очень важными, и современные суперкомпьютеры использовали различные подходы, начиная от усовершенствованных систем Infiniband и заканчивая межсоединениями трехмерного тора . Использование многоядерных процессоров в сочетании с централизацией — новое направление, например, как в системе Cyclops64 .

По мере того как цена, производительность и энергоэффективность графических процессоров общего назначения (GPGPU) улучшились, ряд суперкомпьютеров с петафлопсами, таких как Tianhe-I и Nebulae , начали полагаться на них. Однако другие системы, такие как компьютер K, продолжают использовать обычные процессоры, такие как конструкции на основе SPARC, и общая применимость GPGPU в универсальных высокопроизводительных вычислительных приложениях была предметом споров, поскольку GPGPU может быть настроен Чтобы получить хорошие результаты по конкретным тестам, его общая применимость к повседневным алгоритмам может быть ограничена, если не будут затрачены значительные усилия на настройку приложения для этого. Тем не менее, графические процессоры набирают обороты, и в 2012 году суперкомпьютер Jaguar был преобразован в Titan путем модернизации процессоров с помощью графических процессоров.

Ожидаемый жизненный цикл высокопроизводительных компьютеров составляет около трех лет, прежде чем потребуется обновление. Gyoukou суперкомпьютер уникален тем , что он использует и в широком масштабе параллельной конструкции и погружение в жидкости охлаждения .

Суперкомпьютеры специального назначения

Был разработан ряд систем «специального назначения», посвященных одной проблеме. Это позволяет использовать специально запрограммированные микросхемы FPGA или даже специализированные ASIC , обеспечивая лучшее соотношение цена / производительность за счет отказа от универсальности. Примеры суперкомпьютеров специального назначения включают Belle , Deep Blue и Hydra для игры в шахматы , Gravity Pipe для астрофизики, MDGRAPE-3 для молекулярной динамики вычисления структуры белка и Deep Crack для взлома шифра DES .

Использование энергии и управление теплом

Summit суперкомпьютер по состоянию на ноябрь 2018 года самый быстрый суперкомпьютер в мире. При измеренной энергоэффективности 14,668 Гфлопс / ватт он также занимает 3-е место в мире по энергоэффективности.

На протяжении десятилетий управление плотностью тепла оставалось ключевым вопросом для большинства централизованных суперкомпьютеров. Большое количество тепла, выделяемого системой, также может иметь другие эффекты, например, сокращение срока службы других компонентов системы. Существуют различные подходы к управлению теплом, от прокачки флюоринерта через систему до гибридной системы жидкостно-воздушного охлаждения или воздушного охлаждения с нормальной температурой кондиционирования . Типичный суперкомпьютер потребляет большое количество электроэнергии, почти вся она преобразуется в тепло, требующее охлаждения. Например, Тяньхэ-1А потребляет 4,04  мегаватта (МВт) электроэнергии. Затраты на питание и охлаждение системы могут быть значительными, например, 4 МВт по цене 0,10 долл. США / кВтч — это 400 долл. США в час или около 3,5 млн долл. США в год.

Управление теплом является серьезной проблемой в сложных электронных устройствах и по-разному влияет на мощные компьютерные системы. В конструкции мощность тепловые и CPU рассеиваемой мощности вопросы в суперкомпьютерах превосходят традиционные компьютерные охлаждения технологий. Награды за « зеленые» вычисления в области суперкомпьютеров отражают эту проблему.

Упаковка тысяч процессоров вместе неизбежно генерирует значительное количество тепла, с которым необходимо иметь дело. Cray 2 был жидкостным охлаждением , и использовали Fluorinert «охлаждающий водопад» , который был вынужден через модули под давлением. Однако подход с погружным жидкостным охлаждением был непрактичным для систем с несколькими шкафами, основанных на стандартных процессорах, и в System X совместно с компанией Liebert была разработана специальная система охлаждения, сочетающая кондиционирование воздуха с жидкостным охлаждением .

В системе Blue Gene компания IBM намеренно использовала процессоры с низким энергопотреблением, чтобы справиться с плотностью нагрева. IBM Power 775 , выпущенный в 2011 году, имеет плотно упакованные элементы, требующие водяного охлаждения. В системе IBM Aquasar используется охлаждение горячей водой для достижения энергоэффективности, вода также используется для обогрева зданий.

Энергоэффективность компьютерных систем обычно измеряется в единицах « FLOPS на ватт ». В 2008 году скорость Roadrunner от IBM составляла 3,76  MFLOPS / Вт . В ноябре 2010 года значение Blue Gene / Q достигло 1684 MFLOPS / Вт. В июне 2011 года две верхние позиции в списке Green 500 заняли машины Blue Gene в Нью-Йорке (одна из них достигла 2097 MFLOPS / Вт), а кластер DEGIMA в Нагасаки занял третье место с 1375 MFLOPS / W.

Поскольку медные провода могут передавать энергию в суперкомпьютер с гораздо более высокой плотностью мощности, чем принудительный воздух или циркулирующие хладагенты могут отводить отработанное тепло , способность систем охлаждения отводить отработанное тепло является ограничивающим фактором. По состоянию на 2015 год многие существующие суперкомпьютеры обладают большей пропускной способностью инфраструктуры, чем фактическая пиковая потребность машины — разработчики обычно консервативно проектируют инфраструктуру питания и охлаждения для обработки большей, чем теоретическая пиковая электрическая мощность, потребляемая суперкомпьютером. Конструкции суперкомпьютеров будущего имеют ограниченную мощность — расчетная тепловая мощность суперкомпьютера в целом, объем, с которым может справиться инфраструктура питания и охлаждения, несколько больше, чем ожидаемое нормальное энергопотребление, но меньше, чем теоретическая пиковая потребляемая мощность электронное оборудование.

Программное обеспечение и управление системой

Операционные системы

С конца 20 века операционные системы суперкомпьютеров претерпели серьезные преобразования, основанные на изменениях в архитектуре суперкомпьютеров . В то время как ранние операционные системы были специально адаптированы для каждого суперкомпьютера для увеличения скорости, тенденция заключалась в отходе от собственных операционных систем к адаптации общего программного обеспечения, такого как Linux .

Поскольку современные суперкомпьютеры с массовым параллелизмом обычно отделяют вычисления от других служб, используя несколько типов узлов , они обычно запускают разные операционные системы на разных узлах, например, используя небольшое и эффективное легкое ядро, такое как CNK или CNL, на вычислительных узлах, но более крупную систему, такую ​​как как производное от Linux на сервере и узлах ввода-вывода .

В то время как в традиционной многопользовательской компьютерной системе планирование заданий , по сути, представляет собой проблему постановки задач для обработки и периферийных ресурсов, в массивно-параллельной системе система управления заданиями должна управлять распределением как вычислительных, так и коммуникационных ресурсов, а также изящно справляться с неизбежными сбоями оборудования при наличии десятков тысяч процессоров.

Хотя большинство современных суперкомпьютеров используют операционную систему на базе Linux , у каждого производителя есть своя собственная производная Linux, и отраслевых стандартов не существует, отчасти из-за того, что различия в аппаратных архитектурах требуют изменений для оптимизации операционной системы для каждой конструкции оборудования. .

Программные инструменты и передача сообщений

Широкоугольный обзор коррелятора ALMA

Параллельная архитектура суперкомпьютеров часто требует использования специальных методов программирования для увеличения их скорости. Программные инструменты для распределенной обработки включают стандартные API, такие как MPI и PVM , VTL , и программное обеспечение с открытым исходным кодом, такое как Beowulf .

В наиболее распространенном сценарии используются такие среды, как PVM и MPI для слабо связанных кластеров и OpenMP для жестко скоординированных машин с общей памятью. Требуются значительные усилия для оптимизации алгоритма с учетом характеристик межсоединения машины, на которой он будет работать; цель состоит в том, чтобы не допустить, чтобы какой-либо из процессоров тратил время на ожидание данных от других узлов. GPGPU имеют сотни процессорных ядер и программируются с использованием таких моделей программирования, как CUDA или OpenCL .

Кроме того, отлаживать и тестировать параллельные программы довольно сложно. Для тестирования и отладки таких приложений необходимо использовать специальные методы .

Распределенные суперкомпьютеры

Оппортунистические подходы

Пример архитектуры системы грид-вычислений , соединяющей множество персональных компьютеров через Интернет

Оппортунистический суперкомпьютер — это форма сетевых грид-вычислений, при которой «супервиртуальный компьютер» из множества слабосвязанных вычислительных машин-добровольцев выполняет очень большие вычислительные задачи. Грид-вычисления применялись к ряду крупномасштабных до неловко параллельных задач, которые требуют масштабирования производительности суперкомпьютеров. Однако базовые подходы к сетевым и облачным вычислениям , основанные на добровольных вычислениях, не могут справиться с традиционными задачами суперкомпьютеров, такими как гидродинамическое моделирование.

Самая быстрая система распределенных вычислений — это проект распределенных вычислений Folding @ home (F @ h). По состоянию на апрель 2020 года компания F @ h сообщила о 2,5 эксафлопс вычислительной мощности x86 . Из них более 100 пфлопс приходится на клиентов, работающих на различных графических процессорах, а остальные — на различные системы ЦП.

Платформа Berkeley Open Infrastructure for Network Computing (BOINC) содержит ряд проектов распределенных вычислений. По состоянию на февраль 2017 года BOINC зафиксировал вычислительную мощность более 166 петафлопс на более чем 762 тысячах активных компьютеров (хостов) в сети.

По состоянию на октябрь 2016 года поисковый запрос Mersenne Prime, распространяемый компанией Great Internet Mersenne Prime Search (GIMPS), достиг 0,313 PFLOPS на более чем 1,3 миллионах компьютеров. Интернет PrimeNet Сервер поддерживает грид — компьютинга подход GIMPS, одного из самых ранних и наиболее успешных сетевых вычислительных проектов, начиная с 1997 года.

Квази-оппортунистические подходы

Квази-оппортунистические суперкомпьютеры — это форма распределенных вычислений, при которой «супервиртуальный компьютер» многих сетевых географически разнесенных компьютеров выполняет вычислительные задачи, требующие огромной вычислительной мощности. Квази-оппортунистические суперкомпьютеры нацелены на обеспечение более высокого качества обслуживания, чем гибкие грид-вычисления, за счет достижения большего контроля над назначением задач распределенным ресурсам и использования информации о доступности и надежности отдельных систем в суперкомпьютерной сети. Однако квазиоппортунистическое распределенное выполнение требовательного программного обеспечения для параллельных вычислений в гридах должно достигаться за счет реализации соглашений о распределении по сетке, подсистем совместного распределения, механизмов распределения с учетом топологии связи, отказоустойчивых библиотек передачи сообщений и предварительной обработки данных.

Облака для высокопроизводительных вычислений

Облачные вычисления с их недавним и быстрым расширением и развитием в последние годы привлекли внимание пользователей и разработчиков высокопроизводительных вычислений (HPC). Облачные вычисления пытаются предоставить HPC-as-a-service точно так же, как другие формы услуг, доступных в облаке, такие как программное обеспечение как услуга , платформа как услуга и инфраструктура как услуга . Пользователи HPC могут извлечь выгоду из облака с разных сторон, например, масштабируемость, доступность ресурсов по требованию, скорость и недорого. С другой стороны, перемещение приложений высокопроизводительных вычислений также связано с рядом проблем. Хорошими примерами таких проблем являются накладные расходы виртуализации в облаке, мультиарендность ресурсов и проблемы с задержкой в ​​сети. В настоящее время проводится много исследований, чтобы преодолеть эти проблемы и сделать высокопроизводительные вычисления в облаке более реальной возможностью.

В 2016 году Penguin Computing , R-HPC, Amazon Web Services , Univa , Silicon Graphics International , Sabalcore и Gomput начали предлагать облачные вычисления HPC . Облако Penguin On Demand (POD) — это вычислительная модель без оборудования для выполнения кода, но каждому пользователю предоставляется виртуализированный узел входа. Вычислительные узлы POD подключаются через невиртуализированные сети Ethernet 10 Гбит / с или QDR InfiniBand . Возможности подключения пользователей к центру обработки данных POD варьируются от 50 Мбит / с до 1 Гбит / с. Ссылаясь на Elastic Compute Cloud EC2 от Amazon, Penguin Computing утверждает, что виртуализация вычислительных узлов не подходит для высокопроизводительных вычислений. Penguin Computing также раскритиковала то, что облака HPC могут выделять вычислительные узлы клиентам, находящимся далеко друг от друга, что вызывает задержку, снижающую производительность некоторых приложений HPC.

Измерение производительности

Возможности против емкости

Суперкомпьютеры обычно стремятся к максимальным вычислительным возможностям, а не к вычислительным мощностям. Вычисление возможностей обычно рассматривается как использование максимальной вычислительной мощности для решения одной большой проблемы в кратчайшие сроки. Часто система возможностей способна решить проблему такого размера или сложности, которую не может сделать никакой другой компьютер, например, очень сложное приложение для моделирования погоды .

Вычисление емкости, напротив, обычно рассматривается как использование эффективной рентабельной вычислительной мощности для решения нескольких довольно больших проблем или множества мелких проблем. Архитектуры, которые позволяют поддерживать множество пользователей для выполнения рутинных повседневных задач, могут обладать большой мощностью, но обычно не считаются суперкомпьютерами, поскольку они не решают ни одной очень сложной проблемы.

Показатели эффективности

Как правило, скорость суперкомпьютеров измеряется и оценивается в FLOPS («операции с плавающей запятой в секунду»), а не в MIPS («миллион инструкций в секунду»), как в случае с компьютерами общего назначения. Эти измерения обычно используются с префиксом SI, таким как tera- , объединенным в сокращение «TFLOPS» (10 12 FLOPS, произносится как терафлопс ), или пета- , объединенное в сокращение «PFLOPS» (10 15 FLOPS, произносится как петафлопс .) » Petascale» «суперкомпьютеры могут обрабатывать один квадриллион (10 15 ) (1000 триллионов) FLOPS. Exascale — это вычислительная производительность в диапазоне exaFLOPS (EFLOPS). EFLOPS — это один квинтиллион (10 18 ) FLOPS (один миллион TFLOPS).

Ни одно число не может отражать общую производительность компьютерной системы, но цель теста Linpack — приблизительно оценить, насколько быстро компьютер решает числовые задачи, и он широко используется в отрасли. Измерение FLOPS основано либо на теоретической производительности процессора с плавающей запятой (полученной из спецификаций процессора производителя и показанной как «Rpeak» в списках TOP500), что обычно недостижимо при выполнении реальных рабочих нагрузок, либо на достижимой пропускной способности, полученной из в Linpack тесты и показали , как «Rmax» в списке TOP500. Тест LINPACK обычно выполняет LU-разложение большой матрицы. Производительность LINPACK дает некоторое представление о производительности для некоторых реальных проблем, но не обязательно соответствует требованиям обработки многих других рабочих нагрузок суперкомпьютеров, которые, например, могут потребовать большей пропускной способности памяти, или могут потребовать более высокой производительности целочисленных вычислений, или могут потребоваться высокопроизводительная система ввода-вывода для достижения высокого уровня производительности.

Список ТОП500

Основная статья: TOP500

20 лучших суперкомпьютеров мира (июнь 2014 г.)

С 1993 года самые быстрые суперкомпьютеры попадают в список TOP500 в соответствии с результатами тестов LINPACK . Список не претендует на беспристрастность или окончательность, но это широко цитируемое текущее определение «самого быстрого» суперкомпьютера, доступного в любой момент времени.

Это недавний список компьютеров, которые оказались в верхней части списка TOP500, а «Пиковая скорость» дана как рейтинг «Rmax». В 2018 году Lenovo стала крупнейшим в мире поставщиком суперкомпьютеров TOP500, выпустив 117 единиц.

Год Суперкомпьютер Rmax
(TFlop / s)
Место расположения
2020 г. Fujitsu Fugaku 415 530,0 Кобе , Япония
2018 г. Саммит IBM 148 600,0 Ок-Ридж , США
2018 г. IBM / Nvidia / Mellanox Sierra 94 640,0 Ливермор , США
2016 г. Sunway TaihuLight 93 014,6 Уси , Китай
2013 НУДТ Тяньхэ-2 61 444,5 Гуанчжоу , Китай
2019 г. Dell Frontera 23 516,4 Остин , США
2012 г. Крей / HPE Piz Daint 21 230,0 Лугано , Швейцария
2015 г. Cray / HPE Trinity 20 158,7 Нью-Мексико , США
2018 г. Fujitsu ABCI 19 880,0 Токио , Япония
2018 г. Lenovo SuperMUC-NG 19 476,6 Гархинг , Германия

Приложения

Этапы применения суперкомпьютера можно кратко изложить в следующей таблице:

Десятилетие Использование и компьютер
1970-е годы Прогноз погоды, аэродинамические исследования ( Cray-1 ).
1980-е Вероятностный анализ, моделирование радиационной защиты ( CDC Cyber ).
1990-е Взлом кода грубой силы ( взломщик EFF DES ).
2000-е Трехмерное моделирование ядерных испытаний вместо законного поведения Договора о нераспространении ядерного оружия ( ASCI Q ).
2010-е Моделирование молекулярной динамики ( Tianhe-1A )
2020-е Научные исследования для предотвращения вспышек заболеваний / Исследования электрохимических реакций

Компьютер IBM Blue Gene / P использовался для моделирования ряда искусственных нейронов, эквивалентных примерно одному проценту коры головного мозга человека, содержащих 1,6 миллиарда нейронов с примерно 9 триллионами соединений. Этой же исследовательской группе также удалось с помощью суперкомпьютера смоделировать количество искусственных нейронов, эквивалентное всему мозгу крысы.

Современное прогнозирование погоды также опирается на суперкомпьютеры. Национальное управление океанических и атмосферных исследований использует суперкомпьютеры грызть сотни миллионов наблюдений , чтобы помочь сделать прогнозы погоды более точными.

В 2011 году проблемы и трудности, связанные с выходом за пределы суперкомпьютеров, были подчеркнуты отказом IBM от проекта Petascale Blue Waters .

Программа Advanced Simulation and Computing Program в настоящее время использует суперкомпьютеры для обслуживания и моделирования ядерных арсеналов Соединенных Штатов.

В начале 2020 года коронавирус был в центре внимания в мире. Суперкомпьютеры использовали различные модели для поиска соединений, которые потенциально могут остановить распространение. Эти компьютеры работают десятки часов, используя несколько параллельно работающих процессоров для моделирования различных процессов.

Развитие и тенденции

Распределение суперкомпьютеров TOP500 по странам, ноябрь 2015 г.

В 2010-х годах Китай, США, Европейский Союз и другие страны соревновались за то, чтобы первыми создать суперкомпьютер 1 exaFLOP (10 18 или один квинтиллион FLOPS). Эрик П. ДеБенедиктис из Sandia National Laboratories предположил, что компьютер с zettaFLOPS (10 21 или один секстиллион FLOPS) необходим для выполнения полного моделирования погоды , которое может точно охватывать двухнедельный период времени. Такие системы могут быть построены примерно к 2030 году.

Многие моделирование методом Монте-Карло использует тот же алгоритм для обработки случайно сгенерированного набора данных; в частности, интегро-дифференциальные уравнения, описывающие физические процессы переноса , случайные траектории , столкновения, а также энерговыделения нейтронов, фотонов, ионов, электронов и т. д. Следующим шагом для микропроцессоров может стать третье измерение ; и специализируясь на Монте-Карло, многие слои могут быть идентичными, что упрощает процесс проектирования и производства.

Стоимость эксплуатации высокопроизводительных суперкомпьютеров выросла, в основном из-за увеличения энергопотребления. В середине 1990-х годов топ-10 суперкомпьютеров требовался в диапазоне 100 киловатт, в 2010 году 10 лучших суперкомпьютеров требовали от 1 до 2 мегаватт. Исследование 2010 года, проведенное по заказу DARPA, определило энергопотребление как наиболее распространенную проблему при достижении Exascale-вычислений . В то время один мегаватт энергии в год стоил около 1 миллиона долларов. Были построены суперкомпьютерные средства для эффективного отвода увеличивающегося количества тепла, производимого современными многоядерными центральными процессорами . Исходя из энергопотребления суперкомпьютеров из списка Green 500 в период с 2007 по 2011 год, суперкомпьютеру с производительностью 1 экзафлопс в 2011 году потребовалось бы почти 500 мегаватт. Операционные системы были разработаны для существующего оборудования, чтобы по возможности экономить энергию. Ядра ЦП, не используемые во время выполнения распараллеленного приложения, были переведены в состояние с низким энергопотреблением, что привело к экономии энергии для некоторых суперкомпьютерных приложений.

Растущая стоимость эксплуатации суперкомпьютеров была движущим фактором в тенденции к объединению ресурсов через распределенную суперкомпьютерную инфраструктуру. Национальные суперкомпьютерные центры сначала возникли в США, затем в Германии и Японии. Европейский Союз запустил Партнерство по передовым вычислениям в Европе (PRACE) с целью создания устойчивой панъевропейской суперкомпьютерной инфраструктуры с услугами для поддержки ученых всего Европейского Союза в портировании, масштабировании и оптимизации суперкомпьютерных приложений. Исландия построила первый в мире суперкомпьютер с нулевым уровнем выбросов. Этот суперкомпьютер, расположенный в центре обработки данных Thor в Рейкьявике , Исландия, использует полностью возобновляемые источники энергии, а не ископаемое топливо. Более холодный климат также снижает потребность в активном охлаждении, что делает его одним из самых экологически чистых объектов в мире компьютеров.

Финансирование суперкомпьютерного оборудования также становилось все труднее. В середине 1990-х годов 10 лучших суперкомпьютеров стоили около 10 миллионов евро, а в 2010 году 10 лучших суперкомпьютеров требовали инвестиций в размере от 40 до 50 миллионов евро. В 2000-х годах национальные правительства внедрили различные стратегии финансирования суперкомпьютеров. В Великобритании суперкомпьютеры полностью финансировались национальным правительством, а высокопроизводительные вычисления были переданы под контроль национального финансового агентства. Германия разработала смешанную модель финансирования, объединяющую местное государственное финансирование и федеральное финансирование.

В художественной литературе

Многие фантасты писатели изображали суперкомпьютеры в своих работах, как до , так и после исторического построения таких компьютеров. Большая часть такой фантастики посвящена отношениям людей с компьютерами, которые они строят, и возможности конфликта, который в конечном итоге может развиться между ними. Примеры суперкомпьютеров в художественной литературе включают HAL-9000 , Multivac , The Machine Stops , GLaDOS , The Evitable Conflict , Vulcan’s Hammer , Colossus и Deep Thought .

Смотрите также

Примечания и ссылки

внешние ссылки

Суперкомпьютеры РСК лидируют в обновленных рейтингах Top50 и IO500


, Текст: Владимир Бахур

Группа компаний РСК объявила о том, что в новой 33 редакции рейтинга Top50 самых мощных суперкомпьютеров в России и СНГ присутствуют уже 12 вычислительных комплексов ее производства. Доля компании в этом списке выросла до 24% (полгода назад ей принадлежало 22% с 11 системами). То есть уже каждый четвертый российский суперкомпьютер, находящийся в рейтинге Top50, разработан и установлен специалистами РСК.

При этом три суперкомпьютера компании находятся в первой десятке этого списка (4, 6 и 10 позиции). В настоящее время суммарная пиковая производительность вычислительных систем РСК в рейтинге Top50 превышает 4,63 ПФЛОПС (петафлопс – квадриллион операций с плавающей запятой в секунду, или 1000 терафлопс).

Ранее в этом году две системы производства РСК стали единственными представителями России в мировом рейтинге IO500, новом индустриальном списке суперкомпьютеров с самыми высокопроизводительными системами хранения данных HPC-класса: 17 место занял суперкомпьютер «Говорун» (Объединенный институт ядерных исследований (ОИЯИ), Дубна), а на 22 позицию попал суперкомпьютер «Политехник – РСК Торнадо» (Санкт-Петербургский политехнический университет Петра Великого, СПбПУ). Столь хороших результатов удалось достичь благодаря применению в обеих проектах уникальной технологии создания масштабируемых распределённых и компонуемых «по требованию» систем хранения данных RSC Storage-on-demand на основе твердотельных дисков Intel SSD и Intel Optane SSD с интерфейсами NVMe. Уместно напомнить, что суперкомпьютер «Говорун» еще в июне 2018 г., сразу после установки и запуска в эксплуатацию в ОИЯИ, занял высокое 9 место в мировом рейтинге IO500.

Создание в Санкт-Петербургском политехническом университете Петра Великого одного из самых мощных и наиболее инновационных в России суперкомпьютерных центров с пиковой производительностью более 1,1 ПФЛОПС была начата в 2014 году, а в 2015 г. СКЦ «Политехнический» был введен в эксплуатацию. Этот проект реализован в рамках Федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 гг.» и Федеральной адресной инвестиционной программы.

Суперкомпьютерный центр СПбПУ ориентирован на решение междисциплинарных естественно-научных задач и поддержку проектирования сложных технических систем для высокотехнологичных наукоемких секторов науки и промышленности. Две кластерные системы, созданные и установленные специалистами группы компаний РСК в СКЦ «Политехнический», входят в текущую редакцию рейтинга Top50, занимая в нем 4 и 19 места. Суммарная пиковая производительность вычислительных ресурсов СКЦ «Политехнический» в 2020 году выросла на 23% и теперь составляет 1,6 ПФЛОПС.

После плановой модернизации суперкомпьютера «Политехник – РСК Торнадо», проведенной в течение 2020 года, эта система поднялась на 4 строку списка Top50 (с 5 позиции полгода назад). Ее пиковая производительность выросла на 29% до уровня 1,309 ПФЛОПС. Согласно индустриальному тесту LINPACK максимальная производительность этого суперкомпьютера СПбПУ увеличилась до 910,31 ТФЛОПС (терафлопс – триллион операций с плавающей запятой в секунду).

Прироста вычислительной мощности удалось достичь благодаря установке нового вычислительного сегмента, состоящего из 64 вычислительных узлов на базе высокопроизводительных серверных процессоров Intel Xeon Scalable 2о поколения (модели Intel Xeon Platinum 8268, Intel Xeon Gold 6248R), а также серверных плат Intel Server Board S2600BPB, твердотельных дисков Intel SSD и Intel Optane SSD. Технологической основой суперкомпьютера суперкомпьютера «Политехник – РСК Торнадо» является универсальное высокоплотное и энергоэффективное решение «РСК Торнадо» со 100% жидкостным охлаждением на «горячей воде» – разработка специалистов российской группы компаний РСК.

Межведомственный суперкомпьютерный центр Российской академии наук (МСЦ РАН) является одним из самых мощных российских суперкомпьютерных центров коллективного пользования в сфере науки и образования. Коллектив МСЦ состоит из высококвалифицированных научных сотрудников, программистов и инженеров. Ресурсами Центра пользуются более 150 групп исследователей, решающих задачи фундаментальной и прикладной направленности.

Суммарная пиковая производительность вычислительных систем МСЦ РАН, разработанных и установленных специалистами РСК на базе своих высокоплотных и энергоэффективных решений «РСК Торнадо» и RSC PetaStream со 100% жидкостным охлаждением на «горячей воде», составляет уже 1,7 ПФЛОПС. Четыре кластерные системы МСЦ РАН, созданные РСК, входят в текущую редакцию списка Top50, занимая в нем 6, 10, 22 и 36 позиции.

Очередная плановая модернизация суперкомпьютера МВС-10П ОП2 в МСЦ РАН была проведена в течение 2020 года в ходе исполнения Федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» и мероприятий, направленных на обновление приборной базы ведущих организаций,

выполняющих исследования и разработки в рамках Федерального проекта «Развитие передовой инфраструктуры для проведения исследований и разработок в Российской Федерации» в составе Национального проекта «Наука», реализуемых Министерством науки и высшего образования РФ. В результате эта вычислительная система поднялась на 6 строку рейтинга Top50 (с 12 позиции полгода назад). Ее пиковая производительность выросла почти в два раза – на 93%, достигнув 823,91 ТФЛОПС. При этом на индустриальном тесте LINPACK максимальная производительность этого суперкомпьютера МСЦ РАН теперь составляет 572,19 ТФЛОПС.

Такого значительного прироста мощности удалось достичь благодаря установке нового вычислительного сегмента, состоящего из 86-го вычислительных узлов на базе высокопроизводительных серверных процессоров Intel Xeon Scalable 2 поколения (модели Intel Xeon Gold 6248R), а также серверных плат Intel Server Board S2600BPB и твердотельных дисков Intel SSD. Для высокоскоростной передачи данных между вычислительными узлами используется технология коммутации Intel Omni-Path. Технологической основой суперкомпьютера МВС-10П ОП2 также является универсальное высокоплотное и энергоэффективное решение «РСК Торнадо» со 100% жидкостным охлаждением на «горячей воде».

В сентябре этого года специалисты группы компаний РСК установили новую сверхкомпактную суперкомпьютерную систему класса «РСК микроЦОД» в Физико-техническом институте имени А.Ф. Иоффе Российской академии наук (ФТИ РАН, Санкт-Петербург), которая сразу же вошла в рейтинг Top50 на 46 позиции. Ее пиковая производительность составляет 92,16 ТФЛОПС, а максимальная производительность на индустриальном тесте LINPACK – 66,13 ТФЛОПС.

«РСК микроЦОД» – быстро завоевывающее популярность решение, представляющее собой сверхкомпактный, энергоэффективный и полностью готовый к работе центр обработки данных в одной стойке, устанавливаемый в любые, практически неподготовленные, помещения. Такой ЦОД состоит из поля вычислительных узлов «РСК Торнадо» со 100% жидкостным охлаждением, возможных компонентов с воздушным охлаждением и всей инфраструктуры системы охлаждения, размещенных в одном шкафу. Это решение может масштабироваться от нескольких до 32 или 51 узла, работающих под управлением системы управления и мониторинга на базе интегрированного программного стека «РСК БазИС».

«РСК микроЦОД» в ФТИ РАН построен на базе 20-ти вычислительных узлов с высокопроизводительными серверными процессорами Intel Xeon Scalable 2 поколения (модели Intel Xeon Gold 6248R), а также серверных плат Intel Server Board S2600BPB и твердотельных дисков Intel SSD. Для высокоскоростной передачи данных между вычислительными узлами используется технология коммутации Intel Omni-Path.

Cреди ключевых заказчиков РСК – организации высшего образования (ведущие российские университеты) и науки, научно-исследовательские центры, лаборатории и конструкторские бюро. Из других проектов компании в текущем списке Top50 присутствуют первый в мире гиперконвергентный суперкомпьютер «Говорун» в Объединенном институте ядерных исследований (11 позиция), две вычислительные системы РСК в Южно-Уральском государственном университете (13 и 31 места), суперкомпьютер «РСК Торнадо – МФТИ» в Московском физико-техническом институте (44 позиция), вычислительная система «НКС-1П» Сибирского суперкомпьютерного центра в Институте вычислительной математики и математической геофизики Сибирского отделения Российской Академии наук занимает 50 место.

Специалистами РСК накоплен уникальный опыт разработки, создания и эксплуатации высокоплотных и энергоэффективных суперкомпьютерных комплексов, де-факто компания является мировым технологическим лидером в этой области.

Решение «РСК Торнадо» на базе серверных процессоров Intel обладает передовыми показателями компактности и вычислительной плотности (до 153 узлов в одном стандартном шкафу 42U), высоким уровнем энергоэффективности, а также обеспечивает возможность стабильной работы вычислительных узлов в режиме «горячая вода» при температуре хладоносителя до +65 °С на входе в вычислительные узлы и коммутаторы. Работа в режиме «горячая вода» для данного решения позволяет применить круглогодичный режим free cooling (24×365), используя только сухие градирни, работающие при температуре окружающего воздуха до +50 °С, что, в свою очередь, позволяет полностью избавиться от чиллеров. В результате среднегодовой показатель PUE системы, отражающий уровень эффективности использования электроэнергии, составляет менее чем 1,06, что является одним из лучших для HPC-индустрии.

Высокая доступность, отказоустойчивость и простота использования вычислительных систем, созданных на базе решений РСК для высокопроизводительных вычислений, также обеспечиваются благодаря передовой системе управления и мониторинга на базе интегрированного программного стека «РСК БазИС». Эта система является открытой и легко расширяемой платформой, созданной на основе ПО с открытым исходным кодом и микроагентной архитектуры.

Она позволяет осуществлять управление как центром обработки данных в целом, так и отдельными его элементами, такими как: вычислительные узлы, коммутаторы, инфраструктурные компоненты, задачи и процессы. Все элементы комплекса (вычислительные узлы, блоки питания, модули гидрорегулирования и др.) имеют встроенный модуль управления, что обеспечивает широкие возможности для детальной телеметрии и гибкого управления. Конструктив шкафа позволяет заменять вычислительные узлы, блоки питания и модули гидрорегулирования (при условии применения резервирования) в режиме горячей замены без прерывания работоспособности комплекса. Большинство компонентов системы (таких, как вычислительные узлы, блоки питания, сетевые и инфраструктурные компоненты и т.д.) являются программно-определяемыми, что позволяет существенно упростить и ускорить как начальное развертывание, так и обслуживание, и последующую модернизацию системы. Жидкостное охлаждение всех компонентов обеспечивает длительный срок их службы.

В составе «РСК БазИС» имеются функциональные возможности по мониторингу и управлению территориально распределенными центрами обработки данных.

Японский суперкомпьютер на ARM признали мощнейшим в мире

Kodai Nakanishi / RIKEN

Проект TOP500 опубликовал новый список из 500 мощнейших суперкомпьютеров, который впервые возглавил компьютер с процессорами на архитектуре ARM. Японский суперкомпьютер Fugaku имеет мощность 415,5 петафлопса, что в 2,8 раза выше, чем у предыдущего лидера Summit, который теперь на втором месте. Новый компьютер также имеет высокую, хотя и не рекордную (девятое место в списке), энергоэффективность: она составляет 14,665 гигафлопс на ватт потребляемой мощности.

Подавляющее большинство суперкомпьютеров из списка TOP500, как и обычных компьютеров и серверов, работает на процессорах с архитектурой x86 (если быть точнее, то x86-64). Однако в последние годы многие разработчики и производители начали рассматривать архитектуру ARM, которая обычно применяется в мобильных устройствах, как полноценную замену x86. В потребительских устройствах главное преимущество заключается в том, что такие чипы имеют большую энергоэффективность. Но у ARM есть и значительные отличия в принципе работы. Главное из них — это то, что в ARM используется короткий набор простых инструкций (RISC), тогда как в x86 применяется полный набор (CISC). Главное преимущество RISC заключается в том, что при таком подходе то, как именно выполняются вычисления, в большей степени задается на программном, а не аппаратном уровне. Подробнее об этом можно прочитать тут.

О планах Fujitsu по созданию рекордного компьютера Fugaku на архитектуре ARM стало известно еще в 2016 году. В конце 2019 года инженеры начали собирать компьютер в Институте Кобе в составе Института физико-химических исследований (RIKEN), а в середине мая получили последние стойки и завершили установку, поэтому TOP500 смог включить новый суперкомпьютер в свой список, публикуемый каждые полгода в декабре и июне.

Fugaku состоит из почти 159 тысяч вычислительных узлов, в каждом из которых используется ARM-чип Fujitsu A64FX. Он имеет 48 основных вычислительных ядер и еще четыре для работы операционной системы. Для хранения данных используется SSD объемом 1,6 терабайта на каждые 16 узлов. В каждом узле используется 32 гибибайта оперативной памяти формата HBM2 со скоростью 1025 гигабита в секунду. Суперкомпьютер работает на операционной системе Red Hat Enterprise Linux 8 c гибридным ядром, состоящим из одновременно работающих ядер Linux и McKernel.

Схема процессора A64FX

Fujitsu

В стандартном тесте HPLinpack Fugaku показывает 415,5 петафлопса, на пике — 513,854 петафлопса. При работе с числами половинчатой точности мощность составляет 1,42 экзафлопса. А потребляемая электрическая мощность Fugaku составляет более 28 мегаватт.

В следующем году один из лидеров рынка суперкомпьютеров, компания Cray, планирует достроить два своих мощнейших суперкомпьютера, Aurora и Frontier. Оба будут работать на архитектуре x86, но Aurora будет использовать чипы Intel Xeon Phi и развивать мощность выше одного экзафлопса, а Frontier будет работать на AMD EPYC и иметь мощность выше 1,5 экзафлопса. Также суперкомпьютер с мощностью выше экзафлопса должен появиться в 2021 году в Китае. Он будет называться Tianhe-3, и в нем будет использована комбинация из пока неизвестного центрального процессора и китайского цифрового сигнального процессора Matrix-3000 на архитектуре RISC.

Григорий Копиев

Китай берет числом, США – производительностью

Опубликован новый рейтинг самых быстрых суперкомпьютеров мира — 52-й по счету. Пять позиций в первой десятке, включая «золото» и «серебро», держат американцы. Вторую подряд редакцию списка 500 самых производительных вычислительных машин мира удерживает суперкомпьютер Summit («Вершина») из американской Окриджской национальной лаборатории минэнерго США. Второе место у машины Sierra из Ливерморской национальной лаборатории, которая занимается ядерной безопасностью страны, сообщается в пресс-релизе на сайте top500.org.

Summit увеличил отрыв с момента своего триумфа в июне этого года, его производительность выросла по тесту Linepack с 122,3 до 143,3 петафлопс (квадриллионов вычислений в секунду). Sierra выросла с 71,6 до 94,6 петафлопс. Оба компьютера произведены компанией IBM, в них установлены процессоры Power9 и графические ускорители Nvidia V100.

Успех Sierra заставил китайский Sunway TaihuLight спуститься на третью строчку. До июня этого года TaihuLight был самым мощным суперкомпьютером в мире с производительностью 93 петафлопс. Эта система разработана Национальным исследовательским центром параллельной вычислительной техники и технологий (NRCPC)

Tianhe-2A («Млечный путь») Национального центра суперкомпьютеров в Тяньцзине — на четвертой позиции с производительность 61,4 петафлопс.

Пятое место занял Piz Daint на базе суперкомпьютерной платформы американского производителя Cray XC50, установленный в Швейцарском национальном суперкомпьютерном центре в Лугано (Swiss National Supercomputing Centre). Назван в честь горы Piz Daint в Швейцарских Альпах. Piz Daint с его 21,2 петафлопс по-прежнему остается самым мощным в Европе. Он собран на базе процессоров Intel Xeon и графических карт Nvidia Tesla P100.

Trinity — суперкомпьютер на базе платформы Cray XC40, установленный в Лос-Аламосской национальной лаборатории (штат Нью-Мексико, США), — переместился с седьмой позиции на шестую (20,2 петафлопс). Из первой десятки только он собран на базе процессоров Intel Xeon Phi.

Единственный представитель Японии в первой десятке — AI Bridging Cloud Infrastructure (ABCI) — имеет производительность по тесту Linpack 19,9 петафлопс. В системе компании Fujitsu, которая заняла седьмое место, установлены процессоры Intel Xeon Gold и графические ускорители Nvidia Tesla V100.

Впервые попал в десятку самый быстрый компьютер Германии SuperMUC-NG, произведенный китайской Lenovo, он стоит в Суперкомпьютерном центре имени Лейбница недалеко от Мюнхена. В системе установлены более 311 тыс. ядер процессоров Intel Xeon, при производительности 19,5 петафлопс он занял восьмую позицию.

Суперкомпьютер Titan (Cray XK7), установленный в Национальной лаборатории Оук-Ридж министерства энергетики США, который когда-то был самым мощным в Америке, на этот раз занял в топ-500 девятую строчку. Он достиг 17,6 петафлопс на ускорителях Nvidia K20x.

И замыкает десятку лучших суперкомпьютер Sequoia, основанный на архитектуре IBM Blue Gene/Q. Он установлен в Ливерморской национальной лаборатории. Мощность — 17,2 петафлопс.

Итак, Оук-Ридж и Ливермор — две лаборатории, сконцентрировавшие в своих стенах колоссальную вычислительную мощь: сегодня они располагают сразу четырьмя из пятисот самых производительных суперкомпьютеров мира.

Если говорить о тенденциях, то в первую очередь стоит упомянуть успехи Китая. Доля систем, созданных в этой стране, продолжает расти, на этот раз в топ-500 попали 227 суперкомпьютеров, а это уже почти половина списка, если быть точными, 45%. При этом американцев становится все меньше, на этот раз даже достигнут антирекорд — 109 систем, 22% от общего числа. Однако стоит отметить, что сделанные в Соединенных Штатах системы в среднем более мощные, и по суммарной производительности Америка выигрывает у Китая — 38% против 31%.

Третьей по количеству систем в топ-500 идет Япония с 31 суперкомпьютером, на четвертом месте — Великобритания (21), дальше — Франция (18), Германия (17), Ирландия (12). У всех остальных стран меньше десяти систем в списке.

В рейтинг входят три российских суперкомпьютера: на 79-м месте «Ломоносов-2» производства компании «Т-Платформы» в МГУ им. М. В. Ломоносова, на 282-м — компьютер производства «T-Платформ» и Cray в главном вычислительном центре Федеральной службы по гидрометеорологии и мониторингу окружающей среды, на 485-м — «Ломоносов» производства «Т-Платформ».

В портфолио «Т-Платформ» есть еще одна примечательная нероссийская инсталляция — это машина JURECA, произведенная «Т-Платформами» и поставленная в 2015 году в немецкий суперкомпьютерный центр Юлих (Forschungszentrum Juelich), с производительностью 3,78 петафлопс. Сегодня она занимает 44-ю позицию в списке Топ 500.

Fujitsu и RIKEN занимают первое место в мире в TOP500, HPCG и HPL-AI с суперкомпьютером Fugaku

Как платформа информационных технологий, Fugaku демонстрирует в целом высокую производительность, чтобы сделать Society 5.0 реальностью

Fujitsu Limited

Новости Факты:

  • Суперкомпьютер Fugaku, разработанный совместно RIKEN и Fujitsu, занял первое место.1 место в 55-м списке мировых суперкомпьютеров TOP500 с производительностью LINPACK 415,53 PFLOPS (петафлопс) и коэффициентом эффективности вычислений 80,87%.
  • Fugaku также занял первое место в международном рейтинге HPCG (High Performance Conjugate Gradient), набрав 13 400 терафлопс (терафлопс), и занял первое место в рейтинге HPL-AI с 1,421 EFLOPS.
  • Рекордное достижение указывает на общую высокую производительность Фугаку и ее значительный вклад в развитие Общества 5.0 — это реальность, ведущая к росту Японии и достижение лучших мировых результатов путем решения социальных и научных проблем в 2020-х годах.

Токио, 22 июня 2020 г.

Сегодня Fujitsu объявила, что суперкомпьютер Fugaku (1) , разработанный совместно RIKEN и Fujitsu, занял первое место в 55-м списке суперкомпьютеров мира TOP500. Fugaku также заняла позицию № 1 в международном рейтинге HPCG (High Performance Conjugate Gradient), который измеряет скорость обработки метода сопряженных градиентов (2) , часто используемого в практических приложениях, в том числе в области промышленности, и в рейтинг HPL-AI, который измеряет производительность вычислений с низкой точностью, часто используемых в AI, таких как глубокое обучение.

Эти рейтинги были объявлены 22 июня на продолжающемся виртуальном мероприятии ISC (International Supercomputing Conference) High Performance 2020 Digital.

Достижение № 1 в этих трех рейтингах указывает на общую высокую производительность Fugaku и демонстрирует, что она может в достаточной мере отвечать потребностям общества 5.0 (3) , которое направлено на построение умного общества, создающего новые ценности. Fugaku может внести свой вклад в такое общество в качестве технологии информационной инфраструктуры, ускоряя решение социальных проблем с помощью моделирования, одновременно продвигая развитие технологий искусственного интеллекта, а также технологий, связанных с распределением и обработкой информации.

Суперкомпьютер Fugaku (в разработке и подготовке)

Результаты измерений Fugaku

  1. TOP500

    Система Fugaku, занявшая первое место в списке TOP500, состояла из 396 стоек (155064 узла, (4) , примерно 95,6% всей системы), а производительность LINPACK составила 415,53 PFLOPS (петафлопс) с коэффициентом вычислительной эффективности 80,87%. . Японский суперкомпьютер впервые занял первое место в TOP500 с тех пор, как компьютер K занял первое место.1 ноября 2011 года (38-е место в списке TOP 500). Производительность Fugaku примерно в 2,8 раза выше, чем у суперкомпьютера, занимающего второе место в списке TOP500, с показателем 248,6 PFLOPS.

  2. HPCG

    Для этого теста использовались 360 стоек (138 240 узлов, примерно 87% всей системы) Fugaku, чтобы достичь высокого показателя в 13 400 терафлопс (терафлопс). Это доказывает, что суперкомпьютер может эффективно обрабатывать такие реальные приложения в области промышленности и хорошо работать.Более того, производительность Fugaku превосходит суперкомпьютер № 2 (2925,75 терафлопс) примерно в 4,6 раза.

  3. HPL-AI

    В отличие от обычных списков TOP500 и HPCG, которые измеряют производительность арифметического логического устройства двойной точности, HPL-AI — это новый эталонный тест, установленный в ноябре 2019 года в качестве индекса для оценки производительности вычислений, который учитывает возможности одинарной точности и устройства арифметической логики половинной точности, используемые в искусственном интеллекте.Для этого измерения высокий балл 1,421 EFLOPS (Exa FLOPS) был зарегистрирован с использованием 330 стоек (126 720 узлов, примерно 79,7% от всей системы) Fugaku.

    Это также исторический рекорд, поскольку Fugaku впервые в мире достиг 1 exa (10 в степени 18) в одном из тестов HPL. Это доказывает способность Fugaku способствовать развитию Society 5.0 как исследовательской платформы для машинного обучения и анализа больших данных.

О тестах суперкомпьютера

  1. TOP500

    Список TOP500 — это проект, который регулярно составляет рейтинг и оценивает 500 самых быстрых суперкомпьютерных систем в мире на основе производительности LINPACK.Программа LINPACK, разработанная доктором Джеком Донгарра из Университета Теннесси, США, для решения системы линейных уравнений с помощью матричных вычислений, была запущена в 1993 году для объявления рейтинга суперкомпьютеров два раза в год (июнь и ноябрь).

    LINPACK измеряет вычислительную мощность чисел с плавающей запятой двойной точности, используемых во многих научных и промышленных приложениях, и чтобы получить высокий балл в этом тесте, необходимо проводить крупномасштабный тест в течение длительного времени.В целом, высокий показатель LINPACK считается всеобъемлющим показателем вычислительной мощности и надежности.

  2. HPCG

    TOP500 долгое время был популярным эталоном для оценки вычислительной мощности, который был важным показателем производительности при решении системы линейных уравнений, состоящей из плотной матрицы коэффициентов. Прошло более 20 лет с момента запуска проекта в 1993 году, и недавно было отмечено, что требования к производительности реальных приложений не выполняются, и время, необходимое для тестирования производительности, увеличивается.

    Соответственно, д-р Донгарра и др. предложила новую программу тестирования HPCG, которая использует метод сопряженных градиентов для решения системы линейных уравнений, состоящей из разреженной матрицы коэффициентов, которые часто используются в промышленных приложениях. После объявления результатов измерений 15 ведущих мировых суперкомпьютерных систем на ISC 2014 в июне официальный рейтинг был объявлен на Международной конференции по высокопроизводительным вычислениям, сетевым технологиям, хранению данных и анализу (SC14), проходившей в Новом Орлеане, США, в ноябре. .

  3. HPL-AI

    TOP500 и HPCG оценили суперкомпьютеры с точки зрения вычислительной производительности для решения системы линейных уравнений. В обоих случаях в правилах было оговорено, что для вычислений должна использоваться только арифметика двойной точности (16-значное число с плавающей запятой из 10), которое широко использовалось в научных и технологических расчетах, а также в промышленных приложениях.

    В последние годы все больше компьютеров, оснащенных графическими процессорами или специализированными микросхемами искусственного интеллекта, добавляют большое количество арифметических логических устройств с низкой точностью (5 или 10 цифр из 10) для повышения своей производительности.Поскольку эти возможности высокопроизводительных вычислений не отражены в списке TOP500, доктор Донгарра и др. улучшил тест LINPACK, позволив использовать вычисления с низкой точностью, и предложил новый тест HPL-AI в ноябре 2019 года.

    HPL-AI позволяет LINPACK выполнять вычисления с низкой точностью при решении системы линейных уравнений с использованием LU-разложения (5) . Однако, поскольку точность вычисления ниже, чем точность вычисления двойной точности, требуется получить ту же точность, что и вычисление двойной точности, с помощью метода, называемого итеративным уточнением (6) .Другими словами, это двухэтапный тест. Поскольку правила HPL-AI были выпущены в ноябре 2019 года, это первое объявление рейтинга тестов.

Комментарии

Комментарий Сатоши Мацуока, директора Центра вычислительных наук Рикен (R-CCS)

Через десять лет после того, как была предложена первоначальная концепция, и через шесть лет после официального начала проекта, Fugaku близок к завершению. Fugaku был разработан на основе идеи достижения высокой производительности в различных приложениях, представляющих большой общественный интерес, таких как достижение Society 5.0, и мы очень рады, что он показал себя выдающимся во всех основных тестах суперкомпьютеров. Помимо использования его в качестве суперкомпьютера, я надеюсь, что передовые ИТ-технологии, разработанные для него, внесут свой вклад в решение сложных социальных проблем, таких как COVID-19.

Комментарий Наоки Синдзё, исполнительного директора Fujitsu Limited

Я считаю, что наше решение использовать процесс совместного проектирования для Fugaku, который включал работу с RIKEN и другими сторонами для создания системы, было ключом к нашему завоеванию верхних позиций в ряде рейтингов.Я особенно горжусь тем, что нам удалось сделать это всего через месяц после завершения поставки системы, даже во время кризиса COVID-19. Я хотел бы выразить нашу искреннюю благодарность RIKEN и всем другим сторонам за их щедрое сотрудничество и поддержку. Я очень надеюсь, что Fugaku продемонстрирует свою высокую эффективность в реальных приложениях и поможет сделать Society 5.0 реальностью.

Комментарий Рене Хааса, президента IPG, Arm

Суперкомпьютер Fugaku демонстрирует резкий сдвиг в типах вычислений, которые традиционно использовались в этих мощных машинах, и является доказательством инноваций, которые могут произойти с гибкими вычислительными решениями, управляемыми сильной экосистемой.Для Arm это достижение демонстрирует энергоэффективность, производительность и масштабируемость нашей вычислительной платформы, которая простирается от смартфонов до самого быстрого суперкомпьютера в мире. Мы поздравляем RIKEN и Fujitsu с тем, что они бросили вызов статус-кво и показали миру, что возможно в высокопроизводительных вычислениях на базе Arm.

Сайты по теме

Рейтинг

TOP 500: https://www.top500.org/lists/top500/

ТОП 500: https://www.top500.org/

Рейтинг HPCG: https: // www.top500.org/hpcg/

HPCG: https://www.hpcg-benchmark.org/

HPL-AI: https://icl.bitbucket.io/hpl-ai/

RIKEN Computational Science Research Center (R-CCS): https://www.r-ccs.riken.jp/jp/

ISC HIGH PERFORMANCE 2020 DIGITAL (веб-сайт Fujitsu):

https://www.fujitsu.com/supercomputer/topics/isc20/


О Fujitsu

Fujitsu — ведущая японская компания в области информационных и коммуникационных технологий (ИКТ), предлагающая полный спектр технологических продуктов, решений и услуг.Около 130 000 сотрудников Fujitsu поддерживают клиентов в более чем 100 странах. Мы используем наш опыт и возможности ИКТ, чтобы вместе с нашими клиентами формировать будущее общества. Fujitsu Limited (TSE: 6702) сообщила о консолидированной выручке в размере 3,9 триллиона иен (35 миллиардов долларов США) за финансовый год, закончившийся 31 марта 2020 года. Для получения дополнительной информации посетите сайт www.fujitsu.com.

Контакты для прессы

Отдел по связям с общественностью и инвесторами

Запросы

Компания: Fujitsu Limited


Это перевод Fujitsu японского пресс-релиза, выпущенного RIKEN и Fujitsu Limited.

Все упомянутые здесь названия компаний и продуктов являются товарными знаками или зарегистрированными товарными знаками соответствующих владельцев. Информация, представленная в этом пресс-релизе, актуальна на момент публикации и может быть изменена без предварительного уведомления.

Дата: 22 июня, 2020
Город: Токио
Компания:

Fujitsu Limited

Список суперкомпьютеров Top 500 отражает изменение мировых тенденций в области высокопроизводительных вычислений

Если бы список самых быстрых и мощных суперкомпьютеров в мире, составляемый дважды в год, использовался в качестве индикатора ключевых технологических, государственных инвестиций и научного прогресса, можно было бы сделать несколько поразительных прогнозов относительно того, где, скорее всего, остановятся следующие центры мировых инноваций.

Поскольку Китай цепляется за свое драматическое первое место в списке для пятой итерации списка подряд, о котором только что было объявлено на Международной конференции по суперкомпьютерам во Франкфурте, Германия, позиция США остается стабильной, а новая волна систем Японии берет верх. Поймите, глобальное игровое поле на высшем уровне вычислений настроено на несколько интересных моментов.

Интересно, что, несмотря на долгую победу над суперкомпьютером Tianhe-2, количество систем в Китае за последний год значительно сократилось.В ноябре 2014 года страна заявила, что 61 система вошла в топ-500 — это число упало до 37 после вывода из эксплуатации нескольких систем, которые находились внизу. Соединенные Штаты стабильно занимают 230 машин в топ-500 — впечатляющее число, но это наименьшее количество суперкомпьютеров на территории США, не считая еще одного падения (до 226) в начале 2000-х годов.

В последнее время ошеломляющая история суперкомпьютеров произошла в Японии (и, как многообещающий, в Южной Корее), которая занимает 2-е место среди пользователей высокопроизводительных вычислений на планете.В июне 2010 года в списке Японии было 18 систем. К 2012 году их было 35 (включая K Computer, который по-прежнему занимает первое место), в 2013 году их было 30. А в списке на это лето их всего 39. В дополнение к успешному K Computer, построенному Fujitsu , машина TSUBAME 2.5 и предстоящая (2016 г.) система TSUBAME 3.0 займут первые места в списке, завершив вложения в оборудование и программное обеспечение в рамках японской программы HPCI, которая является национальным зонтиком для достижения конечных целей эксафлопсности в период после 2020 г. .

Доля европейских систем тоже довольно велика — и немного растет. В ноябрьском списке было 130 систем, число которых выросло до 141. И хотя азиатские машины являются темой большого разговора (и предстоящей дискуссии, которую мы рассмотрим на этой неделе), сейчас 107 систем из Азии, ниже с 120 в ноябре.

Хотя события в Японии, Южной Корее и России заслуживают внимания, справедливости ради следует отметить, что только относительно небольшая часть сайтов высокопроизводительных вычислений проходит тест LINPACK (оценки находятся в пределах 15-20%), который является метрикой, по которой помещается в топ-500. определен.Делать прогнозы в отношении экономики и конкурентоспособности только на этом основании было бы связано с некоторыми оговорками. Тем не менее, одна из самых заметных тенденций заключается в том, что список в целом, по странам и типам систем, находится в колее с беспрецедентно низким коэффициентом замены и старыми системами, которые все еще работают с эталонным тестом и сохраняют список в основном там, где он был в конце 2013 года. — начало 2014 года.

Несмотря на то, что сегодня, возможно, не появятся какие-либо потрясающие новые суперкомпьютеры, которые удивили бы нас и испугали бы нас по поводу последнего раунда объявления 500 самых быстрых систем, относительное спокойствие этого списка говорит о многом даже для тех, кто не регулярно следит за достижениями. в производительности суперкомпьютера.Инвестиции и прогресс в направлении все более быстрых машин Top 500 — это индикатор (и результат) экономического, научного и промышленного роста, поэтому для июньского списка полезно сосредоточиться немного меньше, чем обычно на самих системах, и больше на некоторых из них. ключевые изменения, которые определяют суперкомпьютеры в 2015 году.

В списке 500 лучших за июль 2015 года

Для тех, кто следит за составлением рейтинга самых быстрых суперкомпьютеров мира, который проводится дважды в год, верхняя часть списка будет выглядеть довольно знакомой, поскольку машина Tianhe-2 в Китае намного опережает своего ближайшего конкурента, систему Titan в Национальной лаборатории Ок-Ридж.Это пятый раз подряд, когда китайский суперкомпьютер выходит на первое место — тенденция вряд ли изменится для новых результатов ноябрьских тестов, особенно с учетом того, что некоторые из крупнейших будущих новых систем (Summit, Aurora и другие) не связаны с будут установлены до конца 2016-2018 гг. Фактически, в этой первой десятке единственным изменением является добавление новой записи — суперкомпьютера Cray XC40 «Shaheen II», занявшего 7 место в Университете науки и технологий имени короля Абдаллы (KAUST) в Саудовской Аравии.Десять лучших по порядку ниже.

В ближайшие два-три года в национальные лаборатории в США и других странах мира поступят новые машины, которые снова значительно изменят кривую наверху, но на данный момент общая производительность отслеживания темпов роста списка за списком находятся на рекордно низком уровне за последние два года. В верхней части списка наблюдается небольшая текучесть кадров, а коэффициент замещения в топ-500 намного ниже, чем обычно. Единственная новая машина из первой десятки была установлена ​​в этом году, а лучший суперкомпьютер в мире в Китае был установлен в 2013 году.Как отметили сегодня на ISC ’15 основатели Top 500, «возраст населения в первой 10 беспрецедентен», и скорость замены машин как в верхней, так и в нижней части списка также ниже, чем в любой точке, поскольку список был введен в 1993 году.

«Список удручающий, он определенно ниже традиционных показателей, которые мы видели в прошлом», — говорит Джек Донгарра, один из первых создателей теста LINPACK и сопутствующего списка Top 500 The Next Platform . Это подтверждается тем фактом, что производительность последней системы в списке (номер 500) постоянно отставала от исторических тенденций роста в течение последних пяти лет, и теперь эта траектория увеличивается на 55 процентов каждый год.Однако в период с 1994 по 2008 год ежегодные темпы роста производительности систем номер 500 составляли 90 процентов ».

Что касается замедления темпов роста, Донгарра говорит, что он не думает, что это связано с тем, что все больше центров ждут новой архитектуры, скорее это сигнал об экономических последствиях сокращений и мер жесткой экономии в Европе и США в частности.

Шесть месяцев назад в Top 500 было 50 систем, которые достигли петафлопс или более стабильной производительности, и хотя это число подскочило для этого воплощения списка до 68, рост производительности больших машин происходит не так быстро, как мы. видели в предыдущие годы.Помните также, что следующая грандиозная задача для крупномасштабных суперкомпьютеров — когда-нибудь (в зависимости от того, кого вы спросите) в период 2019-2022 годов достичь производительности экзафлопсного уровня. Как видно на приведенной ниже диаграмме, которая отслеживает прогресс производительности, текущие системы не находятся на линии тренда в сторону экзадачи. Также обратите внимание, что в список будут добавлены новые машины, чтобы подчеркнуть, как они могут изменить кривую, когда они выйдут в сеть в ближайшие несколько лет.

Честно говоря, мы используем спецификации для систем, которые еще не построены (были добавлены Aurora и Summit).Это также минимальные начальные числа для машин, которые будут обновляться в течение последующих лет, чтобы стать намного более мощными, чем показано здесь. Дело в том, что он обеспечивает достаточно перспективу, чтобы понять, что путь к экзадачу не будет легким только для оборудования, не говоря уже обо всей глубокой работе над кодом, которая потребуется для запуска реальных приложений.

В дополнение к новым системам, которые должны появиться в ближайшие годы, в первой десятке должна произойти встряска, так как ныне прекращенная архитектура IBM BlueGene по-прежнему занимает 40% первой десятки с третьим, системы пятого, девятого и десятого места.

Но даже с этими цифрами на верхнем уровне Intel по-прежнему остается доминирующим поставщиком процессоров в Топ-500, имея чуть более 86% доли. Для сравнения, AMD Opteron установлена ​​в 22 из 500 систем с наибольшим объемом ресурсов (4,4% по сравнению с 5,2% в списке за ноябрь 2014 г.), и IBM стабильно удерживает 8% доли процессоров.

Сказать, что Intel доминирует в списке, было бы преуменьшением, но они также преуспевают за пределами территории исключительно хост-процессоров с небольшим увеличением использования их сопроцессора Xeon Phi.В общей сложности 33 системы сейчас используют Xeon Phi, а четыре системы используют комбинацию графических процессоров Xeon Phi и NVIDIA для ускорения.

Кривая использования ускорителей достигла резкого скачка роста в период 2010-2013 гг., Но в последних нескольких списках наклон несколько выровнялся. На данный момент 88 из 500 лучших систем используют ускорители, 52 из которых используют графические процессоры NVIDIA, а остальные — Xeon Phi, хотя есть также четыре машины, использующие ядра ATI Radeon. Следует отметить добавление нового ускорителя от японского производителя микросхем PEZY Computing.Две машины, обе в Японии №162 и №366, используют ускоритель PEZY-SC на подключенном к Infiniband кластере с жидкостным охлаждением Exascaler Inc. с 8-ядерными хост-процессорами Xeon E5 v3. На этой неделе мы попытаемся поговорить с PEZY, чтобы увидеть, как ускорители на базе ARM используются совместно с Xeon. Еще одна кривая роста, на которую стоит обратить внимание, касается технологии InfiniBand, которая сейчас присутствует в 227 системах, по сравнению с 225 в последнем списке в ноябре. С другой стороны, количество гигабитных сетей Ethernet упало с 187 до 147 систем из-за 84 новых систем, использующих интерфейсы 10GbE.

Когда дело доходит до упаковки всех этих технологий для топ-500 и аналогичных систем высокопроизводительных вычислений во всем мире, IBM и HP занимают первое место по доле производительности для всего списка. Интересно будет наблюдать за развитием компании Lenovo в следующих нескольких списках, но на данный момент у них есть только три системы, в которых они указаны как единственный поставщик и объединены как IBM / Lenovo для дополнительных 17 машин. Когда дело доходит до необработанных продаж систем, HP занимает первое место с 178 машинами по сравнению с 111 машинами от IBM.Чтобы рассмотреть приобретение IBM / Lenovo в контексте, примите во внимание, что в ноябре 2014 года у IBM было 153. Cray по-прежнему уверенно занимает третье место с 71 машиной, но у них есть доля в топ-500 производительности с долей 24%. установленной общей производительности — показатель, который с ноября подскочил на 18,2%.

Подробнее о летнем списке и лучших суперкомпьютерах, вошедших в него, читайте здесь.

США теряет 3-е место в рейтинге суперкомпьютеров TOP500… В Швейцарию?

Соединенные Штаты в течение некоторого времени опускались в рейтинге TOP500 благодаря Китаю, который занял 1-е и 2-е места в США со своими суперкомпьютерами Sunway TaihuLight и Tianhe-2 (производительность Linpack составила 93 и 33,9 петафлопс. соответственно). Казалось бы, хоть корону украли у Америки, 3-е место было относительно безопасным для бывших чемпионов. Не так. Америка была вытеснена с пьедестала почета в последнем обновлении TOP500 … но не Китаем, а Швейцарией? Нет, это тоже было не мое первое предположение.Страна высоких гор и скрытых недоступных банковских счетов (во всяком случае, если вы придерживаетесь стереотипов) заняла 3-е место с обновлением своего суперкомпьютера на базе Cray XC50 «Piz Daint», производительность которого теперь составляет 19,6 Петафлопс, что подтолкнуло Департамент Соединенных Штатов. Системы Energy «Титан» опустились на ничтожное 4-е место с 17,6 петафлопс. Стоит отметить, что это та же скорость, с которой работал Titan, когда он был установлен в 2012 году, что означает, что система никогда не обновлялась таким образом, чтобы повысить ее производительность.

Обновление до Piz Daint (которое, кстати, позволило ему перескочить с 5 позиций на 3 позицию) пришло в виде пакета GPU от NVIDIA. Piz Daint заменил свой графический процессор Tesla K20X на новый набор Tesla P100, что сделало его не только суперкомпьютером № 3 в мире, но и самым быстрым суперкомпьютером на базе графического процессора во всем мире.

Так что да, пока швейцарцы пролили кровь, Америка далеко не недопредставлена ​​в TOP500. К чести красно-бело-синих, США поставляют подавляющее большинство оборудования, питающего системы из списков TOP500.Решения на базе Intel составляют 464 из 500, 500. Системы на базе IBM POWER обеспечивают питание еще 21 системы, а линейка Opteron AMD представлена ​​в 6 системах. Это означает, что США по-прежнему поставляют фактические детали для создания 491/500 суперкомпьютерных решений из TOP500. Если вы хотите говорить о чистой мощности, доступной во всех этих системах, я думаю, можно с уверенностью сказать, что они довольно легко сокрушают Китай, по крайней мере, производя мускулы, и надо отдать им должное.

Тем не менее, очевидно, что не все хорошо в турнирной таблице США.Это первый случай, когда они не заняли одно из трех ведущих мест в TOP500 после небольшого всплеска в 1996 году, когда Япония ненадолго отобрала все три места (и вкратце, заметьте).

Что-то, вероятно, нужно будет изменить, если США хотят сохранить свое господство в долгосрочной перспективе.

Китай седьмой год возглавляет мировой рейтинг скорости суперкомпьютеров (обновление)

Фото: Джек Донгарра, Отчет о системе Sunway TaihuLight, июнь 2016 г.

Китайский суперкомпьютер возглавляет список самых быстрых компьютеров в мире седьмой год подряд — и впервые победитель использует только процессоры китайской разработки вместо U.С. технологии.

Объявление в понедельник — это новая веха в развитии китайских суперкомпьютеров и дальнейшая эрозия прежнего доминирования США в этой области.

В прошлом году китайский победитель в рейтинге TOP500, составленном исследователями из США и Германии, опустился на 2-е место, за ним следует компьютер в Национальной лаборатории правительства США в Ок-Ридж в Теннесси.

Также в этом году Китай впервые вытеснил США как страну с наибольшим количеством суперкомпьютеров в топ-500.В Китае было 167 систем, а в Соединенных Штатах — 165. Япония занимала третье место с 29 системами.

Суперкомпьютеры

— одна из серии технологий, намеченных правящей Коммунистической партией Китая для развития и получившей значительную финансовую поддержку. Такие системы используются для прогнозирования погоды, создания ядерного оружия, анализа месторождений и других специализированных целей.

«Учитывая, что всего 10 лет назад Китай включил в свой список всего 28 систем, и ни одна из них не вошла в топ-30, страна продвинулась дальше и быстрее, чем любая другая страна в истории суперкомпьютеров», — заявили организаторы TOP500. заявление.

По данным TOP500, чемпионом этого года является Sunway TaihuLight в Национальном суперкомпьютерном центре в Уси, к западу от Шанхая. Он был разработан Национальным исследовательским центром параллельной вычислительной техники и технологий Китая с использованием процессоров, полностью разработанных в Китае.

TaihuLight способен выполнять 93 петафлопс, или квадриллион вычислений в секунду, согласно TOP500. Он предназначен для использования в инженерии и исследованиях, включая климат, погоду, науки о жизни, передовое производство и анализ данных.

Его максимальная скорость примерно в пять раз выше, чем у Oak Ridge Titan, в котором используются технологии Cray, NVIDIA и Opteron.

Другими странами с компьютерами в первой десятке были Япония, Швейцария, Германия и Саудовская Аравия.

TaihuLight должен быть представлен во вторник на Международной конференции по суперкомпьютерам во Франкфурте директором центра в Уси Гуанвен Янгом.

«Как первая система №1 в Китае, полностью основанная на процессорах собственного производства, система Sunway TaihuLight демонстрирует значительный прогресс, достигнутый Китаем в области проектирования и производства крупномасштабных вычислительных систем», — сказал Ян. в заявлении TOP500.

В TaihuLight используются процессоры ShenWei, разработанные в Китае, что «положило конец оставшимся предположениям о том, что Китаю придется полагаться на западные технологии, чтобы эффективно конкурировать в высших эшелонах суперкомпьютеров», — говорится в заявлении TOP500.

Второй по скорости компьютер, Tianhe-2, расположенный в Национальном суперкомпьютерном центре в южном городе Гуанчжоу, имеет скорость 33 петафлопс. Он использует чипы производства Intel Corp.

Среди стран с наибольшим количеством компьютеров в списке 500 лучших, Германия оказалась на четвертом месте с 26 системами, Франция была следующей с 18, а затем Великобритания с 12.

TOP500 составлен Эрихом Штромайером из NERSC / Национальной лаборатории Лоуренса Беркли, Джеком Донгарра из Университета Теннесси, Ноксвилл, Хорстом Саймоном из NERSC / Национальной лаборатории Лоуренса Беркли и Мартином Меуэром из Prometeus GmbH, немецкой технологической компании. Другой сотрудник, Ханс Меуэр из Мангеймского университета Германии, умер в 2014 году.


Самый быстрый суперкомпьютер в мире: отчет


Дополнительная информация:
www.top500.org/news/china-tops… 93-петафлоп-машина /

© 2016 Ассошиэйтед Пресс. Все права защищены.

Ссылка :
Китай седьмой год возглавляет мировой рейтинг скорости суперкомпьютеров (обновление) (2016, 20 июня)
получено 30 ноября 2020
с https: // физ.org / news / 2016-06-chinese-supercomputer-tops-world-fastest.html

Этот документ защищен авторским правом. За исключением честных сделок с целью частного изучения или исследования, никакие
часть может быть воспроизведена без письменного разрешения. Контент предоставляется только в информационных целях.

Новый No.1 Использует процессоры Fujitsu на базе Arm

В то время как Intel продолжает доминировать в мировых суперкомпьютерах, а процессоры AMD EPYC продолжают набирать обороты, новые серверные процессоры Fujitsu на базе Arm катапультировались над конкурирующими производителями микросхем, чтобы привести в действие новый японский суперкомпьютер, который дебютирует вершина престижного списка.

Суперкомпьютер Fugaku, которым управляет Центр вычислительных наук RIKEN в Японии, был назван слотом № 1 в обновленном списке 500 лучших суперкомпьютеров мира, который был опубликован в понедельник Top500 для открытия виртуального ISC 2020 High. конференция по вычислительной технике.

[Связано: Ян Бак от Nvidia: графический процессор A100 будет «перспективными» дата-центрами для ИИ]

Top500 заявила, что Fugaku — первый суперкомпьютер в слоте № 1, оснащенный процессорами на базе Arm, что является важной вехой для британского разработчика микросхем Arm, который стремится произвести больший фурор в центре обработки данных с архитектурой процессора Neoverse, которая лицензируется Amazon Web Services и другим партнерам.

Fugaku, который работает на 48-ядерной системе A64FX на базе Arm от Fujitsu, состоит из почти семи.3 ядра процессора и достигла производительности 415,5 петафлопс в тесте High Performance Linpack, превзойдя предыдущий самый быстрый суперкомпьютер в мире Summit в 2,8 раза. Петафлоп составляет один квадриллион вычислений с плавающей запятой в секунду.

При работе с максимальной производительностью для вычислений с одиночной или дальнейшим снижением точности, Fugaku может выполнять более 1000 петафлопс, или 1 экзафлоп — веху, которую намереваются достичь три суперкомпьютера США в разработке, когда они будут завершены в 2021 году или позже.

В целом, согласно последнему списку Top500, этой весной количество суперкомпьютеров, использующих процессоры на базе Arm, удвоилось до четырех, из них три — Fujitsu A64FX, а четвертое — Marvell ThunderX2.

Доминик Данингер, вице-президент по инжинирингу в Nor-Tech, сборщике систем высокопроизводительных вычислений из Бернсвилля, штат Миннесота, который сотрудничает с Intel и AMD, сказал, что это может быть признаком больших успехов в производстве процессоров на базе Arm, но чип В конечном итоге разработчику и его партнерам по микросхемам необходимо убедиться, что их процессоры оптимизированы для правильных приложений, поддерживаются такими поставщиками серверов, как Supermicro, и обеспечивают привлекательную совокупную стоимость владения для более широкого внедрения.

«Многое должно произойти в сообществе, но если это привлекательная формула соотношения производительности на доллар, то в конечном итоге они привлекут к себе внимание», — сказал он. «И если вы получите кого-то вроде Supermicro или чего-то в этом роде, который подключается к оборудованию, тогда это становится довольно интересно».

Новый кластер Nvidia A100 Selene занял 7-е место в списке

Fujitsu и Arm были не единственными производителями процессоров, которые достигли новых высот.Nvidia представила новый суперкомпьютер под названием Selene с новыми графическими процессорами A100, который занял седьмое место в списке — шаг, который также привел к тому, что процессор AMD EPYC впервые попал в топ-10 систем.

Selene, который является частью внутреннего исследовательского кластера Nvidia, основан на эталонной архитектуре Nvidia DGX SuperPOD и состоит из 280 систем DGX A100, 2240 графических процессоров A100, 494 коммутаторов Mellanox Quantum 200G InfiniBand, сетевой структуры 56 ТБ / с и 7 ПБ высокопроизводительная флеш-память.Каждая система DGX A100 также оснащена двумя 64-ядерными процессорами AMD EPYC 7742.

Графические процессоры Nvidia

были в пяти других топ-10 суперкомпьютеров: Саммит Министерства энергетики США на 2-м месте, Sierra Министерства энергетики на 3-м месте, HPC5 итальянского энергетического гиганта Eni на 6-м месте, Marconi-100 итальянского вычислительного центра Cineca на No. 9 и Швейцарский национальный суперкомпьютерный центр Piz Daint под номером 10.

Количество суперкомпьютеров в списке Top500 с графическими процессорами Nvidia осталось на прежнем уровне 135, что на один меньше, чем в списке осени 2019 года.Но количество суперкомпьютеров, использующих графический процессор Nvidia V100, предшественник A100, выросло до 102 в этом году с 90 прошлой осенью. Тем временем Селена отметила дебют A100 в топ-500.

Nvidia входит в топ-500, однако, с учетом приобретения компании Mellanox Technologies, закрытой ранее в этом году. Компания заявила, что между ее графическими процессорами и межкомпонентными соединениями Mellanox она обслуживает две трети, или 333, из 500 крупнейших суперкомпьютеров в мире.

Рост AMD EPYC продолжается, поскольку Intel сохраняет свои позиции

В качестве доказательства продолжающегося доминирования Intel на рынке серверов, количество систем компании, использующих процессоры Xeon, составило 470, столько же, сколько было прошлой осенью, в то время как использование ее последнего поколения Xeon, второго поколения Xeon Scalable, увеличилось более чем вдвое до 54.

Полупроводниковый гигант смог претендовать на два из 10 лучших суперкомпьютеров: HPC5 от Eni на 6-м месте и Frontera Техасского вычислительного центра на 8-м месте.
Между тем, доля

AMD в топ-500 систем выросла до 11 с шести прошлой осенью. Весь рост произошел за счет процессоров EPYC Rome второго поколения от производителя микросхем, которые сейчас представлены в восьми из 500 ведущих суперкомпьютеров мира, включая Selene от Nvidia на 7-м месте.
Между тем, графические процессоры AMD Radeon для центров обработки данных AMD не продемонстрировали роста с прошлой осени, когда был только один суперкомпьютер, использующий Radeon Instinct MI60.

И Intel, и AMD участвуют в суперкомпьютерных проектах Министерства энергетики США, производительность которых превышает 1 эксафлоп. В проекте Intel Aurora предполагается использовать процессоры Xeon Sapphire Rapids нового поколения от производителя микросхем и графические процессоры Xe Ponte Vecchio. AMD предоставляет процессоры EPYC нового поколения и графические процессоры Radeon для суперкомпьютерных проектов Frontier и El Capitan. Завершение строительства Frontier и Aurora запланировано на 2021 год, а для Эль-Капитана — на 2023 год.

По словам Дэнинджера, исполнительного директора Nor-Tech, между AMD и Arm Intel столкнулась с более серьезной конкуренцией, чем в течение длительного времени.

«Конечно, чтобы въехать, нужно время», — сказал он. «Мы видели AMD четыре года назад, когда они представили архитектуру Zen, и сейчас они укрепляются».

США возглавляют список самых мощных суперкомпьютеров Top500, но Китай продолжает расти на

  • Новости
  • Анализ
  • Конференции
  • По требованию
  • Мнения
  • Ролики
  • Вебинары
  • Ресурсы
  • Журналы
  • Награды
  • Обучение

  • Поиск