Плата raid: ▷ Купить материнские платы с RAID контроллером с E-Katalog — цены интернет-магазинов России на материнские платы с RAID контроллером

RAID на материнской плате: когда лекарство опаснее болезни

Дисковые массивы принято называть RAID. Зануда может рассказать, что это не вполне корректно, но опустим тонкости. Важнее то, что самый доступный для домашнего пользователя вид RAID, на материнской плате, вреден.

То есть его можно использовать для построения RAID0 (это который с увеличением скорости в ущерб надёжности). Но для сохранения информации или обеспечения доступа к ней использовать RAID на матплате может быть опасно. Поэтому при выборе материнской платы пользовательского класса (ака desktop) обращать внимание на то, какой в ней RAID не нужно. Он в любом случае fake-RAID, горячий привет маркетологам. Кстати, в серверах, где RAID функционал не просто востребован, но и обязателен, используют не fake-RAID функционал матери, а отдельные недешёвые контроллеры. Зачем-то.

Если вам интересно подробнее
Из нашего FAQ

ВАЖНО настолько, что подчеркну вновь. Никакой RAID не есть замена backup.

Предельно кратко, пригодный к промышленному использованию RAID бывает программный (SW, software), аппаратный (HW, hardware). Годный аппаратный RAID контроллер — это собранный на карте расширения специализированный компьютер со своими процессором, памятью, и, особенно важно, системой сохранения памяти при сбое по питанию. Обычно это BBU, батарейка в просторечье. Помимо множества преимуществ у аппаратного RAID контроллера есть почти запретительная для домашнего использования цена. Программный RAID реализуется средствами операционной системы. Как примеры можно привести mdadm из Linux, zfs из Solaris, FreeBSD, Linux или Storage Spaces из Windows. Программный RAID потому и программный, что не привязан к конкретному оборудованию, а может работать на различном, если оно поддерживается операционной системой. Ещё недавно работа программного RAID отнимала значительные ресурсы от центрального процессора. Но с ростом производительности процессоров проблема практически отпала.

Fake RAID возник как дешёвая замена аппаратного RAID. Вычисления производятся на центральном процессоре компьютера. Но какая то, пусть и минимальная аппаратная часть используется.

Например, первая же ссылка, выдаваемая Гуглом по запросу «материнские платы raid» содержит следующую чушь
[Spoiler (click to open)]
Аппаратный raid покажет ощутимое преимущество если у вас 4 или более винчестеров в раид массиве, т.е. если проект имеет реально большую нагрузку на дисковую систему. Тогда отдельная плата позволит серверу быстрее обрабатывать огромное количество одновременных параллельных дисковых операций ввода-вывода.(…) По надежности оба типа контроллеров одинаковы.

Это не правда, они не одинаковы по надёжности. На фейковом RAID вы запросто получите дыру по записи при сбое по питанию, или поимеете проблемы при попытке восстановления массива, когда диск сдохнет и такое восстановление понадобится, или обнаружите, что на новой материнской плате фейковый RAID не монтируется или потеряете метки на RAID дисках при сбросе BIOS матери из-за севшей батарейки  и пр. Впрочем запросто не значит наверняка. При известной (и не такой уж большой) квалификации вы вполне можете преодолеть эти и другие проблемы. Просто такая квалификация нужно ДО того, когда приходится перестраивать RAID массив, а не В МОМЕНТ, когда диск упал и что-то надо делать. Поэтому, устраивая у себя RAID, обязательно смоделируйте на берегу возможные нештатные ситуации. Оно сильно пригодится. И для душевного здоровья и для сохранности волос на заднице. Кстати, когда я впервые примерялся к ZFS, я не поленился даже сбойный диск включить в массив, записать данные, вырвать на горячую нормальный диск — и посмотреть что будет. Так что совет про на берегу — он не только про фейковый RAID, он про всё в этой жизни.

PS UPD от 12 фев 2017 Пример из жизни
Всем добрый вечер. Может есть способ решить мою проблему без длительных копирований восстановлений. На материнке был RAID0 2Tb+2Tb, и SSD с системой. После какаихто манипуляций подростающего поколения с разгоном, биос не смог загрузить текущую конфигурацию и предложил сбросится по умолчанию. С чем юное дарование собственно и согласилось. После этого была попытка загрузить систему, которая почти удалась, вот только винда заныла что что то у меня там не очень внутри, и давайтека восстановимся. Юный хакер конечно согласился, но после всех процедур он грустно глянул на синий экран и позвал меня. После включения в биосе режима RAID для дисков, винда благополучно загрузилась, но рейд развалился, один диск остался второй вывалился и стал диском D , на место рейда. Как я понимаю винда когда восстанавливала себя потерла там загрузочные сектора и т.д. Подозреваю что есть путь решения проблемы при помощи исправления только загрузочной информации, хотя не факт. если там вся информация убита. Сейчас пробую прогнать через R-Studiо , но тот диск чтоостался в рейде пришлось подключить через USB, по другому он лезет в рейд, и еще часов 12 он будет только сканироваться. И то не факт что на выходе не получу фарш. Вот собственно и вопрос. Есть шанс как то восстановить инфу по другому. Всем спасибо за то что прочитали хотя бы) а если еще и идею подкинете по делу — огроменное спасибо вам!/UPD
UPD от 20 фев 2017 Ни разу не было и вот снова…
Так случилось, что сервер, благополучно работавший в дата-центре с 2010 года, завис, а после выключения-включения не смог загрузиться. На нем стоит RAID1 из двух 500 гиговых WD. В настоящее время состояние рейда — none defined, а оба диска в статусе Offline member. Контроллер — Intel Matrix Storage Manager option ROM v8.9.1.1002. Первым делом я приволок сервер в офис и стал бэкапить диски. Один благополучно забэкапился, а вот второй стал ругаться на битые сектора. Собственно свой ресурс диски уже выработали и я сейчас заказал пару новых. Отсюда вопрос, как мне вернуть рейд в работоспособное состояние? На порту 0 — рабочий диск, на порту 1 — битый диск. У биосе контроллера есть опция Recovery Volume Options, а в ней подопции 1. Enable only Recovery Disk 2. Enable only Master Disk. Я так понимаю, что мастер диск на порту 0. Или вот тут на форуме писали, что нужно делать диск Non-RAID, а потом создавать его заново. Что посоветуете? /UPD

Как создать RAID-массив на промышленном компьютере?

Прежде всего убедитесь, что процессорная плата промышленного компьютера поддерживает технологию RAID, либо установлен внешний PCI/PCI-Express RAID контроллер. Для создания простейших уровней RAID 1 и 0 нам потребуется минимум два идентичных накопителя HDD или SSD.

Наличие функции RAID является отличительной особенностью промышленных компьютеров и серверов, к которым предъявляются требования повышенной надежности. Благодаря поддержке RAID можно увеличить производительность системы, либо обеспечить сохранность критически важной информации.

Настройка функции RAID (redundant array of independent disks) осуществляется практически одинаковым образом на большинстве процессорных плат. Для примера рассмотрим настройку RAID у модели промышленного компьютера iROBO-2000-40i5TRHN-G3.

1. После включения ПК, в процессе загрузки экрана POST нажимаем клавишу «Del» для входа в настройки BIOS.

2. Удостоверяемся в том, что BIOS определяет все установленные жесткие диски. В разделе «Advanced» переходим в подменю «Drive Configuration».

3. В подменю «Drive Configuration» проверяем, что все диски определяются системой. В нашем случае это один SSD Samsung 500Gb для ОС и два HDD диска Seagate 1000Gb на базе которых мы будем создавать RAID.

4. Для активации встроенного RAID-контроллера необходимо изменить значение SATA Mode c AHCI на RAID. По завершению настроек нажимаем F10, сохраняем изменения и выходим из BIOS.

5. После перезагрузки система предложит настроить RAID-контроллер. Для этого нажимаем сочетание клавиш Ctrl+I и переходим к параметрам RAID.

6. В новом меню выбираем пункт Create RAID Volume и создаем один из доступных уровней RAID.

7. Так как мы используем только два диска, нам доступны уровни 0 и 1.

RAID0 позволяет сложить объем и пропускную способность обоих дисков для увеличения скорости чтения/записи в 2 раза, режим «stripe».

RAID1 позволяет настроить режим зеркала «mirror», в котором вся информация будет дублироваться на второй диск для обеспечения максимальной надежности.

При использовании более продвинутых RAID-контроллеров с большим количеством накопителей возможно построение сложных уровней RAID, таких как 5, 10, 50, 60 и т.д.
В нашем случае, присвоив имя массиву Raid1, следующим шагом мы можем выбрать его тип.

8. Мы создаем массив RAID 1 (Mirror) для обеспечения «избыточности» и сохранности критически важной информации.

9. После выбора пункта «Create Volume» система предложит нам выбрать накопители, которые будут использоваться в RAID-массиве. Клавишей «пробел» мы помечаем оба HDD Seagate.

10. При создании RAID-массива все данные на выбранных накопителях будут уничтожены. Необходимо дать свое согласие нажатием клавиши «Y» и последующим нажатием «Enter».

11. После выхода из настройки RAID-контроллера и последующей перезагрузки мы увидим, что наш RAID1 создан и в нем задействованы оба диска Seagate 1000Gb.

12. После проделанных действий, созданный RAID-массив определяется как один логический диск в BIOS и в операционной системе. Задача выполнена – RAID1 создан!

Дальнейшая работа осуществляется так же, как и с обычными накопителями в плане установки ОС и драйверов.

Несложные манипуляции с настройками выше позволят более эффективно использовать функционал промышленных компьютеров, увеличивая надежность хранения важной информации или реализуя повышенную скорость чтения и записи для работы с ресурсоемкими задачами.

Если у Вас возникли какие-то вопросы по настройке промышленных компьютеров, наши специалисты будут рады оказать Вам квалифицированную техническую поддержку по телефону +7 (495) 232-02-07 или по email: [email protected]

Аппаратный RAID: особенности использования — блог Selectel

Организация единого дискового пространства — задача, легко решаемая с помощью аппаратного RAID-контроллера. Однако следует вначале ознакомиться с особенностями использования и управления таким контроллером. Об этом сегодня расскажем в нашей статье.

Надежность и скорость работы дисковых накопителей — вопрос, волнующий каждого системного администратора. Несмотря на заверения производителей о качестве собственных устройств — HDD и SSD продолжают выходить из строя в самое неподходящее время, теряя драгоценные данные. Технология S.M.A.R.T. в большинстве случаев дает возможность оценить «здоровье» накопителя, но это не гарантирует того, что диск будет продолжать беспроблемно работать.

Предсказать выход диска из строя со 100%-ой точностью невозможно, поэтому следует предусмотреть вариант, при котором это не станет проблемой или причиной остановки сервисов. Использование RAID-массивов решает эту задачу. Рассмотрим три основных подхода, применяющихся для этой задачи:

• Программный RAID — наименее затратный вариант, но и наименее производительный. Массив создается средствами операционной системы, вся нагрузка по обработке данных «ложится на плечи» центрального процессора.
• Интегрированный аппаратный RAID (еще его часто называют Fake-RAID) — микрочип, установленный на материнскую плату, который берет на себя часть функционала аппаратного RAID-контроллера, работая в паре с центральным процессором. Этот подход работает чуть быстрее, чем программный RAID, но надежность у такого массива оставляет желать лучшего.
• Аппаратный RAID — это отдельный контроллер с собственным процессором и кэширующей памятью, полностью забирающий на себя выполнение всех дисковых операций. Наиболее затратный, однако, самый производительный и надежный вариант для использования.

Давайте рассмотрим аппаратный RAID детально.

Внешний вид

Мы выбрали решения Adaptec от компании Microsemi. Это RAID-контроллеры, зарекомендовавшие себя удобством использования и высокой производительностью. Их мы устанавливаем, если наш клиент решил заказать сервер произвольной или фиксированной конфигурации.

RAID-контроллеры форм-фактора PCI-E

Для подключения дисков используются специальные интерфейсные кабели. Со стороны контроллера используются разъемы SFF8643. Каждый кабель позволяет подключить до 4-х дисков SAS или SATA (в зависимости от модели). Помимо этого интерфейсный кабель еще имеет восьмипиновый разъем SFF-8485 для шины SGPIO, о назначении которой поговорим чуть позже.

Помимо самого RAID-контроллера существует еще два дополнительных устройства, позволяющих увеличить надежность:

• BBU (Battery Backup Unit) — модуль расширения с литий-ионной батареей, позволяющий поддерживать напряжение на энергозависимой микросхеме кэша. В случае внезапного обесточивания сервера его использование позволяет временно сохранить содержимое кэша, которое еще не было записано на диски.

  Как только электропитание сервера будет восстановлено — содержимое кэша будет записано на диски в штатном режиме. По заявлениям производителя полностью заряженная батарея способна хранить данные кэша в течение 72 часов.

• ZMCP (Zero-Maintenance Cache Protection) — специальный модуль расширения для RAID-контроллера, имеющий собственную энергонезависимую память и суперконденсатор. В случае возникновения сбоя сервера по электропитанию, суперконденсатор обеспечивает микросхемы электроэнергией, которой достаточно для записи содержимого энергозависимой памяти кэша в NAND-память ZMCP.

  После того, как электропитание сервера восстановлено, содержимое кэша автоматически будет записано на диски. Именно такие модули устанавливаются в наши серверы с аппаратным RAID-контроллером и Cache Protection.

ZMCP-модуль AFM-700 c суперконденсатором

Это особенно важно, когда включен режим отложенной записи кэша (Writeback). При пропадании электропитания содержимое кэша не будет сброшено на диски, что приведет к потере данных и, как следствие, штатная работа дискового массива будет нарушена.

Технические характеристики

Температура

Вначале хотелось бы затронуть такую важную вещь, как температурный режим аппаратных RAID-контроллеров Adaptec. Все они оснащены небольшими пассивными радиаторами, что может вызвать ложное представление о небольшом тепловыделении.

Производитель контроллера приводит в качестве рекомендуемого значения воздушного потока — 200 LFM (linear feet per minute), что соответствует показателю 8,24 литра в секунду (или 1,02 метра в секунду). Рассчитаны такие контроллеры исключительно на установку в rackmount-корпусы, где такой воздушный поток создается скоростными штатными кулерами.

От 0°C до 40-55°C — рабочая температура большинства RAID-контроллеров Adaptec (в зависимости от наличия установленных модулей), рекомендованная производителем. Максимальная рабочая температура чипа составляет 100°C. Функционирование контроллера при повышенной температуре (более 85°C) может вывести его из строя. Удобства ради приводим под спойлером табличку рекомендуемых температур для разных серий контроллеров Adaptec.

Рекомендуемые температуры

Нашим клиентам не приходится беспокоиться о перегреве контроллеров, поскольку в наших дата-центрах поддерживается постоянный температурный режим, а сборка серверов произвольной конфигурации происходит с учетом особенностей таких комплектующих (о чем мы упоминали в нашей предыдущей статье).

Скорость работы

Для того чтобы продемонстрировать, как наличие аппаратного RAID-контроллера способствует увеличению скорости работы сервера, мы решили собрать тестовый стенд со следующей конфигурацией:

• CPU Intel Xeon E3-1230v5;
• RAM 16 Gb DDR4 2133 ECC;
• 4 HDD емкостью по 1 ТБ.

В качестве операционной системы будет установлена CentOS 7. Роль серверного приложения возьмет на себя 1C Bitrix24. Вначале мы соберем программный RAID-массив с помощью mdadm и измерим производительность с помощью встроенного в Bitrix24 теста. Каких-либо изменений или дополнительных настроек в систему специально не вносим — устанавливается демо-конфигурация с настройками по-умолчанию.

Затем в этот же стенд поставим RAID-контроллер Adaptec ASR 7805 с модулем защиты кэша AFM-700, подключим к нему эти же жесткие диски и выполним точно такое же тестирование.

С программным RAID

Несомненное преимущество программного RAID — простота использования. Массив в ОС Linux создается с помощью штатной утилиты mdadm. При установке операционной системы чаще всего создание массива предусмотрено непосредственно из установщика. В случае, когда такой возможности установщик не предоставляет, достаточно всего лишь перейти в соседнюю консоль с помощью сочетания клавиш Ctrl+Alt+F2 (где номер функциональной клавиши — это номер вызываемой tty).

Создать массив очень просто. Командой fdisk -l смотрим, какие диски присутствуют в системе. В нашем случае это 4 диска:

/dev/sda
/dev/sdb
/dev/sdc
/dev/sdd

Проверяем, чтобы на дисках не было метаданных, например, от предыдущего массива:

mdadm --examine /dev/sda /dev/sdb /dev/sdc /dev/sdd

На всех 4-х дисках должно быть сообщение:

mdadm: No md superblock detected

В случае, если на одном или нескольких дисках будут метаданные, удалить их можно следующим образом (где sdX — требуемый диск):

mdadm --zero-superblock /dev/sdX

Создадим на каждом диске разделы для будущего массива c помощью fdisk. В качестве типа раздела следует указать fd (Linux RAID autodetect).

fdisk /dev/sdX

Собираем массив RAID 10 из созданных разделов с помощью команды:

mdadm --create --verbose /dev/md0 --level=10 --raid-devices=4 /dev/sda1 /dev/sdb1 /dev/sdc1 /dev/sdd1

Сразу после этого будет создан массив /dev/md0 и будет запущен процесс перестроения данных на дисках. Для отслеживания текущего статуса процесса введите:

cat /proc/mdstat

Пока процесс перестроения данных не будет завершен, скорость работы дискового массива будет снижена.

После установки операционной системы и Bitrix24 на созданный массив мы запустили стандартный тест и получили следующие результаты:

С аппаратным RAID

Прежде чем сервер сможет использовать единое дисковое пространство RAID-массива, необходимо выполнить базовую настройку контроллера и логических дисков. Сделать это можно двумя способами:

• при помощи внутренней утилиты контроллера,
• утилитой из операционной системы.

Первый способ идеально подходит для первоначальной настройки. Вход в утилиту в режиме Legacy (режим для наших серверов по умолчанию) осуществляется с помощью сочетания клавиш CTRL + A при появлении уведомления в процессе инициализации POST.

Внешний вид утилиты

Утилита позволяет не только управлять настройками контроллера, но и логическими устройствами. Инициализируем физические диски (вся информация на дисках при инициализации будет уничтожена) и создадим массив RAID-10 с помощью раздела Create Array. При создании система запросит желаемый размер страйпа, то есть размер блока данных за одну I/O-операцию:

• больший размер страйпа идеален для работы с файлами большого размера;
• меньший размер страйпа подойдет для обработки большого количества файлов небольшого размера.

Важно — размер страйпа задается только один раз (при создании массива) и это значение в дальнейшем изменить нельзя.

Процесс создания массива

Сразу после того, как контроллеру отдана команда создания массива, также, как и с программным RAID, начинается процесс перестроения данных на дисках. Этот процесс работает в фоновом режиме, при этом логический диск становится сразу доступен для BIOS. Производительность дисковой подсистемы будет также снижена до завершения процесса. В случае, если было создано несколько массивов, то необходимо определить загрузочный массив с помощью сочетания клавиш Ctrl + B.

После того как статус массива изменился на Optimal, мы установили Bitrix24 и провели точно такой же тест. Результат теста:

Сразу становится понятно, что аппаратный RAID-контроллер ускоряет операции чтения и записи на дисковый носитель за счет использования кэша, что позволяет быстрее обрабатывать массовые обращения пользователей.

Управление контроллером

Непосредственно из операционной системы управление контроллером производится с помощью программного обеспечения, доступного для скачивания с сайта производителя. Доступны варианты для большинства операционных систем и гипервизоров:

• Debian,
• Ubuntu,
• Red Hat Linux,
• Fedora,
• SuSE Linux,
• FreeBSD,
• Solaris,
• Microsoft Windows,
• Citrix XenServer,
• VMware ESXi.

Пользователям других дистрибутивов Linux также доступны исходные коды драйверов. Помимо драйверов и консольной утилиты ARCCONF производитель также предлагает программу с графическим интерфейсом для удобного управления контроллером — maxView Storage Manager.

С помощью указанных утилит можно, не прерывая работу сервера, легко управлять логическими и физическими дисками. Также можно задействовать такой полезный функционал, как «подсветка диска». Мы уже упоминали про пятый кабель для подключения SGPIO — этот кабель подключается напрямую в бэкплейн (от англ. backplane — соединительная плата для накопителей сервера) и позволяет RAID-контроллеру полностью управлять световой индикацей каждого диска.

Следует помнить, что бэкплэйны поддерживают не только SGPIO, но и I2C. Переключение между этими режимами осуществляется чаще всего с помощью джамперов на самом бэкплэйне.

Каждому устройству, подключенному к аппаратному RAID-контроллеру Adaptec, присваивается идентификатор, состоящий из номера канала и номера физического диска. Номера каналов соответствуют номерам портов на контроллере.

Замена диска — штатная операция, впрочем, требующая однозначной идентификации. Если допустить ошибку при этой операции, можно потерять данные и прервать работу сервера. С аппаратным RAID-контроллером такая ошибка является редкостью.

Делается это очень просто:

1. Запрашивается список подключенных дисков к контроллеру:

   arcconf getconfig 1

2. Находится диск, требующий замены, и записываются его «координаты» (параметр Reported Channel,Device(T:L)).

   
   

3. Диск «подсвечивается» командой:

   arcconf identify 1 device 0 0

Контроллер даст соответствующую команду на бэкплэйн, и светодиод нужного диска начнет равномерно моргать цветом, отличающимся от стандартного рабочего.

Например, на платформах Supermicro штатная работа диска — зеленый или синий цвет, а «подсвеченный» диск будет моргать красным. Перепутать диски в этом случае невозможно, что позволит избежать ошибки из-за человеческого фактора.

«Подсвеченный» диск

Настройка кэширования

Теперь пару слов о вариантах работы кэша на запись. Вариант Write Through означает, что контроллер сообщает операционной системе об успешном выполнении операции записи только после того, как данные будут фактически записаны на диски. Это повышает надежность сохранности данных, но никак не увеличивает производительность.

Чтобы достичь максимальной скорости работы, необходимо использовать вариант Write Back. При такой схеме работы контроллер будет сообщать операционной системе об успешной IO-операции сразу после того, как данные поступят в кэш.

Важно — при использовании Write Back настоятельно рекомендуется использовать BBU или ZMCP-модуль, поскольку без него при внезапном отключении электричества часть данных может быть утеряна.

Настройка мониторинга

Вопрос мониторинга статуса работы оборудования и возможности оповещения стоит достаточно остро для любого системного администратора. Для того чтобы настроить «связку» из Zabbix и RAID-контроллера Adaptec рекомендуем воспользоваться перечисленными решениями.

Зачастую требуется отслеживать состояние контроллера напрямую из гипервизора, например, VMware ESXi™. Задача решается с помощью установки CIM-провайдера с помощью инструкции Microsemi.

Прошивка

Необходимость прошивки RAID-контроллера возникает чаще всего для исправления выявленных производителем проблем с работой устройства. Несмотря на то, что прошивки доступны для самостоятельного обновления, к этой операции следует подойти очень ответственно, особенно если процедура выполняется на «боевой» системе.

Если нашему клиенту требуется сменить версию прошивки контроллера, то ему достаточно создать тикет в нашей панели управления. Системные инженеры выполнят перепрошивку RAID-контроллера до требуемой версии в указанное время и сделают это максимально корректно.

Важно — не следует выполнять перепрошивку самостоятельно, поскольку любая ошибка может привести к потере данных!

Заключение

Использование аппаратного RAID-контроллера оправдано в большинстве случаев, когда требуется высокая скорость и надежность работы дисковой подсистемы.

Системные инженеры Selectel бесплатно выполнят базовую настройку дискового массива на аппаратном RAID-конт

Тестируем массив из SSD на RAID-контроллерах нескольких поколений

Когда сегодня заходит речь о производительности системы хранения обычно разговор сразу переходит на современные накопители SSD. При этом лидерами являются устройства с интерфейсом PCIe, способные обеспечить на последовательных операциях скорости на уровне нескольких гигабайт в секунду. Если же говорить о моделях с SATA, то здесь у быстрых устройств можно увидеть производительность до 600 МБ/с. На случайных операциях разница между этими классами тоже есть, но она уже менее заметна.

При этом продукты стандартного формата 2,5’’ с интерфейсом SATA имеют несколько преимуществ – они обычно дешевле, могут работать практически в любой системе нескольких последних поколений, из них удобно делать массивы для обеспечения большой емкости СХД (и/или повышения отказоустойчивости), их можно устанавливать в большом количестве в стандартные корпуса.

Использовать чипсетный RAID не очень интересно, так что в этот раз посмотрим, насколько хорошо аппаратные RAID-контроллеры могут работать в подобных конфигурациях. Заметим, что использованное оборудование преимущественно относится скорее к среднему массовому сегменту, чем к наиболее производительным продуктам. Все-таки на рынке уже есть контроллеры и накопители с интерфейсами SAS и PCIe, но это уже совсем другой ценовой уровень.

Выбранные условия тестирования, конфигурации и инструменты наверняка вызовут много вопросов, которые можно будет обсудить и наметить направления для следующих материалов. Все-таки подобные тестирования имеют слишком много вариантов и тонкостей настройки (в том числе и в зависимости от задач), что охватить их все в одной публикации просто невозможно.

Конфигурация тестовой системы была следующей:

• материнская плата Asus Z87-A

• процессор Intel Core i7-4770

• 32 ГБ оперативной памяти

• отдельный SSD для операционной системы

• Windows 10 Pro

В роли SSD-накопителей выступали четыре Samsung 850 EVO второго поколения по 1 ТБ. Отметим отдельно, что накопители перед этим отработали около семи месяцев в сервере с Linux и никогда не знали TRIM (и по время проведения данных тестов они этого тоже не узнали). При этом прошлая нагрузка была преимущественно на чтение. Объем проведенной записи не превышал двух емкостей диска. По всем параметрам накопители были в отличном состоянии.

Контроллеров удалось найти сразу пять – четыре модели от Adaptec/Microsemi и один от LSI/Broadcom (на фото попали не все):

• Adaptec ASR-6805

• Adaptec ASR-7805

• Adaptec ASR-81605ZQ

• AdaptecSmartRAID 3152-8i

• LSI 9361-16i

Первый, конечно, уже морально устарел, однако по факту еще много где используется. Так что будет интересно посмотреть, насколько эффективно он сможет работать с новыми накопителями. Второй уже имеет 6 Гбит/с порты и работает на шине PCIe 3.0, так что вполне актуален. Третий представляет собой последнее поколение «классических» решений Adaptec и поддерживает 12 Гбит/с интерфейс для дисков SAS. Реализованную в данной модификации технологию maxCache в этой статье мы использовать не будем. SmartRAID был представлен в конце прошлого года и относится к актуальному поколению RAID-решений компании. К сожалению, он использует новую разметку и схему хранения конфигурации и поэтому не может быть использован для замены прошлых моделей с сохранением данных на дисковых томах. MegaRAID 9361-16i можно считать представителем актуальной линейки продуктов LSI для массивов с накопителями SATA и SAS.

SSD подключались через обычный бекплейн с раздельными каналами для каждого диска. От бекплейна к контроллеру шел один стандартный кабель SAS на четыре канала.

На контроллерах, если не указано обратное, были активированы кэши на чтение и на запись. Все контроллеры имели резервные батареи. Том создавался заново на каждом контроллере, хотя по факту серии 6-7-8 у Adaptec позволяют переносить его без потери данных «в любом направлении».

Поскольку мы ходим протестировать в основном контроллеры, то в качестве основной конфигурации для дискового массива был выбран RAID0 с блоком 256 КБ. При этом надо отметить, что подобное решение может быть использовано и на практике, когда хочется иметь относительно большой и быстрый массив на небольшие деньги. Конечно при условии, что есть резервные копии и время простоя не критично. Да и заявленные производителями цифры по надежности SSD все-таки внушают доверие.

В качестве тестового пакета выступал уже очень немолодой, но все еще пользующийся популярностью IOMeter. Прежде всего, отметим, что опций по выбору конфигураций как массива, так и собственно теста слишком много. С этой стороны это хорошо – вы можете подобрать их исходя из требований своих приложений. С другой – это делает бессмысленно долгим их перебор в рамках одной статьи. Так что были выбраны шесть вариантов шаблонов – три (чтение, запись, 50% чтения и 50% запись) на последовательные операции блоками по 256 КБ (совпадающим с размером блока массива) и три на случайные операции с блоками 4 КБ (наиболее часто используемый размер). В первой группе будем ориентироваться на МБ/с, во второй – на IOPS. Во время тестов использовался один worker, в настройках указывалось для Outstanding I/O значение 32. Тесты проводились на неразмеченном «сыром» томе.

BIOSы, драйвера и программное обеспечения для контроллеров использовались последний версий на момент проведения тестов.

Для начала посмотрим на результаты одного SSD, полученные на встроенном в материнскую плату контроллере.

Итак, один диск показывает скорость линейного чтения около 400 МБ/с и линейной записи около 160 МБ/с. На случайных операциях получается примерно 95 000 IOPS на чтении и 7 500 IOPS на записи. Для «использованных» устройств это, пожалуй, неплохие результаты. Напомним, что если оценивать современные жесткие диски, то можно рассчитывать примерно на 150-250 МБ/с на линейных операциях и 100-200 IOPS на случайных.

На следующих графиках представлены результаты тестирования массива со стандартными для дисковых массивов настройками контроллеров – когда для тома используется и кэш самого контроллера. Заметим, что при организации тома на SSD некоторые производители рекомендуют не использовать кэш контроллера для увеличения производительности и снижения задержек. Этот вариант мы рассмотрим далее.

Итак, на линейном чтении мы ожидаемо видим пропорциональный количеству дисков в массиве рост. Все контроллеры показывают около 1 600 МБ/с. А вот на записи и смешанной нагрузке уже можно что-то выбрать исходя из своих требований и возможностей. Даже немолодой Adaptec ASR-6805 смотрится не так уж и плохо в этом сценарии.

А вот случайные операции существенно меняют картину. Здесь уже играют роль возможности установленного на контроллерах процессора и можно увидеть существенные отличия. Старший контроллер Adaptec уже явный аутсайдер. Да и ASR-7805 тоже уже не может обеспечить существенного роста на случайном чтении и записи. Так что если важен именно такой сценарий — стоит смотреть на контроллеры последних поколений. Хотя и они способны только в два раза улучшить IOPS на чтении и записи при использовании четырех SSD. Отметим также, что на смешанной нагрузке заметно лучше других выступили Adaptec SmartRAID 3152-8i и LSI 9361-16i.

Посмотрим теперь, что будет если не использовать кэширование на контроллерах. Для модели Adaptec SmartRAID 3152-8i здесь используется специальный предусмотренный производителем режим SSD IO bypass.

На последовательных операциях чтения результаты мало отличаются от приведенных выше, что вполне ожидаемо. На записи контроллеры при отключении кэша ведут себя по разному и скорость может значительно меняться, так что стоит обратить внимание на тип нагрузки и подобрать оптимальный вариант

Еще более интересно выглядят цифры в сценарии случайных операций. Отключение кэша может существенно увеличить скорость доступа на чтении, но и в два раза снижает IOPS на операциях записи. Так что если не стоит задачи снижения времени отклика на большой нагрузке чтением, лучше оставить кэш включенным.

Заметим, что были протестированы только «крайние» варианты — включение кэшей и на чтение на запись и полное отключение кэширования. В реальности у контроллеров есть независимые настройки на чтение и запись, так что конфигураций можно получить больше. Учитывая, что параметры массива можно менять и «на лету» без потери данных, можно самостоятельно подобрать оптимальный для сценария применения вариант. Кроме того, и сами контроллеры могут иметь множество опций «тонкой настройки», которые стоит хотя бы быстро просмотреть.

Подведем итоги. «Бытовые» SATA SSD при работе с RAID-контроллерами чувствуют себя достаточно хорошо. Для раскрытия их возможностей желательно использовать контроллеры последних поколений, способные обеспечить высокие IOPS на случайных операциях. При этом существенное влияние на результаты оказывают настройки тома на контроллере и очень желательно подбирать их исходя из потребностей задач, поскольку «сделать хорошо» одновременно для всех сценариев невозможно.

В качестве бонуса — результаты тестирования конфигурации RAID5 на контроллере Adaptec ASR-7805 на том же оборудовании.

Как узнать, поддерживает ли материнская плата RAID

Как узнать, поддерживает ли материнская плата возможность создания RAID-массива? Если поддерживает, то какие конфигурации? Кроме способа непосредственно проверить это в BIOS, в настройках режима SATA-контроллера, есть ещё как минимум два варианта, как это можно сделать. При этом простых варианта, даже не требующих перезагрузки компьютера и входа в BIOS. Что за варианты?

1. Веб-страница спецификаций материнской платы

Где же ещё узнать характеристики и возможности аппаратной начинки компьютера, если не на официальном сайте производителя, на страничке спецификаций модели устройства.

Вводим модель материнской платы в интернет-поисковик и ищем (обычно в ТОПе выдачи) её официальный сайт. В разделе детальных характеристик, если RAID поддерживается, об этом факте обязательно должно быть указано.

Также должны быть указаны возможные конфигурации RAID.

Если модель материнской платы неизвестна, самый быстрый способ узнать её в среде Windows – запустить штатную утилиту msinfo32.

2. Программа HWiNFO

https://www.hwinfo.com/download/

Универсальный для всех материнских плат способ решить поставленную задачу – с помощью программы диагностики компьютерных комплектующих HWiNFO.

Программа бесплатная, на её официальном сайте есть портативная версия.

Запускаем HWiNFO.

Слева раскрываем пункт «Motherboard». Справа ищем графу «PCH Features». В ней должно быть указание на поддержку RAID или отсутствие таковой. Если поддержка есть, увидим также возможные для использования конфигурации дискового массива.

Тестирование RAID0 из пары SSD с интерфейсом PCIe на LGA1151

Методика тестирования накопителей образца 2018 года

Подход Intel к подключению всей периферии массовых платформ через чипсет (по умолчанию) имеет как свои недостатки, типа ограниченной пропускной способности связки чипсета с процессором/памятью, так и определенные достоинства. Например, буквально сразу после появления SSD с интерфейсом PCIe (независимо от поддерживаемого протокола) оказалось, что топовые чипсеты Intel способны создавать из них RAID-массивы — точно так же, как из SATA-устройств. А вот для того, чтобы «прикрутить» подобную функциональность к «процессорным» контроллерам HEDT-платформ, понадобилось время. Причем VROC (Virtual RAID on CPU) — вообще отдельная технология, и по умолчанию владельцам плат с LGA2066 (более ранние не поддерживаются) доступен только RAID0 — для активации других режимов придется покупать специальный (и, надо заметить, недешевый) ключ. Можно, конечно, просто создать «программный» RAID (благо и в случае VROC он все равно будет программным), но придется решать вопросы с загрузкой и т. п.

Технология же Rapid Storage никаких новых вопросов перед пользователем не ставит — просто с определенного момента любые накопители с интерфейсом PCIe, подключенные к чипсету, можно использовать точно так же, как SATA: поодиночке, попарно… и т. п. В общем, сам процесс создания и использования массива не зависит от интерфейса накопителей — только смешивать их нельзя. Другой вопрос, что практическая польза от создания таких массивов не слишком прослеживается.

Поэтому мы ранее обходили эту возможность стороной — тем более, что не было «на руках» пары одинаковых SSD для максимальной корректности экспериментов. Но потом было решено попробовать с разными. Ведь это производительность разных SATA-накопителей (даже твердотельных, не говоря уже о «механических») различается не слишком заметно — а в данном случае величины скорости могут иметь даже разный порядок. И если с «зеркалом» все понятно (распараллеливать чтение в этом режиме RST «не умеет», а запись определяется самым медленным из пары устройств — так надежнее), а «сложные» уровни — вообще экзотика для персональных компьютеров, то RAID0… Может ли с его помощью пара относительно медленных SSD одинаковой емкости «догнать» быстрый SSD пропорционально большей емкости? Это мы и решили проверить. В конце концов, просто интересно.

Методика и объекты тестирования

Методика подробно описана в отдельной статье, там же можно познакомиться с используемым аппаратным и программным обеспечением.

Для реализации озвученной выше цели сначала мы решили взять Intel SSD 600p и WD Black первого поколения по 512 ГБ, благо оба работают не слишком быстро, и сравнить их с одним современным Samsung 970 Evo Plus емкостью 1 ТБ. Сравнили… задумались.

Заменили Intel на Samsung 960 Pro. Потом первый Black — на второй. На этом решено было успокоиться, поскольку… Сами увидите.

Поскольку сегодняшнее тестирование достаточно специфично, мы не стали заносить результаты тестов в общую таблицу: они доступны в отдельном файле в формате Microsoft Excel. Так что желающие покопаться в цифрах (тем более, что не все они попадают на диаграммы) могут скачать его и удовлетворить любопытство.

Производительность в приложениях

С точки зрения баллов «высокого уровня», объединение пары NVMe-накопителей не просто бесполезно, а попросту вредно — производительность массива зависит от его компонентов, но всегда строго ниже, чем у самого медленного в паре устройства. На что, впрочем, можно не обращать особого внимания, поскольку тут-то все протестированные конфигурации (и одиночные, и «двойные») демонстрируют очень близкие результаты, но тенденция, как минимум, неприятная.

На низком уровне картина не меняется — просто становится еще более вопиющей: ладно бы, от создания RAID0 скорость не увеличивалась, но фактически она еще и снижается. Причем еще и сложно считать это следствием наличия какого-то «узкого места» в самом чипсете — именно в него бы мы и «уперлись» с одинаковым результатом, а не разными.

Предыдущая версия пакета, оперирующая более легкими нагрузками, впрочем, с таким пессимизмом согласна лишь отчасти — производительность массива из двух «медленных» SSD оказывается хоть немного, но более высокой, чем каждый из них демонстрирует в одиночку. Правда и размер прироста таков, что… не стоит возни. А обе «асимметричные» конфигурации с участием 960 Pro медленнее, чем он сам.

Последовательные операции

Казалось бы, настало время открывать шампанское — производительность увеличивается стремительным домкратом. Однако, как раз эта «стремительность», равно как и выход результатов за теоретические пределы интерфейса DMI, связывающего чипсет с процессором, наводит на мысли, что утилита просто «запуталась» в кэшировании — которое в RAID-режиме имеет свои нюансы. Поэтому делать какие-либо выводы по этим результатам мы не будем, а отложим вопрос до исследования файловых операций.

С записью все выглядит более корректно, но тоже не будем спешить. Пока же просто отметим, что, в лучшем случае, производительность одиночных накопителей можно сложить. Но паре медленных устройств, естественно, это не помогает догнать современное среднее — тем более, быстрое более высокой емкости.

Случайный доступ

В принципе, все, что нужно знать про объединение двух разноскоростных устройств — ни один массив с участием Samsung 960 Pro не может «догнать» одиночный Samsung 960 Pro в любых сценариях. Что же касается пары из «медленных» Intel и WD, то иногда таковая оказывается быстрее любого из участников, а иногда — только самого медленного из них. В любом случае, если вдруг хочется получить максимум производительности — проще быстрый SSD и взять. Причем одного его будет вполне достаточно. Да и ситуация с емкостью давно уже «исправлена» сравнительно с положением дел десятилетней давности, когда из SSD могло понадобиться городить массив просто для получения 200-300 ГБ «одним куском».

Довольно любопытная картинка — с одной стороны, массив, хотя бы, ничего не портит, с другой — практически ничего и не дает. Понятно почему — в этом сценарии вообще очень сложно разделить накопители на «быстрые» и «медленные». А учитывая то, что в прикладном ПО подобных операций немало, нет ничего удивительно и в том, что разные (иногда даже существенно-разные) SSD в бенчмарках высокого уровня ведут себя одинаково.

Работа с большими файлами

В однопоточном режиме скорость массива Intel+WD оказывается равной сумме скоростей его компонентов, что, казалось бы, хорошо. Однако переход к 32 потокам чтения заставляет массив работать со скоростью самого медленного устройства в паре. А в «асимметричных» конфигурациях с участием Samsung 960 Pro более медленный SSD фактически его только замедляет, но не наоборот.

Запись — слабое место первой волны NVMe-накопителей на базе TLC-памяти, но объединив пару таковых в массив мы проблему не решим. А объединив быстрый накопитель с более медленным — «ускорим» только медленный.

И вновь видим, что какой-то смысл объединять пару медленных накопителей в RAID-массив есть — но очень небольшой. Возможно, что-то интересное можно получить от пары быстрых (и одинаковых) SSD — по крайней мере, в теории. А разные точно заставлять работать вместе не стоит.

Рейтинги

В принципе, баллы этой программы подталкивают нас к тому же выводу: первый Black в паре с 600р быстрее, чем любой из них, но вот два оставшихся массива производительнее лишь самого медленного из своих составляющих.

И общая оценка наглядно демонстрирует бессмысленность того, чем мы сегодня занимались 🙂

Итого

В общем и целом, оно работает, только непонятно, зачем это нужно. Впрочем, какого-либо иного результата ожидать было сложно: все-таки твердотельный накопитель (особенно топовый) и по внутреннему устройству тяготеет к распараллеливанию нагрузки, а PCIe 3.0 x4 до сих пор является избыточным для большинства сценариев интерфейсом работы. Для «более последовательных» винчестеров актуальным когда-то было внедрение хоть какого-то параллелизма, а тут это просто не нужно. Для SATA SSD могло работать уменьшение зависимости от «узкого» интерфейса путем его виртуального удвоения — тут это тоже не нужно. Да, в каких-то случаях массив оказывается быстрее своих составляющих, но куда большего эффекта можно добиться, взяв один быстрый SSD большей емкости. А в некоторых сценариях производительность массива только снижается, так что тут и думать нечего.

Как настроить RAID-решение Intel® Embedded Server RAID 2 (Intel® …

Что вы видите?

Система на базе семейства серверных плат Intel® S2600WF / ESRT2 / ST не может найти конфигурацию RAID-технологий Intel® Embedded Server RAID 2 (Intel®). Доступна только опция Intel® Rapid Storage Technology (Intel® RSTe) для предприятий (Intel).

Переменных

• Семейство серверных плат Intel® S2600WF
• Семейство серверных плат Intel® S2600ST
• Семейство серверных плат Intel® S2600BP

Как решить эту проблему:

Технология Intel® Embedded Server RAID 2 ( Intel® ESRT2) поддерживается в режиме UEFI для системы на базе семейства серверных плат Intel S2600WF / BP / ST.Вы можете перейти от Legacy к режиму загрузки UEFI, выполнив следующие действия.

1. Включить режим загрузки UEFI:
   1. Включите систему и нажмите F2 для входа в программу Setup, когда нажмите [F2], чтобы войти в программу Setup и выбрать опции загрузки .
   2. Выберите «Диспетчер загрузки загрузочного сопровождения»,> Расширенные варианты загрузки -> режим загрузки -> UEFI.
2. Чтобы включить Intel ESRT2:
   1. Нажмите кнопку ESC, чтобы вернуться к главному меню.
   2. Выберите контроллер SATA> с конфигурацией Advanced>.
   3. Выберите режим RAID для контроллера SATA с поддержкой AHCI.
   4. Выберите опции Intel® ESRT2 для SATA RAID ..
   5. Сохраните и перезапустите систему.

После включения Intel ESRT2 вы можете использовать утилиту конфигурирования Хии (Infrastructure Interface Infrastructure) в UEFI для создания и конфигурирования тома Intel ESRT2 RAID:

1. Включите систему и нажмите F2 для входа в программу Setup.
2. Выберите Advanced-> PCI Configuration> -ROM Option-ROM Control> с технологией Intel Embedded Server RAID 2 (SATA).
3. Используйте утилиту конфигурирования конфигурирования Хии (для управления видеоинтерфейсом) для создания RAID-контроллера Intel ESRT2, поскольку не будет предлагаться сочетание клавиш CTRL + E.

Выявление и дополнительная информация:

Для системы на базе серверной платы Intel® / класса поддержки семейства S2600WF / BP / ST, когда режим загрузки уже унаследован, для RAID можно активировать только Intel Intel® Rapid Storage Technology (Intel® РСТе). Технология Intel® Embedded Server RAID 2 (Intel® ESRT2) доступна только в режиме UEFI.

ИНФОРМАЦИЯ, ПРИВЕДЕННАЯ В ЭТОЙ СТАТЬЕ, ИСПОЛЬЗОВАЛАСЬ НАШИМИ ПОКУПАТЕЛЯМИ, НО НЕ ТЕСТИРОВАЛАСЬ, ПОЛНОСТЬЮ РЕПЛИЦИРОВАНА ИЛИ ПРОВЕРЕНА КОРПОРАЦИЕЙ INTEL.ОТДЕЛЬНЫЕ РЕЗУЛЬТАТЫ МОГУТ ОТЛИЧАТЬСЯ. ДЛЯ всех разнесений и условий использования контента на этом сайте.

.

Настройка аппаратного массива RAID 1 на серверной плате Intel S1200V3RPL

Материнская плата Intel Server Board S1200V3RPL (чипсет C226) несет на борту очень полезную технологию Intel Embedded Server RAID Technology II , которая позволяет построить аппаратный RAID-массив.

Аппаратный RAID-массив имеет ряд неоспоримых преимуществ по сравнению с программным RAID-массивом:

• скорость
• надежность

Ниже приведены настройки материнской платы S1200V3RPL для создания зеркального массива RAID 1.

Настройка BIOS

При загрузке сервера нажимаем F2 и входим в BIOS. SATA-контроллер переводим в режим RAID и выбираем параметр RAID — ESRT2. Этот режим более совместимый, хотя ходят слухи, что RAID RST отличается большим быстродействием. Важно помнить, что после перехода в режим RAID, диски станут доступными только через RAID-конфигуратор и без дополнительных настроек системы не увидит подключенные диски.

Настройка Intel Embedded Server RAID Technology II

Ребутаем сервер и по разию Ctrl-E входим в конфигуратор Intel Embedded Server RAID Technology II для настройки RAID-массива.

В разделе Настройка выбираем диски, которые необходимо объединить в RAID 1 массив, и нажимаем F10. После окончания конфигурирования массива перезагружаемся и видим статус дисков:

Замечания:

• Операционная система не увидит RAID-массив без драйверов драйверов. Поэтому перед установкой Windows Server необходимо добавить в установочный дистрибутив папку Windows с драйверами для нашего RAID-массива. Например, с помощью программы UltraISO.
• Для контроля состояния RAID-массива можно использовать утилиту RAID Web Console 2. В ней есть функция отправки уведомлений на электронную почту.

Дополнительный материал:
Intel RAID Software User Guide
Встраивание драйверов RAID в образ восстановления Windows Server 2008 R2

.