Raid уровни: RAID 0, RAID 1, RAID 5, RAID 10 RAID?

Содержание

Что такое RAID-массив и зачем он нужен | Сетевые хранилища NAS | Блог

В системах хранения данных критически важны сохранность и время восстановления в случае сбоя. Свою ценность, а в некоторых задачах и более высокую, имеет скорость работы накопителей. Использование RAID-массивов в различных конфигурациях — это поиск компромисса между перечисленными параметрами.

RAID — это технология объединения двух и более накопителей в единый логический элемент с целью повышения производительности и (или) отказоустойчивости отдельно взятого элемента массива.

RAID-массивы классифицируются по следующим параметрам:

по исполнению RAID контроллера;
по типам поддерживаемых интерфейсов накопителей;
по поддерживаемым уровням RAID.

RAID-контроллеры: аппаратные и не очень

По исполнению контроллеры делятся на программные и аппаратные. Программные реализуются непосредственно средствами операционной системы или на уровне материнской платы. Последние также известны как интегрированные, а также Fake-RAID. Они работают быстрее чисто софтверных решений за счет специального чипа для управления массивом. Недавно публиковался текст о развертывании таких технологий. Дополнительной железки при этом никакой нет и в любом случае будут использоваться ресурсы вычислительной машины.

Аппаратные RAID-контроллеры выполняются в форм-факторе платы PCIe либо в составе внешнего автономного устройства — дискового массива.

Они имеют на борту собственные процессор, память, BIOS и специальный интерфейс для конфигурации. Платы PCIe также комплектуются дополнительными модулями, сохраняющими данные, если произойдет сбой в электропитании: BBU с Li-Ion аккумулятором и ZMCP на базе суперконденсатора.

Оба модуля позволяют сделать сэйв содержимого кэша. После восстановления работы эти данные будут немедленно записаны на диск. Дисковый массив, будучи автономным, располагает собственными блоком питания и системой охлаждения.

Накопители подключаются к плате либо кабелями напрямую, либо через платы расширения. Автономные дисковые массивы содержат все накопители внутри себя, а наружу смотрит все тот же интерфейс PCIe (есть и другие варианты, например, USB 3.2 и Thunderbolt 3). Кстати, известный вид дисковых массивов — сетевое хранилище данных (NAS).

Что можно подключать к RAID-контроллеру

Следующий важный параметр, по которому различаются RAID-массивы, это поддержка интерфейсов накопителей. Не будем тревожить склеп с IDE-дисками, а констатируем, что по большому счету применяются три типа: SATA, SAS и NVMe. SAS — удел серверов, а вот остальные применяются повсеместно.

Есть программные и аппаратные RAID-контроллеры, которые умеют управлять массивом дисков с одним из интерфейсов. В формате PCIe есть и такие платы, которые реализуют режим Tri-Mode, позволяющий работать со смешанным составом накопителей.

Уровни RAID

Разобравшись с основными конструктивными особенностями RAID-контроллеров, перейдем к главной характеристике — поддержке уровней RAID. В подавляющим большинстве контроллеры работают с уровнями 0, 1, 1E, 10, 5, 5EE, 50, 6, 60. Другие занесены в красную книгу и на практике встречаются редко. Простейшие программные контроллеры позволяют создать RAID 0 и 1. Более продвинутые добавляют RAID 10 и 5. В аппаратных, как правило, такой перечень минимален, и многие платы поддерживают весь спектр уровней. Рассмотрим подробнее каждый из них.

Несколько важных нюансов для понимания эффективных объема и быстродействия, получаемых в результате объединения в массив:

при использовании накопителей разного объема контроллер «обрезает» объем каждого из них до наименьшего из используемых. Если у вас есть много дисков 4 ТБ и один 2 ТБ, то в массиве все диски будут восприниматься как 2 ТБ;
при использовании накопителей с разными скоростями ввода/вывода и задержками, то операции доступа будут осуществляться с наихудшими из всех параметров. Другими словами, самым быстрым дискам придется ждать, пока отработает самый медленный.

RAID 0

Единственный массив, который не совсем оправдывает название, поскольку не обладает избыточностью. При этом скорость и эффективный объем максимальны. Данные разбиваются на одинаковые блоки, равномерно записываемые на все диски по очереди. Эти блоки называются страйпами, отсюда и сам RAID 0 часто именуют страйпом. Считывание данных также происходит параллельно. Здесь конечно же есть свое но.

Дело в том, что прирост производительности не прямо пропорционален количеству дисков (как хотелось бы). В силу специфики накопителей, особенно механических, выигрыш в конфигурации RAID 0 хорошо заметен только на операциях последовательного чтения. Другими словами, при работе с большими файлами. Типичная область применения — игры, видеомонтаж и рендеринг. При условии, что регулярно производится резервирование на сторонние накопители. Наряду с этим при случайном доступе к файлам разница с отдельно взятым диском уже не так ощутима. Более позитивная картина наблюдается в случае твердотельных накопителей, но они и так удовлетворяют большинству запросов по быстродействию.

В общем, в современных реалиях RAID 0 далеко не всегда оправдает свое применение, а основная задача RAID-массива все же в повышении надежности хранения данных.

Обратная сторона медали за скорость как раз в отсутствии избыточности, что означает нулевую отказоустойчивость. В случае сбоя хотя бы одного из элементов массива, восстановление всего содержимого практически невозможно.

RAID 1

RAID 1, известный как «зеркало», представляет собой другую крайность. Он максимально избыточен — в нем производится 100 % дублирование данных. Этот процесс «съедает» ровно половину объема массива. Число дисков в нем, соответственно, четное. Позволяет увеличить скорость чтения, но синхронная скорость записи в некоторых случаях падает. При отказе одного из дисков работа автоматически продолжается с дублером. Если доступна функция горячей замены дисков, то восстановление штатного режима происходит без остановки. RAID 1 идеален для чувствительных данных.

RAID 5

Состоит минимум из трех накопителей, при этом доступный объем уменьшается на один. Данные записываются в страйпы на все диски кроме одного, на котором размещается контрольная сумма этой части данных. Запись этого блока также чередуется между всеми накопителями, распределяя равномерную нагрузку. Если их больше четырех, то скорость чтения будет выше чем в RAID 1, но запись будет осуществляться медленнее. Контрольные суммы позволяют достать информацию в случае выхода из строя одного из элементов. Сама операция восстановления вызывает повышенную нагрузку на оставшиеся диски. Значительно падает производительность и риск утери всех данных в случае отказа еще одного диска. Желательно иметь опцию горячей замены для оперативного возвращения в нормальный режим работы.

Со всеми плюсами и минусами эти три уровня наиболее распространены и просты в развертывании.

RAID 6

Развитие RAID 5 по части надежности, позволяющее пережить потерю двух дисков. В данной конфигурации в каждом проходе пишется две независимые контрольные суммы на два накопителя. Требуется минимум четыре диска, из которых два уйдет на описанный алгоритм повышения отказоустойчивости. При этом скорость записи будет еще ниже, чем у RAID 5.

Следующие уровни — производные и комбинации перечисленных.

RAID 10

Неплохо было бы объединить достоинства RAID 0 (производительность) и RAID 1 (отказоустойчивость)? Встречайте RAID 10: страйп и зеркало, два в одном. Но и недостатки не забудьте — по-прежнему половина объема уходит на резерв. А что делать, за надежность приходится платить. В этом плане менее экономичен, чем RAID 5 И RAID 6, но более прост в восстановлении после сбоя.

RAID 50

По похожей схеме получаем RAID 50. Здесь уже страйпы не зеркалируются, а распределяются по двум и более массивам RAID 5. Требуется от шести дисков, скорость чтения значительно увеличивается. Кроме того, нивелируется и слабое место RAID 5 и RAID 6 — низкая скорость записи. Отрицательная сторона опять лежит в плоскости экономики. Из эффективного объема выпадают два диска, как и RAID 6, при этом массив выдержит потерю только одного.

RAID 60

Данный гибрид RAID 0 и RAID 6 призван решить проблему производительности последнего. Отказоустойчивость остается на том же уровне, как и часть объема накопителей, отводимая на реализацию алгоритмов контроля целостности данных. Дисков для такого удовольствия понадобится как минимум восемь.

RAID 1E

Еще одна вариация совмещения алгоритмов зеркалирования и чередования данных. Записанные на одной итерации страйпы повторно записываются на следующей, но в обратном порядке. Таким образом в RAID 1E можно использовать три диска. Массив останется тем же зеркалом с эффективным объемом, равным половине от исходного.

RAID 5EE

Один из вариантов использования RAID 5 с резервным диском. Отличается тем, что этот диск не простаивает до выхода из строя одного из элементов массива, а используется наряду с другими. На каждой итерации помимо страйпов данными и контрольной суммой записывается резервный блок. Сделано это для ускорения процесса сборки массива в случае нештатной ситуации. Платой за такую опцию становится второй диск, исключаемый из эффективного объема RAID 5EE.

В таблице ниже приведены сравнительные характеристики рассмотренных уровней RAID.

Не забудем и про массив с незатейливым названием JBOD (дословно переводится как «просто связка дисков»). Строго говоря, он не является RAID-массивом. Это объединенные в один несколько дисков без дополнительной функциональности. Позволяет развернуть логический диск с объемом, который недоступен в рамках одного накопителя. Такой диск полезен для перемещения файлов больших размеров в несколько терабайт.

Вместо заключения напомним самое главное правило для всех, кто хранит данные в RAID-массиве: RAID-массив ≠ бэкап! Регулярно делайте резервные копии данных на независимые носители и да пребудет с вами сила.

Уровни RAID. Коротко и ясно

Технология RAID разработаная в 1980-х годах задумывалась как обьединение нескольких дисков в дисковый массив с целью увеличения емкости, повышения надежности и доступности данных. Рассмотрим вкратце основные уровни RAID

RAID0: Чередование (Striping)

Описание: Данные распределены по всем дискам массива равномерно. В массиве участвуют два или более дисков

Производительность: Одновременно может быть записан и прочитан бит данных

Плюсы: Быстродействие чтения/записи

Минусы: Нет резервирования. Любой диск вышедший из строя приведет к разрушению массива и как следствие потере всех данных

Использование: Приложения, которым необходим скоросной обмен данными, хранилище временных файлов, некритичные данные

RAID1: Зеркалирование (Mirroring)

Описание: Запись/чтение данных происходит одновременно на два или более дисков массива

Производительность: Операции чтения выполняются бстрее т.к. данные считываются со всех дисков массива одновременно. Операции записи медленнее т.к. запись выполняется дважды или более раз (зависит от количества дисков в массиве)

Плюсы: Выход из строя любого количества дисков массива кроме последнего не приводит к потере данных

Минусы: Стоимость. Пропорциональна количеству дисков в массиве

Использование: Системные разделы, разделы с важными данными, приложения использующие транзакции

RAID3: Чередование с выделенным диском чётности (Virtual disk blocks)

Описание: Данные чередуются по дискам массива на уровне байтов. Необходим дополнительный диск на котором хранится информация о четности. Минимально три диска в массиве

Производительность: Низкая на операциях записи

Плюсы: Данные остаются полностью доступными при выходе из строя одного диска

Минусы: Производительность

Использование: Редко меняющиеся, часто считываемые данные

RAID4: Чередование с выделенным диском чётности (Dedicated parity disk)

Описание: Данные чередуются на уровне блоков. Необходим дополнительный диск на котором хранится информация о четности. Минимально три диска в массиве

Производительность: Низкая на операциях записи

Плюсы: Это лучше чем RAID3. Данные остаются полностью доступными при выходе из строя одного диска. В массив можно добавить любое количество дисков

Минусы: Узкое место такого массива — выделенный диск четности. Данные не считаются записанными, пока не будет записана контрольная сумма на диск четности

Использование: Не подходит для высокопроизводительных систем с активной записью/чтением

RAID5: Чередование чётности (Striped parity)

Описание: В отличии от RAID4 данные и четность чередуются по всем дискам массива. Очень хорошо иметь дополнительный вакантный диск (hot spare disk) на случай если один из дисков массива выйдет из строя. Тогда контроллер подхватит вакантный диск и массив будет перестроен. Минимально три диска в массиве

Производительность: Лучше, чем в RAID4 т.к. решена проблема выделенного диска четности

Плюсы: Достигнут баланс чтения/записи/резервирования

Минусы: Просадка производительности во время перестройки массива. Если не используется кеш записи (рейд-контроллер не оборудован батарейкой и не настроен), то просадка будет особенно чуствительна

Использование: Веб-сервера, файловые сервера где используется интенсивное чтение данных

RAID6: Двойное чередование чётности (Dual parity)

Описание: Похож на RAID5 с той разницей, что в массиве присутствует два диска контроля четности, что повышает надежность системы. Минимально четыре диска в массиве

Производительность: Хуже на 10%-15% чем в RAID5 из-за более сложного алгоритма рассчета контрольных сумм. Больше операций чтения/записи

Плюсы: Повышена надежность сохранности данных. Система останется в работе при двух отказавших дисках

Минусы: Стоимость. Просадка производительности во время перестройки массива

Использование: Резервные хранилища данных с повышенной надежностью

RAID10

Описание: Из групп массивов RAID1 строится RAID0

Производительность: Считается самым быстрым и надежным массивом

Плюсы: Повышена надежность сохранности данных. Массив будет жизнеспособен пока в каждой группе массивов RAID1 будет рабочим последний диск

Минусы: Стоимость, один из самых дорогих

Использование: Веб-сервера с активным чтением данных, приложения используюшие транзакции

RAID50

Описание: Из групп массивов RAID5 строится RAID0

Производительность: Обьединение массивов RAID5 в RAID0 увеличивает пропускную способность данных

Плюсы: Повышена производительность и надежность сохранности данных при большей емкости массива чем в RAID10

Минусы: Стоимость — один из самых дорогих

Использование: Приложения где необходимо сочетание экономии дискового пространства и производительности

перевод Александр Черных

системный администратор

9.7k

Виды RAID и их характеристики

Что такое RAID мы рассмотрели в первой статье. Теперь посмотрим какие есть виды и чем они отличаются.

Калифорнийский университет в Беркли представил следующие уровни спецификации RAID, которые были приняты как стандарт де-факто:

RAID 0 — дисковый массив повышенной производительности с чередованием, без отказоустойчивости;
RAID 1 — зеркальный дисковый массив;
RAID 2 зарезервирован для массивов, которые применяют код Хемминга;
RAID 3 и 4 — дисковые массивы с чередованием и выделенным диском чётности;
RAID 5 — дисковый массив с чередованием и «невыделенным диском чётности»;
RAID 6 — дисковый массив с чередованием, использующий две контрольные суммы, вычисляемые двумя независимыми способами;
RAID 10 — массив RAID 0, построенный из массивов RAID 1;
RAID 50 — массив RAID 0, построенный из массивов RAID 5;
RAID 60 — массив RAID 0, построенный из массивов RAID 6.

Виды RAID и их характеристики

Аппаратный RAID-контроллер может поддерживать несколько разных RAID-массивов одновременно, суммарное количество жёстких дисков которых не превышает количество разъёмов для них. При этом контроллер, встроенный в материнскую плату, в настройках BIOS имеет всего два состояния (включён или отключён), поэтому новый жёсткий диск, подключённый в незадействованный разъём контроллера при активированном режиме RAID, может игнорироваться системой, пока он не будет ассоциирован как ещё один RAID-массив типа JBOD (spanned), состоящий из одного диска.

RAID 0 (striping — «чередование»)

Режим, при использовании которого достигается максимальная производительность. Данные равномерно распределяются по дискам массива, дискиобъединяются в один, который может быть размечен на несколько. Распределенные операции чтения и записи позволяют значительно увеличить скорость работы, поскольку несколько дисков одновременно читают/записывают свою порцию данных. Пользователю доступен весь объем дисков, но это снижает надежность хранения данных, поскольку при отказе одного из дисков массив обычно разрушается и восстановить данные практически невозможно. Область применения — приложения, требующие высоких скоростей обмена с диском, например видеозахват, видеомонтаж. Рекомендуется использовать с высоконадежными дисками.

RAID 0 (striping — «чередование»)

RAID 1 (mirroring — «зеркалирование»)

массив из двух дисков, являющихся полными копиями друг друга. Не следует путать с массивами RAID 1+0, RAID 0+1 и RAID 10, в которых используется более двух дисков и более сложные механизмы зеркалирования.

Обеспечивает приемлемую скорость записи и выигрыш по скорости чтения при распараллеливании запросов.

Имеет высокую надёжность — работает до тех пор, пока функционирует хотя бы один диск в массиве. Вероятность выхода из строя сразу двух дисков равна произведению вероятностей отказа каждого диска, т.е. значительно ниже вероятности выхода из строя отдельного диска. На практике при выходе из строя одного из дисков следует срочно принимать меры — вновь восстанавливать избыточность. Для этого с любым уровнем RAID (кроме нулевого) рекомендуют использовать диски горячего резерва.

RAID 1

RAID 1E

Похожий на RAID10 вариант распределения данных по дискам, допускающий использование нечётного числа дисков (минимальное количество — 3)

RAID 2, 3, 4

различные варианты распределенного хранения данных с дисками, выделенными под коды четности и различными размерами блока. В настоящее время практически не используются из-за невысокой производительности и необходимости выделять много дисковой емкости под хранение кодов ЕСС и/или четности.

RAID_3

RAID_4

RAID 5

Основным недостатком уровней RAID от 2-го до 4-го является невозможность производить параллельные операции записи, так как для хранения информации о чётности используется отдельный контрольный диск. RAID 5 не имеет этого недостатка. Блоки данных и контрольные суммы циклически записываются на все диски массива, нет асимметричности конфигурации дисков. Под контрольными суммами подразумевается результат операции XOR (исключающее или). Xor обладает особенностью, которая даёт возможность заменить любой операнд результатом, и, применив алгоритм xor, получить в результате недостающий операнд. Например: a xor b = c (где a, b, c — три диска рейд-массива), в случае если a откажет, мы можем получить его, поставив на его место c и проведя xor между c и b: c xor b = a. Это применимо вне зависимости от количества операндов: a xor b xor c xor d = e. Если отказывает c тогда e встаёт на его место и проведя xor в результате получаем c: a xor b xor e xor d = c. Этот метод по сути обеспечивает отказоустойчивость 5 версии. Для хранения результата xor требуется всего 1 диск, размер которого равен размеру любого другого диска в raid.

Достоинства

RAID5 получил широкое распространение, в первую очередь, благодаря своей экономичности. Объём дискового массива RAID5 рассчитывается по формуле (n-1)*hddsize, где n — число дисков в массиве, а hddsize — размер наименьшего диска. Например, для массива из четырех дисков по 80 гигабайт общий объём будет (4 — 1) * 80 = 240 гигабайт. На запись информации на том RAID 5 тратятся дополнительные ресурсы и падает производительность, так как требуются дополнительные вычисления и операции записи, зато при чтении (по сравнению с отдельным винчестером) имеется выигрыш, потому что потоки данных с нескольких дисков массива могут обрабатываться параллельно.

Недостатки

Производительность RAID 5 заметно ниже, в особенности на операциях типа Random Write (записи в произвольном порядке), при которых производительность падает на 10-25% от производительности RAID 0 (или RAID 10), так как требует большего количества операций с дисками (каждая операция записи, за исключением так называемых full-stripe write-ов, сервера заменяется на контроллере RAID на четыре — две операции чтения и две операции записи). Недостатки RAID 5 проявляются при выходе из строя одного из дисков — весь том переходит в критический режим (degrade), все операции записи и чтения сопровождаются дополнительными манипуляциями, резко падает производительность. При этом уровень надежности снижается до надежности RAID-0 с соответствующим количеством дисков (то есть в n раз ниже надежности одиночного диска). Если до полного восстановления массива произойдет выход из строя, или возникнет невосстановимая ошибка чтения хотя бы на еще одном диске, то массив разрушается, и данные на нем восстановлению обычными методами не подлежат. Следует также принять во внимание, что процесс RAID Reconstruction (восстановления данных RAID за счет избыточности) после выхода из строя диска вызывает интенсивную нагрузку чтения с дисков на протяжении многих часов непрерывно, что может спровоцировать выход какого-либо из оставшихся дисков из строя в этот наименее защищенный период работы RAID, а также выявить ранее не обнаруженные сбои чтения в массивах cold data (данных, к которым не обращаются при обычной работе массива, архивные и малоактивные данные), что повышает риск сбоя при восстановлении данных.

Минимальное количество используемых дисков равно трём.

RAID 5

RAID 5EE

массив, аналогичный RAID5, однако кроме распределенного хранения кодов четности используется распределение резервных областей — фактически задействуется жесткий диск, который можно добавить в массив RAID5 в качестве запасного (такие массивы называют 5+ или 5+spare). В RAID 5 массиве резервный диск простаивает до тех пор, пока не выйдет из строя один из основных жестких дисков, в то время как в RAID 5EE массиве этот диск используется совместно с остальными HDD все время, что положительно сказывается на производительность массива. К примеру, массив RAID5EE из 5 HDD сможет выполнить на 25% больше операций ввода/вывода за секунду, чем RAID5 массив из 4 основных и одного резервного HDD. Минимальное количество дисков для такого массива — 4.

RAID 5EE

RAID 6

RAID 6 — похож на RAID 5, но имеет более высокую степень надёжности — под контрольные суммы выделяется ёмкость 2-х дисков, рассчитываются 2 суммы по разным алгоритмам. Требует более мощный RAID-контроллер. Обеспечивает работоспособность после одновременного выхода из строя двух дисков — защита от кратного отказа. Для организации массива требуется минимум 4 диска. Обычно использование RAID-6 вызывает примерно 10-15% падение производительности дисковой группы, относительно RAID 5, что вызвано большим объёмом обработки для контроллера (необходимость рассчитывать вторую контрольную сумму, а также читать и перезаписывать больше дисковых блоков при записи каждого блока).

RAID 6

RAID 0+1

Под RAID 0+1 может подразумеваться в основном два варианта:

два RAID 0 объединяются в RAID 1;
в массив объединяются три и более диска, и каждый блок данных записывается на два диска данного массива; таким образом, при таком подходе, как и в «чистом» RAID 1, полезный объём массива составляет половину от суммарного объёма всех дисков (если это диски одинаковой ёмкости).

RAID 10 (1+0)

RAID 10 — зеркалированный массив, данные в котором записываются последовательно на несколько дисков, как вRAID 0. Эта архитектура представляет собой массив типа RAID 0, сегментами которого вместо отдельных дисков являются массивы RAID 1. Соответственно, массив этого уровня должен содержать как минимум 4 диска (и всегда чётное количество). RAID 10 объединяет в себе высокую отказоустойчивость и производительность.

Утверждение, что RAID 10 является самым надёжным вариантом для хранения данных вполне обосновано тем, что массив будет выведен из строя после выхода из строя всех накопителей в одном и том же массиве. При одном вышедшем из строя накопителе, шанс выхода из строя второго в одном и том же массиве равен 1/3*100=33%. RAID 0+1 выйдет из строя при двух накопителях, вышедших из строя в разных массивах. Шанс выхода из строя накопителя в соседнем массиве равен 2/3*100=66%, однако так как накопитель в массиве с уже вышедшим из строя накопителем уже не используется, то шанс того, что следующий накопитель выведет из строя массив целиком равен 2/2*100=100%

RAID 1 (Mirror)

RAID 5EE

RAID 50

объединение двух(или более, но это крайне редко применяется) массивов RAID5 в страйп, т.е. комбинация RAID5 и RAID0, частично исправляющая главный недостаток RAID5 — низкую скорость записи данных за счёт параллельного использования нескольких таких массивов. Общая ёмкость массива уменьшается на ёмкость двух дисков, но, в отличие от RAID6, без потери данных такой массив переносит отказ лишь одного диска, а минимально необходимое число дисков для создания массива RAID50 равно 6. Наряду с RAID10, это наиболее рекомендуемый уровень RAID для использования в приложениях, где требуется высокая производительность в сочетании приемлемой надёжностью.

RAID 50

RAID 60

объединение двух массивов RAID6 в страйп. Скорость записи повышается примерно в два раза, относительно скорости записи в RAID6. Минимальное количество дисков для создания такого массива — 8. Информация не теряется при отказе двух дисков из каждого RAID 6 массива

RAID 60

RAID 00

RAID 00 встречается весьма редко, я с ним познакомился на контроллерах LSI. Группа дисков RAID 00 — это составная группа дисков, которая создает чередующийся набор из серии
дисковых массивов RAID 0. RAID 00 не обеспечивает избыточности данных, но наряду с RAID 0, предлагает лучшую производительность любого уровня RAID. RAID 00 разбивает данные на меньшие сегменты, а затем чередует сегменты данных на каждом диске в сторадж группе. Размер каждого сегмента данных определяется размером полосы. RAID 00 предлагает высокая пропускная способность. Уровень RAID 00 не является отказоустойчивым. Если диск в группе дисков RAID 0 выходит из строя, весь
виртуальный диск (все диски, связанные с виртуальным диском) выйдет из строя. Разбивая большой файл на более мелкие сегменты, контроллер RAID может использовать оба SAS
контроллера для чтения или записи файла быстрее. RAID 00 не предполагает четности расчеты усложняют операции записи. Это делает RAID 00 идеальным для
приложения, которые требуют высокой пропускной способности, но не требуют отказоустойчивости. Может состоять от 2 до 256 дисков.

Что быстрее RAID 0 или RAID 00?

Я провел свое тестирование описанное в статье про оптимизацию скорости твердотельных дисков на LSI контроллерах и получил вот такие вот цифры на массивах из 6-ти SSD

RAID массивы — краткий ликбез

RAID-массивы давно и прочно вошли в повседневную деятельность администраторов даже небольших предприятий. Трудно найти того, кто никогда не использовал хотя бы «зеркало», но тем не менее очень и очень многие с завидной периодичностью теряют данные или испытывают иные сложности при эксплуатации массивов. Не говоря уже о распространенных мифах, которые продолжают витать вокруг вроде бы давно избитой темы. Кроме того, современные условия вносят свои коррективы и то, чтобы было оптимальным еще несколько лет назад сегодня утратило свою актуальность или стало нежелательным к применению.

Чем является и чем не является RAID-массив

Наиболее популярен миф, что RAID предназначен для защиты данных, многие настолько верят в это, что забывают про резервное копирование. Но это не так. RAID-массив никоим образом не защищает пользовательские данные, если вы захотите их удалить, зашифровать, отформатировать — наличие или отсутствие RAID вам абсолютно не помешает. Две основных задачи RIAD-массивов — это защита дисковой подсистемы от выхода из строя одного или нескольких дисков и / или улучшение ее параметров по сравнению с одиночным диском (получение более высокой скорости обмена с дисками, большего количества IOPS и т.д.).

Здесь может возникнуть некоторая путаница, ведь сначала мы сказали, что RAID не защищает, а потом выяснилось, что все-таки защищает, но никакой путаницы нет. Основную ценность для пользователя представляют данные, причем не некоторые абстрактные нули-единицы, кластеры и блоки, а вполне «осязаемые» файлы, которые содержат необходимую нам информацию, иногда очень дорогостоящую. Мы будем в последствии называть это пользовательскими данными или просто данными.

RAID-контроллер о данных ничего не знает, он оперирует с блочными устройствами ввода-вывода. И все что поступает к нему от драйвера — это просто поток байтов, который нужно определенным образом разместить на устройствах хранения. Сам набор блочных устройств объединенных некоторым образом отдается системе в виде некоторой виртуальной сущности, которую принято называть массивом, а в терминологии контроллера — LUN, для системы это выглядит как самый обычный диск, с которым мы можем делать все что угодно: размечать, форматировать, записывать данные.

Как видим, работа RAID-контроллера закончилась на формировании LUN и предоставлении его системе, поэтому защита контроллера распространяется только на этот самый LUN — т.е. логическая структура массива, которую система видит как жесткий диск, должна уцелеть при отказе одного или нескольких дисков составляющих этот массив. Ни более, ни менее. Все что находится выше уровнем: файловая система, пользовательские данные — на это «защита» контроллера не распространяется.

Простой пример. Из «зеркала» вылетает один из дисков, со второго система отказывается грузиться, так как часть данных оказалась повреждена (скажем BAD-блок). Сразу возникает масса «претензий» к RAID, но все они беспочвенны. Главную задачу контроллер выполнил — сохранил работоспособность массива. А в том, что размещенная на нем файловая система оказалась повреждена — это вина администратора, не уделившего должного внимания системе.

Поэтому следует запомнить — RAID-массив защищает от выхода из строя одного или нескольких дисков только самого себя, точнее тот диск, который вы видите в системе, но никак ни его содержимое.

BAD-блоки и неисправимые ошибки чтения

Раз мы коснулись содержимого, то самое время разобраться, что же с ним может быть «не так». Начнем с привычного зла, BAD-блоков. Есть мнение, что если на диске появился сбойный сектор — то диск «посыпался» и его надо менять. Но это не так. Сбойные сектора могут появляться на абсолютно исправных дисках, просто в силу технологии, и ничего страшного в этом нет, обнаружив такой сектор контроллер просто заменит его в LBA-таблице блоком из резервной области и продолжит нормально работать дальше.

Дальше простая статистика, чем выше объем диска — тем больше физических секторов он содержит, тем меньше их физический размер и тем выше вероятность появления сбойных секторов. Грубо говоря, если взять произведенные по одной технологии диски объемом в 1ТБ и 4 ТБ, то у последнего вероятность появления BAD-блока в четыре раза выше.

К чему это может привести? Про ситуацию, когда администратор не контролирует SMART и у диска давно закончилась резервная область мы всерьез говорить не будем, тут и так все понятно. Это как раз тот случай, когда диск реально посыпался и его нужно менять. Большую опасность представляет иная ситуация. Согласно исследованиям, достаточно большие объемы данных составляют т.н. cold data — холодные или замороженные данные — это массивы данных доступ к которым крайне редок. Этом могут быть какие-нибудь архивы, домашние фото и видеоколлекции и т.д. и т.п., они могут месяцами и годами лежать не тронутыми никем, даже антивирусом.

Если в этой области данных возникнет сбойный сектор, то он вполне себе может остаться необнаруженным до момента реконструкции (ребилда) массива или попыток слить данные с массива с отказавшей избыточностью. В зависимости от типа массива такой сектор может привести от невозможности выполнить ребилд до полной потери массива во время его реконструкции. По факту невозможность считать данные с еще одного диска в массиве без избыточности можно рассматривать как отказ еще одного диска со всеми вытекающими.

Кроме физически поврежденных секторов на диске могут быть логические ошибки. Чаще всего они возникают, когда контроллер без резервной батарейки использует кеширование записи на диск. При неожиданной потере питания может выйти, что контроллер уже сообщил системе о завершении записи, но сам не успел физически записать данные, либо сделал это некорректно. Попав в область с холодными данными, такая ошибка тоже может жить очень долго, проявив себя в аварийной ситуации.

Ну и наконец самое интересное: неисправимые ошибки чтения — URE (Unrecoverable Read Error) или BER (Bit Error Ratio) — величина, показывающая вероятность сбоя на количество прочитанных головками диска бит. На первый взляд это очень большая величина, скажем для бытовых дисков типичное значение 10^14 (10 в 14 степени), но если перевести ее в привычные нам единицы измерения, то получим примерно следующее:

HDD массовых серий — 10^14 — 12,5 ТБ
HDD корпоративных серий — 10^15 — 125 ТБ
SSD массовых серий — 10^16 — 1,25 ПБ
SSD корпоративных серий — 10^17 — 12,5 ПБ

В данном случае в качестве единицы измерения мы использовали десятичные единицы измерения объема, т.е. те, что написаны на этикетке диска, исходя из того, что 1 КБ = 1000 Б.

Что это значит? Это значит, что для массовых дисков вероятность появления ошибки чтения стремится к единице на каждые прочитанные 12,5 ТБ, что по сегодняшним меркам не так уж и много. Если такая ошибка будет получена во время ребилда — это, как и в случае со сбойным сектором, эквивалентно отказу еще одного диска и может привести к самым печальным последствиям.

MTBF — наработка на отказ

Еще один важный параметр, который очень многими трактуется неправильно. Если мы возьмем значение наработки на отказ для современного массового диска, скажем Seagate Barracuda 2 Тб ST2000DM008, то это будет 1 млн. часов, для диска корпоративной серии Seagate Enterprise Capacity 3.5 2 Тб ST2000NM0008 — 2 млн. часов. На первый взгляд какие-то запредельные цифры и судя по ним диски никогда не должны ломаться. Однако этот показатель определяет не срок службы устройства, а среднее вермя между отказами — MTBF ( Mean time between failures ) — а в качестве времени подразумевается время работы устройства.

Если у вас есть 1000 дисков, то при MTBF в 1 млн. часов вы будете получать в среднем один отказ на 1000 часов. Т.е. большие значения оказываются не такими уж и большими. Для оценки вероятности отказа применяется иной показатель — AFR (Annual failure rate) — годовая частота отказов. Ее несложно рассчитать по формуле, где n — количество дисков:

AFR = 1 - exp(-8750*n/MTBF)

Так для одиночного диска массовой серии годовая частота отказов составит 0,87%, а для корпоративных дисков 0,44%, вроде бы немного, но если сделать расчет для массива из 5 дисков, то мы получим уже 4,28% / 2,16%. Согласитесь, что вероятность отказа в 5% достаточно велика, чтобы сбрасывать ее со счетов. В тоже время такое знание позволяет обоснованно подходить к закупке комплектующих, теперь вы можете не просто апеллировать к тому, что вам нужны корпоративные диски, потому что они «энтерпрайз и все такое…», а грамотно обосновать свое мнение с цифрами в руках.

Но в реальной жизни не все так просто, годовая величина отказов не является статичной величиной, а подчиняется законам статистики, учитывающим совокупность реальных факторов. Не углубляясь в теорию мы приведем классическую кривую интенсивности отказов:

Как можно видеть, в самом начале эксплуатации вероятность отказов наиболее велика, постепенно снижаясь. Этот период, обозначенный на графике t0 — t1, называется периодом приработки. В этот момент вскрывается производственный брак, ошибки в планировании системы, неверные режимы и условия эксплуатации. Повышенная нагрузка увеличивает вероятность отказов, так как позволяет быстрее выявить брак и ошибки эксплуатации.

За ним следует период нормальной эксплуатации t1-t2, вероятность отказов в котором невелика и соответствует расчетным значениям (т.е. тем показателям, которые мы вычислили выше).

Правее отметки t2 на графике начинается период износовых отказов, когда оборудование начинает выходить из строя выработав свой ресурс, повышенная нагрузка будет только усугублять этот показатель. Также обратите внимание, что функция износа изменяется не линейно, по отношении ко времени, а по логарифмической функции. Т.е. в периоде износа отказы будут увеличиваться постепенно, а не сразу, но, с какого-то момента стремительно.

К чему это может привести? Скажем, если вы эксплуатируете массив, находящийся в периоде износовых отказов и у него выходит из строя один из дисков, то повышенная нагрузка во время ребилда способна привести к новым отказам, что чревато полной потерей массива и данных.

Для жестких дисков и SSD, согласно имеющейся статистики, период приработки где-то равен 3-6 месяцам. А период износовых отказов следует начинать отсчитывать с момента окончания срока гарантии производителя. Для большинства дисков это два года. Это хорошо укладывается в ту же статистику, которая фиксирует увеличение количества отказов на 3-4 году эксплуатации.

Мы не будем сейчас делать выводы и давать советы, приведенных нами теоретических данных вполне достаточно, чтобы каждый мог самостоятельно оценить собственные риски.

Немного терминологии

Прежде чем двигаться дальше — следует определиться с используемыми терминами, тем более что с ними не все так однозначно. Путаницу вносят сами производители, используя различные термины для обозначения одних и тех же вещей, а перевод на русский часто добавляет неопределенности. Мы не претендуем на истину в последней инстанции, но в дальнейшем будем придерживаться описанной ниже системы.

Весь входящий поток данных разбивается контроллером на блоки определенного размера, которые последовательно записываются на диски массива. Каждый такой блок является минимальной единицей данных, с которой оперирует RAID-контроллер. На схеме ниже мы схематично представили массив из трех дисков (RAID 5).

Каждая шайба на схеме представляет один такой блок, для обозначения которого используют термины: Strip, Stripe Unit, Stripe Size или Chunk, Сhunk Size. В русскоязычной терминологии это может быть блок, «страйп», «чанк». Мы, во избежание путаницы с другой сущностью, предпочитаем использовать для его обозначения термин Chunk (чанк, блок), в тоже время встроенный во многие материнские платы Intel RAID использует термин Stripe Size.

Группа блоков (чанков) расположенная по одинаковым адресам на всех дисках массива обозначается в русскоязычных терминах как лента или полоса. В англоязычной снова используется Stripe, а также «страйп» в переводах, что в ряде случаев способно внести путаницу, поэтому при трактовании термина всегда следует учитывать контекст его употребления.

Каждая полоса содержит либо набор данных, либо данные и их контрольные суммы, которые вычисляются на основе данных каждой такой полосы. Глубиной или шириной полосы (Stripe width/depth) называется объем данных, содержащийся в каждой полосе.

Так если размер чанка равен 64 КБ (типовое значение для многих контроллеров), то вычислить ширину полосы мы можем, умножив это значение на количество дисков с данными в массиве. Для RAID 5 из трех дисков — это два, поэтому ширина полосы будет 128 КБ, для RAID 10 из четырех дисков — это четыре и ширина полосы будет 256 КБ.

RAID 0

Перейдем, наконец от теории, к разбору конкретных реализаций RAID. Из всех вариантов RAID 0 — единственный тип массива, который не содержит избыточности, также его еще называют чередующимся массивом или страйпом (Stripe).

Принцип работы чередующегося массива прост — поток данных делится на блоки (чанки), которые по очереди записываются на все диски массива. При этом ни один диск массива не содержит полной копии данных, зато за счет одновременных операций чтения / записи достигается практически кратный количеству дисков прирост скорости. Объем массива равен сумме объема всех дисков.

Несложно заменить, что отказ даже одного диска будет для массива фатальным, поэтому в чистом виде он практически не используется, разве что в тех случаях, когда на первый взгляд выходит быстродействие, при низких требованиях к сохранности данных. Например, рабочие станции, которые размещают на таких массивах только рабочий набор данных, который обрабатывается в текущий момент.

RAID 1

Один из самых популярных видов массивов, знакомый, пожалуй, каждому. RAID 1, он же зеркало (Mirror), состоит обычно из двух дисков, данные на которых дублируют друг друга.

Входящие данные также разбиваются на блоки и каждый блок записывается на все диски массива, тем самым обеспечивая избыточность. При отказе одного из дисков на втором у нас остается полная копия данных. Дополнительный плюс в том, что для восстановления таких данных не требуется никаких дополнительных операций, вы можете просто присоединить диск к любому ПК и выполнить с него чтение, что важно, если ребилд массива по какой-либо причине сделать не удастся.

Но за это приходится платить большими потерями емкости — емкость массива равна емкости одного диска, поэтому зеркала с более чем двумя дисками на практике не используют. Также это негативно сказывается на быстродействии. Вспомним, что еще одной причиной объединения дисков в массивы является увеличение быстродействия, при этом важна не линейная скорость записи / чтения, а количество операций ввода вывода в секунду — IOPS — которые может предоставить диск.

В первом приближении общее количество IOPS массива — это суммарное количество IOPS его дисков, но на практике оно будет меньше за счет накладных расходов в самом массиве. В RAID 1 для выполнения одной операции записи массив производит две записи данных, по одной на каждый диск. Этот параметр называется RAID-пенальти и показывает сколько операций ввода вывода делает массив для обеспечения одной операции записи. Операции чтения не подвержены пенальти.

Для RAID 1 пенальти равно двум. Поэтому его производительность на запись не отличается от производительности одиночного жесткого диска. На чтение, теоретически, можно достичь двойной производительности за счет одновременного чтения с разных дисков, но на практике такая функция в контроллерах не реализуется. Поэтому чтение с зеркала также не отличается по производительности от одиночного диска.

Как видим, RAID 0 предоставляет нам высокую производительность при отсутствии надежности, а RAID 1 — высокую надежность без увеличения производительности. Поэтому существуют комбинированные уровни RAID, сочетающие достоинства нескольких типов массивов.

RAID 01 (0+1)

Этот тип массива часто путают с RAID 10, но это неверно, первым числом в наименовании массива всегда указывается вложенный массив, а вторым — внешний. Таким образом RAID 01 — зеркало из страйпов, а RAID 10 — страйп из зеркал. Какая разница? А вот сейчас и посмотрим.

Так как внешним массивом является RAID 1 — зеркало, то на оба вложенных чередующихся массива подается одинаковый набор данных, который распределяется без избыточности по дискам массива. В итоге получаем два одинаковых RAID 0 массива, которые собраны в зеркало.

Что случится при отказе одного диска? Ничего страшного, массив выдерживает такой отказ. А если выйдут из строя два? В этом случае возможны варианты:

Для массива из четырех дисков (а это минимальное количество для этого уровня RAID) у нас есть шесть вариантов отказа двух дисков. Исходя из того, что отказ из любого диска RAID 0 является для него фатальным, то получаем 4 отказа из 6 или 66,67%. Т.е. при потере двух дисков вы потеряете свои данные с вероятностью 66,67%, что довольно-таки много.

RAID 10

«Десятка» также собирается минимум из 4 дисков, но внутренняя структуре ее зеркально отличается от 0+1:

Массив верхнего уровня RAID 0 — делит входящие данные и распределяет их между низлежащими массивами RAID 1. В итоге получаем чередующийся массив из нескольких зеркал. В чем тут принципиальная разница с предыдущим массивом? А вот в чем, снова рассмотрим ситуацию отказа сразу двух дисков:

В отличие от страйпа, для отказа зеркала нужен выход из строя обоих диском массива и только эта ситуация приведет к полному отказу RAID 10, из 6 вариантов это произойдет только в двух случаях, т.е. вероятность потери данных при отказе двух дисков в RAID 10 равна 33,33%. А теперь сравните это с 66,77% у RAID 0+1, поэтому в настоящее время применяется исключительно RAID 10, так как при одинаковых показателях производительности обеспечивает гораздо более высокую надежность.

Пенальти RAID 10, также, как и RAID 1 равно двум, но за счет наличия четырех дисков он обеспечивает скоростные показатели аналогичные RAID 0 при надежности сопоставимой с RAID 1, емкость массива равна емкости половины его дисков.

На сегодня RAID 10 — наиболее производительный RAID-массив с высокой надежностью, его единственный и довольно существенный недостаток — высокие накладные расходы — 50% (половина дисков используется для создания избыточности).

RAID 5

Существует распространенное заблуждение, что RAID 5 (и RAID 6) — это более «крутые» уровни RAID, правда редко кто при этом может пояснить чем они «круче», но миф продолжает жить и очень часто администраторы выбирают уровень RAID исходя из таких вот заблуждений, а не реальных показателей.

Устройство RAID 5 более сложно, чем у «младших» уровней RAID и здесь появляется понятие контрольной суммы, на же Рarity, четность. В основу алгоритма положена логическая функция XOR (исключающее ИЛИ), так для трех переменных будет справедливо равенство:

a XOR b XOR c = p

Где p — контрольная сумма или четность. При этом мы всегда можем вычислить любую из переменных зная четность и остальные значения, т.е.:

a = p XOR b XOR c
b = a XOR p XOR c
c = a XOR b XOR p

Данные формулы остаются справедливы для любого количества переменных, позволяя обходится единственным значением четности. Таким образом минимальное количество дисков в RAID 5 будет равно трем: два диска для данных и один диск для четности. Раньше существовали реализации RAID 3 и 4, которые использовали для хранения блоков четности отдельный диск, что приводило к высокой нагрузке на него, в RAID 5 поступили иначе.

Здесь данные точно также разбиваются на блоки и распределяются по дискам, как в RAID 0, но появляется еще и понятие полосы, для каждой полосы данных вычисляется контрольная сумма и записывается в той же полосе на отдельном диске, т.е. один из дисков полосы выполняет роль диска для хранения четности. В следующей полосе происходит чередование дисков, теперь два других диска будут хранить данные, а третий четность. Таким образом достигается равномерное использование всех дисков, что снижает нагрузку на диски и повышает производительность массива в целом.

Основным стимулом создания RAID 5 было более оптимальное использование дисков в массиве, так в массиве из 3 дисков накладные расходы RAID 5 составят 33%, из 4 дисков — 25 %, из 6 дисков — 16%. Но при этом вырастает пенальти, в RAID 5 на одну операцию записи приходятся операции: чтение данных, чтение четности, запись новых данных, запись четности. Таким образом пенальти для RAID 5 составляет четыре.

Это означает, что производительность на запись массивов из небольшого числа дисков (менее 5) будет ниже, чем у одиночного диска, но производительность чтения будет сравнима с RAID 0. При этом массив допускает отказ любого одного диска.

В этом месте мы подходим к развенчанию одного из мифов, что RAID 5 «круче», нет, он не «круче», а по производительности даже уступает тому же RAID 10 (а иногда даже и зеркалу). Но по соотношению производительности, накладных расходов и надежности данный уровень RAID представлял наиболее разумный компромисс, что и обеспечило его популярность.

Внимательный читатель заметит, что в прошлом абзаце мы высказались о преимуществах RAID 5 в прошедшем времени, действительно это так, но, чтобы понять почему, следует поговорить о недостатках, которые наиболее ярко проявляются при выходе из строя одного из дисков.

В отличие от RAID 1 / 10 при отказе диска RAID 5 не будет содержать полной копии данных, только их часть плюс контрольные суммы. Это означает что у нас появится пенальти на чтение — для чтения недостающего фрагмента данных нам потребуется полностью считать полосу и провести ряд вычислений для восстановления отсутствующих значений. Это резко снижает производительность массива и увеличивает нагрузку на него, что может привести к выходу из строя оставшихся дисков.

При отказе одного диска массив переходит в режим деградации, при этом по его надежность начинает соответствовать RAID 0, т.е. отказ еще одного диска, BAD-блок или ошибка URE могут стать для него фатальными. При замене неисправного диска массив переходит в режим реконструкции (ребилда), который сопряжен с высокой нагрузкой на оборудование, так как для восстановления контроллер должен прочитать весь объем данных массива. Любой сбой в процессе ребилда также может привести к полному разрушению массива.

А теперь вспомним значение URE для современных массовых дисков — 10^14, что это значит в нашем случае? А то, что собрав RAID 5 из четырех дисков на 4 ТБ (с объемом данных 12 ТБ) вы с вероятностью очень близкой к 100% получите невосстановимую ошибку чтения при ребилде и потеряете массив полностью.

Но это не значит, что RAID 5 изначально имел столь критические недостатки. Вернемся на 10 лет назад, основной объем ходовых моделей дисков тогда составлял 250-500 ГБ, URE для популярной тогда серии Barracuda 7200.10 был теми же 10^14, а MTBF был немного ниже — 700 тыс. часов.

Допустим мы собрали тогда массив из 4 дисков по 750 ГБ (топовые диски на тот момент), объем данных такого массива составит 2,25 ТБ, вероятность получить URE будет в районе 18%. В общем и целом — немного, большинство успешно реконструировало массив, а голоса тех, кому не повезло, тонули в общем хоре тех, у кого все было хорошо.

Но сегодня RAID 5 в принципе неприменим с массовыми сериями дисков, и с определенными оглядками применим на корпоративных сериях. Не смотря на более высокое значение URE последних, не будем забывать о возможных сбойных областях в зоне холодных данных, а чем больше объем дисков, тем больше секторов, тем больше вероятность сбоя в одном из них.

Также это хорошая иллюстрация пагубности мифов, так как собрав сегодня «крутой» массив RAID 5 вы с очень большой вероятностью просто угробите все свои данные при отказе одного из дисков.

RAID 5E

Как мы уже успели выяснить, ситуация с отказом одного из дисков является для RAID 5 критической — массив переходит в режим деградации с серьезным падением производительности и существенным ростом нагрузки на диски, а его надежность падает до уровня RAID 0 и любая ошибка способна полностью разрушить массив с полной потерей данных. Поэтому чем быстрее мы заменим сбойный диск — тем скорее выведем массив из зоны риска.

Первоначально этот вопрос решался, да и решается до сих пор, выделением диска горячей замены. Такой диск может быть выделенным, т.е. привязанным к указанному массиву, или разделяемым, тогда в случае отказа он будет использован одним из отказавших массивов. Но у этого подхода есть серьезный недостаток — фактически мы никак не используем резервный диск, а так как отказы происходят не каждый день, то его ресурс просто тратится впустую.

RAID 5E предлагает иной подход, пространство резервного диска разделяется между остальными дисками и остается неразмеченным в конце каждого диска массива.

Такой подход связан с некоторыми ограничениями, а именно — один раздел на один массив. Из плюсов — более высокая производительность за счет использования дополнительного диска. Что происходит при отказе? Массив автоматически начинает реконструкцию размещая данные в неразмеченной области (производит сжатие), после чего массив фактически превращается в простой RAID 5 и способен выдержать отказ еще одного диска (но не во время перестроения).

При замене неисправного диска массив переносит данные из резервной области на новый диск и снова начинает работать как RAID 5E (производит развертывание), при этом операция развертывания не сопряжена с дополнительными рисками, отказ диска или ошибка в данной ситуации не будут фатальными.

RAID 5EE

Дальнейшее развитие RAID 5E, в котором отказались из за размещения резервной области в конце диска (самая медленная его часть), а разбили ее на блоки и также как и блоки четности начали чередовать между дисками. Основное преимущество такого подхода — это более быстрый процесс реконструкции, а так как в этом состоянии массив особо уязвим, то уменьшение времени ребилда — это повышение надежности всего массива.

Кроме того, такой подход позволяет выровнять нагрузку по дискам, что должно положительно сказываться на надежности. Ограничения остались те же — один раздел на один массив.

Также ни RAID 5E, ни RAID 5EE не лишились недостатка простого RAID 5 — на современных объемах массивов вероятность успешного ребилда такого массива очень невелика.

RAID 6

В отличие от RAID 5 этот массив использует две контрольные суммы и два диска четности, поэтому для него понадобятся 4 диска, при этом допускается выход из строя двух из них. Также, как и у RAID 5 алгоритм позволяет использовать всего две контрольные суммы вне зависимости от ширины полосы и общий объем массива всегда будет равен объему всех дисков за вычетом двух. При отказе одного диска RAID 6 выдерживает отказ еще одного, либо ошибку чтения без фатальных последствий.

Казалось бы, вот он — новый компромисс, замена RAID 5 в современных условиях и т.д. и т.п., но за все надо платить. Одна операция записи на такой массив требует большего количества операций внутри массива: чтение данных, чтение четности 1, чтение четности 2, запись данных, запись четности 1, запись четности 2 — итого 6 операций, таким образом пенальти RAID 6 равен шести.

В общем, повысив надежность, данный массив существенно потерял в производительности настолько, что многие поставщики не рекомендуют его использование кроме как для хранения холодных данных.

И снова вернемся к мифам: RAID 6 это «круто»? Может быть, во всяком случае за свои данные можно не беспокоиться. А почему так медленно? Так это плата за надежность…

RAID 6E

По сути, тоже самое, что и RAID 5E. Резервный диск точно также распределяется в виде неразмеченного пространства в конце дисков, с теми же самыми ограничениями — один раздел на один массив. Ну и добавьте еще один диск в минимальное количество для массива, для RAID 5E это было 4, для RAID 6E — 5.

RAID 50 и RAID 60

Комбинированные массивы, аналогичные RAID 10, только вместо зеркала используется чередование нескольких массивов RAID 5 или RAID 6. Основная цель при создании таких массивов — более высокая производительность, надежность их в минимальном варианте соответствует надежности внутреннего массива, но в зависимости от ситуации может выдерживать отказ и большего количества дисков.

Заключение

Данная статья в первую очередь предназначена для исключения пробелов в знаниях и не претендует на какие-либо рекомендации. Тем не менее кое какие выводы можно сделать. RAID 5 в современных условиях применять не следует, скорее всего вы потеряете свои данные в любой нештатной ситуации.

RAID 10 остается наиболее производительным массивом, но имеет большие накладные расходы — 50%.

RAID 6 имеет наиболее разумное сочетание надежности и накладных расходов, но его производительность оставляет желать лучшего.

При этом мы оставили за кадром многие технологии, скажем RAID DP — реализацию RAID 6 от производителя систем хранения NetApp, которая предлагает все достоинства RAID 6 вкупе в высокой производительностью, на уровне RAID 0. Или RAID-Z — систем на основе ZFS, которые являются программными реализациями и для обзора которых потребуется отдельная статья.

Также мы надеемся, что данный материал поможет вам в осознанном выборе уровня RAID-массива согласно вашим требованиям.

RAID-массивы: классификация, особенности, применение | Записки Web-разработчика

RAID (англ. redundant array of independent disks — избыточный массив независимых жёстких дисков) — массив из нескольких дисков, управляемых контроллером, взаимосвязанных скоростными каналами и воспринимаемых внешней системой как единое целое. В зависимости от типа используемого массива может обеспечивать различные степени отказоустойчивости и быстродействия. Служит для повышения надёжности хранения данных и/или для повышения скорости чтения/записи информации. Изначально, подобные массивы строились в качестве резерва носителям на оперативной (RAM) памяти, которая в то время была дорогой. Со временем, аббревиатура приобрела второе значение – массив уже был из независимых дисков, подразумевая использование нескольких дисков, а не разделов одного диска, а также дороговизну (теперь уже относительно просто нескольких дисков) оборудования, необходимого для построения этого самого массива.

Рассмотрим, какие бывают RAID массивы. Сперва рассмотрим уровни, которые были представлены учёными из Беркли, потом их комбинации и необычные режимы. Стоит заметить, что если используются диски разного размера (что не рекомендуется), то работать они буду по объёму наименьшего. Лишний объем больших дисков просто будет недоступен.

RAID 0. Дисковый массив с чередованием без отказоустойчивости/чётности (Stripe)

Является массивом, где данные разбиваются на блоки (размер блока можно задавать при создании массива) и затем записываются на отдельные диски. В простейшем случае – есть два диска, один блок пишется на первый диск, другой на второй, затем опять на первый и так далее. Также этот режим называется «чередование», поскольку при записи блоков данных чередуются диски, на которые осуществляется запись. Соответственно, читаются блоки тоже поочерёдно. Таким образом, происходит параллельное выполнение операций ввода/вывода, что приводит к большей производительности. Если раньше за единицу времени мы могли считать один блок, то теперь можем сделать это сразу с нескольких дисков. Основным плюсом данного режима как раз и является высокая скорость передачи данных.

Однако чудес не бывает, а если бывают, то нечасто. Производительность растёт всё же не в N раз (N – число дисков), а меньше. В первую очередь, увеличивается в N раз время доступа к диску, и без того высокое относительно других подсистем компьютера. Качество контроллера оказывает не меньшее влияние. Если он не самый лучший, то скорость может едва заметно отличаться от скорости одного диска. Ну и немалое влияние оказывает интерфейс, которым RAID контроллер соединён с остальной системой. Всё это может привести не только к меньшему, чем N увеличению скорости линейного чтения, но и к пределу количества дисков, установка выше которого прироста давать уже не будет вовсе. Или, наоборот, будет слегка снижать скорость. В реальных задачах, с большим числом запросов шанс столкнуться с этим явлением минимален, ибо скорость весьма сильно упирается в сам жёсткий диск и его возможности.

Как видно, в этом режиме избыточности нет как таковой. Используется всё дисковое пространство. Однако, если один из дисков выходит из строя, то, очевидно, теряется вся информация.

RAID 1. Зеркалирование (Mirror)

Суть данного режима RAID сводится к созданию копии (зеркала) диска с целью повышения отказоустойчивости. Если один диск выходит из строя, то работа не прекращается, а продолжается, но уже с одним диском. Для этого режима требуется чётное число дисков. Идея этого метода близка к резервному копированию, но всё происходит «на лету», равно как и восстановление после сбоя (что порой весьма важно) и нет необходимости тратить время на это.

Минусы – высокая избыточность, так как нужно вдвое больше дисков для создания такого массива. Ещё одним минусом является то, что отсутствует какой-либо прирост производительности – ведь на второй диск просто пишется копия данных первого.

RAID 2 Массив с использованием ошибкоустойчивого кода Хемминга.

Данный код позволяет исправлять и обнаруживать двойные ошибки. Активно используется в памяти с коррекцией ошибок (ECC). В этом режиме диски разбиваются на две группы – одна часть используется для хранения данных и работает аналогично RAID 0, разбивая блоки данных по разным дискам; вторая часть используется для хранения ECC кодов.

Из плюсов можно выделить исправление ошибок «на лету», высокую скорость потоковой передачи данных.

Главным минусом является высокая избыточность (при малом числе дисков она почти двойная, n-1). При увеличении числа дисков удельное число дисков хранения ECC кодов становится меньше (снижается удельная избыточность). Вторым минусом является низкая скорость работы с мелкими файлами. Из-за громоздкости и высокой избыточности с малым числом дисков, данный уровень RAID в данное время не используется, сдав позиции более высоким уровням.

RAID 3. Отказоустойчивый массив с битовым чередованием и чётностью.

Данный режим записывает данные по блокам на разные диски, как RAID 0, но использует ещё один диск для хранения четности. Таким образом, избыточность намного ниже, чем в RAID 2 и составляет всего один диск. В случае сбоя одного диска, скорость практически не меняется.

Из основных минусов надо отметить низкую скорость при работе с мелкими файлами и множеством запросов. Связано это с тем, что все контрольные коды хранятся на одном диске и при операциях ввода/вывода их необходимо переписывать. Скорость этого диска и ограничивает скорость работы всего массива. Биты чётности пишутся только при записи данных. А при чтении – они проверяются. По причине этого наблюдается дисбаланс в скорости чтения/записи. Одиночное чтение небольших файлов также характеризуется невысокой скоростью, что связано с невозможностью параллельного доступа с независимых дисков, когда разные диски параллельно выполняют запросы.

RAID 4

Данные записываются блоками на разные диски, один диск используется для хранения битов чётности. Отличие от RAID 3 заключается в том, что блоки разбиваются не по битам и байтам, а по секторам. Преимущества заключаются в высокой скорости передачи при работе с большими файлами. Также высока скорость работы с большим числом запросов на чтение. Из недостатков можно отметить доставшиеся от RAID 3 – дисбаланс в скорости операций чтения/записи и существование условий, затрудняющих параллельный доступ к данным.

RAID 5. Дисковый массив с чередованием и распределённой чётностью.

Метод похож на предыдущий, но в нём для битов чётности выделяется не отдельный диск, а эта информация распределяется между всеми дисками. То есть, если используется N дисков, то будет доступен объём N-1 диска. Объём одного будет выделен под биты чётности, как и в RAID 3,4. Но они хранятся не на отдельном диске, а разделены. На каждом диске есть (N-1)/N объёма информации и 1/N объёма заполнено битами чётности. Если в массиве выходит из строя один диск, то он остаётся работоспособным (данные, хранившиеся на нём, вычисляются на основе чётности и данных других дисков «на лету»). То есть, сбой проходит прозрачно для пользователя и порой даже с минимальным падением производительности (зависит от вычислительной способности RAID контроллера). Из преимуществ отметим высокие скорости чтения и записи данных, как при больших объёмах, так и при большом числе запросов. Недостатки – сложное восстановление данных и более низкая, чем в RAID 4 скорость чтения.

RAID 6. Дисковый массив с чередованием и двойной распределённой чётностью.

Всё отличие сводится к тому, что используются две схемы чётности. Система устойчива к отказам двух дисков. Основной сложностью является то, что для реализации этого приходится делать больше операций при выполнении записи. Из-за этого скорость записи является чрезвычайно низкой.

Комбинированные (nested) уровни RAID.

Поскольку массивы RAID являются прозрачными для ОС, то вскоре пришло время и созданию массивов, элементами которых являются не диски, а массивы других уровней. Обычно они пишутся через плюс. Первая цифра означает то, массивы какого уровня входят в качестве элементов, а вторая цифра – то, какую организацию имеет верхний уровень, который объединяет элементы.

RAID 0+1

Комбинация, которая является массивом RAID 1, собранным на базе массивов RAID 0. Как и в массиве RAID 1, доступным будет только половина объёма дисков. Но, как и в RAID 0, скорость будет выше, чем с одним диском. Для реализации такого решения необходимо минимум 4 диска.

RAID 1+0

Также известен, как RAID 10. Является страйпом зеркал, то есть, массивом RAID 0, построенным из RAID 1 массивов. Практически аналогичен предыдущему решению.

RAID 0+3

Массив с выделенной чётностью над чередованием. Является массивом 3-го уровня, в котором данные блоками разбиваются и пишутся на массивы RAID 0. Комбинации, кроме простейших 0+1 и 1+0 требуют специализированных контроллеров, зачастую достаточно дорогих. Надёжность данного вида ниже, чем у следующего варианта.

RAID 3+0

Также известен, как RAID 30. Является страйпом (массивом RAID 0) из массивов RAID 3. Обладает весьма высокой скорость передачи данных, вкупе с неплохой отказоустойчивостью. Данные сначала разделяются на блоки (как в RAID 0) и попадают на массивы-элементы. Там они опять делятся на блоки, считается их чётность, блоки пишутся на все диски кроме одного, на который пишутся биты чётности. В данном случае, из строя может выйти один из дисков каждого из входящих в состав RAID 3 массива.

RAID 5+0 (50)

Создаётся путём объединения массивов RAID 5 в массив RAID 0. Обладает высокой скоростью передачи данных и обработки запросов. Обладает средней скоростью восстановления данных и хорошей стойкостью при отказе. Комбинация RAID 0+5 также существует, но больше теоретически, так как даёт слишком мало преимуществ.

RAID 5+1 (51)

Сочетание зеркалирования и чередования с распределённой четностью. Также вариантом является RAID 15 (1+5). Обладает очень высокой отказоустойчивостью. Массив 1+5 способен работать при отказе трех дисков, а 5+1 – пяти из восьми дисков.

RAID 6+0 (60)

Чередование с двойной распределённой четностью. Иными словами – страйп из RAID 6. Как уже говорилось применительно к RAID 0+5, RAID 6 из страйпов не получил распространения (0+6). Подобные приёмы (страйп из массивов с четностью) позволяют повысить скорость работы массива. Ещё одним преимуществом является то, что так можно легко повысить объём, не усложняя ситуации с задержками, необходимыми на вычисление и запись большего числа битов четности.

RAID 100 (10+0)

RAID 100, также пишущийся как RAID 10+0, является страйпом из RAID 10. По своей сути, он схож с более широким RAID 10 массивом, где используется вдвое больше дисков. Но именно такой «трехэтажной» структуре есть своё объяснение. Чаще всего RAID 10 делают аппаратным, то есть силами контроллера, а уже страйп из них делают программно. К такой уловке прибегают, чтобы избежать проблемы, о которой говорилось в начале статьи – контроллеры имеют свои ограничения по масштабируемости и если воткнуть в один контроллер двойное число дисков, прироста можно при некоторых условиях вообще не увидеть. Программный же RAID 0 позволяет создать его на базе двух контроллеров, каждый из которых держит на борту RAID 10. Так, мы избегаем «бутылочного горлышка» в лице контроллера. Ещё одним полезным моментом является обход проблемы с максимальным числом разъёмов на одном контроллере – удваивая их число, мы удваиваем и число доступных разъёмов.

Нестандартные режимы RAID

Двойная четность

Распространённым дополнением к перечисленным уровням RAID является двойная четность, порой реализованная и потому называемая «диагональной четностью». Двойная четность уже внедрена в RAID 6. Но, в отличие от нее, четность считается над другими блоками данных. Недавно спецификация RAID 6 была расширена, потому диагональная четность может считаться RAID 6. Если для RAID 6 четность считается как результат сложения по модулю 2 битов, идущих в ряд (то есть сумма первого бита на первом диске, первого бита на втором и т.д.), то в диагональной четности идет смещение. Работа в режиме сбоя дисков не рекомендуется (ввиду сложности вычисления утраченных битов из контрольных сумм).

RAID-DP

Является разработкой NetApp RAID массива с двойной четностью и подпадает под обновленное определение RAID 6. Использует отличную от классической RAID 6 реализации схему записи данных. Запись ведется сначала на кеш NVRAM, снабжённый источником бесперебойного питания, чтобы предотвратить потерю данных при отключении электричества. Программное обеспечение контроллера, по возможности, пишет только цельные блоки на диски. Такая схема предоставляет большую защиту, чем RAID 1 и имеет более высокую скорость работы, нежели обычный RAID 6.

RAID 1,5

Был предложен компанией Highpoint, однако теперь применяется очень часто в контроллерах RAID 1, без каких-либо выделений данной особенности. Суть сводится к простой оптимизации – данные пишутся как на обычный массив RAID 1 (чем 1,5 по сути и является), а читают данные с чередованием с двух дисков (как в RAID 0). В конкретной реализации от Highpoint, применявшейся на платах DFI серии LanParty на чипсете nForce 2, прирост был едва заметным, а порой и нулевым. Связано это, вероятно, с невысокой скоростью контроллеров данного производителя в целом в то время.

RAID 1E

Комбинирует в себе RAID 0 и RAID 1. Создаётся минимум на трёх дисках. Данные пишутся с чередованием на три диска, а со сдвигом на 1 диск пишется их копия. Если пишется один блок на три диска, то копия первой части пишется на второй диск, второй части – на третий диск. При использовании четного числа дисков лучше, конечно, использовать RAID 10.

RAID 5E

Обычно при построении RAID 5 один диск оставляют свободным (spare), чтобы в случае сбоя система сразу стала перестраивать (rebuild) массив. При обычной работе этот диск работает вхолостую. Система RAID 5E подразумевает использование этого диска в качестве элемента массива. А объём этого свободного диска распределяется по всему массиву и находится в конце дисков. Минимальное число дисков – 4 штуки. Доступный объём равен n-2, объём одного диска используется (будучи распределенным между всеми) для четности, объем еще одного – свободный. При выходе из строя диска происходит сжатие массива до 3-х дисков (на примере минимального числа) заполнением свободного пространства. Получается обычный массив RAID 5, устойчивый к отказу ещё одного диска. При подключении нового диска, массив расжимается и занимает вновь все диски. Стоит отметить, что во время сжатия и распаковки диск не является устойчивым к выходу еще одного диска. Также он недоступен для чтения/записи в это время. Основное преимущество – большая скорость работы, поскольку чередование происходит на большем числе дисков. Минус – что нельзя данный диск назначать сразу к нескольким массивам, что возможно в простом массиве RAID 5.

RAID 5EE

Отличается от предыдущего только тем, что области свободного места на дисках не зарезервированы одним куском в конце диска, а чередуются блоками с битами четности. Такая технология значительно ускоряет восстановление после сбоя системы. Блоки можно записать прямо на свободное место, без необходимости перемещения по диску.

RAID 6E

Аналогично с RAID 5E использует дополнительный диск для повышения скорости работы и распределения нагрузки. Свободное место разделяется между другими дисками и находится в конце дисков.

RAID 7

Данная технология является зарегистрированной торговой маркой фирмы Storage Computer Corporation. Массив, основывающийся на RAID 3, 4, оптимизированный для повышения производительности. Основное преимущество заключается в использовании кеширования операций чтения/записи. Запросы на передачу данных осуществляются асинхронно. При построении используются диски SCSI. Скорость выше решений RAID 3,4 приблизительно в 1,5-6 раз.

Intel Matrix RAID

Является технологией, представленной Intel в южных мостах, начиная с ICH6R. Суть сводится к возможности комбинации RAID массивов разных уровней на разделах дисков, а не на отдельных дисках. Скажем, на двух дисках можно организовать по два раздела, два из них будут хранить на себе операционную систему на массиве RAID 0, а другие два – работая в режиме RAID 1 – хранить копии документов.

Linux MD RAID 10

Это RAID драйвер ядра Linux, предоставляющий возможность создания более продвинутой версии RAID 10. Так, если для RAID 10 существовало ограничение в виде чётного числа дисков, то этот драйвер может работать и с нечетным. Принцип для трех дисков будет тем же, что в RAID 1E, когда происходит чередование дисков по очереди для создания копии и чередования блоков, как в RAID 0. Для четырех дисков это будет эквивалентно обычному RAID 10. Помимо этого, можно задавать, на какой области диска будет храниться копия. Скажем, оригинал будет в первой половине первого диска, а его копия – во второй половине второго. Со второй половиной данных – наоборот. Данные можно дублировать несколько раз. Хранение копий на разных частях диска позволяет достичь большей скорости доступа в результате разнородности жесткого диска (скорость доступа меняется в зависимости от расположения данных на пластине, обычно разница составляет два раза).

RAID-K

Разработан компанией Kaleidescape для использования в своих медиа устройствах. Схож с RAID 4 с использованием двойной четности, но использует другой метод отказоустойчивости. Пользователь может легко расширять массив, просто добавляя диски, причём в случае, если он содержит данные, данные будут просто добавлены в него, вместо удаления, как это требуется обычно.

RAID-Z

Разработка компании Sun. Самой большой проблемой RAID 5 является потеря информации в результате отключения питания, когда информация из дискового кеша (который является энергозависимой памятью, то есть не хранит данные без электричества) не успела сохраниться на магнитные пластины. Такое несовпадение информации в кеше и на диске называют некогерентностью. Сама организация массива связана с файловой системой Sun Solaris – ZFS. Используется принудительная запись содержимого кеш-памяти дисков, восстанавливать можно не только весь диск, но и блок «на лету», когда контрольная сумма не совпала. Ещё немаловажным аспектом является идеология ZFS – она не меняет данные при необходимости. Вместо этого она пишет обновлённые данные и потом, убедившись, что операция прошла уже удачно, меняет указатель на них. Таким образом, удаётся избежать потери данных при модификации. Мелкие файлы дублируются вместо создания контрольных сумм. Это тоже делается силами файловой системы, поскольку она знакома со структурой данных (массивом RAID) и может выделять место под эти цели. Существует также RAID-Z2, которая, подобно RAID 6 способна выдержать отказ двух дисков с помощью использования двух контрольных сумм.

JBOD

То, что не является RAID в принципе, но часто вместе с ним употребляется. Дословно переводится как «просто набор дисков» (just a bunch of disks) Технология объединяет все диски, установленные в системе в один большой логический диск. То есть, вместо трех дисков будет виден один крупный. Используется весь суммарный объем дисков. Ускорения ни надежности, ни производительности нет.

Drive Extender

Функция, заложенная в Window Home Server. Совмещает в себе JBOD и RAID 1. При необходимости создания копии, она не дублирует сразу файл, а ставит NTFS разделе метку, указывающую на данные. При простое система копирует файл так, чтобы место на дисках было максимальным (использовать можно диски разного объема). Позволяет достичь многих преимуществ RAID – отказоустойчивости и возможности простой замены вышедшего из строя диска и его восстановления в фоновом режиме, прозрачности местонахождения файла (вне зависимости от того, на каком диске он находится). Также можно проводить параллельный доступ с разных дисков с помощью вышеуказанных меток, получая сходную с RAID 0 производительность.

UNRAID

Разработана компанией Lime technology LLC. Эта схема отличается от обычных RAID массивов тем, что позволяет смешивать диски SATA и PATA в одном массиве и диски разных объема и скорости. Для контрольной суммы (четности) используется выделенный диск. Данные не чередуются между дисками. В случае отказа одного диска, теряются только файлы, на нём хранящиеся. Однако, с помощью четности они могут быть восстановлены. UNRAID внедрен как добавление к Linux MD (multidisk).

Большинство видов RAID массивов не получило распространения, часть используется в узких сферах применения. Наиболее массовыми, от простых пользователей до серверов начального уровня стали RAID 0, 1, 0+1/10, 5 и 6. Нужен ли вам рейд-массив для ваших задач – решать вам. Теперь вы знаете, в чём их отличия друг от друга.

Источник: http://www.ipcctv.by/index.php?option=com_content&view=article&id=92&Itemid=60

Описание и схемы Raid массивов и способов их восстановления

Описание рэйд массива и способы его восстановления

К сожалению, жесткие диски, которые являются на сегодняшний день основным хранилищем данных, не так надежны, как хотелось бы. И достаточно остро стоит проблема обезопасить свои файлы, чтобы не пришлось прибегать к восстановлению данных. Одним из путей решения этой проблемы является организация из двух и более накопителей raid массивов. Рейд массивы бывают разных конфигураций, и их создание преследует разные цели. От создания резервной копии информации, до ускорения существующей дисковой системы.

Почему может пропасть информация с RAID массива?

Основная причина, с которой мне, как инженеру по восстановлению информации приходится сталкиваться, это поломка одного или нескольких дисков рейд массива, когда перед непосредственно сборкой требуется произвести ремонт жесткого диска, вышедшего из строя. Следующая по частоте обращений с поломанным raid проблема — выход из строя рейд контроллера. Далее следуют всевозможные глюки raid контроллера, когда из рэйд массива выпадают диски (диск в raid массиве стал неактивным, получил статус degraded) и логические сбои — потеря логических томов raid или утрачена конфигурация массива. Нередко приходится сталкиваться с человеческим фактором — диски в рэйд массиве переставили местами, провели некорректную переинициализацию массива, провели неправильный ребилд рэйда.

В особо сложных случаях приходится сталкиваться с ситуациями, когда рейд массив был некорректно собран, и после такой пересборки были запущены проверочные утилиты Windows — чекдиск и им подобные.

Рассмотрим основные типы рэйд массивов:

Raid 0

Raid 0 описание

Рэйд 0 или рейд страйп (raid stripe) состоит в простейшем случае из двух дисков, блоки которых чередуются следующим образом: первые 64 килобайта на первом диске с 0-го сектора, второй блок в 64 килобайта на втором диске с 0-го сектора, третий блок опять на первом диске сразу по окончании первого, четвертый на втором диске по окончании второго блока и так далее. Размер блоков может варьироваться. За счет подобной организации массива достигается повышенная пропускная способность, по сравнению с одиночным диском, и как следствие повышается общая производительность дисковой подсистемы.

Raid 0 описание

Минимально необходимое количество дисков для создания raid0 массива — 2. При выходе из строя одного жесткого диска рэйд массив перестает функционировать, как говорится, рейд рассыпался и нужно восстановить информацию.

Восстановление raid 0

Как восстановить данные с raid0 массива? Очень просто. Определяем порядок и очередность дисков, размер блока, после чего с помощью программного обеспечения, которое может реализовывать виртуальный рэйд массив, указав все характеристики raid 0 массива, производим виртуальную сборку рэйд 0. По окончании этого процесса данные с raid 0 можно копировать на внешнее хранилище информации.

Raid 1

Raid 1 описание

Рэйд 1 или рейд зеркало, зеркальный raid массив, mirrored raid. В названии содержится его суть. Все диски массива имеют зеркальную копию содержимого raid array. Подобный raid массив имеет повышенную отказоустойчивость, и может функционировать до тех пор, пока хоть один из дисков рэйд массива продолжает работать.

Raid 1 описание

Минимально необходимое количество дисков для создания raid1 массива — 2, но в ряде случаев, в частности когда нужно программно восстановить LVM, собирается массив из одного диска с изначальным статусом degraded.

Восстановление raid 1

Не смотря на кажущуюся простоту — для того, чтобы восстановить данные с рэйд1 достаточно казалось бы восстановить информацию с любого из накопителей, на деле инженер сталкивается с необходимостью восстановления данных с наиболее актуального диска в массиве, т.к. изначально сложно сказать, какой именно диск в raid 1 массиве вышел из строя раньше и соответственно содержит устаревшие версии данных, а какой позже, и соответственно актуальность этого диска выше. В худшем случае приходится организовывать доступ к пользовательским данным на всех дисках для восстановления информации с неисправного raid 1 массива.

Raid 1e

Raid 1e описание

В raid 1E реализована функция сквозной записи блоков данных (stripe) когда каждый следующий блок записывается на следующий жесткий диск, кроме того на него же дублируется блок данных с предыдущего диска. Такая схема позволяет использовать нечетное количество дисков в рейде. При отказе одного диска в системе, потери данных не происходит. Ремонт raid 1e массива требуется при отказе более одного диска.

Raid 5

Raid 5 описание

По сути, RAID 5, пятый рэйд это тот же страйп, дополненный блоками контрольных сумм. Минимальное количество дисков для организации рейд массива пятого уровня — три HDD. Raid 5 подразделяется на forward (форвард), backward (бэквард), forward dynamic (форвард динамик) и backward dynamic (бэквард динамик). Отличия между этими типами raid 5 в очередности блоков контрольной суммы и их ротации. Отдельно стоит упомянуть про особенности восстановления raid 5 с серверов HP восстановление raid 5 hewlett Packard) где средствами контроллера организован так называемый delay, задержка, после которой собственно и начинается ротация блоков.

Raid 5 backward описание

Raid 5 forward описание

Raid 5 forward dynamic описание

Raid 5 backward dynamic описание

Минимально необходимое количество дисков для создания raid5 массива — 3. Рэйд 5 способен функционировать при выходе из строя одного диска в массиве. В этом случае замедляется скорость работы системы в целом. Появляются задержки особенно заметные при работе с базами данных. При выходе из строя двух дисков и более, raid 5 перестает работать и требуется восстановление данных.

Восстановление raid 5

Для восстановления данных с raid 5 массива требуется создание клонов по возможности всех дисков массива и сборка рейда виртуально. Порядок тот же, что и в случаях с восстановлением данных на raid 0, а именно: определение порядка дисков, размера блока и на финальных стадиях восстановления данных с рэйд 5 массива определение актуальной сборки в тех случаях, когда в массиве сперва вышел из строя один диск, какое-то время сервер работал в критическом режиме, и только потом на raid 5 отказало два диска или более.

Raid 5e

Raid 5e описание

Массив RAID 5e (RAID 5 enhanced) является усовершенствованной версией RAID5, с повышенной производительностью и сохранностью данных. Кроме резервирования места для контрольных сумм, также резервируется место для горячей замены (hot-spare). Причем, запись производится на каждый из жестких дисков и резервированное место так же есть на каждом из hdd. Таким образом , возрастает скорость работы raid-массива и каждый из жестких дисков используется равномерно. Для построения Raid 5E потребуется как минимум 4 жестких диска. Отличительная особенность массива этого уровня в том, что резервная область hot spare расположена в логическом конце физических дисков.

Raid 5-e backward описание

Восстановление raid 5e

По сравнению с обычной пятеркой рейд 5е собирается несколько сложнее, так как приходится учитывать наличие hot spare пространства. Если из массива не выпадали в процессе диски, не шел процесс самовосстановления raid массива средствами контроллера, то сборка 5e рэйд массива ни чем не отличается от обычной пятерки. Если же хот спейр пространство было использовано (или началось использоваться) то приходится этот нюанс учитывать. Но в целом базовый подход такой же — определение очередности накопителей, определения размера блока, типа ротации блоков четности и определение актуальности жестких дисков в массиве.

Raid 5ee

Raid 5ee описание

RAID 5EE отличается от RAID 5E только логической структурой расположения данных. Если в RAID 5E резервное место выделяется общим куском в конце массива, то в RAID 5EE это место делится на блоки которые ротируются с блоками контрольной суммы и блоками данных. При перестройке(rebuild) массива, такая схема расположения блоков ускоряет процесс восстановления работоспособности. Рэйд 5 ее так же весьма напоминает по своему строению raid 6 где вместо одного из блоков четности используется hot-spare блок.

Raid 5-ee backward описание

Восстановление raid 5ee

Особенности восстановления информации с такого, прямо скажем нечасто встречающегося рейд массива, каким является raid 5ee заключаются в сложности его идентификации. Если массив вышел из строя по причине поломки рэйд контроллера идентификация достаточно проста, наличие регулярно повторяющихся пустых блоков ожидаемого размера говорит само за себя. Если же в процессе работы рэйд массива вышел из строя один жесткий диск и его заменили другим, начался процесс переинициализации массива (ребилд рэйда) который закончился с ошибкой, или raid контроллер перевел массив в аварийный режим, то ранее пустые блоки могут содержать данные, рассчитанные контроллером по контрольным суммам.

Raid 6

Raid 6 описание

Дальнейшее логическое развитие пятого рэйда — raid 6, который от пятого отличается наличием двух блоков контрольных сумм, и соответственно в состоянии пережить выход из строя двух дисков в массиве. Типы ротации блоков контрольных сумм те же — forward, backward и их dynamic вариации. При выходе из строя трех дисков и больше в рэйд 6 массиве сервер перестает функционировать и требуется восстановление информации. Точно так же различают рэйд форвард, рэйд бэквард и их динамик вариации.

Raid 6 backward описание

Raid 6 forward описание

Минимально необходимое количество дисков для создания raid6 массива — 4.

Восстановление raid 6

И опять методология сходна с восстановлением информации на raid 5, проблема осложняется только тем, что из коммерческого программного обеспечения мало кто может похвастаться поддержкой восстановления данных с raid 6. Но в целом порядок тот же — определение очередности, размера блоков и выяснение степени актуальности. Кроме того, нужно отметить что на raid 6 массивах чаще чем на 5-х и уж тем более чаще чем на страйпах или рейд-зеркалах встречаются такие вещи, как слайсы, десятки виртуальных машин, малораспространенные файловые *NIX системы и прочие прелести.

Рекомендую к прочтению дополнительные материалы: восстановление raid 6 и raid 6 wide pace proNAS OS

Raid 10

Raid 10 описание

Raid 10 представляет из себя комбинацию рейдов первого и нулевого уровней. В raid 10 используется 4 (или более) жестких диска, которые попарно зеркалированы друг на друга(RAID 1), а пары объединены в RAID 0. Поломка диска внутри пары, не приводит к потере данных, однако при выходе из строя пары, данные теряются и требуется процедура восстановления.

Raid 10 описание

Минимально необходимое количество дисков для создания raid10 массива — 4.

Восстановление raid 10

Восстановление данных с рэйд массива raid 10 вышедшего из строя по причине аппаратного сбоя (поломки нескольких жестких дисков в рэйд массиве) приходится делать не часто. Гораздо чаще приносят на восстановление raid10 массивы на которых потеряны данные вследствие сбоя контроллера или неквалифицированных действий персонала (системных администраторов). Ввиду недостаточно эффективного использования дискового пространства подобные рэйд-массивы используют в крупных коммерческих организациях и как правило подобные задачи осложнены использованием слайсов, когда идет поступенчатое представление физические жесткие диски — логические — физические — логические. Когда аппаратно собранный неразмеченный еще рейд-массив средствами raid контроллера делится на слайсы, которые опять таки представляются как физические накопители, из которых в свою очередь собирается другой raid массив, возможно с другой конфигурацией, например рэйд5 или рэйд0.

Raid JBOD

JBOD Raid описание

JBOD (Just a bundle of disks), то есть связка жестких дисков, рейд массивом строго говоря не является. Однако несколько дисков могут быть объединены в один логический раздел с помощью операционной системы, либо аппаратно, с помощью рэйд контроллера, поддерживающего функцию построения jbod массива. Файлы обычно записываются последовательно до конца диска, далее запись продолжается на следующий указанный hdd. Подобная организация данных не требует специального оборудования, как я сказал выше, и может быть реализована на программном уровне средствами ОС или стороннего ПО. Однако при поломке одного из дисков файловая система разрушается и требуется операция восстановления данных jbod массива.

JBOD массив описание

Минимально необходимое количество томов (дисков) для создания jbod — 2.

Восстановление JBOD

В случае выхода из строя дискового jbod массива необходимо определиться с порядком дисков, это не сложно сделать, если в джибод-массиве всего два накопителя, и задача становится сложнее, если дисков три или более. В этом случае нужно провести анализ таблиц размещения файлов, определиться с адресацией начала файла или директории и проведя необходимые вычисления достаточно легко определить очередность дисков в массиве. Так же нужно отметить, что в ряде случаев, когда один или несколько дисков jbod массива вышли из строя и не подлежат восстановлению, информацию с поврежденного jbod все же можно достать, пусть и частично.

Raid 50

Raid 50 описание

Raid 50 является комбинацией между двумя рэйд-массивами пятого уровня, объединенными между собой в страйп, или raid 0. Минимальное количество дисков для построения рэйд 50 массива — шесть штук.

Raid 50 описание

На иллюстрации показан частный случай организации такого массива. Нужно иметь ввиду, что на ряде контроллеров идет каскадное представление дисков по цепочке физический-логический-физический. То есть шесть физических жестких дисков объединяются в два логических массива (диска) raid-5, далее они представляются как два физических диска соответствующего размера и уже эти диски объединяются между собой в страйп, со своим размером блока и очередностью и восстановление raid может быть в такой ситуации весьма нетривиальной задачей. Полученный логический диск собранный по технологии рейд 50, уже средствами ОС воспринимается как физический, и размечается и форматируется.

В качестве иллюстрации возможных нагромождений представим что этот «физический» диск raid-50 делится средствами ОС на два логических, из которых собирается JBOD или raid-0 уже средствами ОС. Инженер осуществляющий восстановление данных raid и получивший шесть дисков которые состояли в подобном массиве может потратить массу времени на построение таблиц соответствия блоков и дисков.

Восстановление Raid-50

Как и в случаях с рэйд массивами 6-го уровня, на raid-50 достаточно часто встречаются надстройки в виде слайсов, крутятся десятки виртуальных машин, *nix файловые системы, VMFS и прочие радости бытия. Восстановление информации с raid50 является достаточно сложной задачей. Для начала нужно попытаться получить максимально полную информацию о предполагаемой конфигурации, количестве и размере разделов и т.п. Далее, определившись с конфигурацией, целесообразно идти по пути сборки, которой оперировал raid контроллер. То есть сначала собираются все рэйд-5 массивы входившие в состав raid50, выгружаются в отдельные образы и уже они объединяются в виртуальный страйп.

Какой raid массив
лучше использовать на практике?

Подробное знакомство с RAID-массивами — Ferra.ru

Перед нами типичный образец платы с RAID-контроллером, используемой в серверных решениях. В таких системах обычно устанавливаются дорогие, но надежные жесткие диски с параллельным SCSI интерфейсом и материнские платы с 64-разрядными PCI слотами. Ключевым же на сегодня будет слово RAID и перечисленные уровни: 0, 1, 50, 10, 5.

Что такое RAID?

В переводе с английского «RAID» (Redundant Arrays of Inexpensive Disks) означает «избыточный массив независимых дисков». Этот перевод не совсем дословный, но именно содержащийся в нем смысл является правильным.

Впервые термин RAID появился в 1987 году, когда исследователям из Калифорнийского Университета в Беркли удалось создать действующий массив из нескольких жестких дисков.

Первоначальное предназначение RAID – создание на базе нескольких винчестеров диска большого объема с увеличенной скоростью доступа. Но затем к двум основным целям добавилась третья – сохранение данных в случае отказа части оборудования. Именно эти три кита сделали RAID-массивы столь востребованными бизнесом и военными. Впрочем, за объем, скорость и надежность пришлось платить повышением стоимости и сложности систем хранения данных.

Со временем оборудование для построения RAID массивов стало более доступным, особенно с появлением дешевых решений для IDE/ATA и SATA дисков. Теперь уже не только специалисты по СХД, но и обычные пользователи столкнулись с хитростями построения дисковых массивов.

Оказывается, не так просто найти оптимальное решение одновременно по надежности, емкости и цене. Надо быть готовым к тому, что придется купить не один, а несколько жестких дисков, и емкость как минимум одного из них не будет использоваться. Если речь идет о построении более-менее серьезной системы, потребуется отдельный (лучше специальный) корпус с отдельным (а то и двумя) блоком питания, плата контроллера и соответствующее программное обеспечение.

Не испугались? Значит, пора знакомиться с RAID более подробно.

Пять таинственных слов

В основе теории RAID лежат пять основных принципов – пять таинственных слов. Это Массив (Array), Зеркалирование (Mirroring), Дуплекс (Duplexing), Чередование (Striping) и Четность (Parity).

Массивом называют несколько накопителей, которые централизованно настраиваются, форматируются и управляются. Логический массив – это уже более высокий уровень представления, на котором не учитываются физические характеристики системы. Соответственно, логические диски могут по количеству и объему не совпадать с физическими. Но лучше все-таки соблюдать соответствие: физический диск – логический диск. Наконец, для операционной системы вообще весь массив является одним большим диском.

Зеркалирование – технология, позволяющая повысить надежность системы. В RAID массиве с зеркалированием все данные одновременно пишутся не на один, а на два жестких диска. То есть создается «зеркало» данных. При выходе из строя одного из дисков вся информация остается сохраненной на втором.

Типы RAID (уровни) Код

Есть много разных способов организовать данные в массиве RAID.
Эти способы называются «уровнями RAID».
Различные уровни RAID имеют разную скорость и свойства отказоустойчивости.
Уровень RAID 0 не является отказоустойчивым.
Уровни 1, 1E, 5, 50, 6, 60 и 1 + 0 в разной степени отказоустойчивы — в случае выхода из строя одного из жестких дисков в массиве данные все равно восстанавливаются на лету
и никакого прерывания доступа не происходит.

Уровни RAID 2, 3 и 4 теоретически определены, но не используются на практике.

Есть несколько более сложных схем: RAID 5E / 5EE (интеграция некоторого свободного места) и RAID & nbspDP, но они выходят за рамки этого справочника.

и nbsp	RAID 0	RAID 1	RAID 1E	RAID 10	RAID 5	RAID 50	RAID 6	RAID 60
Мин. Количество дисков	2	2	3	4	3	6	4	8
Отказоустойчивость	Нет	1 диск	1 диск	1 диск	1 диск	1 диск	2 диска	2 диска
Накладные расходы на дисковое пространство	Нет	50%	50%	50%	1 диск	2 диска	2 диска	4 диска
Скорость чтения	Быстро	Быстро	Быстро	Быстро	Медленно, см. Ниже
Скорость записи	Быстро	ярмарка	ярмарка	ярмарка	Медленно, см. Ниже
Стоимость оборудования	дешевые	High (диски)	High (диски)	High (диски)	Высокая	Очень высокий	Очень высокий	Очень высокий

Чередование — это метод хранения данных на дисковом массиве.Непрерывный поток данных делится на блоки, и блоки записываются на несколько дисков по определенному шаблону.
Чередование используется с уровнями RAID 0, 1E, 5, 50, 6, 60 и 10.

Размер блока выбирается при создании массива. Обычно блоки имеют размер от 32 КБ до 128 КБ.

Используйте RAID0, когда вам нужна производительность, но данные не важны.

В RAID0 данные делятся на блоки, и блоки по очереди записываются на диски.

RAID0 обеспечивает максимальное повышение скорости, особенно скорости записи,
потому что запросы на чтение и запись равномерно распределяются по всем дискам в массиве.
Обратите внимание, что RAID1, Mirror, может обеспечить такое же улучшение с чтением, но не с записью.
Итак, если запрос поступает, скажем, для блоков 1, 2 и 3, каждый блок читается со своего собственного диска.
Таким образом, данные читаются в три раза быстрее, чем с одного диска.

Однако RAID0 вообще не обеспечивает отказоустойчивости.Если какой-либо из дисков в массиве выйдет из строя, выйдет из строя весь массив и все данные будут потеряны.

Решения

RAID0 дешевы, а RAID0 использует всю емкость диска.

Если контроллер RAID0 выходит из строя, вы можете выполнить
Восстановление RAID0 относительно легко с помощью программного обеспечения для восстановления RAID.
Однако следует иметь в виду, что в случае отказа диска данные теряются безвозвратно.

Диск 1	Диск 2	Диск 3
1	2	3
4	5	6
7	8	9

RAID1E — это зеркало, созданное для нечетного количества дисков.С RAID1E вы по-прежнему получаете 50% накладных расходов, поскольку каждый блок данных хранится на двух зеркальных копиях.
В отличие от RAID1, RAID1E использует технику чередования, которая дает вам увеличение скорости чтения даже для деградированных конфигураций.

С RAID1 вы должны использовать только 2 диска или максимум три (3-стороннее зеркало)
потому что иметь более 3 копий одних и тех же данных очень дорого с точки зрения дискового пространства.
RAID1E позволяет придерживаться конфигурации зеркала, имея более двух дисков в наборе.

Используйте RAID1E, когда вам нужно получить надежное хранилище, выдерживающее отказ одного диска, сделанный на нечетном количестве дисков.

Диск 1	Диск 2	Диск 3
1	1	2
2	3	3
4	4	5
5	6	6

Используйте зеркалирование, когда вам нужно надежное хранилище относительно небольшой емкости.

Mirroring (RAID1) хранит две идентичные копии данных на двух жестких дисках.
В случае выхода из строя одного из дисков все данные могут быть прочитаны с другого диска.
При зеркальном отображении не используются блоки и полосы.

Скорость чтения может быть улучшена в некоторых реализациях, поскольку запросы чтения отправляются на два диска по очереди.
Подобно RAID0, это должно увеличить скорость в два раза.
Однако не все реализации используют эту технику.

Скорость записи на RAID1 такая же, как скорость записи отдельного диска, потому что все копии данных должны быть обновлены.

RAID1 использует емкость одного из своих дисков для обеспечения отказоустойчивости. Это составляет 50% потери емкости массива.
Например. если вы объедините два диска по 500 ГБ в RAID1, вы получите только 500 ГБ доступного дискового пространства.

В случае отказа контроллера RAID1 нет необходимости восстанавливать с него ни конфигурацию массива, ни данные.Для получения данных достаточно подключить любой из дисков к заведомо исправному компьютеру.

Диск 1	Диск 2
1	1
2	2
3	3

RAID5 подходит как большое, надежное и относительно дешевое хранилище.

RAID5 равномерно записывает блоки данных на все диски по схеме, аналогичной RAID0.Однако в каждую строку записывается один дополнительный блок «четности».
Эта дополнительная четность, полученная из всех блоков данных в строке, обеспечивает избыточность.
Если один из дисков выходит из строя и, таким образом, один блок в строке не читается, содержимое этого блока может быть восстановлено с помощью
данные четности вместе со всеми остальными блоками данных.

Если все диски в порядке, запросы на чтение распределяются по дискам равномерно, обеспечивая скорость чтения, аналогичную скорости чтения RAID0.Для N дисков в массиве RAID0 обеспечивает чтение в N раз быстрее, а RAID5 обеспечивает (в N-1) раз более быстрое чтение.
В случае отказа одного из дисков скорость чтения снижается до скорости чтения отдельного диска, поскольку для обслуживания запроса требуются все блоки в строке.

Скорость записи RAID5 ограничена обновлениями четности.
Для каждого записанного блока его соответствующий блок четности должен быть прочитан, обновлен и затем записан обратно.
Таким образом, на RAID5 не наблюдается значительного улучшения скорости записи, если оно вообще есть.

Емкость одного привода используется для поддержания отказоустойчивости.
Например. если у вас 10 дисков по 1 ТБ каждый, результирующая емкость RAID5 составит 9 ТБ.

Если контроллер RAID5 выходит из строя, вы все равно можете восстановить данные из массива с помощью программного обеспечения восстановления RAID 5.
В отличие от RAID0, RAID5 является избыточным и может выдержать отказ одного из дисков.

Хотя диаграмма справа может показаться достаточно простой, на практике существует множество различных макетов.Левый / правый и синхронный / асинхронный образуют четыре возможных комбинации (диаграммы см. Здесь).
Еще больше усложняет проблему то, что в некоторых контроллерах реализована отложенная четность.

Диск 1	Диск 2	Диск 3
1	2	-П
3	-П	4
п	5	6
7	8	-П

RAID50 состоит из нескольких массивов RAID5, объединенных в RAID0.Как обсуждалось выше, для создания массива RAID0 вам понадобится как минимум два диска, а для RAID5 вам нужно предоставить минимум три диска.
Учитывая цифры, можно сделать вывод, что для RAID50 нам нужно как минимум шесть дисков.

С RAID50 вы можете получить увеличение производительности с точки зрения скорости чтения в (N-1) * K раз,
где N — количество дисков в каждой группе RAID5, а K — количество групп RAID5, образующих RAID0.

Что касается отказоустойчивости, RAID 50, как и обычный RAID5, гарантированно выдержит отказ одного диска.Однако иногда может выйти из строя большее количество дисков без потери данных — это возможно, если вышедшие из строя диски относятся к разным группам RAID5.

На практике конфигурации, подобные RAID50, обычно используются с большим количеством дисков и с несколькими дисками, зарезервированными в качестве горячего резерва.

RAID0, состоящий из двух наборов RAID5
Диск 1	Диск 2	Диск 3	Диск 4	Диск 5	Диск 6
1	2	-П	3	4	-П
5	-П	6	7	-П	8
п	9	10	-П	11	12

RAID6 — это большое, высоконадежное и относительно дорогое хранилище.

RAID6 использует схему блоков, аналогичную RAID5, но использует две разные функции четности для получения двух разных блоков четности на строку.
Если один из дисков выходит из строя, его содержимое восстанавливается с использованием одного набора данных четности. Если другой диск выходит из строя до восстановления массива, содержимое
два отсутствующих диска восстанавливаются путем объединения оставшихся данных и двух наборов контроля четности.

Скорость чтения N-диска RAID6 в (N-2) раз выше, чем скорость отдельного диска, аналогично уровням RAID 0 и 5.Если один или два диска выходят из строя в RAID6, скорость чтения значительно ухудшается, потому что восстановление отсутствующих блоков требует чтения всей строки.

В схеме RAID6 не наблюдается значительного улучшения скорости записи. Обновления четности RAID6 требуют даже большей обработки, чем в RAID5.

Емкость двух приводов-элементов используется для поддержания отказоустойчивости.
Для массива из 10 дисков по 1 ТБ каждый результирующая емкость RAID6 составит 8 ТБ.

Восстановление RAID6 после сбоя контроллера довольно сложно.
Основные подходы к восстановлению данных RAID6 в частности и восстановлению данных в целом описаны в
книга восстановления данных.

Диск 1	Диск 2	Диск 3	Диск 4
1	2	П1	P2
3	П1	P2	4
P1	P2	5	6
P2	7	8	П1

Собственно, RAID60 похож на RAID50 с той лишь разницей, что вместо массивов RAID5,
Массивы RAID6 объединяются в RAID0.Как и в RAID50, требуется минимум два набора массивов RAID6. Поскольку для обычного RAID6 требуется как минимум 4 диска,
для «минимального» RAID60 вам потребуется как минимум 8 дисков, равномерно распределенных по двум группам RAID6.

С RAID60 вы получаете увеличение скорости чтения в (N-2) * K раз,
где N — количество дисков в каждой группе RAID6, а K — количество групп RAID6.

Говоря об отказоустойчивости, массив RAID 60, как и обычный RAID6, может выдержать отказ двух дисков без потери данных.На практике, если вам повезет, RAID60 может потерять 2 * K дисков — по 2 диска из каждого набора RAID6.

Как и в случае с RAID50, для обеспечения стабильной работы вам необходимо иметь достаточно дисков, зарезервированных в качестве горячего резерва.

RAID0, состоящий из двух наборов RAID6
Диск 1	Диск 2	Диск 3	Диск 4	Диск 5	Диск 6	Диск 7	Диск 8
1	2	П1	P2	3	4	П1	P2
5	П1	P2	6	7	П1	P2	8
P1	P2	9	10	П1	P2	11	12
P2	13	14	П1	P2	15	16	П1

RAID10 — это большое, быстрое, надежное, но дорогое хранилище.

RAID10 использует два идентичных массива RAID0 для хранения двух идентичных копий содержимого.

Скорость чтения массива RAID10 с N дисками в N раз выше, чем у одного диска.
Каждый диск может независимо читать свой блок данных, как в RAID0 из N дисков.

Запись в два раза медленнее чтения, потому что необходимо обновлять обе копии.
Что касается записи, RAID10 из N дисков совпадает с RAID0 из N / 2 дисков.

Половина емкости массива используется для поддержания отказоустойчивости.
В RAID10 накладные расходы увеличиваются с увеличением количества дисков, в отличие от уровней RAID 5 и 6, где накладные расходы одинаковы для любого количества дисков.
Это делает RAID10 самым дорогим типом RAID при масштабировании до большой емкости.

В случае отказа контроллера в RAID10 любое подмножество дисков, образующих полный RAID0, может быть восстановлено
таким же образом восстанавливается RAID0.

Как и в случае с RAID 5, возможны несколько вариантов компоновки.
Дополнительные схемы см. Здесь.

Диск 1	Диск 2	Диск 3	Диск 4
1	2	1	2
3	4	3	4
5	6	5	6
7	8	7	8

комментарии от HyperComments

Этот калькулятор RAID был создан командой ReclaiMe с www.ReclaiMe.com.
Ознакомьтесь с другими нашими материалами, если вам интересно

.Сравнение уровней RAID

: RAID 0, RAID 1, RAID 5, RAID 6 и RAID 10

В предыдущем посте мы говорили о различиях между аппаратным RAID и программным RAID. На этот раз мы сравним разные уровни RAID. Используемый уровень RAID влияет на точную скорость и отказоустойчивость, которых можно достичь с помощью RAID. Также имеет значение, есть ли у вас аппаратный или программный RAID, потому что программное обеспечение поддерживает меньше уровней, чем аппаратный RAID. Существует несколько популярных уровней RAID, включая RAID 0, RAID 1, RAID 5, RAID 6 и RAID 10.Давайте подробнее рассмотрим каждый из этих уровней RAID.

RAID 0

В системе RAID 0 данные разбиваются на блоки, которые записываются на все диски в массиве. Одновременное использование нескольких дисков (как минимум 2) обеспечивает высокую скорость чтения и записи. Вся емкость хранилища может быть использована полностью без накладных расходов. Обратной стороной RAID 0 является то, что он НЕ является избыточным, потеря любого отдельного диска приведет к полной потере данных.Таким образом, не рекомендуется использовать, если данные не имеют для вас никакой ценности.

RAID 1

RAID 1 — это установка по крайней мере двух дисков, содержащих точно такие же данные. Если один диск выйдет из строя, остальные по-прежнему будут работать. Рекомендуется тем, кому нужна высокая надежность. Дополнительным преимуществом RAID 1 является высокая производительность чтения, поскольку данные могут быть считаны с любого из дисков в массиве. Однако, поскольку данные должны быть записаны на все диски в массиве, скорость записи ниже, чем у массива RAID 0.Кроме того, вам доступна только емкость одного диска.

RAID 5

RAID 5 требует использования как минимум 3 дисков, чередуя данные на нескольких дисках, таких как RAID 0, но также имеет «четность», распределенную между диски. В случае отказа одного диска данные собираются вместе с использованием информации о четности, хранящейся на других дисках. Нет простоев. Скорость чтения очень высокая, но скорость записи несколько ниже из-за четности, которую необходимо вычислить.Он идеально подходит для файловых серверов и серверов приложений с ограниченным количеством дисков с данными.

RAID 5 теряет 33 процента дискового пространства (используя три диска) из-за этой четности, но это все еще более экономичная настройка, чем RAID 1. В наиболее популярных конфигурациях RAID 5 используются четыре диска, что снижает потерянное пространство хранения до 25 процентов. Он может работать с 16 приводами.

RAID 6

RAID 6 похож на RAID 5, но данные четности записываются на два диска.Это означает, что для него требуется как минимум 4 диска, и он может выдержать одновременное отключение 2 дисков. Скорость чтения такая же, как у RAID 5, но скорость записи ниже, чем у RAID 5, из-за дополнительных данных четности, которые необходимо вычислить. RAID 6 — очень хороший вариант для стандартного веб-сервера, на котором считывается большинство транзакций. Но это не рекомендуется для среды с интенсивной записью, такой как сервер базы данных.

RAID 10

RAID 10 состоит как минимум из четырех дисков и сочетает в себе преимущества RAID 0 и RAID 1 в одной системе.Он обеспечивает безопасность за счет зеркального отображения всех данных на дополнительных дисках с использованием чередования для каждого набора дисков для ускорения передачи данных. Это означает, что RAID 10 может обеспечить скорость RAID 0 с избыточностью RAID 1. Вы можете потерять любой отдельный диск и, возможно, даже второй диск без потери данных. Как и в случае с RAID 1, доступна только половина от общей емкости диска, но вы увидите улучшенную производительность чтения и записи, а также быстрое восстановление RAID 1. По сравнению с большими массивами RAID 5 или RAID 6 это дорогостоящий способ. чтобы иметь избыточность.

Сравнение уровней RAID

Два

Функции	RAID 0	RAID 1	RAID 5	RAID 6	RAID 10
Минимальное количество приводов	2	2	3	4	4
Отказоустойчивость	Нет	Отказ одного привода	Отказ одного привода		Отказ до одного диска в каждом подмассиве
Скорость чтения	Высокая	Средняя	Низкая	Низкая	Высокая
Производительность записи	Высокая	Средняя Низкая		Среднее
Загрузка производственных мощностей	100%	50%	67% — 94%	50% — 88%	50%
Типичные приложения	Высокопроизводительные рабочие станции, регистрация данных, рендеринг в реальном времени, очень кратковременные данные	Операционные системы, базы данных транзакций	Хранилище данных, веб-обслуживание, архивирование	Архивирование данных, резервное копирование на диск, решения высокой доступности, серверы с большими требованиями к емкости	Быстрые базы данных, файловые серверы, серверы приложений

Какой уровень RAID является лучшим
Для большинству малых и средних предприятий достаточно RAID 5, RAID 6 и RAID 10 для обеспечения хорошей отказоустойчивости и производительности.Если у вас ограниченный бюджет и вы хотите получить максимальную отдачу от дисков, которые вы вставили в свой массив, идеально подходят RAID 5 и RAID 6.

Однако для операций с большими данными, таких как серверные фермы и центры обработки данных, где бюджеты будут больше, а производительность более важна, RAID 10 по-прежнему предлагает наибольшие преимущества.
Наш выделенный сервер поставляется с аппаратным RAID, поддерживающим RAID 0 / RAID 1 / RAID 5 / RAID 10. Если вы не уверены, какой уровень RAID будет использоваться на вашем выделенном сервере, свяжитесь с нами по телефону +852 3959 1888 или по электронной почте sales @ датчики.com.

уровней RAID — Cisco

уровней RAID

RAID-массивы в системах хранения Cisco можно настроить на различных уровнях RAID. За исключением случаев, указанных ниже, для всех уровней RAID требуется как минимум два диска. Доступные уровни:

RAID 0

RAID уровня 0 обеспечивает чередование данных. Блоки данных из каждого файла распределены по нескольким дискам. Он не обеспечивает избыточности. Это увеличивает скорость операций чтения и записи, но не обеспечивает отказоустойчивость.Если один диск выходит из строя, все данные в массиве теряются.

RAID 1

RAID уровня 1 обеспечивает зеркалирование дисков. Файлы записываются одинаково на два или более дисков. Если один диск выходит из строя, другой диск все еще содержит данные. Это также улучшает скорость операций чтения, но не операций записи.

RAID 10

RAID уровня 10 представляет собой комбинацию уровней RAID 0 и 1. Данные чередуются и зеркалируются. Уровень RAID 10 используется всякий раз, когда для массива RAID 1 выбрано четное количество дисков (минимум четыре).

RAID 4

RAID уровня 4 обеспечивает чередование уровней блоков, аналогичное RAID уровня 0, но с выделенным диском четности. Если диск с данными выходит из строя, данные четности используются для воссоздания данных на отказавшем диске. Поскольку имеется только один диск с четностью, этот уровень RAID может замедлить операции записи.

RAID 5

RAID уровня 5 обеспечивает чередование данных на уровне байтов, а также информацию для исправления ошибок чередования. Данные четности вместо того, чтобы храниться только на одном диске, распределяются между всеми дисками в массиве.Этот уровень обеспечивает отличную производительность и хорошую отказоустойчивость. Это одна из самых популярных реализаций RAID.

RAID 6

RAID уровня 6 обеспечивает чередование данных на уровне блоков с распределением данных четности по всем дискам. Для дополнительной избыточности каждый блок данных четности существует на двух дисках в массиве, а не только на одном. Уровень RAID 6 требует как минимум четырех дисков.

Примечание Уровни RAID 2 и 3 недоступны в системах хранения Cisco.

MegaCLI, Рейдовые уровни | Блог Unix

Общие вызовы MegaCLI

./MegaCli64 -AdpAllInfo -aALL (извлеченная информация ниже)
./MegaCli64 -CFGDsply -aALL показывает ту же информацию с той же детализацией

Адаптер № 0
========================================
Название продукта: PERC Адаптер H800 Серийный номер: 25B0088

 Скорость соединения: 0
 Количество интерфейсов: 0
 Интерфейс устройства: PCIE
Количество внутренних портов: 8
 Порт: Адрес
 0 500c04f2e958eebf
 1 500c04f2e958ee3f
 2 0000000000000000
 3 0000000000000000
 4 0000000000000000
 5 0000000000000000
 6 0000000000000000
 7 0000000000000000
Устройство присутствует
 ================
 Виртуальные диски: 1
 Деградировано: 0
 Офлайн: 0
 Физические устройства: 13
 Диски: 12
 Критические диски: 0
 Неисправные диски: 0

(ножницы)

Адаптер № 1
=============================================== =================================
Название продукта: PERC 6 / i Integrated
Серийный номер: 1122334455667788

 Устройство присутствует
 ================
 Виртуальные диски: 1
 Деградировано: 0
 Офлайн: 0
 Физические устройства: 3
 Диски: 2
 Критические диски: 0
 Неисправные диски: 0
Настройки
 ================
 Текущее время: 12:16:19 18.06.2013
 Интервал опроса с прогнозированием сбоя: 300 с
 Скорость восстановления: 30%
 Скорость реконструкции: 30%
 Интервал очистки кеша: 4 с
 Максимальное количество дисков для раскрутки за один раз: 2
 Задержка между группами Spinup: 12 с
 Восстановить HotSpare при вставке: отключено
 Expose Enclosure Devices: отключено
 Ведение журнала сбоев PD: отключено
 Максимальное количество дисков с прямым подключением, которые можно раскрутить за 1 мин: 0
 Автоматический расширенный импорт: нет

Возможности
 ================
 В последнем абзаце выше упоминается много необычных уровней RAID.Вот краткое объяснение более экзотического.
 Поддерживаемый уровень RAID:
 RAID0, RAID1, RAID5, RAID6, RAID00, RAID10, RAID50, RAID60, PRL 11, PRL 11 с охватом,
 Поддерживается SRL 3, макет DDF PRL11-RLQ0 без пролета, макет DDF PRL11-RLQ0 с диапазоном
 Поддерживаемые диски: SAS, SATA

— Объяснение уровней RAID

В этом PDF-файле описываются рейды второго уровня и т. Д.: Http://www.snia.org/sites/default/files/SNIA_DDF_Technical_Position_v2.0.pdf

RAID6 — двойной контроль четности RAID:
Чередование полос: разбивает файл на полосы и распределяет их по всем дискам. Для этого нужно несколько контроллеров рейда и большие файлы.
Схема PRL11-RLQ0: интегрированное зеркалирование смежных полос RAID1E
Каждый блок записывается дважды. Местоположение блока зеркала / четности определяется в том же экстенте, но на следующем соседнем диске. Объединение необходимо, когда у вас есть базовые виртуальные диски (поддиски) разного размера.
SRL3: Spanned Secondary Raid Level 3:
(меньшая защита): полосы данных распределяются практически везде, где они могут быть — чередуются или объединяются из любых доступных поддисков (также известных как bvd). Поддиск может быть защищен от рейдов, а может и не быть.
Классификатор уровня RAID:
Этот маленький парень ничего не говорит об уровне защиты, только то, что есть несколько способов «обшить диск». RLQ присваивает им номера.

Осмотрите диски на одном адаптере

корень @ auspcrpbak03: MegaCli>./ MegaCli64 -LdPdInfo -a0

Примечания. Имеется 12 дисков объемом около 1,8 ТБ. Мы используем RAID6, поэтому мы ожидаем потерять 2 диска из-за четности и получить 18 ТБ.

 Адаптер # 0
Количество виртуальных дисков: 1
 Виртуальный диск: 0 (целевой идентификатор: 0)
 Имя: Виртуальный диск 0
 Уровень RAID: основной-6, дополнительный-0, квалификатор уровня RAID-3
 Размер: 18,188 ТБ ( Это размер, представленный для ОС )
 Размер сектора: 512
 Размер четности: 3.637 ТБ ( в дополнение к 18Т. Для RAID6 у нас есть два )
 Состояние: Оптимальное
 Количество дисков: 12
 Текущая политика кэширования: WriteThrough, ReadAdaptive, Direct, No Write Cache if Bad BBU Number of PDs: 12

–
Описание уровней рейда:
[‘Primary-0, Secondary-0, RAID Level Qualifier-0’] = RAID-0
[‘Primary-1, Secondary-0, RAID Level Qualifier-0’] = RAID -1
[‘Primary-5, Secondary-0, RAID Level Qualifier-3’] = RAID-5
[‘Primary-6, Secondary-0, RAID Level Qualifier-3’] = RAID-6
[‘Primary -1, вторичный-3, квалификатор уровня RAID-0 ‘] = RAID-10

Источник: http: // tools.rapidsoft.de/perc/rs_check_raid_perc5i.class.php.txt

 --- PD: 0
Информационный код устройства: 16
Номер слота: 0
Положение накопителя: DiskGroup: 0, Span: 0, Arm: 0
 Положение корпуса: N / A
Id устройства: 13
WWN: 5000C500558ADE08
Порядковый номер: 2
Количество ошибок носителя: 0
Тип PD: SAS
Исходный размер: 1,819 ТБ [0xe8e088b0 секторов] ( Это настоящий размер 1024 МБ, а не 1000 МБ. Он продается как диск на 2 ТБ )
 Состояние микропрограммы: Online, Spun Up Device
 Адрес SAS (0): 0x5000c500558ade09
 Адрес SAS (1): 0x5000c500558ade0a
 Номер подключенного порта: 1 (путь0) 0 (путь2)
 Данные для запроса: SEAGATE ST32000645SS RS0FZ1K0AV9E
 Диск отметил S.Предупреждение M.A.R.T: Нет
PD: 1
 Информационный код устройства: 16
 Номер слота: 1
 Положение диска: DiskGroup: 0, Span: 0, Arm: 1 Id устройства: 12
 WWN: 5000C500558AEBA4
 Порядковый номер: 2
 Количество ошибок носителя: 0 Тип PD: SAS

<и многое другое>

Дополнительные покрытия для большинства конфигураций LD:

WT: WriteThrough безопаснее.Возвращает только после записи данных на диск.
WB: обратная запись быстрее. Возвращает, как только данные записываются в кеш
NORA: без опережающего чтения по сравнению с
RA: ReadAhead против
ADRA: Adaptive ReadAhead: если два предыдущих запроса были последовательными, он предварительно загружает следующий по порядку.
Кэшировано: чтение из кеша.
Direct: кэшируется только предыдущее чтение.
-strpsz M : Размер полосы so -strpsz64 означает размер полосы 64 КБ.
Hsp [E0: S0]: выберите этот диск для горячего резервирования

./MegaCli64 -AdpEventLog -GetLatest 20 -f /tmp/events.txt -a0

Создайте виртуальный диск
MegaCli -CfgLdAdd -rX [E0: S0, E1: S1,…] [WT | WB] [NORA | RA | ADRA] [Прямой | Кэшированный] [CachedBadBBU | NoCachedBadBBU] [-szXXX [-szYYY…]]
[ -strpszM] [-Hsp [E0: S0,…]] [-AfterLdX] | [Безопасный]
[-По умолчанию | -Автоматический | -Нет | -Максимальный | -MaximumWithoutCaching] [-Cache] [-enblPI] [-Force] -aN
rX : Raid Level X.Вы можете увидеть свои варианты, просмотрев настройки рейдового адаптера (вверху этой страницы).
В этом примере мы можем выбрать 0,1,5,6,00,10,50,60 и более
[E0: S1, E0: S3] — Enclosure0: Slot1, Enclosure0: Slot3: 2 Диски для использования в виртуальном диске. Включите квадратные скобки.
Настроить диски как JBOD
MegaCli64 -AdpSetProp -EnableJBOD 1 -a0
Настроить RAID 10
MegaCli64 -CfgSpanAdd -R10 -Array0 [E0: S1, E0: S2, E0, S3] -Array1 [E1: S0, E1: S1, E1: S2] + начинки выше
Удалить первый логический диск на первом контроллере
MegaCli64 -CfgLdDel -L0 -a0
Замените неисправный диск
MegaCli64 -PDOffline -PhysDrv [32: 4] -a0
MegaCli64 -PDPrpRmv -PhysDrv [32: 4] -a0
Вытяните диск, вставьте новый
MegaCli64 -Pdgetmissing -a0

Адаптер 0 — Отсутствуют физические диски
No.Ожидаемый размер строки массива
0 1 4 1907200 МБ
MegaCli64 -PdReplaceMissing -PhysDrv [32: 4] -Array1 -row4 -a0
Восстановить массив
MegaCli64 -PDRbld -Start -PhysDrv [32: 4] -a0
Показать информацию о резервной батарее
MegaCli64 -AdpBbuCmd -aALL
Скорость восстановления RAID — увеличение до 90 процентов
MegaCli64 -AdpSetProp BgiRate 90 -aALL
Сохранить конфигурацию в файловой системе
MegaCli64 -CfgSave -f Имя файла -a0
При замене контроллеров можно дублировать предыдущий конфиг.В BIOS найдите «Добавить сохраненную конфигурацию». Скажите «Y» предупреждению, чтобы импортировать его с дисков. (Сначала убедитесь, что ваш дисковый массив исправен.)
RAID 10 и варианты
В связи с приведенным ниже комментарием Давида я провел дополнительное исследование, обновил свои воспоминания о RAID10 и подобных конфигурациях и получил следующие комментарии.
RAID10 — это сокращение для RAID1 + 0 , которое представляет собой полосу поперек зеркал. (Возьмите RAID1 / зеркальные диски и RAID0 / чередуйте их).
RAID01 — это сокращение для RAID0 + 1 , которое отражает диски с чередованием. (Возьмите диски RAID0 и RAID1 / зеркалируйте их).
RAID01 — менее распространенная конфигурация, поскольку RAID10 предлагает большую избыточность (большая причина, почему мы используем RAID) и несколько недостатков по сравнению с RAID01.
В случае с четырьмя дисками (это обычная конфигурация), я (лично) не вижу большой разницы, но все становится интересно, когда у вас шесть или более дисков. Итак, начнем с этого.
Здесь аналогия может сделать вещи более интересными, даже если большинство читателей уже полностью понимают, о чем я говорю. Когда я был моложе, я играл в игру под названием Морские корабли. Предполагая, что вам нужно нести восемь квадратов груза, что вы предпочтете: два четырехместных линкора или четыре двухместных эсминца? Когда начинают падать бомбы, вы бы предпочли, чтобы ваш груз находился в четырех разных местах. Хотя это верно, когда злонамеренный противник пытается найти и уничтожить ваши корабли, это также верно, когда на ваших дисковых массивах наступает хаос.Лучше заставить Мерфи точно вынуть оба диска в одном зеркале (например, оба желтых на левом рисунке), а не по одному диску из каждой полосы.
Иллюстрация RAID01 в конфигурации 2 на 4 по сравнению с RAID10 в конфигурации 4 на 2
Изображение также несколько проясняет списки «Первичный» и «Вторичный» в выводе из megacli. Первичный — это часть «RAID1» из «RAID1 + 0» (скажем, два желтых квадрата). Это фундаментальный строительный блок массива.Поле «Secondary» — это то, как вы организуете первичные единицы, которые вы создали впервые. Для RAID1 + 0 мы чередуем их (RAID 0).
Ситуация с Давидом заключалась в том, что у него 4 диска, но они отображаются как (Pri-1, Sec-0, Qual-0), что означает, что megacli’s представляет собой простое зеркало. Я подозреваю, что он вручную создал чередующиеся диски, а затем отразил их, и что megacli не отслеживали все шаги. Я ожидаю, что это сработает нормально, но было бы более очевидно и быстрее, если бы в следующий раз он запустил ‘megacli -CfgLdAdd -r10…’
Нравится:
Нравится Загрузка…
Связанные
.
No related posts.

Апрель 2024
Пн	Вт	Ср	Чт	Пт	Сб	Вс
1	2	3	4	5	6	7
8	9	10	11	12	13	14
15	16	17	18	19	20	21
22	23	24	25	26	27	28
29	30