Системы хранения данных презентация

Классификация СХД
По типам подключения
DAS, NAS, SAN
По масштабу применения:
Для небольших офисов и домашнего применения
Для центров обработки данных
По внутренней организации:
Отказоустойчивые и неотказоустойчивые
Традиционные и объектно-ориентированные
По техническим возможностям:
Начального уровня (entry-level)
Среднего уровня (mid-range)
Старшего уровня (hi-end)

DAS, NAS, SAN

Назначение
Резервное копирование
Консолидация хранения
Улучшение скорости доступа к данным
Создание резервных площадок
Спектр требований:
Производительность
Надежность, ремонтопригодность, доступность
Эффективность использования дискового пространства
Защита от НСД
Простота администрирования
Поддержка программных интерфейсов для мониторинга и управления
Поддержка расширенных функциональных возможностей

Объектно-ориентированное хранение

Масштабирование СХД
Scale-Up
Более мощные системы (IOPS, Latency, Storage space)
Big-data не всегда требует IOPS
Scale-out
Масштабирование однотипными узлами
Вычислительными
Узлами хранения
Комбинированными узлами
Не всегда подходят для задач традиционных СУБД

Структура типовой СХД
СХД
Контроллеры портов внешних подключений (Front-end)
Контроллер СХД
Контроллеры портов внутренних подключений (Back-end)
Cache
Жесткие диски

Улучшения внутри СХД
СХД
Контроллеры портов внешних подключений (Front-end)
Контроллер СХД
Контроллеры портов внутренних подключений (Back-end)
Cache
Жесткие диски
ПЕРЕУПОРЯДОЧИВАНИЕ ЗАПРОСОВ

Улучшения внутри СХД
СХД
Контроллеры портов внешних подключений (Front-end)
Контроллер СХД
Контроллеры портов внутренних подключений (Back-end)
Cache
Жесткие диски
КЭШИРОВАНИЕ ЧТЕНИЯ
READ-AHEAD PREFETCH
КЭШИРОВАНИЕ ЗАПИСИ

Улучшения внутри СХД
Контроллер СХД
Cache
РЕЖИМЫ ФУНКЦИОНИРОВАНИЯ КЭША
Write-through
Write-around
Write-back
Cache
1
2
3
4

Улучшения внутри СХД
СХД
Контроллеры портов внешних подключений (Front-end)
Контроллер СХД
Контроллеры портов внутренних подключений (Back-end)
Cache
Жесткие диски
КЭШИРОВАНИЕ ЧТЕНИЯ
READ-AHEAD PREFETCH
КЭШИРОВАНИЕ ЗАПИСИ
SSD CACHE

Улучшения внутри СХД
СХД
Контроллеры портов внешних подключений (Front-end)
Контроллер СХД
Контроллеры портов внутренних подключений (Back-end)
Cache
Жесткие диски
КОНТРОЛЬ ОШИБОК
ДВОЙНЫЕ ПОРТЫ SAS

Улучшения внутри СХД
СХД
Контроллеры портов внешних подключений (Front-end)
Контроллер СХД
Контроллеры портов внутренних подключений (Back-end)
Cache
Жесткие диски
Контроллеры портов внешних подключений (Front-end)
Контроллер СХД
Cache

СХД
Контроллеры портов внутренних подключений (Back-end)
Улучшения внутри СХД
Жесткие диски
Системы среднего уровня
ХОСТ
Контроллеры портов внешних подключений (Front-end)
Контроллер СХД
Cache
Контроллеры портов внешних подключений (Front-end)
Контроллер СХД
Cache

Улучшения внутри СХД
СХД
Системы старшего уровня
ХОСТ
Контроллеры портов внешних подключений (Front-end)
Контроллер СХД
Cache
Контроллеры портов внешних подключений (Front-end)
Контроллер СХД
Cache

Улучшения внутри СХД
«Тонкие» LUN
Зарезервированное, но не используемое пространство
«Толстые» LUN
На СХД занято пространство в 21 TБайт
2TB
2TB
2TB
6TB
5TB
4TB
Доступное, но не зарезервированное пространство

Эволюция RAID
Требование увеличения пропускной способности дискового массива ведет к необходимости увеличивать количество дисков в массиве
Рост объема дисков ведет к риску очень длительного восстановления массива в случае отказа одного диска
Отказ за это время еще одного диска в RAID 5 ведет к потере данных

Эволюция RAID
Hot spare

RAID 2.0+
СХД
Disk Domain
Дисковый домен
SSD
SAS HDD
NL-SAS HDD
Chunks, 64 MB

RAID 2.0+
Disk Domain
…
Для пула хранения можно выбрать, какой тип дисков будет задействован
и какой тип RAID использовать для каждого типа дисков

RAID 2.0+
…
Extent 512k…64 MB
«Толстые» LUN
«Тонкие» LUN
Extent
Grain 64k

RAID 2.0+
СХД
Disk Domain
Дисковый домен
CKs
CKGs
Storage pool
LUN
LUN

RAID 2.0+
Запись на один диск – ограничение производительности
Минимизация объема восстановления
Восстановление многие-ко-многим

RAID 2.0+
Наиболее распространенный подход
Технология Huawei RAID 2.0+
Нужно выбрать деление дисков на группы до начала конфигурирования LUN
Создание LUN не требует детального планирования по распределению дисков

RAID 2.0+ SmartMotion
Данные распределяются по дискам равномерно
Расширение пространства хранения создает дисбаланс
SmartMotion
Нагрузка на диски выравнивается

RAID 2.0+

Иерархическое хранение данных с динамическим перераспределением
С увеличением скорости доступа к данным стоимость хранения 1 Гбайта данных на дисках растет
Не все данные имеют одинаковую востребованность
Функциональность динамического перераспределения данных позволяет оптимизировать емкость более быстрых (и, соответственно, более дорогих) дисков

Иерархическое хранение данных с динамическим перераспределением
Данные
Tiering
Перераспределение данных между уровнями на основе собираемой статистики
Возможны исключения из временного периода статистики часов простоя
Выполнение перераспределения (миграции) для ускорения доступа к наиболее часто используемым данным и перемещения редко используемых данных на уровни с меньшей стоимостью хранения
Миграция может осуществляться по расписанию или инициироваться вручную

Tiering на примере СХД Huawei
Статистика основана на учете следующих факторов:
количества обращений
типа обращения (чтение или запись)
объема передаваемых данных
является ввод-вывод последовательным или случайным
Редко востребованные данные перемещаются на уровень с минимальной стоимостью хранения
На SSD-уровень перемещаются данные с малым размером обращения ( до 64 кБайт)
Обращения с последовательным чтением на SSD-уровень не перемещаются
Единица статистического учета и единица перемещения блоков - extent

Tiering на примере СХД Huawei
Использование динамичес- кого перераспределения позволяет достичь большей скорости ввода-вывода с уменьшением задержек
Тот же уровень скорости ввода-вывода может быть достигнут на меньшем количестве дисков
Сбор информации
Анализ и перераспределение

Мгновенные снимки данных (Snapshot)
«Старые» данные в виде блока «D» копируются в дополнительное пространство и производится модификация указателей в таблице соответствия
Copy-on-Write
COW
Метод «Копирование при записи»

Мгновенные снимки данных (Snapshot)
Удаленные данные
Redirect-on-Write
ROW
Метод «Перенаправление при записи»
E1
C
B
A
D
Исходный LUN
Таблица соответствия
D1
E2
B
Измененные данные
Новые данные
«Новые» данные (блоки E1,E2) записываются в дополнительное пространство.
Удаление данных (блок B) не освобождает дисковое пространство

Одновременность создания копий данных на разных LUN
Существуют приложения, в которых для оптимизации их работы необходимо наличие не менее 2 разных логических дисков, которые, как правило, располагаются на разных LUN
СУБД (журналы + таблицы БД)
Системы электронной почты
Для получения корректной копии данных для приложения необходимо обеспечить одномоментность получения копий разных LUN
Эта функциональность должна быть реализована в СХД, иначе гарантированно правильные копии данных приложения получить значительно сложнее или невозможно
Такие СХД реализуют наличие Consistency Groups

Дедупликация и сжатие данных
Данные
1. Блоки данных одинакового размера
2. Дедупликация:
2.1 Вычисление хэш-функции
2.2 Поиск полученного значения в таблице хэшей
2.3 В случае успешного поиска – сравнение блока с уже известным блоком
3. Дедуплицированные данные сжимаются.
Дедупликация и сжатие может выполняться
До записи на диски (inline)
Или
После записи на диски
(post)
В случае одновременного использования функций дедупликации и сжатия
сначала выполняется дедупликация,
затем выполняется
сжатие.

Аппаратные ускорители дедупликации и сжатия данных
Вычисление хэш-функций и сжатие данных являются интенсивными вычислительными операциями. Аппаратные ускорители улучшают производительность систем хранения, снимая вычислительную нагрузку с ЦПУ контроллеров системы хранения.
Функциональность ускорителя в СХД Huawei:
Вычисление значения хэш-функции
Выполнение алгоритма gzip
Пропускная способность при дедупликации16 Гбит/с
Пропускная способность при сжатии данных 8 Гбит/с
Пропускная способность при декомпрессии данных 16 Гбит/с

Применение дедупликации и сжатия данных

Ограничения по применимости дедупликации и сжатия данных
Дедупликация неэффективна для таких специфических случаев, как зашифрованные данные или сжатые данные (например файлы изображений)
Сжатие не дает заметного эффекта для уже сжатых данных или зашифрованных данных
Если в результате сжатия достигнутый уровень сжатия недостаточен, на диске лучше записывать несжатые данные

Клонирование данных
Получение полной копии данных
Может использоваться, например, для:
Создания резервных копий
Получения актуальных данных для проведения анализа и тестов
Клонирование не дает моментальной копии.
Создание клона
(первичная синхронизация)
требует времени.
После достижения синхронного состояния она поддерживается через двойную запись

Клонирование данных
Таблица изменившихся блоков
Повторная синхронизация часто занимает меньше времени, чем создание клона

Клонирование данных
Возможность поддержания в синхронном состоянии одновременно нескольких клонов позволяет использовать имеющиеся дубликаты данных независимо в различных целях, например:
Резервное копирование
Построение отчетности
Анализ данных в режиме он-лайн
Вторичный LUN 2 (клон)
Вторичный LUN № (клон)

Клонирование данных
Операции чтения-записи переключаются на клон
Можно осуществить изменение направления синхронизации
Возможные цели использования:
восстановление из резервной копии
новая версия ПО

Копирование данных
Операции записи необходимо остановить
Копирование, в отличие от клонирования, не поддерживает идентичность данных после создания копии
Возможные цели использования:
Резервная копия
Копия данных для анализа, тестирования,…

Виртуализация систем хранения
Основной LUN
Существующая система хранения
Хост
Основной LUN
Существующая система хранения
Хост
eDevLUN
Новая система хранения
Новый LUN

Виртуализация СХД
Метаданные
Исходный LUN
eDevLUN
Сохранение уже произведенных инвестиций в оборудование СХД
Централизация управления с сохранением доступа к данным на уже имеющихся СХД
Возможность миграции данных между СХД без остановки операция ввода-вывода для хоста
Использование мгновенных снимков для создания резервных копий данных с имеющихся СХД
Возможность использования расширенного функционала новейших СХД для LUN старых СХД
Преимущества виртуализации

ЦОД2
ЦОД1
Репликация данных

Синхронная репликация данных
Синхронная репликация
CACHE
CACHE
LUN A
LUN B
СХД1 ЦОД1
СХД2 ЦОД2
1
2
3
4
4. Хост получает подтверждение успеха записи от 1й системы
3. 2я система подтверждает успех записи
Пропускная способность канала должна соответствовать максимальной пиковой нагрузке по операциям записи

Асинхронная репликация данных
СХД1 ставит временнУю метку на блок данных
Все блоки с соответствующими временнЫми метками пересылаются на СХД2
Пропускная способность канала должна быть адекватна максимальной пиковой нагрузке по операциям записи за временной промежуток окна репликации
LUN A
LUN B
2
5
5
3
Cache
T1’
T0’
Cache
T1
T0
1
1
4
Асинхронная репликация
СХД1 ЦОД1
СХД2 ЦОД2

Асинхронная репликация файловых систем
СХД1 ЦОД1
СХД2 ЦОД2
Файловая система
1
2
Host
3
4
Мгновенный снимок
Файловая система
Мгновенный снимок
5 Инкрементальная реплика
Для обеспечения корректности данных используются мгновенные снимки
Мгновенные снимки делаются по технологии перенаправление-при-записи (Redirect-on-Write, ROW)

В СХД Huawei при отключении второй СХД или возрастании задержки реализовано автоматическое переключение с синхронной репликации на асинхронную
Репликация данных
* - определяется задержкой в канале

Возможности репликации LUN в СХД Huawei OceanStor v3
Репликация с 32 СХД на одну вторичную СХД (32:1)
Репликация LUN с одной на 32 вторичных СХД
До 2048 репликационных пар LUN
Восстановление сбойных секторов на первичном LUN с синхронной реплики
Централизация защиты данных
Consistency Group
До 512 Consistency Group
До 512 репликационных пар для каждой из групп
Скорость асинхронной репликации можно изменять
4 уровня скорости: Low (< 5MB/s), Middle (10MB/s – 20MB/s), High (50MB/s – 70MB/s), Ultra High (> 100MB/s)
Регулируемая скорость
Возможна репликация между системами различной мощности ( например, между 5300 v3 и 6800 v3 или 18000 v3)
Экономичное решение по защите данных в резервном ЦОД с минимизацией времени восстановления и объема потери данных
Системы разной мощности

Зеркалирование LUN

Зеркалирование LUN
С использованием виртуализации СХД становится возможным создавать зеркальные копии на различных системах хранения (в том числе, системах разных производителей)
Обеспечивается возможность продолжения операций ввода-вывода при сбое в одной из систем
Хранение на разных СХД
После создания «зеркала» есть 2 независимые копии данных
Отказ одного из LUN в зеркале не приводит к отказу в осуществлении ввода-вывода для хоста
LUN могут располагаться, например, на разных дисковых полках
Надежность хранения
Чередование чтения (Round-robin) позволяет улучшить производительность по чтению до 80%.
Возможно указание приоритетного зеркала для чтения данных.
Непрерывность операций ввода-вывода
Зеркальные копии могут быть созданы без остановки операций хоста. Процесс создания зеркала полностью прозрачен для хоста
Улучшение производительности

Перенос данных внутри СХД
Disk Domain 1
Перенос в пул хранения с другой организацией RAID для подстройки производительности
Перенос в пул хранения, основанный на дисках с иной производительностью ввода-вывода
Перенос LUN производится без остановки операций ввода-вывода для хоста
Перемещение LUN
Disk Domain 2

Перенос данных между СХД
Перенос между системами хранения может быть использован для
Повышения производительности ввода-вывода при переносе со старой или менее мощной системы
Оптимизации использования пространства хранения за счет переноса менее требовательных к вводу-выводу задач на СХД с меньшей производительностью или стоимостью хранения
Перемещение LUN
Для переноса между системами хранения необходимо предварительно выполнить настройку виртуализации СХД

Управление качеством обслуживания в СХД
Использование дисков SSD для увеличения объема кэша чтения на контроллере
Имеется возможность создания разделов для разделения ресурса кэша контроллера между LUN
Совместное применение с виртуализацией позволяет ускорить ввод-вывод для унаследованных СХД
SmartCache
Приоритезация операций ввода-вывода
Имеется возможность задания расписания для применения приоретизации по времени суток
SmartQoS
Разделение объема памяти кэша контроллера для обеспечения выделенного фиксированного объема памяти для приложений
Выделенный ресурс кэша используется для одного или нескольких LUN
Возможно использование вместе с виртуализацией
SmartPartition

Управление качеством обслуживания в СХД
Кэш контроллера
SmartCache
HDD
1
9
2
3
4
7
5
6
8
P1
P2

Система очередей
Управление качеством обслуживания в СХД
Система квитирования
Q1
Q2
Q3
3 очереди
Возможно создание политик с расписанием работы по времени дня
IOPS (< или >)
Latency (<)
Bandwidth (< или >)
Применение набора технологий управления качеством обслуживания дает достаточную гибкость конфигурирования
SmartQos

Управление качеством обслуживания в СХД
SmartPartition
LUN
P1
P2
Кэш контроллера
Default

Мониторинг и управление СХД Huawei
Подключение через интерфейс RS-232
Управление через сеть через командную строку (SSH)
Управление через веб-интерфейс
Управление через программный интерфейс SMI-S
Управление СХД
Ведение журнала событий с возможностью выгрузки на FTP-сервер
Мониторинг в реальном времени через веб-интерфейс
Протокол SNMP
Использование программного обеспечения для централизованного управления инфраструктурой (Huawei eSight)
Мониторинг СХД

Учебные эмуляторы СХД Huawei
Эмулятор веб-интерфейса управления СХД доступен для загрузки на веб-сайте технической поддержки Huawei

Основной экран интерфейса управления
Общие сведения
Журнал событий
Использование пространства хранения
График текущей нагрузки
Переключение между экранами управления

Детальная информация об оборудовании
System

Детальная информация об оборудовании
Информация о диске
Сводная информация о дисках

Детальная информация об оборудовании
Информация о порте ввода-вывода на контроллере
Информация о портах на плате ввода-вывода

Детальная информация об оборудовании
Информация о порте управления
Настройка IP адреса сетевого интерфейса управления
Информация о блоке питания

Управление хранением данных
Диаграмма операций управления
Основные операции блочного хранения
Основные операции файлового хранения
Общее конфигурирование и настройка
1
1

Настройка производительности
Общее конфигурирование и настройка

Общее конфигурирование
1
2
3
4
5
6
7

Типовые конфигурации для распространенных приложений
5

Настройка защиты данных
1
2
3
4
5
6

Мгновенный снимок

Копирование LUN

Подключение удаленного устройства

Репликация

Зеркалирование
Зеркалирование может осуществляться как внутри одной системы, так и между системами
(с использованием виртуализации)

Клонирование
Клонирование может осуществляться только внутри одной системы

Мониторинг

Мониторинг (объекты)

Мониторинг (2)

Мониторинг (3)

Мониторинг (4)

Мониторинг (5)

Базовые настройки
1
2
3
4

Базовые настройки
2
3
4
1
5
6

Базовые настройки
1

Базовые настройки
1

Базовые настройки
2

Базовые настройки
3

Базовые настройки
4

Базовые настройки
2

Базовые настройки
3

Базовые настройки
4

Базовые настройки
5

Базовые настройки
5

Базовые настройки
5

Базовые настройки
6

Поддержка
2
4
5
1
7
8
3
6

Управление файловым доступом
Создать дисковый домен
Создать пул хранения
Создать файловую систему
Создать логический порт подключения
Создать ресурс общего доступа

Управление блочным доступом
Создать дисковый домен
Создать пул хранения
Создать LUN
Указать (создать) логическую группу для созданного LUN
Создать запись о хосте
Указать (создать) логическую группу для созданного хоста
Установить соответствие между логической группой LUN и логической группой хостов
2
3
4
1
5
6
7

Управление пространством хранения

Управление пространством хранения

Управление пространством хранения

Управление пространством хранения

Управление пространством хранения
Возможно определить политику в момент создания пространства хранения
Политика может быть определена позднее и/или изменена в будущем при возникновении необходимости внесения изменений
Управление политикой SmartTier

Управление пространством хранения
Позволяют настроить отличные от значений «по умолчанию» характеристики LUN
Индивидуальные характеристики могут быть определены позднее и/или изменены в будущем
Дополнительные настройки характеристик

Управление пространством хранения
Политика упреждающего чтения

Политика упреждающего чтения

Дополнительные настройки LUN

Дополнительные настройки LUN (2)

Управление пространством хранения
Задание расписания создания мгновенных снимков
Задание дополнительных характеристик
Дополнительные настройки

Дополнительные настройки

Дополнительные настройки

Дополнительные настройки
Write once Read many
Защита файлов от изменения после создания
Технология может быть использована в случае наличия требования законодательства или внутренних правил компании
WORM

Управление учетными записями пользователей файловых ресурсов