Технологии и функции систем хранения данных NetApp

Уплотнение данных

Функция:

Упаковка большого количества данных в каждый блок СХД для уменьшения их объема.

Преимущества:

Работает с компрессией, чтобы сократить объем ресурсов для хранения данных, которые необходимо приобретать и обслуживать.

Встроенная система уплотнения данных обрабатывает данные в хронологической последовательности, т. е. в порядке их поступления в контроллер СХД. Пока данные находятся в памяти контроллера, мы разбираем их на блоки, каждый из которых полностью занимает один физический сектор емкостью 4 КБ, и сжимаем каждый из этих блоков. После такого уплотнения в одном секторе емкостью 4 КБ умещается уже несколько блоков. На бытовом уровне эту процедуру можно сравнить с запихиванием большого количества одежды в маленький чемодан. Если в блоке данных встречается длинная последовательность нулей, мы рассматриваем ее как пустое место внутри блока, от которого можно избавиться без потери информации. Это и есть «уплотнение данных».

Уплотнение данных не требует дополнительных вычислительных ресурсов — это базовая функциональность, встроенная в ядро ONTAP аналогично компрессии и дедупликации.

Сжатие и уплотнение данных эффективно сочетаются, но мы можем использовать их и по отдельности. Например, том с большим количеством маленьких файлов существенно выиграет от уплотнения, но сжатие такого тома не даст заметного результата.

Применение технологий повышения эффективности хранения данных NetApp по мере обработки данных в стэке ONTAP:

Сжатие данных (компрессия)

Функция:

Обеспечивает прозрачное сжатие «на лету» и постобработку сжатых данных в целях сокращения объема данных.

Преимущества:

Сокращает объем ресурсов для хранения данных, которые необходимо приобретать и обслуживать.

Сжатие данных NetApp может уменьшить физическую емкость, необходимую для хранения данных в системах хранения путем одновременного сжатия небольшой группы последовательных блоков. Поскольку сжатые данные содержат меньше блоков для записи на диск, это уменьшает количество операций ввода-вывода при записи, необходимых для каждой операции сжатой записи. Это не только снижает объем данных на диске, но также может сократить время выполнения запросов на запись на диск и значительно сократить время, необходимое для выполнения резервного копирования.

Сжатие данных NetApp предназначено для работы независимо либо с дедупликацией NetApp для достижения оптимальной экономии.

DataMotion

Функция:

Реализует функцию переноса томов и LUN в бесперебойном режиме.

Преимущества:

Технология гранулярного переноса данных позволяет безопасно перемещать данные без остановки работы приложений.

Дедупликация данных NetApp

Функция:

Выполняет обычную дедупликацию для удаления избыточных данных.

Преимущества:

Сокращает объем ресурсов для хранения данных, которые необходимо приобретать и обслуживать.

Дедупликация — это технология, при помощи которой обнаруживаются и исключаются избыточные, дублирующиеся данные при их хранении в дисковом хранилище. Дедупликация данных NetApp позволяет сократить объёмы физических носителей для хранения тех же объёмов данных практически без потери производительности СХД. Дедупликация является фундаментальным компонентом основной операционной архитектуры Data ONTAP. Эта функция сокращения данных может использоваться в нескольких приложениях и на разных уровнях хранения, включая первичные данные, данные резервного копирования и архивные данные, чтобы помочь вам более эффективно управлять ресурсами данных.

Практика использования дедупликации на данных файлов виртуальных дисков показывает, что результаты экономии пространства часто достигают 75-90% от изначально занятого объема, «без дедупликации».

Интеллектуальное кэширование данных Flash Pool

Функция:

Создает пул СХД со смешанными ресурсами, используя 55D и HDD.

Преимущества:

Увеличивает производительность и эффективность пулов HDD за счет скорости флэш-технологий.

NetApp Flash Pool, являющийся неотъемлемым компонентом уровня виртуального хранилища NetApp, позволяет автоматизировать многоуровневое хранение. NetApp Flash Pool позволяет сочетать технологию твердотельного диска (SSD) и технологии жесткого диска (HDD) на совокупном уровне для достижения производительности, подобной SSD, по ценам, подобным HDD.

Технология Flash Pool имеет много общих возможностей с Flash Cache: она обеспечивает кэширование в режиме реального времени, которое автоматически адаптируется к изменениям в использовании, и безупречно работает с ключевыми функциями Data ONTAP, такими как дедупликация и технология FlexClone. Кроме того, Flash Pool кэширует случайные записи, чтобы повысить производительность записи и обеспечить постоянную производительность для всех событий высокой доступности.

Ключевые моменты:

• Автоматизирует использование твердотельного диска (SSD);
• Ускоряет время отклика и уменьшает задержку;
• Улучшает производительность ввода / вывода;
• Увеличивает эффективность хранения данных;
• Сокращает затраты на приобретение, развертывание и эксплуатацию хранилища.

NetApp Flash Pool может снизить затраты на приобретение, развертывание и эксплуатацию хранилища данных при одновременном повышении производительности.

Технология эффективного клонирования — FlexClone

Функция:

Моментально клонирует файлы, LUNы и тома, не требуя дополнительного дискового пространства.

Преимущества:

Экономит дисковое пространство, а также время на тестирование и разработку.

Задача решаемая с помощью FlexClone — возможность быстро и экономично с точки зрения занимаемого пространства и времени создать полную копию тех или иных обширных данных. Содержимое такого клона нужно не только читать, но и изменять, неотличимо от работы с обычным разделом данных. Такой клон данных можно было бы использовать для задач тестирования, разработки, и прочих экспериментов, когда нежелательно или невозможно делать это на реальных данных работающей системы.

В основе всех систем хранения NetApp лежит структура размещения блоков данных под названием WAFL. Она устроена таким образом, что изменения блоков в ней делаются не внутрь фактически изменяемых блоков, а в свободное пространство тома, куда затем переставляются указатели текущего состояния данных.
Такая схема позволяет легко решить проблему с изменяемыми блоками в клоне. Клоны используют то же самое физическое пространство на дисках, что и источник их данных, незначительное дополнительное место занимают лишь их метаданные.

Такие клоны позволяют экономить дисковое пространство, не оказывая влияния на производительность СХД, и сокращать до минимума дополнительные издержки, повышая тем самым продуктивность компании.

FlexGroup

Функция:

Реализует масштабирование единого пространства имен до 20 петабайт и 400 млрд файлов.

Преимущества:

Поддерживает рабочие нагрузки, требующие больших вычислительных ресурсов и репозитории NAS, при этом обеспечивая стабильно высокую производительность и отказоустойчивость.

FlexGroups разработаны для решения множества проблем масштабных файловых нагрузок:

• Объем хранимых данных — до 20PB
• Большое кол-во файлов — до 400 миллиардов файлов
• Производительность — распараллеливание файловых операций по CPU, нодам, агрегатам и FlexVol
• Автоматическая балансировка нагрузки — использование всех доступных ресурсов для набора данных
• Отказоустойчивость — исправление ошибок метаданных в реальном времени без остановки доступа

Теперь с FlexGroups файловые нагрузки могут утилизировать все доступные в кластере ресурсы. Даже если вы используете однонодовый кластер, FlexGroups могут балансировать нагрузку между несколькими FlexVol и агрегатами.

FlexGroups используют прекрасную концепцию FlexVol и улучшают её, соединяя множество FlexVol в единое пространство имен (namespace), которое для клиентов и администраторов выглядит как единый FlexVol.

Технология виртуализации хранилищ FlexVol

Функции:

Создает гибко масштабируемые тома на большом пуле дисков и одной или нескольких группах RAID.

Преимущества:

Позволяет использовать системы хранения данных с максимальной эффективностью, и снижает затраты на оборудование.

Технология позволяет вам быстро реагировать на меняющиеся потребности в хранилищах, сокращать накладные расходы, избегать капитальных затрат и сокращать сбои и риски. Технология FlexVol объединяет физическое хранилище в пулы виртуальных хранилищ, поэтому вы можете создавать и динамически изменять размеры виртуальных томов по мере роста потребностей пользователей или приложений.

С помощью FlexVol вы можете улучшить, даже вдвое, использование существующего хранилища и сэкономить на приобретении большего дискового пространства. Помимо повышения эффективности хранения, вы можете улучшить производительность ввода-вывода и уменьшить узкие места, распределяя тома по всем доступным дискам.

Headroom

Функция:

Обеспечивает наглядное представление ресурсов производительности, доступных для развертывания новых рабочих нагрузок на узлах хранения.

Преимущества:

Облегчает управление, и дает возможность более эффективного распределения новых рабочих нагрузок на оптимальные узлы.

Infinite Volume – это новая возможность для кластерных систем

Функция:

Создает том с возможностью масштабирования до 20 ПБ с одной файловой системой.

Преимущества:

Предоставляет большой контейнер для организации репозиториев контента, при этом один кластер может содержать несколько томов Infinite Volumes.

MetroCluster — эффективное восстановление на случай ЧП

Функция:

Сочетает кластеризацию на основе массивов с синхронным зеркалированием для обеспечения постоянной готовности и нулевой потери данных; расстояние между узлами до 700 км.

Преимущества:

Поддерживает непрерывность бизнес-процессов для критически важных приложений и рабочих нагрузок в случае аварии в ЦОД.

Основная цель, которую преследуют заказчики, используя те или иные реализации метрокластера – минимизировать RTO (Recovery Time Objective). То есть минимизировать время восстановления ИТ-услуг после сбоя. Аппаратная репликации позволяет реплицировать крупные критически важные корпоративные инфраструктуры и в случае аварии автоматически переключаться между сайтами производя защиту от Split-Brain.

Текущая реализация метрокластера в системах хранения в полной мере позволяет решать задачи, где требуется исключить или минимизировать время простоя ИТ-услуг и обеспечить их работу в режиме 24/7/365 с минимальными трудозатратами.

Storage QoS — регулирование расхода ресурсов

Функция:

Упрощает настройку политик QoS и автоматически выделяет ресурсы хранилища для реагирования на изменения рабочей нагрузки (количество терабайт данных, приоритет рабочей нагрузки и т.д.).

Преимущества:

Упрощает операции и поддерживает постоянную производительность рабочей нагрузки в пределах предписанных вами минимальных и максимальных IOPS.

Защита от потери данных RAID-DP и RAID-TEC NetApp

Функция:

Обеспечивает реализацию RAID 6 с двойной и тройной четностью, что предотвращает потерю данных при отказе двух или трех дисков.

Преимущества:

Защищает ваши данные без ущерба для производительности в отличие от других реализаций RAID 6; сокращает риски во время продолжительного восстановления HDD большой емкости.

Технология NetApp® RAID-DP, стандартная функция операционной системы Data ONTAP, представляет собой реализацию RAID 6 с двойным контролем четности, которая предотвращает потерю данных при сбое двух дисков.

NetApp RAID-DP использует два диска четности на группу RAID. Один диск четности хранит четность рассчитанную для горизонтальных полос (P), как для обычного RAID 4. На втором диске четности хранится информация о четности, рассчитанная по диагональным полосам (DP).

Комбинация горизонтальной и диагональной четности позволяет восстанавливаться после двух сбоев диска в одной группе RAID. Если происходит сбой одного диска или происходит сбой блока или битовая ошибка, то горизонтальная четность — это все, что необходимо для восстановления отсутствующих данных. После отказа двух дисков, RAID-DP сначала идентифицирует цепочку, с которой следует начать реконструкцию. Восстановление одного блока с использованием диагональной четности, в свою очередь, позволяет восстановить другой блок с использованием горизонтальной четности. Это, в свою очередь, позволяет восстановить другой отсутствующий блок, используя диагональную четность. Эта цепочка восстановления продолжается до тех пор, пока не завершится для полосы, для которой не существует диагональной четности. В этот момент определяется другая точка входа, и начинается восстановление по другой цепочке диагональных и горизонтальных полос. В конце концов, заполняется достаточно пропущенных блоков, чтобы все значения для полосы без четности можно было пересчитать, используя только горизонтальную четность.

NetApp SnapCenter — надежная защита данных

Функция:

Обеспечивает возможность управления данными в СХД NetApp на уровне серверов для баз данных и рабочих приложений.

Преимущества:

Поддерживает согласованное с приложениями резервное копирование и аварийное восстановление; автоматизирует безошибочное восстановление данных.

В области защиты информации существует немало проблем. Это и разнородность используемого программного обеспечения, и сложность управления при масштабировании, и невозможность централизованного администрирования. С этими и другими задачами справляется программное решение NetApp SnapCenter.

NetApp SnapCenter — это унифицированная масштабируемая программная платформа для защиты данных приложений. С помощью SnapCenter выполняется централизованный контроль, балансировка нагрузки и улучшается управление ИТ-инфраструктурой в целом. SnapCenter — это инструмент, обеспечивающий надежную защиту данных, который отличается простотой в развертывании и настройке.

Инструмент для создания снапшотов — SnapDrive

Функция:

Обеспечивает управление данными в СХД NetApp с серверами Microsoft Windows, UNIX и Linux.

Преимущества:

Автоматизирует согласованное с ОС резервное копирование, восстановление, клонирование данных и другие операции, позволяя тем самым использовать все возможности NetApp.

Технология SyncMirror

Технология SyncMirror — синхронное локальное зеркалирование с одного тома на другой. Благодаря этой технологии внутри системы хранения создаются две идентичные копии данных, расположенные на разных дисках. Такой подход гарантирует непрерывность процесса обслуживания клиентов в целом и обеспечивает высокий уровень защиты в случае отказа подсистем.

FlexArray — технология виртуализации NetApp

Программное обеспечение для виртуализации NetApp FlexArray позволяет использовать массивы EMC, HP, Hitachi, IBM и NetApp E-Series в качестве емкости хранения в среде ONTAP.

Виртуализация FlexArray научит ваше старое хранилище новым трюкам, таким как бесперебойная работа, включение облака, NAS и SAN, репликация, дедупликация и многое другое. В результате вы упрощаете управление и унифицируете среду хранения.

Технология моментального копирования Snapshot

Функция:

Создает инкрементальные мгновенные копии данных на LUN или в томе, без копирования блоков, с минимальным влиянием на производительность.

Преимущества:

Позволяет с необходимой частотой создавать резервные копии, занимающие мало места; не требует перерыва в доступе к данным.

NetApp Snapshot защищает данные без ущерба для производительности и использует минимальное пространство для хранения. Моментальный снимок — это образ тома, доступное только для чтения. Образ занимает минимальное пространство для хранения и незначительно снижает производительность, поскольку записывает только изменения в файлах с момента создания последней копии снимка.

Вы можете использовать технологию моментальных снимков во время работы приложений и создавать копии моментальных снимков менее чем за секунду, независимо от размера тома или уровня активности в вашей системе NetApp. На системах NetApp можно использовать до 254 снэпшотов на каждый том.

SnapRestore — технология для ускоренного восстановления файлов

Функция:

Быстро восстанавливает файлы, каталоги или целиком LUNы и тома с любой резервной копии Snapshot.

Преимущества:

Моментально восстанавливает файлы, базы данных и полные тома с резервной копии.