Грамотный подход к хранению данных: минимум затрат на пути в облака
Для того чтобы превратить разрозненные данные в информационный актив, имеющий реальную ценность для бизнеса, надо доподлинно знать, какие данные имеются у компании, надежно защищать их и обеспечивать к ним непрерывный доступ. Решить эти задачи можно при помощи специально разработанной концепции 360 Data Management от Veritas.
В сентябре 2017 г. в рамках концепции 360 Data Management компания Veritas представила новую версию Veritas Access 7.3 – программно-определяемого решения для организации многоцелевого масштабируемого хранилища данных на базе стандартных серверов архитектуры x86 с поддержкой файлового, блочного и объектного доступа с поддержкой уровня облачного хранения.
Программно-определяемые хранилища неструктурированных данных
Учитывая темпы роста объема неструктурированных данных и усиливающееся давление на ИТ-службы со стороны бизнеса с требованием снизить издержки, сократить временя предоставления и повысить доступность ресурсов хранения, реализация концепции 360 Data Management была бы невозможна без наличия в линейке продуктов Veritas масштабируемого программно-определяемого хранилища (SDS – Software Defined Storage).
В настоящее время предприятия, работающие в отраслях, традиционно генерирующих большой объем неструктурированных данных, например, телекоммуникационные компании или операторы медиа-контента, сталкиваются с тем, что аппаратные NAS-решения, построенные по традиционной scale-up архитектуре, не справляются с растущей нагрузкой или ограничивают заказчиков в опциях мультипротокольного доступа. Попытки расширять подсистему хранения экстенсивным путем, то есть за счет покупки более дорогих NAS-устройств, как правило, приводят к резкому росту издержек, появлению разрозненных устройств различных производителей и потере контроля над обеспечением уровня качества и надежности подсистемы хранения в целом. В конечном итоге, это не позволяет эффективно решать поставленные бизнесом задачи.
- независимость от аппаратного обеспечения – возможность построения решения на серверах и подсистемах хранения произвольного производителя с возможностью масштабирования без потери функциональности, производительности и качества обслуживания;
- предсказуемые уровни обслуживания для различных классов приложений на основе политик;
- гибкость и надежность – простота добавления/удаления вычислительных узлов и узлов хранения, поддержка избыточности при размещении данных на узлах хранения.
Кроме того, новые технологические тренды диктуют необходимость использования новых архитектурных элементов, таких как облачные сервисы, технологии на базе OpenStack и контейнеров. Это приводит к появлению приложений, специально созданных для работы в облачной среде, со своими специфическими требованиями. Как следствие, в процессе перехода на новый формат ИТ-сервисов приходится поддерживать и инфраструктуру для унаследованных приложений. Поэтому использование программно-определяемых хранилищ видится как достаточно интересная перспектива, позволяющая помочь в том числе и с подобной трансформацией традиционных ИТ-решений.
Архитектура и функциональность Veritas Access
Ключевой особенностью внутренней архитектуры Veritas Access является применение широко известных на рынке и используемых множеством крупных организаций технологий семейства Veritas InfoScale (ранее известного под названием Storage Foundation), в том числе системы кластеризации прикладных сервисов Veritas Cluster Server (VCS), кластерной файловой системы Veritas Cluster File System (CFS), кластерного менеджера логических томов Veritas Cluster Volume Manager (CVM) и технологии, позволяющей объединить все локальные ресурсы хранения узлов в единый пул, доступный любому узлу в кластере Flexible Storage Sharing (FSS).
В качестве строительных блоков SDS-решения используются стандартные серверы архитектуры x86 под управлением операционной системы RedHat Enterprise Linux, которые объединяются в кластер с помощью технологии VCS. При этом узлы кластера могут использовать как разделяемую дисковую подсистему, так и локально подключенные диски, объединяемые в единый пул c помощью технологии FSS. Второй вариант представляется более интересным с точки зрения минимизации стоимости SDS-решения, так как позволяет построить систему хранения как минимум без FC-коммутаторов, а как максимум, вообще без внешних дисковых полок и FC HBA, используя только локальные диски серверных узлов. Дополнительно в качестве уровня хранения можно применять облачные сервисы, поддерживающие протоколы Amazon S3/Glacier, Microsoft Azure, IBM Cloud, Google Cloud.
- минимизация затрат за счет поддержки как унаследованных, так и новых элементов ИТ-инфраструктуры с предоставлением сервиса хранения как для новых, так и для унаследованных приложений, включая возможность использования облачных сервисов как одного из уровней хранения;
- производительность, удовлетворяющая типичным требованиям к доступу к неструктурированным данным, включая как обеспечение доступа к большому количеству файлов небольшого размера, так и обслуживание потоковой нагрузки с обеспечением высокой пропускной способности;
- высокая доступность как в локальном масштабе, так и для территориально распределенных систем с использованием масштабируемой файловой системы, работающей на множестве узлов;
- единое хранилище как для новых, так и для как унаследованных приложений за счет поддержки мультипротокольного доступа к данным;
- интеграция с ПО резервного копирования Veritas NetBackup и ПО управления архивацией данных Veritas Enterprise Vault.
При этом технологии InfoScale наделяют решение функционалом, позволяющим обеспечить высокую надежность и производительность за счет зеркалирования и страйпинга между отдельными дисками. Например, можно организовать зеркалирование дисков между узлами с последующей организацией страйпинга поверх зеркал (Striped-Mirror, аналог RAID10) и другие ландшафты хранения. Кроме того, поддерживается технология erasure coding, позволяющая обеспечить дополнительную экономию дисковых ресурсов без потери надежности.
Кластер VCS обеспечивает отказоустойчивое функционирование сервисов доступа к данным по протоколам NFS (V3,V4), CIFS, S3, FTP, iSCSI, Oracle Direct NFS и соответствующей инфраструктуры на узлах Veritas Access, причем в определенных конфигурациях возможно обеспечить запись и чтение одних и тех же данных с использованием различных протоколов.
Для организации файловых систем размером до 3 ПБ может применяться масштабируемая файловая система (Scale-out File System), позволяющая, в частности, подключить внешнее облачное хранилище в рамках единого пространства имен.
При построении распределенных систем хранения или катастрофоустойчивости может быть настроена репликация между различными хранилищами Veritas Access. Эта технология позволяет как синхронно (поблочно), так и асинхронно (на уровне файлов) реплицировать данные исходного кластера в удаленный кластер, причем удаленная файловая система остается открытой на чтение во время репликации. Поддерживается балансировка нагрузки между репликационными линками, мгновенное переключение удаленной файловой системы в режим запись при недоступности источника и переключение сервиса репликации с одного узла на другой в случае сбоя. Количество параллельных операций репликации не ограничено. Важно отметить, что технология файловой репликации использует функционал Veritas CFS/VxFS (журнал изменения файлов File Change Log и мгновенные копии на уровне файловой системы) для быстрого определения изменений, что позволяет избежать потерь времени на сканирование файловой системы и значительно увеличить производительность репликации.
Отдельно следует отметить возможности по интеграции решения c OpenStack: поддерживается интеграция с блочным сервисом Cinder через Veritas NFS Cinder Driver и файловым сервисом Manila с использованием интерфейса Veritas Access RESTful APIs, который является встроенным средством интеграции и автоматизации управления, позволяющим встраивать SDS-хранилище практически в любую ИТ-инфраструктуру, включая публичные и частные облачные решения.
Помимо RESTful APIs, программно-определяемая система хранения предоставляет расширенный графический интерфейс, позволяющий выполнять большинство административных операций, а также уже ставший стандартом для целого ряда других решений Veritas интерактивный командный интерфейс CLISH, сочетающий в себе простоту использования с обширными возможностями, позволяющими задействовать функционал всего спектра технологий Veritas, лежащих в основе SDS-решения.
Интеграция Veritas Access c Veritas NetBackup
Важным преимуществом Veritas Access является встроенная интеграция с системой резервного копирования Veritas NetBackup, которая обеспечивается предустановленным по умолчанию на всех узлах агентом NetBackup Client, настраиваемым через командный интерфейс Veritas Access CLISH. Резервное копирование и восстановление данных возможно как по SAN (с помощью технологии SAN Client), так и по LAN (с поддержкой протокола NDMP).
При этом пользователям доступны такие типы операций резервного копирования, как полный бэкап, дифференциально-инкрементальный бэкап, кумулятивно-инкрементальный бэкап и мгновенная копия контрольной точки на уровне VxFS.
Долгосрочное хранилище резервных копий для NetBackup
Возможности Veritas Access по интеграции с NetBackup позволяют рассмотреть его как более дешевую и простую альтернативу ленточным носителям для задачи долговременного хранения резервных копий с поддержкой функции дедупликации. В этом случае интеграция может быть выполнена с использованием стороннего свободного программного обеспечения OpenDedup или опции NetBackup Cloud Catalyst.
При дублировании резервных копий политика жизненного цикла NetBackup (Storage Lifecycle Policy) выполняет запись на логическое устройство NetBackup Storage Unit, и данные отправляются в дедуплицированном виде по протоколу S3 на хранилище Veritas Access.
Следует отметить, что несколько медиа-серверов могут одновременно выполнять запись в один и тот же контейнер S3 bucket, что обеспечивает глобальную дедупликацию при хранении долговременных копий – в отличие от ленточных носителей, которые способны выполнять только компрессию потока данных с гораздо меньшей эффективностью.
Архивное хранилище резервных копий для Veritas Enterprise Vault
Учитывая, что перед многими пользователями решения архивации Enterprise Vault стоит задача снижения затрат на хранение архивных данных, хранилище Veritas Access было сертифицировано как первичное (на основе CIFS с поддержкой WORM), так и вторичное хранилище для Enterprise Vault, начиная с версии 12, что позволяет в большинстве случаев отказаться от использования дорогостоящих специализированных устройств, предлагаемых производителями устройств хранения.
Что дальше?
В соответствии с планами развития Veritas Access в ближайшей перспективе ожидается его интеграция с решением по оркестрации катастрофоустойчивости прикладных сервисов Veritas Resiliency Platform для управления репликацией данных между устройствами и с решением для анализа файлов Veritas Data Insight для углубленной аналитики метаданных.
Veritas Access предоставляет возможность построения высокопроизводительного и экономически эффективного хранилища для неструктурированных данных. Возможности по интеграции с OpenStack, облачными провайдерами и другими технологиями Veritas позволяют с успехом использовать решение в таких отраслях, как медиа (хранение видеоконтента); телеком (хранение первичных данных биллинга CDR (Call Detail Records); ритейл (поддержка аналитики); финансовый сектор (хранение выписок, платежных документов, сканов паспортов и др.); страховые компании (хранение документации, сканов паспортов, фотографий и др.); здравоохранение (хранение рентгеновских снимков, МРТ-снимков, результатов анализов и др.); облачные провайдеры (организация хранения для OpenStack).
