Корпоративные хранилища данных на основе публичного облака и относящиеся к ним сервисы уже достаточно проверены клиентами. Они отвечают их потребностям в хранении данных, предоставлении доступа и защите. В исполнении Oracle безопасное, эластичное и простое использование этих данных доступно в любой момент и в любой окружающей IT среде, связанной с интернетом.
Oracle разрабатывает и поставляет хранилища данных, которые позволяют уменьшить затраты на хранение, а также обеспечить минимальное время доступа к данным, которые хранятся на любом уровне, ─ за счет оптимизации их размещения и единого интерфейса доступа к ним.
В данной статье описаны сервисы хранения данных, их отличия от других систем данного класса, структура архитектуры решения и практический пример использования Oracle Database Cloud Service.
1. Oracle Storage Cloud Service ─ Object Storage
Это решение обеспечивает хранение наборов данных любого типа, включая структурированные и неструктурированные данные. Копию данных можно хранить в локальных (on-premise) системах, переместить ее в облако, или использовать совместно.
Такой подход обеспечивает упрощение работы датацентра, масштабирование без необходимости приобретения новых аппаратных средств, уменьшение капитальных вложений и эксплуатационных расходов за счет меньшей потребляемой мощности и требований к системам охлаждения.
Общая инфраструктура учитывает возможность практически бесконечной масштабируемости. Это устраняет необходимость постоянного прогнозирования и длительные циклы приобретения новых мощностей.
Простое управление на основе OpenStack и RESTful API упрощает интеграцию, освобождая ресурсы для других облачных проектов. Оплата «Pay-as-You-Go» и подписные модели уменьшают затраты по сравнению с долгосрочными контрактами.
Шифрование данных клиента, объединенное с дополнительным шифрованием в информационном центре Oracle, обеспечивает многоуровневую защиту информации. На стороне клиента шифрование выполняется Oracle Storage Cloud Software Appliance и Java SDK. Все перемещаемые данные шифруются на уровне SSL (Secure Sockets Layer). Уровень доступа пользователей и администраторов к данным осуществляется на контейнерном уровне.
Интеграция с главной резервной копией и архивными приложениями упрощает развертывание и восстановление данных с минимальными повреждениями. Возможно соединение как через публичный интернет, так и FastConnect, ─ для самых тяжелых рабочих нагрузок.
Поддерживается технология георепликации ─ автоматического создания копии данных в географически удаленном информационном центре. При этом соблюдаются правила приватности данных ─ хранимые данные не могут быть перемещены из указанных администратором географических областей.
Стандарты разработки ─ RestAPI на Open Stack Swift, Java Applications (File Transfer Manager и Java API), Shell scripting (Upload CLI).
Решение имеет «одиннадцать девяток надежности», т.е., обеспечивается 99,999999999%-ная надежность за счет поддержки нескольких копий каждого объекта на различных устройствах. Периодическая целостность данных сверяется средствами самовосстановления.
Oracle Storage Cloud Software Appliance ─ простое в использовании облачное хранилище данных с NFS совместимым интерфейсом POSIX. Является шлюзом NAS к облаку.
2. Oracle Storage Cloud Service ─ Archive Storage
Это ─ самые рентабельные хранилища данных в промышленности. Они специально разработаны для данных, к которым не требуется частый доступ, с безопасностью корпоративного уровня и эластичной масштабируемостью.
Типичное применение ─ архив в облаке для больших наборов данных и их долгосрочного хранения, а также разнородного мультимедийного контента, результатов научных исследований и цифровых копий культурного наследия.
К основным преимуществам решения можно отнести максимальное упрощение операций датацентра, низкие капитальные вложения и эксплуатационные расходы за счет меньшей потребляемой мощности и требований к системам охлаждения. Практикуется также оплата «Pay-as-You-Go» и подписные модели, а общая плата за хранение архивов ─ самая низкая среди аналогов ($12/TB в год).
Данные клиента хранятся в зашифрованном виде, трафик шифруется SSL, ролевой доступ осуществляется на контейнерном уровне. Доступ, стандарты разработки, возможности соединения, надежность, георепликация такие же, как для Object Storage.
3. Oracle Database Backup Service
Сервис защиты данных спроектирован для уникальных потребностей клиентов Oracle Database, с прямой интеграцией с RMAN (Oracle Recovery Manager). Таким образом, можно использовать в своих интересах основанную на облаке защиту данных в IT процессах.
Резервные копии шифруются непосредственно в источнике данных, надежно передаются и хранятся в облаке. Данные всегда сохраняются в указанных географических регионах. Используется встроенная избыточность ─ зеркалирование осуществляется тремя способами, что обеспечивает постоянную доступность данных. Резервные копии легко шифруются из RMAN. Постоянно осуществляется мониторинг данных, что предотвращает их деградацию.
Резервные копии подвергаются компрессии перед перемещением в облако. Емкость хранилища данных изменяется по требованию простым кликом по кнопке. Управление данными включает ролевое управление доступом и автоматическое удаление данных по указываемым критериям (за давностью хранения и пр.).
4. Oracle Storage Cloud Software Appliance
Решение предоставляет ролевое шифрование, обеспечивает целостность данных за счет проверки контрольных сумм, осуществляет автоматическое преобразование между файлами и объектами, имеет производительность на уровне локальной NAS за счет кэширования данных и docker-технологии.
Решение имеет привычный, хорошо понятный интерфейс. Обеспечивается соединение приложений с облачным хранилищем данных на основе протокола NFS, а также совместимость с POSIX и Unix/Linux NFS клиентами. Реализовано автоматическое преобразование данных, ─ интерфейс позволяет работу с данными как с файлами, в то время как они сохраняются в облаке как объекты.
Средства защиты информации хорошо развиты. Перед передачей данные шифруются. Возможно шифрование со стороны клиента, в том числе гранулированное (выборочное). Используется многоуровневая архитектура с симметричными и асимметричными ключами для максимальной защиты информации. Пользователь может принести свои собственные ключи, или сгенерировать их непосредственно перед шифрованием.
Доступность данных обеспечивается за счет регулярного резервного копирования метаданных в облако, а производительность на уровне локальной NAS ─ буферным кэшированием. Кэш можно конфигурировать в соответствии с рабочими нагрузками. Алгоритм Least Recently Used (LRU) сохраняет в кэше актуальные данные и удаляет ненужные.
Для управления используется технология N-Way Management (N-Way ─ телекоммуникационный протокол для управления сетевыми устройствами Ethernet и данными пользователя). Возможна работа из Admin UI на основе браузера, или интерфейса командной строки (Command Line Interface). Для автоматизации могут применяться скрипты. REST API, которые обеспечивает множественное развертывание из единого централизованного местоположения.
5. Oracle Public Cloud Data Transfer Services
Сервисы обеспечивают быструю передачу первоначального набора данных в облако и формирование хранилища данных в публичном облаке Oracle. Это ─ самый быстрый способ начать работать с данными в облаке. Сервис Storage Appliance Import надежно переносит большие наборы данных (исторические архивы, озера данных, большие базы наследуемых данных). За один раз может быть перемещено до 400 TB данных.
При этом нет необходимости платить за построение более быстрой сети для одноразовой «оптовой» передачи данных. Передача безопасна, поскольку трафик шифруется по стандарту AES-256. Для загрузки данных объектного или архивного хранилища используется простой стандартный интерфейс NFSv3. Одновременно формируется многорядная структура. Возможно также копирование данных внутри облака для создания реплики рабочей базы.
Oracle Storage Cloud Service и традиционные решения
Традиционные решения для хранения данных, как правило, имеют определенные проблемы с масштабируемостью, производительностью и управлением. Oracle Storage Cloud Service помогает их преодолеть.
1. В системе с непосредственно присоединенным устройством хранения (таким, как обычный жесткий диск в десктопе или ноутбуке), хранением данных, их поиском и упорядочиванием через файловую систему управляет ОС.
Такое устройство обеспечивает малое время ожидания и достаточно надежное длительное хранение данных. Однако, при необходимости большой емкости накопителя, она распределяется между отдельными дисковыми устройствами, что затрудняет масштабирование и снижает производительность.
2. В сетевых устройствах хранения данных (Network-Attached Storage, NAS) аппаратные средства хранения физически отделены от серверов, на которых выполняются приложения. Устройства хранения при этом доступны как сетевые диски. Хранением данных, их поиском и упорядочиванием управляет сетевая файловая система (Network File System, NFS). Приложения, работающие на различных серверах, совместно используют NAS для хранения данных. Управление ресурсами хранения в локальной сети осуществляется централизованно.
Как и в непосредственно присоединенных устройствах хранения, в NAS приложения также полагаются на основную ОС, ─ но и на сетевую файловую систему. Но такая архитектура может быть реализована только в ограниченном географическом районе, и имеет ограниченные возможности масштабирования.
3. Блочный принцип хранения используется в таких приложениях, как базы данных OLTP с высоким показателем скорости входных / выходных операций (Input / Output Operations per Second, IOPS). Это позволяет эффективно сохранять и восстанавливать данные в обход ОС, непосредственно взаимодействуя с виртуальными блочными устройствами.
Фрагменты данных сохраняются в блоках, каждый со своим адресом, но без других метаданных. Где хранятся данные, решают приложения. Они восстанавливают данные по соответствующим адресам блока.
Блочный принцип хранения оптимизирует системы хранения для IOPS и обеспечивает совместимые с POSIX файловые системы для Oracle Compute Cloud Service. Вместе с тем такой подход имеет ограничения с точки зрения масштабируемости и не поддерживает гранулирование метаданных.
4. Объектное хранилище данных обеспечивает оптимальное сочетание производительности, масштабируемости и управляемости при хранении больших объемов неструктурированных данных. Множественные узлы (ноды) хранения формируют единый общий, горизонтально масштабируемый пул, в котором данные хранятся как объекты («капли данных в бассейне данных»).
Все объектно хранимые данные ассоциированы с метаданными и имеют уникальный идентификатор. Таким образом, можно назначать пользовательские метаданные контейнерам и объектам, что существенно облегчает поиск, анализ данных и управление ими. Приложения используют идентификаторы объектов для непосредственного доступа к данным через вызовы REST API.
Объектное хранилище просто в использовании, хорошо выполняет свою работу и может практически неограниченно виртуально масштабироваться.
Подытоживая перечисленное выше, следует отметить, что Oracle Storage Cloud Service обеспечивает недорогое, надежное, безопасное, и масштабируемое решение для хранения объектов. Это позволяет хранить неструктурированные данные и получать доступ к ним в любое время и отовсюду.
Такой подход идеален для резервного и архивного копирования данных, совместного использования файлов, а также для того, чтобы хранить большое количество неструктурированных данных, ─ таких, как логи, данные, получаемые от датчиков и образы виртуальных машин.
Краткий обзор архитектуры
Архитектура Oracle Storage Cloud Service очень доступна и избыточна. Она хорошо подходит для внешнего доступа, включая пользовательские приложения, Java SDK и REST клиенты.
Когда объекты хранятся в Oracle Storage Cloud Service, данные реплицируются через многочисленные ноды устройств хранения в датацентре. Такая стратегия гарантирует, что хранимые объектные данные смогут выдержать отказ аппаратных средств.
Типовая архитектура Oracle Cloud Storage Service
Oracle разрабатывает и поставляет хранилища данных, которые позволяют уменьшить затраты на хранение, а также обеспечить минимальное время доступа к данным, которые хранятся на любом уровне, ─ за счет оптимизации их размещения и единого интерфейса доступа к ним.
В данной статье описаны сервисы хранения данных, их отличия от других систем данного класса, структура архитектуры решения и практический пример использования Oracle Database Cloud Service.
1. Oracle Storage Cloud Service ─ Object Storage
Это решение обеспечивает хранение наборов данных любого типа, включая структурированные и неструктурированные данные. Копию данных можно хранить в локальных (on-premise) системах, переместить ее в облако, или использовать совместно.
Такой подход обеспечивает упрощение работы датацентра, масштабирование без необходимости приобретения новых аппаратных средств, уменьшение капитальных вложений и эксплуатационных расходов за счет меньшей потребляемой мощности и требований к системам охлаждения.
Общая инфраструктура учитывает возможность практически бесконечной масштабируемости. Это устраняет необходимость постоянного прогнозирования и длительные циклы приобретения новых мощностей.
Простое управление на основе OpenStack и RESTful API упрощает интеграцию, освобождая ресурсы для других облачных проектов. Оплата «Pay-as-You-Go» и подписные модели уменьшают затраты по сравнению с долгосрочными контрактами.
Шифрование данных клиента, объединенное с дополнительным шифрованием в информационном центре Oracle, обеспечивает многоуровневую защиту информации. На стороне клиента шифрование выполняется Oracle Storage Cloud Software Appliance и Java SDK. Все перемещаемые данные шифруются на уровне SSL (Secure Sockets Layer). Уровень доступа пользователей и администраторов к данным осуществляется на контейнерном уровне.
Интеграция с главной резервной копией и архивными приложениями упрощает развертывание и восстановление данных с минимальными повреждениями. Возможно соединение как через публичный интернет, так и FastConnect, ─ для самых тяжелых рабочих нагрузок.
Поддерживается технология георепликации ─ автоматического создания копии данных в географически удаленном информационном центре. При этом соблюдаются правила приватности данных ─ хранимые данные не могут быть перемещены из указанных администратором географических областей.
Стандарты разработки ─ RestAPI на Open Stack Swift, Java Applications (File Transfer Manager и Java API), Shell scripting (Upload CLI).
Решение имеет «одиннадцать девяток надежности», т.е., обеспечивается 99,999999999%-ная надежность за счет поддержки нескольких копий каждого объекта на различных устройствах. Периодическая целостность данных сверяется средствами самовосстановления.
Oracle Storage Cloud Software Appliance ─ простое в использовании облачное хранилище данных с NFS совместимым интерфейсом POSIX. Является шлюзом NAS к облаку.
2. Oracle Storage Cloud Service ─ Archive Storage
Это ─ самые рентабельные хранилища данных в промышленности. Они специально разработаны для данных, к которым не требуется частый доступ, с безопасностью корпоративного уровня и эластичной масштабируемостью.
Типичное применение ─ архив в облаке для больших наборов данных и их долгосрочного хранения, а также разнородного мультимедийного контента, результатов научных исследований и цифровых копий культурного наследия.
К основным преимуществам решения можно отнести максимальное упрощение операций датацентра, низкие капитальные вложения и эксплуатационные расходы за счет меньшей потребляемой мощности и требований к системам охлаждения. Практикуется также оплата «Pay-as-You-Go» и подписные модели, а общая плата за хранение архивов ─ самая низкая среди аналогов ($12/TB в год).
Данные клиента хранятся в зашифрованном виде, трафик шифруется SSL, ролевой доступ осуществляется на контейнерном уровне. Доступ, стандарты разработки, возможности соединения, надежность, георепликация такие же, как для Object Storage.
3. Oracle Database Backup Service
Сервис защиты данных спроектирован для уникальных потребностей клиентов Oracle Database, с прямой интеграцией с RMAN (Oracle Recovery Manager). Таким образом, можно использовать в своих интересах основанную на облаке защиту данных в IT процессах.
Резервные копии шифруются непосредственно в источнике данных, надежно передаются и хранятся в облаке. Данные всегда сохраняются в указанных географических регионах. Используется встроенная избыточность ─ зеркалирование осуществляется тремя способами, что обеспечивает постоянную доступность данных. Резервные копии легко шифруются из RMAN. Постоянно осуществляется мониторинг данных, что предотвращает их деградацию.
Резервные копии подвергаются компрессии перед перемещением в облако. Емкость хранилища данных изменяется по требованию простым кликом по кнопке. Управление данными включает ролевое управление доступом и автоматическое удаление данных по указываемым критериям (за давностью хранения и пр.).
4. Oracle Storage Cloud Software Appliance
Решение предоставляет ролевое шифрование, обеспечивает целостность данных за счет проверки контрольных сумм, осуществляет автоматическое преобразование между файлами и объектами, имеет производительность на уровне локальной NAS за счет кэширования данных и docker-технологии.
Решение имеет привычный, хорошо понятный интерфейс. Обеспечивается соединение приложений с облачным хранилищем данных на основе протокола NFS, а также совместимость с POSIX и Unix/Linux NFS клиентами. Реализовано автоматическое преобразование данных, ─ интерфейс позволяет работу с данными как с файлами, в то время как они сохраняются в облаке как объекты.
Средства защиты информации хорошо развиты. Перед передачей данные шифруются. Возможно шифрование со стороны клиента, в том числе гранулированное (выборочное). Используется многоуровневая архитектура с симметричными и асимметричными ключами для максимальной защиты информации. Пользователь может принести свои собственные ключи, или сгенерировать их непосредственно перед шифрованием.
Доступность данных обеспечивается за счет регулярного резервного копирования метаданных в облако, а производительность на уровне локальной NAS ─ буферным кэшированием. Кэш можно конфигурировать в соответствии с рабочими нагрузками. Алгоритм Least Recently Used (LRU) сохраняет в кэше актуальные данные и удаляет ненужные.
Для управления используется технология N-Way Management (N-Way ─ телекоммуникационный протокол для управления сетевыми устройствами Ethernet и данными пользователя). Возможна работа из Admin UI на основе браузера, или интерфейса командной строки (Command Line Interface). Для автоматизации могут применяться скрипты. REST API, которые обеспечивает множественное развертывание из единого централизованного местоположения.
5. Oracle Public Cloud Data Transfer Services
Сервисы обеспечивают быструю передачу первоначального набора данных в облако и формирование хранилища данных в публичном облаке Oracle. Это ─ самый быстрый способ начать работать с данными в облаке. Сервис Storage Appliance Import надежно переносит большие наборы данных (исторические архивы, озера данных, большие базы наследуемых данных). За один раз может быть перемещено до 400 TB данных.
При этом нет необходимости платить за построение более быстрой сети для одноразовой «оптовой» передачи данных. Передача безопасна, поскольку трафик шифруется по стандарту AES-256. Для загрузки данных объектного или архивного хранилища используется простой стандартный интерфейс NFSv3. Одновременно формируется многорядная структура. Возможно также копирование данных внутри облака для создания реплики рабочей базы.
Oracle Storage Cloud Service и традиционные решения
Традиционные решения для хранения данных, как правило, имеют определенные проблемы с масштабируемостью, производительностью и управлением. Oracle Storage Cloud Service помогает их преодолеть.
1. В системе с непосредственно присоединенным устройством хранения (таким, как обычный жесткий диск в десктопе или ноутбуке), хранением данных, их поиском и упорядочиванием через файловую систему управляет ОС.
Такое устройство обеспечивает малое время ожидания и достаточно надежное длительное хранение данных. Однако, при необходимости большой емкости накопителя, она распределяется между отдельными дисковыми устройствами, что затрудняет масштабирование и снижает производительность.
2. В сетевых устройствах хранения данных (Network-Attached Storage, NAS) аппаратные средства хранения физически отделены от серверов, на которых выполняются приложения. Устройства хранения при этом доступны как сетевые диски. Хранением данных, их поиском и упорядочиванием управляет сетевая файловая система (Network File System, NFS). Приложения, работающие на различных серверах, совместно используют NAS для хранения данных. Управление ресурсами хранения в локальной сети осуществляется централизованно.
Как и в непосредственно присоединенных устройствах хранения, в NAS приложения также полагаются на основную ОС, ─ но и на сетевую файловую систему. Но такая архитектура может быть реализована только в ограниченном географическом районе, и имеет ограниченные возможности масштабирования.
3. Блочный принцип хранения используется в таких приложениях, как базы данных OLTP с высоким показателем скорости входных / выходных операций (Input / Output Operations per Second, IOPS). Это позволяет эффективно сохранять и восстанавливать данные в обход ОС, непосредственно взаимодействуя с виртуальными блочными устройствами.
Фрагменты данных сохраняются в блоках, каждый со своим адресом, но без других метаданных. Где хранятся данные, решают приложения. Они восстанавливают данные по соответствующим адресам блока.
Блочный принцип хранения оптимизирует системы хранения для IOPS и обеспечивает совместимые с POSIX файловые системы для Oracle Compute Cloud Service. Вместе с тем такой подход имеет ограничения с точки зрения масштабируемости и не поддерживает гранулирование метаданных.
4. Объектное хранилище данных обеспечивает оптимальное сочетание производительности, масштабируемости и управляемости при хранении больших объемов неструктурированных данных. Множественные узлы (ноды) хранения формируют единый общий, горизонтально масштабируемый пул, в котором данные хранятся как объекты («капли данных в бассейне данных»).
Все объектно хранимые данные ассоциированы с метаданными и имеют уникальный идентификатор. Таким образом, можно назначать пользовательские метаданные контейнерам и объектам, что существенно облегчает поиск, анализ данных и управление ими. Приложения используют идентификаторы объектов для непосредственного доступа к данным через вызовы REST API.
Объектное хранилище просто в использовании, хорошо выполняет свою работу и может практически неограниченно виртуально масштабироваться.
Подытоживая перечисленное выше, следует отметить, что Oracle Storage Cloud Service обеспечивает недорогое, надежное, безопасное, и масштабируемое решение для хранения объектов. Это позволяет хранить неструктурированные данные и получать доступ к ним в любое время и отовсюду.
Такой подход идеален для резервного и архивного копирования данных, совместного использования файлов, а также для того, чтобы хранить большое количество неструктурированных данных, ─ таких, как логи, данные, получаемые от датчиков и образы виртуальных машин.
Краткий обзор архитектуры
Архитектура Oracle Storage Cloud Service очень доступна и избыточна. Она хорошо подходит для внешнего доступа, включая пользовательские приложения, Java SDK и REST клиенты.
Когда объекты хранятся в Oracle Storage Cloud Service, данные реплицируются через многочисленные ноды устройств хранения в датацентре. Такая стратегия гарантирует, что хранимые объектные данные смогут выдержать отказ аппаратных средств.
Типовая архитектура Oracle Cloud Storage Service