Об’єктна система збереження даних Dell EMC ECS

Головна Огляди Об’єктна система збереження даних Dell EMC ECS

05.07.2021

Колись цифрових даних було досить небагато, і всі вони зберігалися локально на комп’ютерах. Коли місця для даних стало замало, їх почали розміщувати на спеціалізованих файлових серверах. Таку концепцію можна описати фразою: «дані слідували за обчислювачами». Із плином часу даних для спільного доступу ставало дедалі більше, тому виникла потреба в збереженні їх на спеціальних пристроях. Тож концепція змінилася, і вже обчислювачі стали слідувати за даними, з’явилися спеціалізовані системи збереження даних (СЗД), про які і йтиметься далі.

Розмаїття даних та систем для їхнього збереження

Для структурованих даних, що обробляються SQL-подібними базами даних, найкраще підходять класичні, так звані блочні СЗД. Вони надають свій дисковий простір у користування окремим операційним системам, які й будують на ньому вже власні диски і файлові системи. Винятком є хіба що кластерні файлові системи, на зразок відомої VMFS компанії VMware, але місце формування файлових систем на боці обчислювачів та протоколи доступу для класичних СЗД залишаються тими самими.

Неструктуровані дані, тобто всі, що зберігаються за межами баз даних у вигляді файлів, тривалий проміжок часу традиційно розміщували на класичних СЗД. Але так було, доки їхній обсяг не почав стрімко зростати відносно структурованих даних. Після файлових серверів з’явились універсальні та спеціалізовані СЗД для файлового доступу, так звані файлери. Їх особливістю, як порівняти з класичними СЗД, є місце формування файлових систем — сама СЗД, а комп’ютерам для доступу до таких файлерів достатньо лише драйверів файлових систем. Файли, що створюються, розміщуються за каталогами та доступні за допомогою браузерів. Такі файли здебільшого створювалися людиною та призначалися для ручного оброблення. Так тривало, доки їхнє походження та призначення різко не змінилися, а їхня кількість не почала стрімко зростати.

Компаніям, що генерують великий потік даних, необхідно було забезпечити нову модель збереження мільйонів файлів зі швидким доступом до них із боку аналітичних програм, баз даних noSQL та інтернету. Існує термін «BigData» – процес, коли переважна більшість даних генерується лише автоматикою, а призначені вони для оброблення виключно за допомогою спеціальних програм. Так виник новий тип СЗД, в яких дані зберігаються у вигляді об’єктів з атрибутами для швидкого доступу за сучасними хмарними протоколами.

Системи збереження даних DellEMC

DellEMC має повний портфель продуктів СЗД для різних варіантів застосування. До класичного типу належить більшість лінійок СЗД: від платформ початкового рівня PowerVault ME до корпоративних систем найвищого рівня PowerMax за технологією NVMe. Це стабільні та надійні платформи для традиційних завдань.

Мостом між класичними СЗД та файлерами є універсальна СЗД DellEMC Unity, що забезпечує доступ до даних як за блочними, так і за файловими протоколами. Це система найширшого спектра призначення для типових робочих навантажень у переважній більшості вітчизняних підприємств.

Якщо ж йдеться про збереження сотень терабайтів чи петабайтів даних у вигляді велетенської кількості файлів, тут не обійтися без файлерів корпоративного класу на кшталт DellEMC PowerScale. Минулого року представлено дві новітні моделі цього сімейства, а решта є нічим іншим, як давно відомими системами DellEMC Isilon, що утримують світову першість у своєму сегменті.

Як платформа корпоративного класу для збереження об’єктних даних виступає СЗД Dell EMC Elastic Claud Storage, скорочено ECS. Доступ до даних забезпечується простими командами високого рівня REST за протоколами http/https, тому з такою системою можна працювати безпосередньо на рівні прикладних програм. Останнє покоління Dell EMC ECS базується на майже двадцятирічному досвіді розроблення об’єктних СЗД EMC: Centera (Content addressable storage) та Atmos.

Призначення й основні сфери застосувань Dell EMC ECS

ECS — провідна платформа Dell EMC для зберігання об’єктів, яка може похвалитися необмеженою масштабованістю в екзабайти даних, продуктивністю, відмовостійкістю та економічністю. Забезпечуючи розширену сумісність з основними хмарними протоколами, система може надати допомогу організаціям із такими робочими навантаженнями, як-от: власні хмарні програми, архіви тривалого зберігання з активним доступом, IoT, AI та аналітичні програми для великих даних. Так би мовити, це готовий до використання Amazon S3 з коробки для приватної хмари із вбудованими мультиарендністю та білінгом.

Архітектура та модельний ряд Dell EMC ECS

Апаратно ECS є класичною системою Scale-Out на базі вузлів зі стандартних серверів архітектури х86. Мінімальна кількість таких вузлів — 5. Як зовнішня, так і внутрішня, кожна з мереж підключається до сервера за допомогою двох портів 10/25 GbE. На цих вузлах формується об’єднаний дисковий пул під файловою системою XFS з єдиним простором імен, що не має теоретичних обмежень. Можлива побудова географічно розподілених систем (до восьми майданчиків) із можливістю налаштування відмовостійкості на рівні втрати понад двох із майданчиків.

Всередині кожного вузла — ОС Suse Linux Enterprise, а саме програмне забезпечення ECS запускається безпосередньо в контейнерах Docker, тобто використовується сучасна мікросервісна архітектура.

Доступ надається одночасно до одних і тих самих даних за об’єктними та базовими файловими протоколами, ось лише основні з них: S3, Swift, NFS та CIFS. До аналітичних систем є можливість підключення за протоколами S3a та HDFS.

Дані в загальному випадку ніколи не перезаписуються, тобто застосовується механізм версійності, коли змінений об’єкт записується в нове місце.

Захист даних забезпечується на локальному рівні за допомогою застосування коду Ріда-Соломона до самих об’єктів, причому з різною кількістю фрагментів надлишковості залежно від актуальності даних. Локальний захист забезпечується на рівні виходу з ладу диска, вузла та цілої стійки. Є також механізм реплікації груп як на локальному, так і на георівнях, що забезпечує роботу в режимі «активний-активний» як на рівні одного сайту, так і на рівні роботи кількох сайтів одночасно.

Модельний ряд представлений вузлами як початкового рівня EX300, що комплектуються дисками розміром 1 TБ, так і вузлами високої ємності EX3000 з дисками в 16 ТБ, що становитиме майже 1 ПБ ємності на один вузол. Між ними розмістилася модель EX500, як золота середина. Високоємні вузли викликають найбільшу зацікавленість у провайдерів, оскільки в масштабних конфігураціях можуть надати низьку вартість збереження даних у розрахунку на 1 ГБ.

Складні завдання онлайн-аналітики, штучного інтелекту, машинного навчання та інтернету речей найкраще вирішує найсучасніша модель EXF900, облаштована All-flash дисками з інтерфейсом NVMe для найвищої продуктивності.

Із широкого спектра застосувань Dell EMC ECS варто виокремити такі:

Насамперед це недорога платформа для розгортання хмарної інфраструктури VMware завдяки вбудованій інтеграції з vCloud Director. Такий сценарій впровадження має зацікавити передусім хмарних провайдерів, що надають послуги за моделлю IaaS.
Корпоративний DropBox чи розподілена файлова система для доступу до неї з рознесених територіально офісів. В останньому варіанті доступ надається за файловими протоколами з усіма можливостями блокування файлів, що реалізовані в SMB3.0 та NFS версії 4. Щодо DropBox – існує багато вільно поширюваного або недорогого комерційного програмного забезпечення для швидкого розгортання сервісу для використання всередині підприємства. Цей кейс дасть змогу позбутися розповсюдженого Shadow IT та ризиків, пов’язаних із витоком інформації.
BLOB offload – це не що інше, як міграція нетипово великих об’єктів із баз даних та поштових систем із метою підвищення ефективності їхньої роботи. Наприклад, інтеграція Dell EMC SourceOne та
MS Exchange дає змогу замість об’єкта бази даних зберігати там лише тег із посиланням на сам об’єкт, що зберігається окремо на ECS. Такий сценарій надає можливість зберігати великий обсяг поштових баз за значно довший термін, що може зацікавити фахівців служби безпеки підприємства.
Інтеграція із системами резервного копіювання для довготривалого збереження. Більшість провідних систем, як-от Commvault, Veam, Veritas та, звісно, Dell EMC Data Domain, підтримують інтеграцію з ECS для LTR. За такого сценарію замовник може позбавитися стрічкових накопичувачів разом з усіма проблемами, пов’язаними з їхнім зберіганням та клопітким обслуговуванням.
Modern Applications – ще один дуже цікавий сценарій, за якого ECS слугує платформою для сучасних фрейворків на базі контейнерів, наприклад, OpenShift, Docker чи Kubernetes. Сценарій, безумовно, цікавий для компаній-розробників програмного забезпечення, що прагнуть мати власну платформу на противагу публічній хмарі.

ECS EX Series: Scalable & Flexible	Small Enterprise (EX 300)	Midsize Enterprise (EX500)	Large Enterprise (EX3000S/EX3000D)	All-Flash EXF900
Склад вузлів	Intel x86 servers Integrated storage 12 disk drives per node	Intel x86 servers Integrated storage 12 or 24 disk drives per node	Intel x86 servers Integrated storage EX3000S: Up to 90 disk drives per node EX3000D: Up to 45 disk drives per node	Intel x86 servers Integrated storage 12 or 24 disk drives per node
Архітектура	Standard 40U cabinet 2U node containing server and disks Fully accessible – field serviceable Conventional front to back cooling HA power cabling and cooling	Standard 40U cabinet 2U node containing server and disks Fully accessible – field serviceable Conventional front to back cooling HA power cabling and cooling	40U extra deep cabinet EX3000S: 4U chassis containing one server and disks EX3000D: 4U chassis containing two servers and disks Fully accessible – field serviceable components Conventional front to back cooling HA power cabling and cooling	Standard 40U cabinet 2U node containing server and disks Fully accessible – field serviceable Conventional front to back cooling HA power cabling and cooling
Мережеві інтерфейси	10GbE FrontEnd 10GbE BackEnd	25GbE FrontEnd 25GbE BackEnd	25GbE FrontEnd 25GbE BackEnd	25GbE FrontEnd 25GbE BackEnd
Min / max розмір кластера	Мінімум: 5 вузлів Без максимума	Мінімум: 5 вузлів Без максимума	Single: Мінімум: 5 вузлів Без максимума Dual: Мінімум: 6 вузлів Без максимума	Мінімум: 5 вузлів Максимум: 112 вузлів
Типи дисків (7200rpm,SATA)	1TB, 2TB, 4TB, 8TB, 16TB	8TB, 12TB, 16TB	12TB, 16TB	3.84TB (RI NVMeU.2 SSD)
Опціонально cache SSD	Optional SSD (960GB) drive for improved metadata read/write cache performance			N/a
Raw capacity (на вузол)	12TB, 24TB, 48TB, 96TB, 192TB	96TB, 144TB, 192TB / 192TB, 288TB, 384TB	540TB, 720TB, 720TB, 960TB, 1 080TB,1 440TB/ 360TB, 480TB, 540TB, 720TB	46TB / 92TB
Max raw capacity (на шафу)	192TB, 384TB, 768TB, 1 536TB, 3 072TB	3072TB, 4 608TB, 6 144TB	8 640TB, 11 520TB	1 474TB

Об’єктна система збереження даних Dell EMC ECS

Розмаїття даних та систем для їхнього збереження

Системи збереження даних DellEMC

Призначення й основні сфери застосувань Dell EMC ECS

Архітектура та модельний ряд Dell EMC ECS

Із широкого спектра застосувань Dell EMC ECS варто виокремити такі:

ECS EX Series: Scalable & Flexible

Small Enterprise (EX 300)

Midsize Enterprise (EX500)

Large Enterprise (EX3000S/EX3000D)

All-Flash EXF900