Посвящается прекрасной истории про AES256 / SFR и RDA/RDS и таки скромном заработке людей на небольшой разнице MAES-512/xor49 и AES256. Но о нем ничего не говорится в этой саге.
Вместо предисловия
Добрый день. Развернул у себя openstack, вроде даже работает. Теперь встал вопрос с отказоустойчивостью. Хотел бы организовать отказоустойчивый кластер из 2 контроллеров. Может кто подскажет какие есть для этого инструменты (из переписки в чате).
Для ЛЛ: из того же чата: Quick Start for development. Приключение на 20 минут.
Очередное Неправильное Разъяснение для тех, к кому пришли эффективные совы с предложением перейти (завтра) с Hyper-V \ VMware на Openstack. Что говорить эффективным (особенно критическим) совам - и как их порадовать.
Если спросить гугль что-то про «openstack site:habr.com» - то он покажет About 4,900 results.
Например Как я знакомился с OpenStack и прострелил себе колени, голову и сердце.
Как мы делали поддержку OpenStack в Кибер Бэкап 16
(и иные тысячи переливаний из пустого в порожнее)
Строго рекомендуется перечитать:
Спасти содержимое vCenter Content Library
Linux kernel: просто снять снапшот не просто
И пересмотреть:
Инфосистемы Джет - Виртуализация и метрокластер на отечественном (IT Elements 22-23 ноября 2023 ).
Как я пытался импортозаместить банк ТОП-5 и не смог (тут особенно хорошо).
Перед началом путешествия позаботьтесь о методологии выбора отечественных аналогов от АЛРОСА
Топ 5 болевых точек российского VDI
Отступление: Эти изумительные видео прошли мимо даже элитного закрытого чата с входом по паспорту, не говоря про прочих экспертов. Даже в блоге Джета на Хабре не вижу расшифровки. Только далеко‑пердинский клуб имени Иноземских вывесил ссылку. Не теряю надежды, что клуб еще что‑то полезное выкатит в 2035 году, как выкатил (нет) в 2014. Меня, безусловно, радует правильный подход Джета — от бесполезной рекламы какими угодно статьями — как ruvds — к своему каналу. Может, еще и текст выкатят со слайдами.
База
Openstack – это не виртуализация. Более того, это даже не оркестратор – это бренд, покрывающий с десяток разных продуктов, в том числе:
Ванильный опенстек.
Вендорские реализации –20+ штук, включая MIRANTIS, Huawei FUSIONSPHERE OPENSTACK, RED HAT, HYPER-C – список тут.
DevStack \ MicroStack
openstack-ansible
Сюда же можно дописать неучтенные вариации от как-бы импортозамещений.
Сюда же надо дописать продукты, которые вообще никак, вовсе, совсем не openstack, но их придется рассматривать - OpenNebula, Red Hat OpenShift, CloudStack, ZeroStack.
И, скорее всего, через неделю‑другую совы придут к вам с идеями — импортозаместить Citrix \ VMware Brocade Horizon \ MS TS — а черпать придется из бочки с OpenUDS и Huawei Solution‑FusionCloud Desktop Solution \ FusionAccess Desktop Solution — потому что предложат нырнуть с головой в импортозамещение — Accent OS TRS , Termidesk или — если вы хотите просыпаться от собственных криков — Базис, порождение связи Тионикс, Digital Energy и Скала Софтвер. Вообще в Базисе все настолько ой, что я даже на кукле не готов показывать.
Как порадовать эффективных сов
Устройте совещание по общему вопросу «нужны ли мы нам». Совы любят совещания — можно посмотреть какие‑то графики, и свалить ответственность на коллектив. Приглашайте как можно больше людей, в том числе тех, которые никак не влияют на процесс — например, заместителя главного бухгалтера и кого‑то из поддержки 1С. Попросите их высказать свое ценное мнение. Обязательно ведите протокол, но не забудьте его потом потерять, чтобы на следующем совещании опять потратить 2–3 часа на то же самое.
Устройте совещание по сбору общих требований от внутренних бизнес‑заказчиков. Поверьте, никто из внутренних заказчиков не откажется сказать, что все плохо потому, что мало процессоров \ памяти \ диски медленные \ виртуализация никуда не годится. Сбор изначально завышенных требований позволит в дальнейшем официально свалить любые проблемы на то, что денег на закупку не было. А ты няша и не виноват.
Устройте еще одно (и даже не одно) совещание по сбору уточненных требований. Например, нужно ли для ускорения работы 1с использовать какие‑то дополнительные настройки. Еще неплохо подойдет делегирование запросов в вашего 1с партнера, чтобы они вам написали, как делать хорошо на российской виртуализации. Примечание: 1С до сих пор не может внятно описать, как делать хорошо даже на давно известной ESXi. Причин много — кривизна и кода 1С, и доработок, и модулей. Написать что‑то уровня Configure the Virtual Machine Latency Sensitivity для 1С не представляется разумным — можно в ходе написания выйти на себя. Потерял (была, была!! ) статья про то, как кто‑то не выключил green Greta Mode и потерял углеродные баллы в попытках понять, почему настолько все тормозит в тестах.
Умножайте требуемые показатели минимум на 1.5 — и по времени, и по ресурсам. Если окажется, что сделали быстрее и компактнее — молодцы, оптимизировали. И ваш начальник — по настоящему эффективная сова. Если окажется, что денег нет — можно будет урезать расходы на 15–20%. Если окажется, что в итоге у вас все равно хватает и памяти, и vCPU, и дисковой емкости — отлично, будет сервер на запчасти или на случай выхода из строя целиком сервера. Это у HPE \ Dell \ Huawei \ Lenovo могли в Москве привезти сервер за три часа.
Обязательно включите пилотный проект по переносу в план работ, и требуйте найма под пилот отдельных троих человек. Троих вам не дадут, сторгуетесь на двух, одного наймете, и за счет второго покажете экономию средств, для последующей премии.
Просите под пилотный проект шесть хоть каких‑то серверов. Нужно пять, дадут денег на три. Вряд ли вендор придет со своим железом.
Старайтесь раздуть штат. Эффективные совы любят раздувать штат, это позволяет повысить свою значимость и нанять парочку бесполезных для работы, но весьма умелых в строчении отчетов секретарш. Кроме того, это действительно будет нужно, поскольку вы будете строить параллельную инфраструктуру в масштабе, оценочно, 1:3 для начала, а затем в 1.5 раза больше имеющейся, потому что смотри ниже. То есть, если у вас было немного оборудования, только‑только на 1.5 ущербные стойки по 5 киловатт, то сейчас вам потребуется минимум еще одна стойка. Если у вас свое серверное помещение, это значит нужно еще 2–3 киловатта подведения электричества, и 4–6 теплоотведения (с дублированием, то есть работает 1 кондиционер на 2 киловатта, и второй в горячем резерве). Да, и при своей серверной не забываем про отдельный ИБП, если у вас его еще выдержит нагрузка на пол и на фальшпол. Есть минимум одно видео с нырянием стойки под фальшпол (вместе с жывотне). Это все надо поставить, настроить, и обслуживать, причем ввиду ущербности и диагностики, и рельсов, и arm (руки для проводов) — процедура обслуживания будет идти дольше. И надо будет где‑то хранить запчасти, возможно хранить сервер в сборе. И да, поскольку найм можно свалить на HR, а HR будут нанимать долго, потому что придется сначала согласовать новые кадровые единицы и ставки, то — вполне возможно — текущее поколение эффективных сов успеет получить годовые премии и уйти в другие организации, а проект в таком случае можно начинать с начала — с найма новых секретарш для новых сов.
Тематика совещаний
На совещаниях вам придется проработать, или, как минимум, стребовать у вендора (если у вас импортозамещение) письмо на официальном бланке, обязательно с большой и обязательно с круглой печатью - по вопросам ниже. Тройка По Рационализации и Утилизации (ТПРУНЯ), конечно, так просто печать не отдаст, это поможет выиграть время.
Общие вопросы
KVM
Почему это хорошо, почему вендор НЕ выбрал KVM, и чем его выбор лучше KVM.
Какие сервера, СХД и коммутаторы уже были проверены вендором на совместимость. Как и где можно просмотреть методологию испытаний на своместимость. Если вендор будет говорить, что испытания проведены сообществом, то требуйте обязательно письменно (на бланке организации с печатью) указать каким сообществом, и с каким результатом. Испытания «установилось 5 инженерами вендора за 2 недели и сразу не упало» - не испытания.
Сетевая часть хоста
Требуйте у вендора результатов тестов на сети с ROCE\RDMA, желательно 100G, но если нет, то и 25G ничего. Обязательно с LACP. Ведь LACP + RDMA будет гораздо быстрее и надежнее, ведь будет же?
Требуйте у вендора разъяснений, как будет работать Active‑passive балансировка сетевой нагрузки без LACP.
Требуйте у вендора разъяснений, как будет работать beacon probing, и в каких сценариях он применим.
Требуйте у вендора разъяснений, как будет работать DVS коммутатор в его решении, и Network I/O Control хоста.
Требуйте у вендора разъяснений, как работает iSCSI MPIO и NFS 3 \4 MPIO в его решении, при наличии RDMA + LACP, и iSCSI Extensions for RDMA (iSER).
Требуйте пояснить, с чем был связан выбор вендором Open vSwitch или Open Virtual Network или иные решения.
Даже не доходя до наимоднейших фабрик, всех этих лифспайн и прочих VXLAN и GENEVE. Хватит и просто работы VLAN.
Коллеги из Усть‑Перди напомнили хороший вопрос, не без оснований — не было ли в вашей архитектуре, что ваш аналог vSwitch устраивал петлю?
CPU хоста
Уточните у вендора, как работает numa \ vNuma, каков размер такта планировщика и можно ли менять. Что‑то схожее с статьей Intermittent CPU ready time due to NUMA action affinity on VMware ESXi.
Есть ли выбор, аналогично выбору классического планировщика (classic scheduler) и основного планировщика (core scheduler) — что‑то схожее с статьей vSphere 6.7 U2 & later CPU Scheduler modes: Default, SCA v1 and SCA v2.
Как работает CPU Compatibility Masks и Enhanced vMotion Compatibility (EVC).
Как используемый вендором планировщик будет работать при переподписке 1:1, 1:2, 1:5 по CPU, и насколько существенно влияние «шумных» соседей. Каким тестами и как именно это было проверено.
Как работает CPU Affinity.
На каком физическом ядре исполняются нагрузки ОС, и насколько это существенно влияет на общую систему, как это ограничивает скорости служебных операций.
Вообще, в каком уровне всех этих мега‑колец работает ядро сервиса вашего хоста. А то есть тут некоторые, с гипервизором 1.5 типа, который и тут и там работает.
RAM хоста
Очень хорошо на первых совещаниях, пока у вас пришли только менеджеры \ продажники, запросить — как возможно (не можно ли вообще, а как именно можно, не перепутайте) использовать виртуализированные ресурсы одного хоста, например — оперативную память, на другом. И что для этого нужно. Хорошая функция, полезная! (Ответ: да, такая функция существует с времен еще до существования х86, но есть пара нюансов).
Потом можно спросить про то, как работает SWAP в их решении, как его настраивать для их решения, и что будет при переподписке 1:1 и 1:2 по RAM и как в их решении работает OOM.
Дисковая подсистема хоста
С какими СХД проведена проверка хостов, с какими протоколами и их версиями?
Как выполняется подключение внешних хранилищ и каких.
Что с загрузкой по сети, особенно если у вас прописано использование UEFI.
Как работают профили хоста в части внешних СХД при необходимости быстрой замены хоста или переустановки ОС хоста.
Какие есть рекомендации при выходе из строя дисковой системы хоста?
Настройка ОС хоста
Как выполняется инсталляция продукта, есть ли GUI и файл ответов.
Требуется ли настройка ОС, есть ли в решении шаблон хоста для быстрой замены хоста в случае выхода его из строя.
Как их ОС отрабатывает единичные отказы оборудования хоста – дисков, памяти, контроллеров, питания.
Куда и как их решение складывает дампы хоста при падении, для отладки.
Где скачать модули Zabbix и Prometeus для мониторинга их решения.
Каких решение работает совместно с UPS, куда и как ставить Power Shute или аналоги.
Как работает API хоста и есть ли пример настройки с ноля.
Центр управления
Как выполняется инсталляция продукта, есть ли GUI и файл ответов.
Как выполняется настройка отказоустойчивости центра управления, и какие есть варианты. Есть ли Active-Active, как работает HA виртуальных машин и HA для центра управления.
Как выполняется HA при отказе хоста с центром \ сервисом управления.
Как выполняется мониторинг задач \ агентов на самом центре и управления, и на хостах.
Что произойдет при отказе агентов на хосте, по образцу отказа vpha и hostd.
Что произойдет при отказе агентов на хосте, по образцу отказа vpha и hostd, если там был LACP и LACP over Converged Ethernet (если был).
Как выполняется обновления кластеризованного AA \ AP центра управления.
Как работает API центра управления и есть ли пример настройки с ноля из консоли \ api.
Как работает аналог Cross-vcenter vMotion.
Как работает stretched cluster.
Как работает аналог Site Recovery Manager (SRM).
Как работает центр управления на двух разнесенных площадках и при отказе одной из площадок.
Как работает DR при отказе одной площадки.
Обслуживание и dependency hell
Кто будет перед обновлениями читать вслух релиз, и выделять строки типа:
To avoid dependency hell it is advised to have your Cinder services deployed separately in containers or Python venvs. (src https://docs.openstack.org/cinder/pike/upgrade.html)
Как работает VUM и аналоги? Где на сайте вендора смотреть текущие рекомендации по сочетанию ПО + FW + driver.
Процедуры. Как выполняется обновление хостов и центров управления, как выполняется откат.
Массовое управление хостами, Ansible для хостов - реализовано ли? Как реализовано?
И про VM
Каков рекомендованный и максимальный проверенный тестами размер VM.
Будет ли работать super huge monster virtual machines – виртуальная машина на 70 и 100 % ресурсов хоста.
Как работает VM-Host Affinity Rule, VM–VM affinity rule, VM– Host group affinity rule – это все нужно для хотя бы разнесения VM по стойкам, не говоря уже про метрокластер.
Каковы рекомендации по использованию Raw Device Mapping и построению Cluster Shared Volumes (CSV) для WSFC MS SQL AO AG – поскольку читать люди разучились и про Always On Failover Cluster Instances читать не желают.
Как работает увеличение дисков VM, на горячую. И на холодную. впрочем, тоже. И даже простое добавление дисковых устройст в VM.
Можно ли одну VM размещать на разных хранилищах, например - одну на медленном NFS, другую на быстром NVME over FC.
Есть ли аналог Host Cache и vFlash Read Cache.
После этого уже можно поговорить и про HA, и про HA Split-brain, и про библиотеки образов и ISO, и про DRS. И про лимиты VM, в том числе резервирование. И про восстановление из снапшотов. И вообще про работу снапшотов и Changed Block Tracking (CBT) в связке с бекапами.
Выделяемое хранилище VM
Что произойдет при отказе исходного или целевого хранилища при storage vmotion ?
Например, при переполнении LUN? Или при отказе сети?
Про обработку отказов – например, у вас шла обработка чего-то в базе на 200-300 Тб от 1с на MS SQL(не говоря про Оракл), и в этом время хост умер. Что будет с состоянием базы, если базы MS SQL стояли в Simple recovery mode. Как это тестировали вендор и интригатор. Есть ли какие-то еще рекомендации по работе баз данных на ваших сервисах?
Дальше перейду к вопросам по процессам, хотя вы это можете сделать и самостоятельно, после просмотра разных видео с митапа по ссылкам выше, и там вопросов для вендоров гораздо больше, в частности:
Как будет работать ваш текущий мониторинг с новыми хостами, с новой ОС, и с системой виртуализации в целом.
Кем будет выполняться нагрузочное тестирование. И как именно.
В какие сроки будет выполняться устранение обнаруженных в ходе пилота недоработок \ существенных недостатков и какие санкции будут применены (штрафные баллы, прекращение пилота) при выходе за сроки устранения.
Как работает ваша (имеющаяся) система бекапа с этим решением.
Какие инструменты вендор предлагает для миграции VM из имеющейся среды виртуализации (как переехать). Скорость работы инструментов миграции. Как работает кросс-платформенный бекап-рестор, если у вас не e1000. Применимость Mind \ Hystax.
Какие инструменты обеспечения безопасности предлагает вендор, есть ли аналоги vGate (про это ниже).
Сколько хостов они рекомендуют иметь для пилотного стенда, который потом вам останется для проверок того, что вендор выкатит под видом обновления.
Построение и запуск Metro и DR конфигурации. Автоматизация по принципу SRM. Настройки метрокластера СХД для предлагаемой вендором (или интригатором) системы. Как работает MPIO для метрокластера. Что будет при отказе 1 пути. Что будет при отказе всех путей и свидетеля, каковы процедуры восстановления. Трафик репликации. Недайбог у Oracle Cloud Infrastructure File Storage Service, что с ним?
Вопрос для проработки отделом информационной безопасности
Что они предлагают для уменьшения рисков 0-day, какую частоту выхода \ тестов \ установки обновлений и какую процедуру тестирования обновлений они считают оптимальной. Как они планируют наблюдать безопасность на самих хостах, коллекционировать и обрабатывать логи. Что они рекомендуют для 2FA для настоящей безопасности и когда у вендора будет этот функционал.
Какую ролевую модель безопасности и какой уровень гранулярности прав они рекомендуют. Как они относятся к мнению вендора про Linux SE.
Насколько безопасно соединение между центром управления и управлением хостами, есть ли режимы блокировок управления хостом. Как выполняется сброс паролей хостов и центра управления.
Истории успеха
Размеры уже сделанных инсталляций, какие нагрузки в flow \ iops \ CPU \ etc там работают, есть ли примеры работы приложений с Low latency . Какую команду (сколько и каких людей) пришлось нанять и сколько железа им пришлось купить.
Экосистема
Совместимость предлагаемого решения с уже существующими и внедренными решениями, такими как резервное копирование, мониторинг, VDI, SIEM, контейнерная инфраструктура. ФСТЭК и процедуры при работе с ФСТЭК продуктами. Аналоги vGAte и Даллас СЗИ ВИ и опыт их эксплуатации. Опыт аттестации систем.
Сроки
В какие сроки планируется завершить общую теоретическую проработку, запуск одиночной инсталляции, что планируется отправить при переносе в пилотную нагрузку.
Итого
Разумеется, все что выше — это благие пожелания, и так не будет почти никогда. Будет Не гунди и не перечь, А поди и обеспечь, А не то в момент узнаешь, Как башка слетает с плеч!
Скажут что «разворачивай на чем есть и как хочешь», потому что сервера стоят денег, бюджета нет, ничего нет, давай‑давай, а то быстро уволим. В этой игре с совами играть по честному бесполезно, все равно ты будешь виноват. Поэтому.
Сначала надо обновить резюме, и только потом уже начинать спрашивать — в какие сроки надо закончить совещания, какая будет премия за внедрение. Можно и нужно говорить, что ты, в общем, не против, но тут помощники нужны — основную работу никто не отменял. Если получится свалить проблему на HR хотя бы на 3–5 недель — вообще великолепно, они все равно не работают, пусть хоть какая‑то польза будет. Даже не пробуйте сразу что‑то куда‑то ставить, до разработки и согласования документации и срока стадий проекта. Помните — с точки зрения эффективной совы, если что‑то хотя бы просто запустилось — оно уже годится в прод. Помните! Вы все равно будете виноваты, но Больше бумаги!
Чуть не забыл, вот мой телеграмм канал.
PS. Просмотр целиком ролика Как я пытался импортозаместить банк ТОП-5 и не смог — с фразами «проблемы нас, как очень крупного заказчика, решали год» — очень, очень помогают понять, в какое болото вас тащат эффективные совы. Особенно помогают слайды с IT Elements 22–23 ноября 2023. Просмотреть всю подборку архи нужно и архи важно.
С чем вы столкнетесь
Хуже всего то, что вы столкнетесь с падением российского ИТ комьюнити в архаику с атомизацией. Знающих людей пока хватает, но из них что‑то обсуждать хотят в лучшем случае единицы, а публично делиться экспертизой может быть нельзя (NDA) или считается, что враги\конкуренты могут увидеть что король — голый. Это архаика, превращение открытого сообщества с публичной экспертизой — в закрытый клуб. Атомизация — означает, что даже на этих знающих людей будет выйти сложно, поскольку горизонтальные связи между клубами А и Б не существуют. Может, это и правильно, что оставшиеся интригаторы пытаются удержать хотя бы такую экспертизу вдали от прямого участия в «национальных проектах».