Нюансам сертификации ФСТЭК я посвятил в статье отдельный абзац
Однако сертифицированная версия будет менее функциональной (процесс сертификации долгий, поэтому, как правило, выходит уже новый релиз с новыми фичами), поэтому обычная версия в сочетании с наложенными СЗИ — более функциональное решение.
По словам вендора, версию 4.1 уже готовят к сертификации. Но повторюсь, временной лаг в выходе сертифицированной версии продукта — это данность для всех российских продуктов.
Что касается ограничений, справедливо, забыл упомянуть об этом в статье. Спасибо за комментарий! В любом случае, вендор прописал все имеющиеся ограничения в своей документации, а значит — в курсе необходимых доработок и уже работает над ними.
Да, действительно, прайс закрытый. Однако замечу, что такая практика — не редкость среди вендоров. Если необходимо, рекомендую обратиться к вендору напрямую info@orionsoft.ru или к нам как к партнеру alzotov@k2.tech. Оперативно ответим, все посчитаем.
Про 95% процентов — это заявление вендора. Я же в статье обозначил, что цифра в 95% взята не от всех возможностей VMware, а от реальных потребностей заказчиков в функциональности платформы. В нашей практике были заказчики, которые закупили VMware, но использовали лишь самый базовый функционал. А это сейчас может обеспечить совершенно любая платформа виртуализации.
Что касается кейса с отказом локального диска, то какое-то время платформа жить будет. Но уже с заметными аномалиями, которые можно отследить и своевременно отредактировать, если системы мониторинга настроены должным образом. Для всех платформ есть лучшие практики, которые помогают как следить за работой системы в целом, так и своевременно обновлять систему.
В целом, при выборе решения на замену VMware стоит учитывать тот факт, что точно так же, как в VMware, в других решениях работать не будет. Это касается всех решений по виртуализации, доступных на российском рынке.
Действительно, все зависит от задач. Если вас и пользователей ресурсов, работающих в виртуальных машинах, все устраивает, то все верно. При проектировании виртуализации учитываются все те же принципы, что и при построения информационных систем. Выбранное решение должно выполнять возлагаемые на нее задачи. Решение должно быть надежным, отказоустойчивым, масштабируемым, безопасным, и, самое главное, хорошо задокументированным. Если получается все это обеспечить своими силами, отлично! Но стоит помнить, что заказчики — особенно уровня enterprise — все же отдают предпочтение готовым решениям с хорошей, долгосрочной, гарантируемой поддержкой и развитием.
Верно подмечено. Для построения хостинга одной лишь виртуализации недостаточно. Тут нужен комплексный подход. В архитектуре построения хостинга учитывать придётся много всего: это взаимодействие с разными площадками, особенности, возможности и совместимости виртуализации, биллинга, оркестратора, интерфейсов для пользователей, операторов, администраторов, систем резервного копирования, систем сетевого взаимодействия, систем ИБ, взаимодействие с аппаратными ресурсами и их мониторинга. Все между собой должно быть совместимо. Большие хостинговые компании предпочитают отдавать клиентские ресурсы в виде контейнеров, а не полноценными виртуалками. Для этих целей больше подойдут продукты на основе OpenStack/OpenShift.
На мой взгляд, продукт выглядит достаточно зрело. Мы проверили его в довольно крупных инсталляциях, zVirt показал себя достойно. О чем и рассказал в статье... Но вообще рекомендую самостоятельно обратиться к вендору, протестировать и сформировать своё мнение.
Прекрасно вас понимаю! Хотя мы тестируем оборудование на постоянной основе, но так много, как в последние годы, мы не тестировали никогда. И за это время мы тоже много чего повстречали и увидели. Возможно, даже напишу про это отдельную статью
Я уже довольно давно пишу обзорные статьи на российские решения и под каждой такой статьей вижу очень похожие вопросы :)
Что на это можно ответить в целом? Сейчас мировой рынок устроен так, что невозможно все компоненты вычислительного оборудования производить самостоятельно, в рамках одной страны. В таких условиях главные преимущества российских производителей — это логичная, понятная и предсказуемая схема поставки, техническое сопровождение, а также ориентация именно на наши компании и наших пользователей.
А если в частности, то в своей статье я специально дал ссылку на Хабра-пост от представителя "Инферита", где он достаточно подробно рассказал об этапах проектирования и сборки оборудования.
Да, кажется, SNMP и Syslog плотно ассоциируются у всех производителей как дефолтные источники мониторинговых данных. Те же HPE и Dell предлагают доступ через RestAPI, но здесь у нас база на Supermicro и все достаточно стандартно.
SNMP устарел, но у нас была задача в этой статье показать возможности СХД, что мы и сделали :)
Да, действительно, для решения задач виртуализации есть разные варианты. В целом, мы работаем практически со всеми вендорами на рынке (с тем же Брестом у нас есть проекты). И заказчикам мы внедряем решения, исходя из их запросов и планов развития.
В данном конкретном проекте в НГУ мы посчитали, что zVirt — это наиболее оптимальное решение с учетом всех обозначенных требований и целей. До этого мы этот продукт внедряли у достаточно большого числа своих заказчиков, поэтому для нас это решение проверенное, стабильное, весьма зрелое. И вендорская поддержка, к слову, тоже есть
Обычно мы используем xCAT, и данный проект не исключение. В инсталляциях с Ubuntu берём MAAS. А в сравнительно небольших кейсах и Ansible вполне достаточно.
Добрый день! Я в целом уже ответил в комментариях, задача стояла собрать решение полностью из отечественных компонентов: это касается как серверов, так и интерконнекта.
И хотел бы дополнить, что даже 0.5 мкс разницы в задержке на передачу сообщений в нашем случае - это целых 50% выигрыша в сравнении с InfiniBand.
Для использования AMD-платформы необходимо адаптировать расчетный софт, ориентированный в первую очередь на Intel. Hyper Threading тоже нужно отключать, так как он неприемлем в классических HPC.
Также хотел бы дополнить, что мы строили решение на отечественных серверах, которые в первую очередь предпочитают использовать процессоры Intel, а AMD хоть и встречается, но пока достаточно редко.
А в целом платформы SuperMicro на базе AMD мы прекрасно используем в других проектах под задачи AI/ML/DL.
Добрый день! Да, можно строить интерконнект и на базе классического Ethernet, но все же в специализированных решениях для HPC скорость и задержки стоят на первом месте. У нас каналы утилизируются практически полностью - примерно 6 Гбайт/сек, при этом задержки ниже на порядок, в сравнении с обычными 10G коммутаторами, и составили у нас порядка 1 мкс. Также не забываем про то, что мы строили систему с заделом на дальнейшее масштабирование. И с Ангарой это сделать значительно проще в плане сохранения низких задержек в сети.
Что касается чипов, коммутаторов, карт и прикладного софта, то это все собственная разработка производителя. Насчет конкуренции с InfiniBand, в целом, это достойная замена FDR 56 Gb/s как по скорости, так и по задержкам. Ну и не забываем, что мы строили решение на базе отечественного оборудования, поэтому выбор был для нас очевиден.
В данном случае все накопители были от мировых производителей (не отечественного производства). Но при необходимости можно было бы собрать конфигурацию, в которой накопители SATA (SATA SSD 480 Gb и SATA SSD 240 Gb) были бы отечественного производства – GS Nanotech (упомянутый производитель из Калининграда) или производства компании ТМИ (с которой "Аквариус" также сотрудничает). Отечественных накопителей SATA емкостью 3.84 ТБ на данный момент нет, так же как нет отечественных накопителей с интерфейсом SAS.
В текущей регуляторике нет преференций для “более отечественной” продукции. Продукция или соответствует критериям, установленным Минпромторгом для официального признания ее отечественной, или не соответствует.
Сервер T50 D224CF (как и все семейство серверов CF от "Аквариуса") соответствует требованиям к отечественной продукции за счёт произведенных в РФ компонентов платформы – материнской платы, райзеров, бэкплейнов и т.д. "Аквариус" производит их на собственных заводах в Шуе и Твери. Таким образом, строгой необходимости в использовании именно отечественных накопителей информации нет – заказчик может сам решить, какие накопители он хочет использовать при заказе сервера: импортные или отечественные, и на “процент отечественности” это не повлияет.
Если вам необходима более полная информация по этому вопросу, предлагаю продолжить общение в почте — alzotov@k2.tech
На корзинах дисков (вернее на дисковых лотках – trays), конечно же, есть традиционная индикация. На каждом лотке по 2 светодиодных индикатора: правый светодиод – активность (зеленый) + статус (желтый), левый – ошибка (красный). Индикатор активности (зеленый) светится, когда в лотке присутствует накопитель и мигает при активности накопителя. Индикатор статуса (желтый) позволяет идентифицировать нужный диск – при подаче команды (например с аппаратного RAID-контроллера) индикатор начинает мигать, по-английски это обычно называется Locate. Индикатор ошибки (Fault) светится красным, когда идентифицированы проблемы с накопителем, при перестроении RAID (rebuild) мигает 1 раз в секунду.
Отвечая на вопрос про монтажные рельсы. Да, рельсы, которыми сервер комплектуется, по умолчанию выкатные на полную глубину и имеют поддержку кабель-органайзера (CMA – cable management arm). Из-за этого рельсы довольно длинные, и сервер штатно устанавливается только в серверный шкаф или стойку глубиной 1200 мм, т.к. в некоторых шкафах глубиной 1000 мм длинная задняя часть рельсов (предназначенная для крепления CMA) может мешать. Сам кабельный органайзер (CMA) по умолчанию в комплект не входит – это опция, которую можно заказать дополнительно. Также доступна опция заказа укороченных рельсов без поддержки CMA, с такими рельсами сервер можно ставить в шкафы от 1000 мм глубиной.
Нюансам сертификации ФСТЭК я посвятил в статье отдельный абзац
По словам вендора, версию 4.1 уже готовят к сертификации. Но повторюсь, временной лаг в выходе сертифицированной версии продукта — это данность для всех российских продуктов.
Что касается ограничений, справедливо, забыл упомянуть об этом в статье. Спасибо за комментарий! В любом случае, вендор прописал все имеющиеся ограничения в своей документации, а значит — в курсе необходимых доработок и уже работает над ними.
Да, действительно, прайс закрытый. Однако замечу, что такая практика — не редкость среди вендоров. Если необходимо, рекомендую обратиться к вендору напрямую info@orionsoft.ru или к нам как к партнеру alzotov@k2.tech. Оперативно ответим, все посчитаем.
Про 95% процентов — это заявление вендора. Я же в статье обозначил, что цифра в 95% взята не от всех возможностей VMware, а от реальных потребностей заказчиков в функциональности платформы. В нашей практике были заказчики, которые закупили VMware, но использовали лишь самый базовый функционал. А это сейчас может обеспечить совершенно любая платформа виртуализации.
Что касается кейса с отказом локального диска, то какое-то время платформа жить будет. Но уже с заметными аномалиями, которые можно отследить и своевременно отредактировать, если системы мониторинга настроены должным образом. Для всех платформ есть лучшие практики, которые помогают как следить за работой системы в целом, так и своевременно обновлять систему.
В целом, при выборе решения на замену VMware стоит учитывать тот факт, что точно так же, как в VMware, в других решениях работать не будет. Это касается всех решений по виртуализации, доступных на российском рынке.
Действительно, все зависит от задач. Если вас и пользователей ресурсов, работающих в виртуальных машинах, все устраивает, то все верно. При проектировании виртуализации учитываются все те же принципы, что и при построения информационных систем. Выбранное решение должно выполнять возлагаемые на нее задачи. Решение должно быть надежным, отказоустойчивым, масштабируемым, безопасным, и, самое главное, хорошо задокументированным. Если получается все это обеспечить своими силами, отлично! Но стоит помнить, что заказчики — особенно уровня enterprise — все же отдают предпочтение готовым решениям с хорошей, долгосрочной, гарантируемой поддержкой и развитием.
Верно подмечено. Для построения хостинга одной лишь виртуализации недостаточно. Тут нужен комплексный подход. В архитектуре построения хостинга учитывать придётся много всего: это взаимодействие с разными площадками, особенности, возможности и совместимости виртуализации, биллинга, оркестратора, интерфейсов для пользователей, операторов, администраторов, систем резервного копирования, систем сетевого взаимодействия, систем ИБ, взаимодействие с аппаратными ресурсами и их мониторинга. Все между собой должно быть совместимо. Большие хостинговые компании предпочитают отдавать клиентские ресурсы в виде контейнеров, а не полноценными виртуалками. Для этих целей больше подойдут продукты на основе OpenStack/OpenShift.
На мой взгляд, продукт выглядит достаточно зрело. Мы проверили его в довольно крупных инсталляциях, zVirt показал себя достойно. О чем и рассказал в статье... Но вообще рекомендую самостоятельно обратиться к вендору, протестировать и сформировать своё мнение.
Прекрасно вас понимаю! Хотя мы тестируем оборудование на постоянной основе, но так много, как в последние годы, мы не тестировали никогда. И за это время мы тоже много чего повстречали и увидели. Возможно, даже напишу про это отдельную статью
Я уже довольно давно пишу обзорные статьи на российские решения и под каждой такой статьей вижу очень похожие вопросы :)
Что на это можно ответить в целом? Сейчас мировой рынок устроен так, что невозможно все компоненты вычислительного оборудования производить самостоятельно, в рамках одной страны. В таких условиях главные преимущества российских производителей — это логичная, понятная и предсказуемая схема поставки, техническое сопровождение, а также ориентация именно на наши компании и наших пользователей.
А если в частности, то в своей статье я специально дал ссылку на Хабра-пост от представителя "Инферита", где он достаточно подробно рассказал об этапах проектирования и сборки оборудования.
Да, кажется, SNMP и Syslog плотно ассоциируются у всех производителей как дефолтные источники мониторинговых данных. Те же HPE и Dell предлагают доступ через RestAPI, но здесь у нас база на Supermicro и все достаточно стандартно.
SNMP устарел, но у нас была задача в этой статье показать возможности СХД, что мы и сделали :)
Да, действительно, для решения задач виртуализации есть разные варианты. В целом, мы работаем практически со всеми вендорами на рынке (с тем же Брестом у нас есть проекты). И заказчикам мы внедряем решения, исходя из их запросов и планов развития.
В данном конкретном проекте в НГУ мы посчитали, что zVirt — это наиболее оптимальное решение с учетом всех обозначенных требований и целей. До этого мы этот продукт внедряли у достаточно большого числа своих заказчиков, поэтому для нас это решение проверенное, стабильное, весьма зрелое. И вендорская поддержка, к слову, тоже есть
Обычно мы используем xCAT, и данный проект не исключение. В инсталляциях с Ubuntu берём MAAS. А в сравнительно небольших кейсах и Ansible вполне достаточно.
Имеется в виду Intel Xeon Scalable Gen3
Спасибо вам за комментарий! Тут я полностью согласен, даже немного раскрыл и дополнил идеи в предыдущих комментариях.
Добрый день! Я в целом уже ответил в комментариях, задача стояла собрать решение полностью из отечественных компонентов: это касается как серверов, так и интерконнекта.
И хотел бы дополнить, что даже 0.5 мкс разницы в задержке на передачу сообщений в нашем случае - это целых 50% выигрыша в сравнении с InfiniBand.
Для использования AMD-платформы необходимо адаптировать расчетный софт, ориентированный в первую очередь на Intel. Hyper Threading тоже нужно отключать, так как он неприемлем в классических HPC.
Также хотел бы дополнить, что мы строили решение на отечественных серверах, которые в первую очередь предпочитают использовать процессоры Intel, а AMD хоть и встречается, но пока достаточно редко.
А в целом платформы SuperMicro на базе AMD мы прекрасно используем в других проектах под задачи AI/ML/DL.
Добрый день! Да, можно строить интерконнект и на базе классического Ethernet, но все же в специализированных решениях для HPC скорость и задержки стоят на первом месте. У нас каналы утилизируются практически полностью - примерно 6 Гбайт/сек, при этом задержки ниже на порядок, в сравнении с обычными 10G коммутаторами, и составили у нас порядка 1 мкс. Также не забываем про то, что мы строили систему с заделом на дальнейшее масштабирование. И с Ангарой это сделать значительно проще в плане сохранения низких задержек в сети.
Что касается чипов, коммутаторов, карт и прикладного софта, то это все собственная разработка производителя. Насчет конкуренции с InfiniBand, в целом, это достойная замена FDR 56 Gb/s как по скорости, так и по задержкам. Ну и не забываем, что мы строили решение на базе отечественного оборудования, поэтому выбор был для нас очевиден.
В данном случае все накопители были от мировых производителей (не отечественного производства). Но при необходимости можно было бы собрать конфигурацию, в которой накопители SATA (SATA SSD 480 Gb и SATA SSD 240 Gb) были бы отечественного производства – GS Nanotech (упомянутый производитель из Калининграда) или производства компании ТМИ (с которой "Аквариус" также сотрудничает). Отечественных накопителей SATA емкостью 3.84 ТБ на данный момент нет, так же как нет отечественных накопителей с интерфейсом SAS.
В текущей регуляторике нет преференций для “более отечественной” продукции. Продукция или соответствует критериям, установленным Минпромторгом для официального признания ее отечественной, или не соответствует.
Сервер T50 D224CF (как и все семейство серверов CF от "Аквариуса") соответствует требованиям к отечественной продукции за счёт произведенных в РФ компонентов платформы – материнской платы, райзеров, бэкплейнов и т.д. "Аквариус" производит их на собственных заводах в Шуе и Твери. Таким образом, строгой необходимости в использовании именно отечественных накопителей информации нет – заказчик может сам решить, какие накопители он хочет использовать при заказе сервера: импортные или отечественные, и на “процент отечественности” это не повлияет.
Если вам необходима более полная информация по этому вопросу, предлагаю продолжить общение в почте — alzotov@k2.tech
На корзинах дисков (вернее на дисковых лотках – trays), конечно же, есть традиционная индикация. На каждом лотке по 2 светодиодных индикатора: правый светодиод – активность (зеленый) + статус (желтый), левый – ошибка (красный).
Индикатор активности (зеленый) светится, когда в лотке присутствует накопитель и мигает при активности накопителя. Индикатор статуса (желтый) позволяет идентифицировать нужный диск – при подаче команды (например с аппаратного RAID-контроллера) индикатор начинает мигать, по-английски это обычно называется Locate. Индикатор ошибки (Fault) светится красным, когда идентифицированы проблемы с накопителем, при перестроении RAID (rebuild) мигает 1 раз в секунду.
Отвечая на вопрос про монтажные рельсы. Да, рельсы, которыми сервер комплектуется, по умолчанию выкатные на полную глубину и имеют поддержку кабель-органайзера (CMA – cable management arm). Из-за этого рельсы довольно длинные, и сервер штатно устанавливается только в серверный шкаф или стойку глубиной 1200 мм, т.к. в некоторых шкафах глубиной 1000 мм длинная задняя часть рельсов (предназначенная для крепления CMA) может мешать. Сам кабельный органайзер (CMA) по умолчанию в комплект не входит – это опция, которую можно заказать дополнительно. Также доступна опция заказа укороченных рельсов без поддержки CMA, с такими рельсами сервер можно ставить в шкафы от 1000 мм глубиной.
Я думаю, что ответы мои достаточно развернуты. Если есть желание, то всегда можно прийти к нам лично, моя почта — alzotov@k2.tech
И в целом я уверен, что все читатели, как и я, поддерживают развитие отечественных производителей и их продуктов.