Comments 96
Я бы на вашем месте это не показывал... Для DIV подделки поставить дома в шкаф - супер, но для предоставления услуг клиентам - это не катит + постройка всего этого на обычном потребительском железе...
цена...
если вам нужна стойка, то няшный энтерпрайз пойдет, если вам нужно 100 стоек, то он избыточен во всем. Посмотрите на сервера фейсбук
А что фейсбук? У них серверные стойки формата OCP, с шиной питания 48В и пулом блоков питания на стойку. Вот тут можно почитать спеку: https://www.opencompute.org/documents/open-rack-specification-v21 .
Уж всяко не консьюмерские материнки на поддонах.
гугл начинал на обычном потребительском железе и выглядело гораздо страшнее (поищите) )))
К сожалению, у меня нет этой информации.
Вот есть вики (там же фотка гугла из нулевых) https://en.wikipedia.org/wiki/Google_data_centers#Original_hardware
У гугла сейчас такие размеры и количество оборудования, что под свои нужды "железо" разрабатывают сами.
Позже Google предлагала заинтересованным организациям свой поисковик в виде отдельного сервера.
Впечатляет размах и оригинальность подходов, с которым компания использует доступное и создаёт своё оборудование и ПО для обработки существующего и накопления нового контента и добывания знаний.
От вашего комментария мне стало настолько неприятно, что я даже зарегистрировался за 10 лет ридонли.
Нет ничего страшного в том чтобы хостить что-то на подобном железе, особенно в современном мире. Георспределенный кластер на подобных десктопах которые стоят в сараях будет надежнее любого количества брендовых серверов в одном хорошем датаценте, а стоить при этом будет дешевле.
Дешевле это не единственный аргумент, например десктопные i9k/i7K для некоторых задач подходят гораздо лучше чем серверные из-за большей производительности ядра. Пример такой задачи - игровой сервер (arma3,rust,mc etc) там не нужна супер надежность, а произодительность важна как никогда. Если нет возможности разместить его у себя, подобные хостинги это отличный вариант.
Печально, что у Selectel нет ECC памяти хотя intel i3 и ryzen её поддерживают. Но с приходом ddr5 эта проблема решится автоматически и повсеместно.
В том как выглядит "серверная" на картинках из поста тоже нет ничего страшного, но на месте авторов я бы обратил внимание на опыт OVH. Ovh тоже использует кастомные поддоны для плат, но размещены они горизонтально и, вероятно, плотнее чем блейды благодаря жидкостному охлаждению которое они разрабатывали самостоятельно с 2003 года. Опыт ovh многократно описан в интернете.
Георспределенный кластер на подобных десктопах которые стоят в сараях будет надежнее любого количества брендовых серверов в одном хорошем датаценте
На чем основано утверждение?
а виртуалки в AWS еще дешевле и без изобретения велосипеда и поездок по разным площадкам....
и вопросы:
на чем вы собрались собирать этот ваш гео распределенный кластер на Десктопах?
что вы будете делать когда вам в таком кластере будут нужные не десять машинок, а хотя бы 200 и я про виртуалки а не про физ. хосты?
А что будете делать когда вы начнете, а это будет уже на 10-12 VM на хост, упираться в лимиты "бытовых" процов по памяти, и дисковых подсистем....
Сети - о, это жесть особенно если вы используете D-link итп
А что такого? Если у вас критичный к деньгам сервис, платите другие деньги за другое SLA и будет другое оборудование.
Причем у вас всегда есть два пути
Дешевое оборудование и организация отказоустойчивости за счет ПО
Дорогое надежное оборудование и организация отказоустойчивости за счет него
Какой выбрать это зависит от задач.
Ну так никто и не скрывал никогда, что есть Chipcore - бытовое железо и низкая цена и Selectel - enterprise с соответствующими ценами. А далее уже выбирайте по задачам и бюджету. Или Вас смущает пластина с неприкрытым порно для Бэндера? Ну а как ещё можно бытовое железо разместить компактно, обеспечить быстрый доступ к любому узлу любой машины и хорошее охлаждение?
Лучше быть в курсе, чем надеяться и разочароваться.
Ну экономику конечно считали.И по деньгам вышло немного дешевле. Да и серверов на одном стеллаже стало помещаться 72-шт, вместо 20-ти штук в стандартных корпусах.
А экономику с использованием промышленных корпусов? Просто мне интересно насколько дороже получается взять к примеру пустой промышленный корпус и пересадить туда БП и материнку с винтами.
это не корпус, это поддон.
разработка слишком громко звучит для поддона по комплектуху.
знаю человека, кто разные корпуса проектирует от 2 недель.
Четыре стеллажа с фото вполне заменяются парой блейдовых корзин C7000. В плюсах удалённый доступ к консоли, нет проблем удалённым с передёргиванием питания, и ещё внутре у неё не десктопы, а действительно серверы. В минусах наверное ценник, хотя и тут возможны варианты.
В минусах наверное ценник, хотя и тут возможны варианты.
Тут нет особого минуса в виде варианта, у них по факту самосбор вышел. При такой вводной взять семитонник с авито за условные 50к, причем вместе с БП - выглядит куда более разумной затеей
А ЗИП где для него брать будете? На авито? У нас десктопное железо использовалось из-за легкой доступности ЗИП.
Легкая доступность ЗИП это как? Сгорело и надо срочно поменять, бежим в ситилинк? Ну так это не ЗИП
ЗИП который должен лежать на складе - да, вполне там же на авито и находится. Ну или есть целые компании которые на бу серверах специализируются - там и выбор в наличии, и даже гарантию какую-никакую дадут.
Если не нравится самая идея БУ/рефаба - ну я бы тоже предпочел бы новый энтерпрайз, но мы обсуждаем это в контексте поста про самосбор.
PS. Пользователь 7 семитонников с авито, 5 трудятся, 2 в зипе. Из бонусов 3 последних пришли с продвинутыми лицензиями ilo и в комплекте насыпали OAшек на которых муха не сидела, с прошивкой из нулевых (видимо у предыдущего владельца тоже зипом все время владения провалялись).
PPS Понимаю что моя выборка не особо репрезентативна, но из поломок - на весь этот зоопарк >5 лет сдохла пара кулеров и один БП
Когда оно есть на складе, а как взяли со склада и тут же спокойно купили в ситилинке. И это будет дешевле и сильно прям быстрее чем искать ЗИП потом когда у всех эти БУ закончились.
Ну или есть целые компании которые на бу серверах специализируются - там и выбор в наличии, и даже гарантию какую-никакую дадут.
А это уже не особо отличается от обычного энтерпрайза. Разве что немного дешевле.
Ну и да этот вопрос и в 2008 поднимался и тогда купить что-то БУ в зип было знаете по сложнее :)
чем искать ЗИП потом когда у всех эти БУ закончились.
Линейки консьюмерского железа в ситилинке меняются тоже очень быстро. Что-то мне подсказывает что к тому моменту когда закончится БУ энтерпрайз, найти новый проц того же времени в магазине будет так же проблематично.
А это уже не особо отличается от обычного энтерпрайза. Разве что немного дешевле.
Не всегда, есть как обнаглевшие продаваны которые до сих пор рефаб пытаются продать по цене нового, да еще и по GPL-цене, как и те кто по цене авито и на авито и торгуют
Ну и да этот вопрос и в 2008 поднимался
Да понятно что у каждого своя правда =) Я по многим цодам гулял, видел какое железо у народа стоит, кто-то до сих пор в 2008 и остался. Я тут не так давно кроссировался с опсосом из большой тройки(ну вроде не бедная компания), так у них до сих пор на стыке стоит нокиевский свич 7210, вершина прогресса. Бывает в чатиках телекомовских до сих пор цисковские мангалы разыскивает (ичсх легко находит, потому что их на руках как грязи, у самого под столом стоит, с надеждой продать его хотя бы по цене металлолома)
В далёком прошлом знала сисадмина, который для удалённого холодного ресета "сервера" (по факту обычный ПК) установил компьютеры так, чтобы лоток дисковода компакт-дисков одного из компьютеров, выезжая, нажимал на кнопку питания "сервера". Открытие дисковода можно было вызвать удалённо.
4 стойки по 72 десктопа = 288 декстопов, если взять даже не самое высокопроизводительное решение десктопов, то это тоже милииона на три решение. Так что не факт, что цена блэйдов будет значительно выше. Ну и цена допников, от количества PDU, стоимости времени на обслуживание и стоимости маршрутизаторов, до ценности площади помещения.
Дальше — замена слишком высокой и неэффективной системы охлаждения процессора, разбрасывающей горячий воздух вокруг, на пассивный серверный радиатор и организация воздушных потоков.
В общем, опять получится сервер.
Хотя если потрясти склады вендоров на предмет неактуальных остатков, то почему бы и нет.
Собственно pico-PSU не произвели впечатления надёжности, подходящей для серверного применения, да и мощность ограничена 180-240 Вт (но да, можно и 400 ;).
Или хардкорный вариант — трёхфазный трансформатор со вторичными обмотками на нужные напряжения, мостом из мощных силовых диодов, банком конденсаторов и без стабилизации — напряжение в сети выдерживается с точностью до +-5%, что вполне укладывается в требования стандарта ATX.
Для обычной электросети будет громоздко, вспомните трансформаторы телевизоров УПИМЦТ, а надо минимум вдвое больше. Но зато идеально подойдут трансформаторы 400 Гц, они компактные и недорогие, и их пока что ещё можно купить с хранения.
Как бы тут какой момент. Я такое делал еще аж в 2008 году пруф https://habr.com/ru/post/41819/
Там собственно схема удешевления была простая. Берем и покупаем промышленные корпуса, далее ищем отдельно радиаторы и десктопное железо и вуаля ценник становится сильно ниже.
Ну и кстати да можно покупать 2U корпуса под ATX блоки питания. Так я делал когда переводил всю серверную с башен на юниты. Это кстати давало одновременно и лучше плотность (в стойке освобождалось просто дохрена места), так и температурные режимы (коридор становился более правильно организованным).
Ну и тут у меня возникает вопрос. Насколько дешевле эти поддоны. И как эти поддоны ставятся в стойки. Не вижу описания.
А что делать с охлаждением десктопного железа в 2U корпусе? Сам интересовался такими изощрениями и даже собрал себе два сервера на mini-ITX Celeron и AMD Ryzen. У всех десктопных материнок одна проблема, разъемы оперативной памяти перекрывают поток воздуха идущий со штатных вентиляторов, установленных на передней панели. Пробовал ставить на ЦПУ низкопрофильный кулер — процессор задыхается даже без нагрузки с закрытой крышкой. Я даже купил за невообразимые деньги "самолетный" кулер под нужный сокет, но в итоге получился вот такой прикол:
Фото
Ничего на самом деле, надо просто купить вот радиатор как на фото и развернуть его по потоку и снять вентиляторы. Обычно встроенных в переднюю стенку вентиляторов хватает чтобы охладить систему и планки не особо то и мешают.
К сожалению, кулер не разворачивается, поскольку направление конструктивно привязано к расположению сокета. Не уверен, возможно ли это на других сокетах, но на AM4 только так. Знаю, что есть более «серверные» материнские платы, в которых и сокет повернут как надо, и память стоит вдоль потоку, но такие решения уже не входят в категорию cheap.
Если надо подвести поток воздуха именно к радиатору на CPU 3D принтер в помощь. Моделируете воздуховод от вентилятора на радиатор. Такое даже в серверных корпусах встречалось.
Воздуховоды. Они собственно и в настоящих "серверных решениях" используются
А я просто поставил на проц AIO водянку и вынес радиатор вбок. И горячая рязань на mini-itx вполне себе хорошо себя ощущает. Плюс AIO тут в том, что не надо заморачиваться всеми заморочками классической водянки, просто прицепил и работает.
Интересный корпус, что за модель?
А какова "целевая аудитория" клиентов? "Люди, которым нужен выделенный физический сервер под небольшие нагрузки"?
Из личного опыта - начиная работать в 2007 году в компании на ~50 сотрудников на таком "сервере" крутился небольшой пул сайтов компании (и крутился давно). После исчерпания ресурсов сего старичка всё переехало на 2U от IBM, но это было лет 10 назад... Неужели сейчас, в эпоху VDS, такое всё ещё актуально?
Неужели сейчас, в эпоху VDS
А вы думаете, VDS где размещается?
VDS стремно на таком железе размещать. Когда из-за перегрева начнут тормозить все VDS-ки, обиженные клиенты побегут в поддержку. К тому же виртуалки дешевле крутить в достаточно плотных железках. Если гнаться за дешевизной, то проще у китайцев купить б/у платформы предыдущих поколений. Выходит бюджетно, но с плюшками серверных платформ: нормальным охлаждением, ipmi и пр.
Почему прототипирование не делали на дереве или толстом картоне на самом первом этапе? Можно было бы избежать проблем с короткими проводами и тп. Прототип партией в 100 штук - это перебор
В стародавние времена мне один спец по железу рассказывал случай. Приносят комп: не работает. Разобрали, посмотрели, включили — всё ок. Собрали корпус, включили — не работает. Опять вывернули комп — работает. Собрали — не работает.
Проблема оказалось в том, что жёсткий диск резонировал с корпусом из плохонького железа, и это вызывало перманентную парковку винта из-за вибрации.
Вот так вот арендуешь средненький выделенный сервер, а в итоге оказывается что всё собрано на полудесктопе. А уж на чём VDS-ки могут крутиться - одному провайдеру известно.
Мы ничего не скрываем, модель процессора, память и диски всегда указываются.
Так в начале статьи же сказано, что такое городилось под линейку chipcore. Это самые бюджетные "сервера", на десктопном железе. Для тех, кто хочет петпроект разместить дешево, но в нормальном цоде, чтобы сетка и питание были бы неплохими.
Так вот на каких железках, много лет крутились мои проекты! И между прочим, ни одного сбоя. Забавно.
А зачем сразу 100 заказывать? Если можно одну, все проверить и потом уже 100...
с теплоотводом в плате (это даже не корпус) такого исполнения просто беда, наверно вам стоит почитать что про движение потоков в корпусах, особенно серверных корпусах
в любом случае считаю что у вас все плохо, даже очень плохо ....
Похвастаюсь своими "художествами". Это ранняя версия - сейчас сменил охлаждение процессора(турбинка от какой-то видеокарты), перепаял конденсаторы и изолировал провода, ведущие к ним, добавил жесткий диск(крепление пришлось делать из планки от pci-платы. Для чего? Just for fun. Корпус, если что, заводской.
Лишенный корпуса ATX блок питания выглядит небезопасно, а банки на удлиненных неизолированный выводах так и тянут влезть туда пальцем. (кстати, а почему банки на 200В? Должны же быть на 400)
Опять же, ваше фото доказывает, что включался он не со строго надетой крышкой корпуса.
Они последовательно
Включается и работает он и с крышкой и без, провода к конденсаторам перепаял на изолированные и прикрыл места пайки термоусадкой, между платой и корпусом проложен изолирующий материал, плюс к плате приклеены ножки. Банки какие были на плате, такие и поставил, я их не менял, просто вынес, потому-что по высоте не влезали.
"Блок питания" и ввод выглядят очень опасно. Вижу тупо голые контакты на внутренней стороне ввода, или ошибаюсь?
"Русскому человеку не придет в голову купить кирпичи..."
Спасибо, что поделились опьтом. Жду 2.0!
Прослезился от иллюстрации чертежа "проектировщика-фрилансера" оформившего конструкторский документ по СПДС, присвоив ему шифр от раздела проекта архитектурных решений в строительстве)
Вспомнил корпус Antec Skeleton
А в розницу не думали продавать? я б такой купил если:
1)была бы возможность крепления к стене.
2)была нужна в смене корпуса.
Назначение:
разместить пк на стене, чтобы не мешался.
водяное охлаждение
удобный доступ к железу.
Раньше я от подобного отказался из-за шума HDD, но сейчас всё переходит на SSD
Почему бы не перейти на 12в блоки питания серверные и picoPSU?
Бу блоки стоят копейки при мощности 1-3кВт. Один такой блок сможет дюжину-другую ваших серверов питать, занимая при этом месте как пара обычных АТХ БП.
Да, все так.
Но:
Надёжность серверных блоков все же выше в силу более высоких стандартов качества
Их так же можно зарезервировать - ничего не мешает включить параллельно 2 блока. Модуль синхронизации блоков (из того же сервера, что и б/у БП) переключит нагрузку.
2. Блоки питания с поддержкой горячей замены поддерживают резервирование из коробки, но можно и проще — параллелить обычные БП с помощью дополнительных прямо включённых диодов.
И да, мощные блоки питания б/у стоят копейки при недостижимом для недорогих новых БП качестве.
По моему скромному мнению, штампованный лист железа очень смело называть корпусом.
На самом деле не только наши так кроят. Вон, хетцнеры так же https://www.youtube.com/watch?v=5eo8nz_niiM
Правда постепенно приходят к своим серверным платформам...
Что-то мне кажется, что с экономикой раскроя у вас беда. Не очень понятно, но мне кажется что вы отрезаете две трети переднего края и остаток загибаете, так же и с опорной подножкой.
Главное, не показывать это @ntsaplinи @sergey_zorin
Очень странно, что при наличии лёгкого доступа в любом крупном городе к резке-гибке пришлось заказывать по 100шт прототипов. Кто-то явно либо своих подрядчиков проталкивал, либо поленился поискать.
Идея не нова, но без охлаждения водой это все ерунда. А охлаждать тоже вполне можно, но потребует несколько большего напряжения мысли.... Опять таки серверные БП не так давно стоили какие-то копейки, майнеры распродавали...
Здравствуйте!Не могли бы Вы поделится итоговым чертежом?
Создание собственного корпуса для сервера. Думаете, просто?