Comments 52
Мне нравятся Intel NUC.
Сейчас у меня три штуки работают - 2шт 7i3 7100U, один 10i5 10210U.
С моими задачами справляются и не шумят.
За полгода один раз подвис 10i5.
Не замеряли энергопотребление?
нет, не замерял.
я поставил
на 7i3 максимальную производительность.
на 10i5 сбалансированная производительность.
везде стоит SSD NVME 240Gb + HDD 1Tb
подключение по проводу.
Wi-Fi и блютуз отключены.
Но сколько потребляет не скажу.
Разницы в оплате электроэнергии не заметил.
мой нюк и5 ssd120 , win7, no wifi -потребляет около 45вт
На али есть куча неттопов с 4-6 сетевыми картами, NVME и прочим. Для домашних проектов и тестов - заглаза.
Есть даже варианты с полноценным сокетом (возможностью заменить процессор), вместо распаянного.
IPMI дома тоже не нужен - сервер-то под рукой. Да и, как правило, такую коробочку раз настроил и забыл. Далее с ней общаешся уже через веб-интерфейс или софт управления виртуалками (Настоятельно рекомендую ProxMox - для домашних нужд - заглаза).
Если очень хочется - есть Mini-ITX и Pico-ITX материнки и корпуса, вплоть до серверных решений, вроде такого: https://www.asrockrack.com/general/productdetail.ru.asp?Model=ROMED4ID-2T#Specifications
Да, неттопы тоже рассматривал. Но есть с ними какая-то странность - большинство моделей, где 4-6 портов, все на довольно старых процессорах, где 4, максимум 8 ядер. Хотелось что-то посвежее и помощнее.
Я в итоге на proxmox тоже остановился. Бесит немного, что нельзя через интерфейс закидывать OVA и надо лезть в CLI. В остальном - отличная штука.
Ну многопортовые неттопы, как правило, делают под задачи фаерволла/роутера. А там особо мощный процессор и не нужен.
Опять-же для домашнего сервера, особенно под веб-проекты, даже 4х ядерника 5-летней давности более чем достаточно.
А если надо больше мощностей - лучше собирать полноценный Tower или сразу серверную стойку (ящичек на 8+ юнитов, хотябы). Делать очень мощное железо в минимальном размере слишком дорого, да и не особо то нужно (Исключение - геймеры, но у них несколько другие запросы).
Не совсем согласен)
Мне часто нужно собирать большие сетевые схемы в каком-нибудь EVE-NG. 4 ядра там ну совсем мало. А вот 16 ядер, плюс 32-64ГБ RAM - уже интересно. Выделять под это стойку дома - не очень хочется)
В общем я позже поделюсь результатами тестирования. Там будет видно сколько всего можно крутить для тестов на такой маленькой машинке.
все на довольно старых процессорах, где 4, максимум 8 ядер
Собрать кластер из нескольких. Плюсы: хорошая масштабируемость, отказоустойчивость. Минусы: не под нагруженные проекты (зависит от топологии проекта)
А если уж нужно под что то более высоконагруженное, то уже смотреть в сторону полноценного системного блока.
IPMI дома тоже не нужен - сервер-то под рукой.
Ага, пока что-нибудь не перестанет грузиться. И придётся идти к серверу и втыкать монитор, мышь, клаву...
А почему там что-то должно перестать грузиться, если на нём стоит виртуализация, а всё нужное внутри виртуалок?
Чтобы повесить гипервизор - это надо знатно постараться... Или ковырять сам гипервизор, что несколько глупо...
Другой вопрос - если надо что-то прямо на физическом железе обкатывать... Но такой сценарий - большая редкость и нужен только для замера производительности (максимального быстродействия). Все остальные сценарии (Разработка и тестирование) вполне выполняются внутри виртуалок.
Ну у меня например стоит убунта и на ней виртуалки уже крутятся в KVM потому что параллельно с виртуализацией у меня сервер еще и файлопомойка, да и поднимать половину из тех вещей что мне нужно в отдельных виртуалках когда есть docker - растрата ресурсов машины.
Как таковая железная удаленная консоль мне редко нужна, но не хочется оказаться в ситуации когда у меня домашние жалуются что "кино не показывает", а я на другом конце планеты и ничего с этим сделать не могу. Плюс через IPMI я, к примеру, выгружаю в zabbix всякую статистику с материнской платы.
параллельно с виртуализацией у меня сервер еще и файлопомойка, да и поднимать половину из тех вещей что мне нужно в отдельных виртуалках когда есть docker - растрата ресурсов машины
Что мешает выделить одну виртуалку под докер, одну под сервер и одну под файлопомойку?
Гипервизор должен быть гипервизором. На нем ничего лишнего не должно запускаться кроме виртуалок, иначе повышается вероятность отказа.
А чтобы исключить отказы сетки, то обычно ставят сетевуху с как минимум двумя портами, чтобы сконфигурировать их как failover или LAG (если позволяет коммутатор).
Что мешает выделить одну виртуалку под докер, одну под сервер и одну под файлопомойку?
Условный plex, например, далеко не всегда хорошо работает в виртуальной машине или контейнере.
Мне кроме хранения данных в зеркале ZFS от домашнего сервера в плане надежности ничего не нужно, да и мне уже давно не интересно делать из своей домашней сети FizzBuzz Enterprise Edition.
Даунтайм не является проблемой и за последние лет 8 единственный случай когда система развалилась был из-за криворукости разработчиков ubuntu у которых один из основных пакетов во время обновления системы удалялся. В остальном никаких проблем от того что я не использую гипервизор я не наблюдаю.
Ну и как заметка на полях - мне кажется что полезно иногда с KVM поиграться чтобы иметь более хорошее представление о том как работает виртуализация со всякими NUMA и тд вместо того чтобы галочки в UI гипервизора ставить.
Для любителей этого дела есть что-то типа pikvm. Можно, наверное, его даже через обычный KVM подключить. :)
У меня сервер с ipmi, но я им пользуюсь раз в год примерно, если не реже.
IPMI дома тоже не нужен - сервер-то под рукой.
Слишком категорично.
По IPMI сильно зависит от условий использования, местонахождения и размера сервера.
Если есть возможность взять IPMI с функцией виртуальной консоли (без нее от IPMI можно только оценить состояние сервера и иногда изменить настройки BIOS), то лучше так и поступить.
Однако для домашнего использования важен и вопрос цены, поскольку функция виртуальной консоли в брендовых серверах стоит довольно приличных денег.
Кроме того, стоит иметь в виду, что IPMI (iDRAC, iLO, XCC и т. д.) представляет собой что то вроде постоянно работающего мини-ПК, с довольно приличным энергопотреблением..
Например, я проводил измерения потребления энергии следующих серверов в выключенном состоянии (измерения проведены с помощью отдельного ваттметра):
- Dell PowerEdge T350 (iDRAC) - около 8 Вт
- Lenovo ThinkSystem ST550 (XCC) - около 11 Вт (Сам сервер выдает такие цифры: вход PSU: 10 Вт, выход: 7 Вт)
Необходимо также учитывать возможность подключения монитора и клавиатуры к серверу.
Одно дело, когда сервер находится рядом со столом и уже подключен к монитору и клавиатуре, либо можно быстро подключить их без переноски.
Другое если сервер находится в кладовке или другом подобном месте и для подключения монитора придется перемещать сам сервер.
А сервера могут быть и габаритными, и весить довольно много (например, упомянутый Dell T350 без дисков весит 27 кг).
Также, если на сервере запускается что-то критически важное, например, роутер/файрвол, и важно быстро восстановить его работоспособность.
Хорошим вариантом будет иметь помимо основного сервера еще и запасной сервер, даже обычный мини-ПК.
Я что бы на время обслуживания основного сервера не оставаться без интернета имею помимо основного сервера еще не большой мини ПК.
При обновлениях/обслуживании я мигрирую на него виртуальную машину pfSense и некоторые другие.
Виртуалка при миграции даже не перезагружается, для нее такая миграция никак ни проявляется, текущие соединения не рвутся.
К сожалению этот мини-ПК не имеет виртуальной консоли, но он и служит только для подстраховки и хранения дополнительных бэкапов виртуалок/контейнеров основного сервера.
Если с ним что-то случится, его можно будет не спеша подключить к монитору и понять что с ним.
Как вариант можно взять tower и помимо обычного CPU поставить туда 1,2,3 и т.д. модулей NUC. Получится несколько ПК в одном.
Минусы:
Большой (не все найдут дома столько места)
Шумный (теоретически можно поставить на балкон)
НЕ энергоэффективный (вы точно заметите изменения в “платежке” за свет)
Дорого (есть конечно БУ варианты, но даже они значительно дороже чем мини пк)
Целый системник поставить некуда? Я даже в однушке на холодильнике 3 держал, ничего :)
Шумный, это если вы покупаете готовый сервер от HPE/Dell/etc. Но можно же собрать и самому и поставить вполне тихие кулеры
За 4 сервера сумма в платёжке порядка 4000р, это в любом случае дешевле, чем любой другой вариант размещения
Дорого, тут согласен. Особенно в нынешнее время - память очень подорожала, если говорить об объёмах более 64 ECC. Да и с выбором материнок всё обстоит довольно грустно.
У меня сейчас 2 сервера виртуализации, отличаются только матерями
SuperMicro X11SPM-F-O // ASUS Z11PA-U12
Intel Xeon Silver 4214
Noctua NH-U14S DX-3647
64Gb DDR4 3200MHz ECC Reg x6
512 + 2x2Tb NVMe
БП по 600W, ну и сеточка 10Г
Кстати Beelink у меня тоже есть, использую его в качестве сервера резервного копирования с внешними HDD
Дома сервер DELL T430.
2 проца 2690v4 - 128 гигов оперы. 8 канал . Скорость оперы 130 000 МБит/сек.
Один кулер 120мм. Сервер тизий. 200 Ватт потребления. 20 виртуало
5:Raid - 16 Ssd 480
6 Raid - 8 ssd 480
5 Raid - 4 hdd 4tb
0 raid - 6 tb sas
Esxi 6.7u2
Не вижу смысла в новой ESXI.
6.7u2 работает стабильно годами, что дома что в конторе.
Почему DELL.
Обновление прошивок через интернет. Впн
Посмотреть через iDRAC и пересобрать Рейд да не проблема. Я вижу состояние всего не перегружая сервер. Около того может только IBM. Но его IMM скуден.
Алармы на все и всюду. Умер диск, аларма на почту. Так еще IBM может.
Супермикро IPMI и ILO рядом не стояли.
“Слабый” CPU (не годится для серьезных и постоянных нагрузок)
Вы вообще давно на mini pc смотрели?
И еще сетевуха 10G для связи сПК
Очень нравятся Intel NUC, сейчас под медиасервер и минихранилку трудится старичок nuc5ppyh. Что в них нравится больше всего, так это возможности тонкой настройки bios вплоть до отключения светодиодов на корпусе и регулировки кривой вентилятора. Что примечательно, вентилятор на моём аппарате на любых оборотах (от 3000 и выше) крутится почти совсем бесшумно!
Для других задач юзаю еще два MSI Cubi, один Cubi N 8GL с пассивным охлаждением на n4000, второй свежий Cubi 5 12M на i3-1215u (это будущая замена для вышеописанного NUC), очень нравятся машинки, правда светодиод питания больно яркий, если не в отдельной комнате аппарат стоит. Тот, что с пассивкой хорошо рассчитан, ни в одном из сценариев не греется.
Первый брал на задачу, где нужен был максимально тихий аппарат, второй из-за двух сетевух.
Отдельно отмечу комплектацию у MSI. Первый аппарат имеет в комплекте две нижние части под диск 2.5 и без него (тонкий вариант). Второй аппарат имеет в комплекте крепление vesa на монитор и выносную кнопку включения. Очень интересный маркетинговый ход для того, чтобы как-то выделиться)
Из свежих китайцев купил сдуру совсем мелкий morefine m6, очень пожалел. Шумный, горячий, с ужасным bios (разлочено вообще все что можно, но непонятно зачем оно нужно). В подобные аппараты больше ни ногой. Хотя друзья покупали что-то с алиэкспресса побольше размером и им все нравится.
Товарищ, ты случайно не знаешь, как у китайских материнок под серверные процессоры обстоят дела с многоканальной памятью? Поддерживают ли они 4х канал, или залочены на 2х канал независимо от поддержки процессора?
Думаю над приобретением такового для экспериментов с относительно небольшими LLM, а им очень важна пропускная способность памяти.
Зависит от конкретной модели материнки.
Стоит нупнжи x99 fx 8 с процем 2690v4 - 4 плашки рег есс по 16. 4 канал режим скорость чтения записи 50 000 Мбит сек. Уже 3 года. Ге обновляй до последнего биоса . Иначе глюки. У меня ня глюк в том что через раз утром запускается. Те черный экран и завис на старте биоса. Вернул старую версию все ок
Вот что тут НЕ надо делать - так это брать мать с поддержкой двух процессоров.
X99-F8D.
2 Xeon'а
больше 4-х каналов с процессора не тянет , к памяти "чужого" CPU - около 10 GB/s.
Софту представляется 2-мя NUMA-нодами.
При этом часть софта под Windows (и если она основной ОС и если она в виртуалке а основной Proxmox) - сильно тормозит, включение Cluster-on-Demand и уменьшение объема памяти.
По тестам: 128 Gb RAM - 62 GB/s полоса пропускания памяти, 220 Gb RAM(одной планки из 8 уже нет в живых), очень примерно (машина под нагрузкой) 90 GB/s полоса пропускания памяти.
Но кстати о - 3 PCI-E x16 слота (16-8-8 насколько помню), реально 2 видеокарты воткнуть можно.
Не любит Windows 11 (точнее Windows 11 на хосте + корпоративный VPN = креши в сетевом стеке винды(по стектрейсу где то внутри кода MS насколько удалось понять) е в через интервал от двух часов до двух суток)(правда она и ставится не хотела). VPN в виртуалке с Win10 а хостом та же - Win11 = полет нормально, хостом Proxmox а в виртуалке и Win11 + VPN-клиент = полет нормально.
Proxmox замечательно ставится и работает на Mac mini ))
Стоит у меня в доме сервер hp dl160 g6. Долго искал подходящий сервак под виртуалки и к счастью нашёл дёшево у себя в городе. По цене в месяц моя стойка( сервер+коммутатор 48портов+ несколько роутеров+ дисковая полка) кушает 500р с тарифом 5.75 за кВт. На счет шума не буду даже говорить ( когда выключали ЭЭ ночью я пару раз просыпался от тишины ахаха). VMware кстати мне понравился своим интерфейсом, поэтому на нём и остался.
Юзал ESXI с 5 по 7
6.7 u2 самая стабильная. Реально работает годами.
У esxi 7 в особенности у Контрол центра выжирались диски систем и лог. Что на работе что дома. Глючная версия.
Proxmos юзал 5. Сырая бесплатная вещь. Были глюки с виртуалками. Неплох, но сырой. Мутатень с датастграми.
У esxi влезает на флешку. Если умрет то восстановить быстрее. Всего пару настроек сети и все. Регистрирует виртуалки и в путь.
Хайпер, сначала винду вкпти
Основной вариант не упомянут. Сейчас полным полно специальных Mini-ITX материнок разных производителей для малых серверов со встраиваемыми процессорами - N305, N100, N5105 и даже мощными 55-ваттными Ryzen 7840H и 7840HS. Последние стоят около 50 тыс. Это мать с процом и кулером. С N305 около 25 тыс. С N100 около 17 тыс. С N5105 стоят 14 тыс. Последние два правда 4-ядерники без HT. Под визуализацию не очень подходят. Для NAS'а же идеальны.
Все матери нашпигованы всем необходимым - 4 2.5 Гбитные сетевухи, два m.2, тонны SATA портов с дополнительными контроллерами, в более современных SFF-8643, внутренние USB для ключей и много всего прочего. IPMI конечно нет за такую цену, да и не нужно особо для малого сервера, но спикеры на всех есть.
Это если прям цивильный сервер собирать с кучей дисков в массивах. В свое время собрал что-то подобное на Atom D2700 в большом корпусе от HP MT3300, поставив туда дополнительную корзину для дисков и sata-контроллер в minipcie. Для NAS вариант отличный, если много CPU не нужно, - как файлохранилка работает довольно шустро, к тому же почти бесплатное решение для меня вышло.
А для задач на вычисления и для всяческих тестовых стендов все же минипк удобен даже без raid. Достаточно бэкапа хоть даже по NFS на отдельный слабенький NAS, если нужно. Скажем, это разный функционал.
Конфиг для домашней лабы сервера r5 3600 (ужат до 35w), b450, 64гб, стоял proxmox ve 8 2, скорость в lxc 10мбит на хосте соответственно гигабит, крутил вертел но поднять в lxc выше 10мбит не смог. В виртуалках такая же история, пишет гигабит, нагружаешь плучаешь 1мбит, в итоге постаил гипервизор Hyper V
8.2 - бета версия, Может из-за этого дело?
Proxmox 8.1, между 1-ядерными lxc-контейнерами на одном хосте скорость нормальная. E5-2640 v4 - 25Гбит/с, на i5-12400 - 70Гбит/с.
Hidden text
root@test2:~# iperf3 -c 192.168.1.134
Connecting to host 192.168.1.134, port 5201
[ 5] local 192.168.1.135 port 48412 connected to 192.168.1.134 port 5201
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.00 sec 30.0 GBytes 25.8 Gbits/sec 0 sender
[ 5] 0.00-10.04 sec 30.0 GBytes 25.6 Gbits/sec receiver
root@test2:~# iperf3 -c 192.168.1.136
Connecting to host 192.168.1.136, port 5201
[ 5] local 192.168.1.137 port 54956 connected to 192.168.1.136 port 5201
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.00 sec 82.1 GBytes 70.5 Gbits/sec 0 sender
[ 5] 0.00-10.04 sec 82.1 GBytes 70.2 Gbits/sec receiver
Последняя версия прокса - 8.1.
С проксом почти 10 лет и таких проблем не было никогда.
На 101% уверен, что проблема не с проксом.
С китайскими мини ПК могут быть проблемы при покупке ищите в интернете распространенные проблемы, чтобы понять можно ли использовать в виде домашнего сервера. Полтора года назад купил себе beelink mini s - производительности и памяти хватало за глаза. В итоге от производителя никаких обновлений firmware с момента анонса. Так ещё столкнулся с проблемой, когда ПК не стартует, если подключено несколько usb устройств с низким энергопотреблением и ethernet. Поэтому заменил на неттоп от lenovo.
Вот я тоже понял, что китайцы могут быть нестабильны по целому ряду факторов
Из неттопов смотрел в сторону Dell Optiplex micro, благо у родителей в качестве домашней машины трудится такой старший в линейке 7050 с процессором серии T, почти бесшумный, да еще с неким подобием IPMI через Mesh Commander (vPro), что удобно для оказания удаленной помощи. У него до сих пор периодически фирмварь обновляется штатными убунтовскими методами. Но в итоге для микросервера пришел к MSI на холодных N и U процессорах (писал в комменте выше)
Идеальный вариант для дома и soho (есть варианты не только с Intel N100):
P.s. Всем у кого vmware esxi и кто хочет, но боится переходить на proxmox ve, появился официальный плагин для легкой миграции с вмваре - https://forum.proxmox.com/threads/new-import-wizard-available-for-migrating-vmware-esxi-based-virtual-machines.144023/
P.p.s. Заметки по работе с proxmox, zfs, pfsense etc - https://forum.netgate.com/topic/163435/proxmox-ceph-zfs-pfsense-и-все-все-все-часть-2/
Цилиндрообразный корпус не располагает к стекированию + заявлены проблемы с охлаждением. Я лучше несколько HP Microserver Gen8 возьму, цена такая же - плюшек больше.
Берите G8 - древнее (Celeron G1610T - 2012 год, Xeon Е3-1220 v2 - 2012 год, 69 W) , места занимает в 2 раза больше, жрет прилично, шумит, на авито Б/У - 30к+ руб. "Отличный" выбор.
Гуглите сколько N100 "кушает" + ddr5 + свежий igpu, к-ый можно использовать для того же jellyfin.
Мне глубоко фиолетово, сколько кушает ваш N100 для ноутбучного сегмента, Gen8 c E3-1265v2 (TDP 45Вт, если что) позволяет заюзать 32Гб двухканальной памяти против вашей 16Гб одноканальной плюс 5 SATA-интерфейсов плюс слот PCI-E, не считая "плюшки" в виде LILO. При этом производительность практически идентичная. На NVME тоже пофиг, потому как в случае БП восстановить данные вы с неё с высокой вероятностью не сможете...
У меня на этой железке 2 (ДВА) m2 + 2 (ДВА) обычных hdd. На 2 m2 в zfs raid1 установлен pve, 2 обычных hdd тоже собраны в программный raid1- на этот массив сливаются бэкапы ВМ. И мне глубоко монописуально на БП.
Производительность ddr5 СУЩЕСТВЕННО выше ddr3. Даже если ddr5 в одноканале.
ILO (без лишней L)
Повторюсь, что вариант выше есть не только с N100, но и с AMD Ryzen 7 5700U, к-ый точно умеет в 2 канала ОЗУ и точно существенно мощнее древнего E3-1265v2.
P.s. Мне тоже нравится исполнение HP Microserver Gen8, но в его корпус свежее железо не воткнешь.
Домашняя виртуальная лаборатория. Готовим собственный сервер виртуализации для обучения. 2. Выбираем сервер