Comments 63
Любопытный проект у вас получается. Чем-то напоминает проекты модульных открытых ноутбуков MNT Reform и Framework.
Но не видно в какие вычислительные нагрузки вы целитесь. Кто/что будет потребителем ваших устройств? Какие задачи, какой софт окажется в выигрыше от применения вашего открытого решения? В чем сила? :)
Основной сектор - это SOHO (Small Office Home Office), там где нет высоких нагрузок, процессоры ARM, которые мы хотим испоьзовать ориентированы на встраиваемые приложения, в которых баланс потребление / производительность склоняется больше в сторону малого потребления. Если сравнить TDP x86 c нашими ARM, то это как минимум порядок разницы в потреблении. Софт -- Armbian + openmediavault. Сила в правде. Собираем NAS как лего -- что хотим, конфигурацию дисков, устройства внешние, адаптеры сетевые, камеры, дисплеи, то и собираем. Не забываем про корпус, в готовых NAS с корпусом уже ничего не сделать, а тут будет куда развернуться.
Интересно увидеть потребление системы на ARM и x86 в простое и под нагрузкой. На сколько существенной будет разница?
Никогда не понимал всей этой идеи с NAS. Что кроме габаритов мешает превратить в NAS обычный компьютер, и не иметь проблем с ремонтом в дальнейшем?
Так NAS тоже компьютер, но для специфических задач
Для каких? Вот я собрал компьютер с несколькими жесткими дисками и накатил OMV. В чем преимущество NAS?
Вот у меня валяется несколько лет NAS на miniITX. После того как блок питания сгорел, я просто не нашел подходящий по размерам. Я собирал его так как думал, что он будет менее шумным и можно будет раздавать торрент ночами. Но на практике - малогабаритный корпус требует лучшее охлаждение, так что вентиляторы на максимуме работают. Малый вес корпуса способствует усилению шума от вставленных в него жестких дисков, если он металлический или перегреву этих дисков если он пластиковый.
Вы используете компьютер как для игр, работы, общения, так и для OMV. NAS для игр вряд ли используют, ну разве что сервер для Майнкрафта поднять можно. Ну это как каклькулятор карманный и ноутбук сравнивать.
Нет. У меня есть NAS. Просто это обычный комп с Linux и двумя дисками в RAID1(если нужно я могу туда добавить еще 3-5 дисков и развернуть RAIDZ). Я не вижу смысла в разработке под эти цели специального железа, если оно не имеет преимуществ перед обычным компом.
При этом я могу обновлять свой "NAS" после каждого обновления своего компьютера просто переставляя туда устаревшее оборудование.
Так я и не спорю, вариантов NAS бесчетное множество. Каждый делает так как хочет. Смысл открытой платформы в том, что можно будет позаимствовать какое-нибудь решение из готового пула. Ну а дальше, вы берете и собираете то , что понравилось.
Сейчас я склоняюсь к тому, что неплохим решением для домашнего NAS будет просто старый ноутбук у которого вместо DVD установлен дополнительный жесткий диск. Шум минимальный. Производительность зависит от от железа. Знаю место где за 20-25 т. р. 1000 можно купить б/у Lenovo c i5 3-5 поколения и 4-8 гигабайтами оперативной памяти.
На Avito конечно же можно накопать и нечно совсем дешевое, но уникальное, но для этого нужно разбираться в железе (что я умею) и знать условия эксплуатации (что конечно потребует разборку ноутбука).
Давайте начнём издалека. Основные требования к NAS (по крайней мере мои) это доступность и безотказность работы большого дискового хранилища в режиме работы 24/7.
Строя своё файловое хранилище на старом ноутбуке мы получаем:
1) Непонятный остаточный ресурс железа.
2) Работу ноутбука за пределами проектных режимов (а режим работы 24/7 выходит за типовое использование любого ноутбука).
3) Плохой теплосъём из-за высокой плотности компоновки.
4) Ограничение по объёму жёстких дисков в 1-2 терабайта.
То есть ни по одному из пунктов ноутбук не соответствует моим требованиям к NAS.
Какой вообще смысл тратить на это, кхм, изделие 25 тысяч рублей, если можно в ту же сумму собрать системник на miniitx в стандартном корпусе с 3,5 дюймовыми корзинами и ещё денег на простенький ИБП останется?
Ключевые отличия NAS'а от "Файлопомойки из обычного компа" - это софт и железо, изначально заточенное только под задачи файлохранилища.
Если посмотреть в сторону тогоже Synology - Там и удобный интерфейс имеется и проц имеет аппаратные SATA порты, либо выделенный RAID контроллер, и габариты самой "коробки" весьма скромные, и вентиляторы тихие и прочие радости... За весьма нескромный бюджет :(
* Речь про домашний и офисный сегмент.
Лично я купил себе на алике плату с Celeron'ом на борту (N5105) и 6ю SATA портами, запилил под это дело корпус, распечатанный на 3D принтере, понапихал туда SSD дисков (2,5") и получил вообще бесшумный NAS, весьма скромных размеров.
А главное - туда без проблем поставил ProxMox, внутри которого уже разворачивал все остальные сервисы, какие нужны.
Вся эта радость, с учётом 4х SSD дисков "Кушает" 10-15 ватт в простое и до 80 в пике.
Все эти аппаратные RAID, зачем они вообще нужны. Контроллер сдох и привет, без него RAID можно и не восстановить, даже если такой же найти. Аппаратные контроллеры себе в мозги что то пишут, если эту инфу посеять, то RAID можно смело в топку. Вот софтовый это другое дело, главное за температурой следить и диски менять периодически, желателльно все и сразу.
Часто все же можно восстановить. Например linux умеет читать структуру intel soft-raid. Кроме того, контроллеры одного производителя умеют подхватывать raid созданный до них. Часто RAID на контроллерах Adaptec можно считать на другом контроллере Adaptec и тоже самое с Intel. Иногда мне помогало создание нового массива поверх старого на том же контроллере. Но конечно аппаратный RAID проигрывает по надежности программному, если нет backup unit(флэш или батарейка, или и то и другое).
А вобще дешевые аппаратные RAID это от бедности. Ну не умеет Windows программный RAID нормально до сих пор. Потому приходится извращаться. Я вот в свое время навозившись с windows и intel soft-raid или intel RAID аппаратный, но за 1000$, понял что для отказоустойчивости проще XEN/KVM + linux RAID, а уже внутри виртуальной машины windows. И по производительности небольшой проигрыш и по времени восстановления в 10 раз меньше чем первое решение.
Я не спорю, все можно восстановить при желании, но аппаратный рэйд для нашего случая не вариант. В принципе есть бюджетные контроллеры, даже на USB3.2, которые умеют создавать RAID 0,1 из двух дисков, но нам это не подходит, по причине ненадежности такого решения.
Да, у меня на одном старом NAS оказался программный массив. При переносе дисков на новый сервер Linux без проблем прочитал полную структуру и потом представил как один массив. Несмотря на то, что они сидели на отдельных SATA-контроллерах. Потом OMV 6 каким-то образом всё испортил, перестав воспринимать как один массив. Но диски остались читаемыми, что спокойно и перетащил данные.
У вас какие-то странные сведения об аппаратном рейде. Ничего они себе в мозги не пишут. Если у вас умирает, условный контроллер от HP, то ваши действия будут:
1) Взять новый контроллер того же поколения или новее
2) Воткнуть в него диски
Всё, дальше он сам прекрасно найдёт этот массив.
Если посмотреть в сторону тогоже Synology - Там и удобный интерфейс
имеется и проц имеет аппаратные SATA порты, либо выделенный RAID
контроллер, и габариты самой "коробки" весьма скромные, и вентиляторы
тихие и прочие радости...
А потом Synology забил на обновления или вовсе развалился и у вас в руках неподдерживаемая железка. И что-то мне подсказывает, что "вентиляторы тихие", это если производительность от NAS не ожидается или в ущерб ресурсу HDD.
Вы видимо не пользовались продукцией Synology. Лично у меня (и не только) от неё только положительные впечатления.
А потом Synology забил на обновления или вовсе развалился и у вас в руках неподдерживаемая железка .
А если Intel / AMD / Microsoft / Apple / etc развалились, а Илон Маск улетел на Марс?
Не, ну Китай то останется. Не знаю как в других отраслях, но по микроэлектронике с ними можно договориться. Сейчас практически все дистрибьютеры переключились на Китайский рынок чипов.
А я и не топил за вендорлок. Если у меня в NAS Debian, и уцелели хотя бы жесткие диски, то скорее всего я в кратчайшие сроки подниму его на любом железе, если оно архитектурой не отличается. Посмотрим как вы будете выковыривать из Synology скажем пользователей с паролями. Хорошо, есть бэкап, но где гарантия что данная модель еще выпускается?
Ситуации бывают разные. Однажды мне пришлось восстанавливать оборудование после пожара. Мы буквально мыли материнские платы от копоти. Еще раз мне приносили ноутбук который в автокатастрофе побывал. А еще у меня лет пять работал сервак intel у которого корпус не закрывался так как штатный блок питания сгорел и пришлось прилаживать ATX, так как модель давно была снята с производства.
В моем понимании, чем проще и доступнее найти деталь для ремонта, просто заглянув в ближайший компьютерный магазин, тем лучше. Пример, однажды 31 декабря у меня сдох блок питания в домашней файлопомойке и я рисковал остаться на новый год без коллекции музыки и фильмов, ничего вопрос решил просто сбегав в ближайший магазин. Вот такой в моем понимании должен быт NAS. Если он при этом еще не будет жрать много энергии, то это в плюс, но не в ущерб производительности.
В любом случае вы получите систему, которую кто-то спроектировал не исходя из ваших требований.
Проще продать компактный nas. И он будет именно таковым. То, что в условиях серверной с +18 вполне рабоче в условиях home превращается в компактную печку для hdd.
Компактнее и красивее, когда фильтров на притоке нету. И вот уже через полгода вы выгребаете тонны пыли из своего наса.
Итд итп.
Мне достался не синоложи, но вполне брендовые нас. Развернул. Поставил. Залил данные. Работаю. Обращаю внимание на то, что веб интерфейс еле живой. Загрузка cpu 100%. Копаю. Копаю. Копаю. Логинюсь в консоль. Разбираюсь.
Результат: даже если отключить все галки в чудесном веб интерфейсе этот кусок пропиетарного говна продолжает создавать какие-то иконки для эпл тв что-ли, фиг знает. Он создаёт миллионы файлов. Засирает диск, сжирает производительность, вырабатывает ресурс хардов. Он месяц их насиловал в попытках все это сделать. К счастью, из консоли удалось это все убить. Зачем мне веб интерфейс, если он работает так, как описано сверху ?
Тысячу раз уже пожалел, что с этим всем связался(досталась даром железка). Былоб дешевле купить новое железо стандартного размера и на нем все поднять. Времени куча просрано и нет никакой уверенности в будущем...
А не думали над ethernet 10Gb для NAS это очень актуально сейчас?
Тут поддерживаю. Раз уж вы начали тестирование, обязательно нужно рассмотреть 10Gbps сеть. Т.к.ставить NVMe на гигабитную сеть - это верх расточительства.
+Опция m.2 WiFi для любителей протатива.
+Опция mini-pci разъема для WiFi для бережливых
+Опция 10 Gbps хаба, или как минимум вариант 1х10Gbps + 1Gbps hub гнезд на 5-8. Можно навесить опцию роутера, тогда минимум 3 порта ethernet 10 +1+1(отдельный аплинк) или даже 10+1+0.1(отдельный аплинк)
+Опция pci-e хаба для подключения нескольких NVMe, пусть даже с софтовым зеркалом.
Насчет 10G надо считать, потому что бюджет железа чую подскочет. Еще непонятно как с производительностью проца будет. Тут все таки процы для встройки.
WiFi на USB3 планировали.
PCIe switch в планах был, но это тоже тема не очень чтобы простая. Броадком теперь нам коммутаторы PCIe не отгружает, да и раньше только под большие проекты соглашались.
10G пока дорого. Осваиваем 2.5G, с ним проблем вроде нет.
Можно оставить задел на переход. Я так и сделал. Сейчас у меня сервер имеет соединение 2.5G. Осталось только сетевой адаптер подключить. Коммутатор уже умеет в 10G.
Прикинул варианты.
Подключать сетевой контроллер 10G на PCIe в принципе можно, но это минимум 2 лэйна надо занимать, а они у нас все посчитаны.
Самый подходящий - это USB3.2 (Gen2) в PCIe x2, далее ставим сетевой контроллер 10G. Только это не бюджетно.
Ну т.е. сделать можно, но это прям для особо продвинутых случаев. Мы пока ориентируемся на начальные / базовые конфигурации железа.
Именно поэтому я и выбрал вариант на AMD с 35 Вт потребления. Можно менять конфигурацию железа по мере необходимости. Поэтому может спокойно вывозить все 15 дисков, не считая NVMe накопителей. (В реальности может больше, просто корпус может вместить только 15 дисков). Ещё на полновесный 10G останется. Там главные 16 линий свободны. Пока работает на встройке, которая есть на материнской плате.
Сидел некоторое время на Raspberry Pi 4. Узким местом оказался USB 3.0 и Ethernet. Если перекидывать файлы с диска на диск, которые сидят на одном USB (а там ещё торрент крутится и на приставке фильм крутится), то получается реальный напряг с этим. Ещё пахали вместе с ним ещё тройка NAS-серверов на базе ARM и PowerPC. Поэтому и было главной задачей собрать все диски этих серверов в одном сервере. Слишком много шума от них.
P.S. Я смотрю, вы используете OMV 6 в качестве ПО. С ним надо быть осторожным в плане обновлений. Обязательно что-нибудь отвалится. У меня так доменное имя сервера во всех машинах не отображается (даже на Андроидах). Только IP-адрес показывает. Только Windows 10 через некоторое время может достучаться до имени. А в начале всё работало нормально.
Не, мы пашем целенаправленно в сторону ARM процессоров для встройки, для устройств типа NAS это самое то. Хотя RPi тоже ARM, но насколько я помню у него всего лишь один лэйн PCIe и тот Gen2. Так что по сравнению с этим отличным процессором, те варианты чипов, на которые мы делаем ставку, обладают существенно лучшими возможностями. Как минимум это 4 лэйна PCIe Gen2, а для процессора в прототипах - 3 комбинированных лэйна с возможностью PCIe Gen2 и отдельный PCIe Gen3 Root c 4 лэйнами да в добавок с поддержкой разделения. Так что в этом плане мы ничем особым не ограничены.
Кстати, что касается разделения, то не все чипсеты x86 его поддерживают. Так что в этом плане у нас есть отличное преимущество в плане расширения возможностей PCIe.
Ну если у вас устройство покрывает ваши задачи, то почему бы и нет. Я просто исходил из того, что могу так или иначе применить сервер для ряда задач (если изменятся потребности) в будущем и могу использовать как можно больше дисков, чтобы не иметь кучу мелких серверов, коих у меня расплодилось. На сервере тоже используются платы расширения (на базе ASM1166). Главное, чтобы они могли обеспечить гарантированную работу одновременно с двумя дисками без снижения скорости, как это было на малинке с USB 3.0, где скорость падала. Ваш вариант для меня слабоват в плане количества доступных линий PCIe в процессоре. Если было бы 8 или 16 линий, то можно было бы рассмотреть. А поскольку ни один ARM процессор не предложил вариант с таким количеством линий, выбор для меня был очевидным.
если вы делает "модульный" СОХО, то опять как я писал - надо "много" PCI-E (x8 для 2й версии, и 4 для 3й), так как в этом случаи как грязи дешевых "серверных" контроллеров на 10 гигабит, да они SFP в большенстве случаев, но это как правило в пределах офиса не проблемаа, например "народный" свия на 10 гига с 4мя (а больше врядли для СОХО надо) портами на 10 гига стоит примерно 200 баксов (он еще и управляемый) речь про микротик, у меня дома 2 таких, а карточки SFP стоят сеголня дешевели 2.5 гиговых часто...
и если в НАСе будет нормальный кеш (на nVME), и 10 гига - то его можно использовать даже для нескольких графиков (или как там те кто на фотошопе жмут называются) - одновременно...
ps. есть очень "компактные" всего на х4 (3й версии писиай) контроллеры - Mellanox ConnectX-3 - я как раз недавно с 2ки перешел, они еще и на 5 ватт меньше жрут чем 2й (который таки х8)
SFP+ на 10G - это оптика и она дешевая это да. Только кабель придется по квартире тащить и варить LC, потому как готовых патч кордов не хватит по длине. На 10G чтобы медь - стоит уже недешево, да и кабель, обжим нужен очень специфичный, плюс карточку в комп. Ну это реально очень избранному кругу лиц надо
во первых это не только оптика, есть готовые кабели DAC медные (кажется до 10 метров) , а так же AOC (отические до 100 кажись) , да их не протянешь по стене (проблемней) но часто НАС домашний или СОХО просто стоит на столе рядом с компом
обжим не нужен - естть кача кабелей готовых
всё таки кому не надо - просто купять WD Live сотоварищи и не будут заморачиватся...
опять ИМХО, рынок наводнен дешевыми НАСами на АРМах, или "бизнес" НАСами на тех же АРМах или х86... а вот в промежутке ничего нет
вот на этот промежутак я бы на вашем месте и расчитывал
мы не говорим про энтерпрайз
по нашим ценам (делим на 3.6 что бы получить в баксах, и там есть 17% НДС, который СОХО возвращает из налогов - просто что бы порядок цен поянть)
есть куча НАСов от 800 до 2000-2500 тысяч (это от 200 примерно до 700 баксов), все эти НАСы 4 или 2 или даже 1 диск, без 10 гигабитов в 90% случаев, в лучшем случаи 2.5 гига...
следубщая ступенька это 6000 (самый дешманский) в чаще 8000 на 6+ дисков, или 8 дисков, и многие уже рековые... (в баксах 1500-2200)
и получается что чего-то с 10 гигабитами, а что более важно с 2й избыточностью (RAID6/RADIZ2) в диапазоне 1000-2000 баксов просто нет
между тем собрать НАС в комп из новых деталей с (даже с хотсвопом) хотсвопом на 1500 баксов и на 8 дисков и на 10 гига - вообще нет проблем, а вот готового и модульного - нету пркатически
зы. цены без учета дисков !!!
ИМХО разумеется все что выше (и опять - АРМ сюда ну вообще не вписывается с его органичениями - его удел 1-2 диска, с натяжкой 4 - где правят бал "гиганты" типа вестерна сигейта и т.п с их 4 дисковыми коробками
А можно к тестам добавить скорость чтения/записи с windows компа через samba?
Я чаще всего упираюсь именно в производительность samba server, а не в sata. И как тут себя поведёт arm не очень понятно.
Посмотрите на https://www.kickstarter.com/projects/storaxa/fully-customizable-home-cloud-storage-with-remote-access-nas/description
В частности вот их решения в контексте PCI-E лиинй. https://drive.google.com/drive/folders/1Crz6dTwEf3t_Sp23xlDgZDfYvguz8Zo8
Немаловажным так же считаю рассмотреть возможность поддержки ECC памяти, раз уж мы говорим о системе хранения данных, то bit flips могут быть опасны.
Ага, очень близкие решения. Спасибо за линк. Тоже PCIe / SATA Bridge для SATA дисков и коммутатор PCIe на ASM2812 для NVME массива. Как раз вчера на asmedia смотрел. Хотя по ссылке x86, но с точки зрения подключения дисков у нас очень похожая архитектура. Ryzen 7 у них, без поддержки ECC. Насколько я знаю только Pro версия поддерживает ECC.
Имхо:
SATA Multiplier - тупик.
ARM - тупик.
СЕТЬ меньше 10 гига - тупик.
почему ? - да потому что этого всего как грязи уже. кому нежен "НАС - включил и забыл" , возьмут готовый от того же Вестерна или еще кого и никакая модульность ему не нужна.
кому нужна модульность - соберут на любом писюке НАС и добавят туда что захотят...
я собрал много НАСов на писюках
чего мне не хватает "в модульности" это обычных линий PCI-E
в идеале НАС должен иметь где-то 3 штуки х8 (минимум 2х8+4) если у него нет встроенных контроллеров типа 10 гига и/или SAS...
далее - SATA кабели - дичь дикая, нет для двух дисков норм, но больше - желательно тот же SATA выводить через SFF-8087 или MiniSAS конектор
на а SAS2008/3008 - контроллеров как грязи и в том числе "маленьких" на 1 порт...
и кстати вот они маштабируются вообще без проблем (как USB) в отлисии от SATA
питание - многие диски умею не запускатся при отсутсвии 11го пина на питании (не все, да, но многие) - потому у SATA Power 11й пин должен висеть в воздухе
ну и наконец самая боль - корпус... увы пока даже китайцам не удалось сделать идеальный (для меня корпус):
MicroATX c 3мя PCI-E , с обычным блоком питания и с хотсвопами (можно даже не хот свопы а по типпу новых MiniProliant - оно не хотсвоп (хотя дурнуть можно), на зато занимает меньше места так как без корзин....
Спасибо, кстати, за конструктивную критику.
Модульность PCIe - это как раз то, за что мы будем бороться. Тем более что чипы, на которые мы делаем ставку, обладают возможностью разделять общую шину на несколько соединений.
Не очень понятно зачем NAS такие широкие шины PCIe как x8. В варианте PCIe / SATA bridge как правило используется только два лэйна. Если Root не поддерживает bifurcation, то при подключении к любой шине контроллера, который использует только два лэйна, все остальные лэйны окажутся бесполезными.
Что касается корпуса, тут я с вами частично соглашусь, хотя Jonsbo предлагает довольно удачные корпуса для NAS на 5 дисков. Они хорошо смотрятся и система охлаждения у них продумана.
Хот своп - это обязательная фича в нашем концепте. В добавок мы будем еще размещать на отдельном бэкплейне для подключения дисков спин контроллер. Кстати говоря, многие так делают.
Насчет подключеня бэкплейна, на мой взгляд лучше SFF-8643 ничего не придумать. Почему? - потому как дешево и сердито.
Еще раз напомню - у меня большой опыт именно самосбора, отсюда у меня разумеется есть перекосы:
зачем х8 ? затем что в самосборе как правило используется б/у серверное оборудование и самая дешевизна это SAS2008 и Mellanox Connectx-2, они на PCI-E v2 и разумеется их можно воткнуть в х4 и даже х1 (я пробовал - работает) - но физически они х8 а если делать слоты х4 они не влезут
так что поправочка - физически слоты должны быть х8... для совместимости и модульности, линий конечно может быть и 4 и 1...
насчет хот-свопа:
хот-своп вещь хорошая, но удорожает (покрайней мере в самосборе) - есть, как я писал выше, полухотсвоп - как на MiniProliante - для SOHO где есть какой-то аникейщик думаю это не проблемма - всё таки диски не часто меняются... но опять же всё от цены зависит...
насчет корпусов:
SOHO и домашнии НАСы имеют один нюанс, мы счас не рассматриваем 2дисковые варианты с зеркалом:
этот нюанс заключается в том, что в большенстве случаев "на полочке не лижит запасной диск" я уже не говорю про хот-спаре, именно из-за цены... потому надо четку определится с избыточностью, имхо опять же для ценных данных (бэкап это конечно хорошо, но в 90+ % случаев НАСы никто не бэкапит) и если НАС хотя бы на 4 диска, то это скорее всего RAD5/RAIDZ1 , и при вылете диска остается страйп... потому корпус на 5 дисков не туда не сюда, для "большого" домашнего/СОХО НАСа , имхо это 6 дисков минимум (4+2) или больше...
и вот тут с корпусами проблемаа....
а так же проблемма с бэкпленом - так как "SAS конекторы" это 4 диска или 8, а 6 как-то по середине проваливается
в конце фотка полу-хотсвопа на микросервере g10 кажется... (только что сфоткал, диск просто для примера - IDE туда не ставится :) )
Согласен насчет RAID6 как минимум, т.е. 5 дисков должно бы быть.
Насчет SAS не уверен, потому что у нас серийная тема и рынок другой, поэтому, только SATA или NVME для быстрой обработки всяких боольших файлов.
Опять же понятие кастомной сборки может быть разным. Одно дело собирать бюджетно из старого железа класса явно не SOHO, другое, типа как Лего, собирается из красивых готовых модулей (для примера).
Судя по фото это вроде блэйда корпус, прямо энтерпрайз, тут явно речь идет о спец заказах, а не для дома - для семьи.
Насчет 11 пина, на всех пинаутах, которые я встречал, про это ничего не говорится. Это земля вроде как. Нашел только вот такое. Странное объяснение. Надо будет разобраться, какие еще варианты кроме земли могут быть.
Про одиннадцатый тоже ничего не встречал. Третий — да, может доставлять проблемы, если накопитель поддерживает SATA 3.3, а блок питания нет.
там такое дело, энетрпрайз диски просто не обращают внимания (те что проверял) - есть земля на 11 SATA-Power или нет...
домашнии (не все, разумеется - тут как повезет), в случаи если есть земля, при подачи питания начинают сразу крутится, в случаи если там "воздух" - они ждут инициализация SATA (дальше зависит от контроллера, например SAS может поочередно "включать" порты, на материнках в большенстве случаев инициализация происходит сразу)
например мои 12 тошиб умею и после выкуса (я выкусывал на разветвителе) 11го пина запускатся по очереди (через SAS контроллер) и если с 11м пином при запуске потребление в пике 400 ватт почти, то после откуса - не больше 150-170 (учитывая что таки 4 из 12 дисков, подключены к матери с стартуют сразу, зато оставшиеся 8 я настроил парами через каждые 10 секунд, но это вызывает задержку в 40 секунд при запуске)
зы. так что если делать бэкплейн - лучше сразу выкусывать (или в воздухе подвешивать) - 11 пин, для части дисков ничего не изменится, зато некоторые можно будеи крутить по очереди...
зы. я не знаю или сдесь можно ссылки давать на стороннии ресурсы, в любом случаи на хоботе в 15й серии про самопальные НАСы мой пост от 6го январа 20го года - там и картинки есть побольше
Отличное исследование. Мало кто задумывается об одновременном запуске дисков. Мы как-то мерили ток запуска у разных дисков. Один из WD потреблял порядка 2.5А по 12В в пике при включении, при номинальном 0.4А. Поэтому, спин контроллер на бэкплейне дело нужное.
Смотрите, мой НАС на 12 дисков на i5-6500/64GB-DDR3 + SAS2008:
в момент стартра (без последовательной раскрутки дисков) - потребляет 400 ватт (значит нужен блок питания минимум на 500)
в момент старта с последовательной раскруткой - 150-170
в момент скраба (когда все диски крытятся с нагрузкой) не больше 190-200
и того блок питания условно достаточен 250 ватт
но есть нюанс!!! мои диски да умеют по 11 пину не запускатся сразу...
а вот что воткнет пользователь - никто не знает и он сам не знает, так что сэкономить не получится и на условыне 12 дисков всё равное придется стовить блок на 500+ ватт, даже если всегда будет меньше 200...
так что вот....
смотреть думаю надо не на разъем питания а на диск (я так понимаю на части дисков вообще не используется, на часте лампочкой мигает, а на части таки за раскрутку отвечает)
Из того что уже есть на рынке:
CWWK nas board, их там две, на базе n6005 и j6413
От них же есть готовое решение AIO-T6
Ещё есть одноплатники от hardkernel odroid. У них есть решения как на arm, так и на x86
В целом ниша интересная конечно, но конкурировать придется например с terramaster f4-423
За ссылки спасибо, всегда приятно посмотреть на готовые решения.
Не вижу проблем с конкуренцией, так как это рынок готовых решений. Чисто пошел и купил.
С другой стороны купить нечто готовое и пересобрать его для себя вряд ли кто этим будет заниматься. Такому проще поискать открытые проекты, посмотреть на разные варианты и собрать кастомный дивайс. Вот для таких мы и собираемся двигать наш проект.
после прочтения новых каметариев и ваших ответов:
мое видение "модульного" НАСа
сеть 2.5 гигабита - тут два варианта либо карточкой в PCI-E v3. x4 - что бы можно было заменить при надобности на 10 гига, либо всроенная но свободный PCI-E для расширения.
возможность добавить кеш (для систем где это влияет типа ZFS) - как в ввиде дополнительной памяти, так и в виде дисков SSD/nVME (имхо сегодня проще набирать nVME - не надо питания и прочих кабелей, но опять же PCI-E (насколько я знаю диск nVME должен завестить даже на 1й линии ? - и для кеша можно сделать 2-4 гнезда х1.
добавление дисков - самоый дешевый и быстрый (в плане скорости) способ - внешеяя коробка , подкючаемая через SAS (отсюда минимум еще 1 слот х4 для подключения дополнительных дисков.
вот это по мне модульность
(у меня дома именно так и сделано - только это комп, но в нем PCI-E v3 (x8+x8+x4)
в х4 стоит 10 гига сетка
в х8 стоит SAS (в моему случаи 12 дисков, но например если дисков 4-6-8 то многи платы уже имею столько САТА
второй х8 счас свободен, но в там раньше стоял еще один SAS с внешними SFF-8088
если мне понадобится еще больше дисков - то я просто подключу дополнительную коробку с дисками по SAS кабелю (даже старый 2й версии пропускает 24 гигабита (3 гигабайта, что много больше чем могут выдать диски или сетка 10 гига - потому никаких узких горлышек или нагрузки на проц как в случаи с ЮСБ или цен как крыло боинга в слуачи Танлерболт)
а если мне счас понадобится дополнительный кеш (то я могу воткнуть диски nVME в свободный слот м2 и еще 3 в совбодные х1 )
зы. кстати про внешнии коробки для дисков - многие НАСы имеют такую возможность, только там как правило стоимость этих коробок почти такая же как у целого НАСа...
а между тем там внтури (в моем случаи) кроме корпуса + блок питания + копеечный (даже если речь о SAS3) SAS Expander больше ничего нет (ну и кабели)
зы и еще именно SFP !!! так как он позволяет и длинные линки (оптика) и таки обыные CAT6-7 через джибик - вот это "модульность!" - у меня как раз счас например прошел апгейд линка 1 гига на 2.5 через SFP модули, а летом планирую кинуть оптику по крыше - будет 10 гига, только меняются модули ... если бы 8 лет назад я сразу кинул кабель CAT7 а не 5Е (но то была времянка) - то можно было бы просто купить сегодня модули SFP RJ45 на 10 гига и вот упгрейд сетки (так как у меня все свичи и карты SFP+ )
а то что вы собираете на АРМ платке в коробке - это очередной WD Live - туда сам пользователь толком ничего не добавит...
зы. еще вариант модульности, это кагда сам НАС (с памятю сеткой и кешами) в одном корпусе, а диски в другом подключаемые по SAS
тогда получается БАЗОВЫЙ НАС с возможностью расширения сетки, кешей, памяти, и отдельная на выбор коробка на 4-8-12 и т.д. дисков (ибо САС 512 или 1024 дисков умеет на 1 кабеле)
тут сам НАС может быть "очень компактный" а корбка с дисками по потребности (плюс их можно по цепочке через САС подключать, да и по умолчанию минимум 2 можно к одному контроллеру)
По поводу нашей коробки Arm платкой, почему это должнен быть аналог WD я так и не понял. У WD нет возможности кастомизации решений. У них уже готовые устройства. Мы предлагаем подойти к вопросу конструкции и системы так, чтообы можно было ставить разные модули, расширять функционал при необходимости. Не вижу даже проблем с SFP/SFP+, да даже SFP28, если это надо будет, то мы и это сможем предложить даже на базе той начальной несущей платы, о которой вы так просто говорите, что это WD.
Что касается внешней корзины дисков - вот это реально дельный совет. Только все таки мне кажется SFF-8643 лучше, ну или U.2 как на мамках.
я не очень понял что в концепции НАСа вы собираетесь расширять ?
НАС = сеть + диски . ВСЁ!
номальная сеть это 10 гигабит (условно 1280 мега в идеале) в дуплексе 2500
PCI-E v3 это 950 на линию - в теории должно хватить 2 линии (кажется он дуплексный) но карточки делают на 4 или 8 линий, отсюда выбор физического порта х8 (что бы себя не ограничивать выбором железок) хоть и с 4х линиями физичисками это минимум, но вдруг у человека валяется x8 двухголовая (у меня лежит) и ему 2 рабочии станции как раз надо подключить в офисе - вот и никаких свичей не надо, а карточка стои "2 копейки".... поэтому что бы НАС был не вещь в себе а модульный - надо PCI-E v2 x8
(иначе для самосборщиков комп выигравает)
далее - диски:
тут два варианта либо коробка с определенным набором дисков и тогда не надо никаких расширений контроллеров - хватит того что есть на борту
либо диски добавляются "модулями" полками как угодно.. (пусть и к тем базовым что можно засунуть в корпус)
в этом случаи опять модульность заключается в дешевом скоростном и не напряжном ,в отлиичии от USB, для процессора соеденении, мне такое известно только одно - SAS (есть еще тандерболд - но дорого)
и опять нужен PCI-E v2 х8 - (да заработает даже еа х1) - туда кстати при желании и тандерболд можно воткнуть (не знаю есть такие отдельными платами или нет) - но он 40 гигабит - и линий экспресса ему надо много
если нету этих двух портов PCI-E х8 (ну или хотя бы минимум х4 но 3й версии - открытми и свободными для х8) - не понятно что вы собираетесь там расширять по сравнениею с коробками WD Live
ок. есть м2 - для вайфай (спорный ворос в плане НАСа - но пусть будет) или кеша nVME....
зы. ну и для кешей на nVME дисках в идеале еще один х8 с бифуркацией на восемь х1 (это в идеале) - такого помоему не существует, куда можно было бы воткнуть 4-8 дисков nVME превартив НАС в будещем (когда 16 гига будет nvme копейки стоить :) ) во флеш версию или для кеша, там даже х1 хватит по скоротями - в сеть упрется)
Не вижу проблем, почему бы не поднять 2.5G на USB3.1. Выигрыш перед 1G точно есть, тем более, что для SOHO коммутаторы с 2.5G стоят недорого. Вариант с 10G уже тянет на PCIe, но как мне кажется, 2 лэйнов будет вполне достаточно, даже одного лэйна хватит учитывая не 100% загрузку.
Что касается самосборщиков со стажем, то для них наш проект может показаться незначительным, поскольку они привыкли к железу уровня энтерпрайз. Я не говорю про тех, которые NAS собирают на обычных компах.
Также и NVME не проблема поставить как системным диском, так и для кэша, хотя не очень понятно как кэш увеличит производительность системы.
USB довольно прожорлив до CPU...
я когда-то тестрировал ЮСБ свистки, но еще на гигабите, в одну сторону еще куда не шло, но паралельно в обе (если надо внутри НАСа перенеси/скопировать что-то) - мрак полный... надо будет как-нибудь потестить современные решения....
для самосборщиков со стажем (не хвастаясть типа меня, я конечно не фирмА, но штук 20+ НАСов собрал) - проект очень интересный именно раширяемостью... но если ее как таковой не будет кроме выбора какой одноплатник воткнуть, то ну такое себе...
кеши - это моя деформация из-за любви к ZFS (она тормозная без кешей или памяти по сравнению с другими ФС), во всяких других системах не знаю как, но в могу предположить что мелкие файлы рандомные на любой системе будут писатся/читатся намного быстрее чем напрямую на HDD (мы же видим это ускоренее при загрузки винды - какой там объем грузится, один гига наверное еле наберется, ну два! - что его стоит с HDD линейно считать - 5-10 секунд, но винда грузится минутами без SSD)
Начет линий писиай экспрес - да в большенстве случаев скорости хватит и 1 линии (3й версии) но как только начнешь их дробить всякими мультиплексторами и паралельно использовать - начнутся тормоза...
Я думаю, что пищи для ума достаточно. Мы сейчас пилим несущую плату и параллельно обсуждаем модуль с ECC памятью.
Из того, что я для себя понял из обсуждения - это наличие хорошего набора PCIe шин для расширяемости системы в плане сеток и подключение дисков с точки зрения модульного решения, возможно даже отдельный модуль с корзиной дисков.
Реально очень полезная беседа получилась, хорошо, что сейчас, так как можно сразу заложить некую базу.
Удачи ребят, если чем смогу быть полезен (мало ли какая идея бредовая понадобится ;) ) - https://t.me/megsuser
Разработка NAS — цели и этапы