Comments 48
ZFS чем не катит? о_0
ZFS это локальная файловая система. Мне же нужно кластерное хранилище, распределённое по большому кол-ву серверов, а в будущем ещё и географическая репликация. Читайте внимательнее текст пожайлуста.
К тому же нормального порта ZFS под Linux ещё толком нету.
К тому же нормального порта ZFS под Linux ещё толком нету.
используйте freebsd :)
совет из разряда медвежих
да, зфс там +
но по сабжу, под фряху становится только кода и та не очень красиво работает
ну есть еще извраты с геом гейт + миррор
а так-же сообщение о том, что весной планируется зарелизить проект HAST (high avail. storage)
так шо, если нужно хоть что-то сделать по сабжу на базе бесплатного опенсорса — только в туксах
да, зфс там +
но по сабжу, под фряху становится только кода и та не очень красиво работает
ну есть еще извраты с геом гейт + миррор
а так-же сообщение о том, что весной планируется зарелизить проект HAST (high avail. storage)
так шо, если нужно хоть что-то сделать по сабжу на базе бесплатного опенсорса — только в туксах
точно. я заговорил о фряхе из-за zfs. Gate кстате не дает монтировать девайс нескольких точек.Точнее позволяет, но работает как-то криво — 2компа пишут 2 разных файла, куча ерроров и сервера не видят файлы записаные другим сервером. А ZFS — iSCSI не работает. Все хочу OpenSolaris поковырять.
в текущей реализации гейта нет мастер-мастер реплики, только мастер-слейв
слышал, что в ХАСТе хотят м-м
а так-же в стрекозе — хаммер, уже долго пытаются м-м заимплементить
можно покрутить иСказю, в портах есть нетБсдовый порт демона иСкази, но не стабильно оно все
вобщем, в данный момент фрюха не готова под сторедж с подвыподвертом
слышал, что в ХАСТе хотят м-м
а так-же в стрекозе — хаммер, уже долго пытаются м-м заимплементить
можно покрутить иСказю, в портах есть нетБсдовый порт демона иСкази, но не стабильно оно все
вобщем, в данный момент фрюха не готова под сторедж с подвыподвертом
iSCSI я имел ввиду реализация прямо в zfs как в солярке (кстате nfs работает на ура). Думал стрекоза активнее развивается, они же ее на HL вроде крутили. Фряха к облачному и распределенному пока не тянется, чисто standalone или распределение задач/демонов.
p.s.
есть еще вроде Xsan, но это маковская штука и ничего кроме рекламной инфе я не слышал.
p.s.
есть еще вроде Xsan, но это маковская штука и ничего кроме рекламной инфе я не слышал.
Когда начинаешь строить кластер, то знаешь обычно на базе чего ты это делаешь и почему. FreeBSD не годится, под него такие вещи не адаптируют как правило, в основном всё это делают под Linux, т.к. корпоративный сектор работает именно с линуксом. Да и многие специфичные вещи если и работают на FreeBSD, то в рамках стандартных вещей. Пробуешь прикрутить какой-нить мега-буст патч и упс — Linux only.
ZFS не кластерная распределённая сетевая файловая система. Она предназначена для других целей и в данном случае это неправильный инструмент для решения задачи.
ZFS не кластерная распределённая сетевая файловая система. Она предназначена для других целей и в данном случае это неправильный инструмент для решения задачи.
А люстру от сана упустил?
А можете по подробнее о ней? Вся цель топика именно в этом — узнать что есть ещё и узнать об опыте использования таких систем другими. Призываю к бурному обсуждению! :)
Во многом аналог Gluster FS, но постарше.
Сделал sun. Как развивается не знаю, давно не слежу.
www.google.ru/#hl=ru&source=hp&q=lustre+fs&lr=&aq=0&oq=lustre&fp=5f96a978f2abe2da
Сделал sun. Как развивается не знаю, давно не слежу.
www.google.ru/#hl=ru&source=hp&q=lustre+fs&lr=&aq=0&oq=lustre&fp=5f96a978f2abe2da
Мне тут хабр контекстно подсказал ответ на Ваш вопрос: Распределенная файловая система GFS (Google File System)
Google File System — это комерческая тайна Google. Её использование возможно только через API в Google Apps Engine, так что оно ну совсем не подходит. К тому же оно примерно тоже самое что и Handoop (Handoop создан по образу и подобию Google File System), а это уже фреймворк для интеграции в приложение, а не полноценная POSIX файловая система.
Ключевое слово Google.
«proprietary distributed file system developed by Google Inc. for its own use»
Можно не беспокоится
:-)
«proprietary distributed file system developed by Google Inc. for its own use»
Можно не беспокоится
:-)
Общался с создателем Гластера на рутконфе, позже применял на практике для одного музкального проекта как файлораздачу — там есть мод для апача, что очень удобно.
Однако его настройка — это отдельная пестня и местами матерная.
Однако его настройка — это отдельная пестня и местами матерная.
Песней не поделитесь? :) Ибо пока всё склоняется именно к GlusterFS.
Да, кстати. Как справлялось с раздачей файлов? Задержек сильных небыло при работе с файловой системой? Насколько она отзывчива?
Никаких проблем небыло — nginx же впереди апача ;)
:)))
У вас чисто хранилище с одним фронтэндом? :)
Я просто планирую полноценный хостинг, поетому там будет не только чтение, но и работа с самой FS: запись, удаление и.т.д.
У вас чисто хранилище с одним фронтэндом? :)
Я просто планирую полноценный хостинг, поетому там будет не только чтение, но и работа с самой FS: запись, удаление и.т.д.
что за бред :(
при чем тут nginx если использовали модуль для апача?
статику с гластера кто раздавал?
при чем тут nginx если использовали модуль для апача?
статику с гластера кто раздавал?
есть проблемы и баги в каждой версии вплоть до 3.0.4
давно уже нету мода для апача
Не смотрели в сторону PohmelFS?
Кстати Ceph ещё поглядите, тоже всё описанное умеет и тоже монтируется как обычная FS
GridFS? Работает поверх MongoDB, через FUSE.
отпишитесь, плз, с выводами: что выбрали, как установилось, как работало, на чем итп
Кстати, очень рекомендую автору топика обратить внимание на эту штуку: blog.backblaze.com/2009/09/01/petabytes-on-a-budget-how-to-build-cheap-cloud-storage/
Да, я читал об этих штуках. Возможно что какраз то что надо. Дальше нужно смотреть в сторону софта, т.к. это просто storage на JFS — строить полноценный кластер всёравно нужно нам. Но в любом случае спасибо что напомнили!
Бенчмарки бы по этой системе.
Лучше независимые.
1. С какой скоростью читает/пишет большие/мелкие файлы?
2. Как ведет себя при массовых конкурентных чтении/записи?
3. Не очень понятно про горячую замену винтов?
4. Где у нее botlenek, не получится ли так, что скорость отдачи будет существенно ниже необходимой для информации поместившейся в на дисках? Это уже конечно от задачи зависит, но лучше это понять до того, а не когда уже поздно :-(
5. Очень смущает наличие внутри Western Digital Caviar WD800BB 80GB 7200 RPM IDE Ultra ATA100 3.5″. Могу вас заверить, с вероятностью до 10% в течении года упадете по этому поводу.
Лучше независимые.
1. С какой скоростью читает/пишет большие/мелкие файлы?
2. Как ведет себя при массовых конкурентных чтении/записи?
3. Не очень понятно про горячую замену винтов?
4. Где у нее botlenek, не получится ли так, что скорость отдачи будет существенно ниже необходимой для информации поместившейся в на дисках? Это уже конечно от задачи зависит, но лучше это понять до того, а не когда уже поздно :-(
5. Очень смущает наличие внутри Western Digital Caviar WD800BB 80GB 7200 RPM IDE Ultra ATA100 3.5″. Могу вас заверить, с вероятностью до 10% в течении года упадете по этому поводу.
Вот выдержка из похожего исследования годовой давности (стиль вольный). Может чем-то поможет.
Хотя за год многое уже могло измениться.
В результате кстати ничего не выбрали, т.к. оказалось реально невостребованным по разным причинам.
Хотя за год многое уже могло измениться.
Поставленная задача — найти РФС, которая:
1. поддерживает прямой доступ к файлам (отдача мелких файлов веб сервером напрямую)
2. репликацию файлов для надежности (от 2 копий, настраиваемое)
3. простое включение и выключение дисков и серверов в/из кластера
4. автоматическую реконфигурацию кластера при изменении/сбое диска, сервера
5. собственное обеспечение для защиты от сбоев серверов с основными частыми…?
Поискал в инете и нашел много-много всяких разных РФС.
Выбрал те, которые:
* бесплатные (и если можно свободные)
* не требуют изменения OS для всей системы или специализированного оборудования
* за которые глаз зацепился или название показалось знакомым
1. Gluster www.gluster.org/
Индийская фигня.
Индийская потому, что все базовые программеры с индийскими именами,
а фигня потому что обеспечивает только часть нужной функциональности,
1.х вышла давно, а 2.0, которая и обеспечивает нужное, в состоянии беты.
2. Hadoop hadoop.apache.org/
интересная штука. Для _тысяч_ серверов с данными,
над которыми совершаются (здесь хочется написать надругательства) вычисления.
Для нашего обычного стораджа это слишком.
Причем приоритетными, что явно сказано в документации, считаются большие гигабайтные файлы.
Статику обрабатывать никак нельзя.
3. Gfarm datafarm.apgrid.org/document/
Рассчитана на вычислительные центры.
Судя по ФАКу — заброшена.
4. MogileFS www.danga.com/mogilefs/
Более-менее отвечает нашим запросам, НО
— изменяется урлы для доступа к файлам
— написана на перле, использует для хранения данных о кластере Mysql (что приводит к еще одной точке отказа?).
Кстати, ФС сервера являются простыми вебдав серверами. :)
5. Lustre wiki.lustre.org/index.php?title=Main_Page
Мега гигант. Встраивается в ядро, демоны являются модулями ядра,
патчат ext3 для улучшения производительности, несколько уровней кеширования и т.д.
Может, кстати, не слишком много. Например, похоже не позволяет:
— статику ( но вроде можно эмулировать. Судя по опубликованным цифрам скорости будет хватать.)
— восстановление дисков, т.к. встретил упоминание в доках, что предполагается запуск ФС поверх рейд-5
Также потребует дофигищи работы и серьезного иследования.
В результате кстати ничего не выбрали, т.к. оказалось реально невостребованным по разным причинам.
Sign up to leave a comment.
Поиск подходящей распределённой кластерной файловой системы