Comments 8
Без картинок?
Добавил схему.
За картинками вам нужно к andy_p сходить. Он 4 поста с фотографиями про LHC сделал.
За картинками вам нужно к andy_p сходить. Он 4 поста с фотографиями про LHC сделал.
А где вы взяли эту картинку? В реальности между потребителями данных устроена большая peer-to-peer сеть. Система сама распределяет, куда какие данные доставлять. В том числе, есть и горизонтальные пути на графе.
Ссылка на источник живет под картинкой.
У разных экспериментов разный подход к данным. LHCb, например, данные в Tier-2 вообще не хранит. А в ATLAS все поделено на регионы и каждый Tier-2 ходит исключительно к Tier-1 своего региона (у нас, пока, это Голландия). ALICE имеет действительно распределенное глобальное пространство, но подробностей, к сожалению, не знаю, так как с ними много не работал.
Горизонтальные трансферы — это реплицирование. Поскольку данные первичны и задачи могут прийти только туда где есть данные для них, а один вычислительный центр редко работает с одним экспериментом, важно что бы не было ситуации что некуда запускать задачи.
И сеть далеко не p2p. Трансфер всегда идет точка-точка. Данные разделены на блоки и такого что половина блока берется с одного сайта, а половина с другого не бывает (за Алису точно не скажу, поскольку они были первыми кто для установки софта на вычислительные узлы начал пользоваться торентами. Могли и к данным что-нибудь хитрое прикрутить, в плане алгоритмов).
У разных экспериментов разный подход к данным. LHCb, например, данные в Tier-2 вообще не хранит. А в ATLAS все поделено на регионы и каждый Tier-2 ходит исключительно к Tier-1 своего региона (у нас, пока, это Голландия). ALICE имеет действительно распределенное глобальное пространство, но подробностей, к сожалению, не знаю, так как с ними много не работал.
Горизонтальные трансферы — это реплицирование. Поскольку данные первичны и задачи могут прийти только туда где есть данные для них, а один вычислительный центр редко работает с одним экспериментом, важно что бы не было ситуации что некуда запускать задачи.
И сеть далеко не p2p. Трансфер всегда идет точка-точка. Данные разделены на блоки и такого что половина блока берется с одного сайта, а половина с другого не бывает (за Алису точно не скажу, поскольку они были первыми кто для установки софта на вычислительные узлы начал пользоваться торентами. Могли и к данным что-нибудь хитрое прикрутить, в плане алгоритмов).
Я подробностей тоже не знаю. Просто с одним из разработчиков системы доставки данных общался — он мне рассказывал на пальцах, как это всё работает. Про то, что институты заказывают данные, описывая на специальном языке, какие данные нужны, и куда их доставить. А система уже сама определяет, как это дешевле сделать — гнать, например, данные для американского института через Атлантику или запросить локально у другого института, если они там уже есть. В этом смысле, p2p. По поводу того, к каким экспериментам это относится, не знаю. Могу уточнить.
Sign up to leave a comment.
Большой Адронный Коллайдер: круги LHC и путь данных