Oldtuna Feb 22 2017 at 12:58

Видео докладов с Go 1.8 release party Moscow

1 min

10K

AvitoTech corporate blogGo*

+31

Comments 7

sshipkov Feb 22 2017 at 14:11

В докладе «Миллион открытых каналов с данными по сети», автор упоминает о проблеме Head-of-Line Blocking в разрезе блокировок при последовательном чтении TCP пакетов, JRPC и д.р.
К счастью избежать данную проблему легко:

сначала читаем данные, потом параллельно обрабатываем
читаем доступные данные и асинхронно обрабатываем

Blooderst Feb 23 2017 at 19:02

Совершенно согласен. Если проблема в неполучении данных из-за сети, то предложенное решение ее все равно не решит. Если же сетевых проблем между серверами нет, то проблема HoLB решается до безобразия просто — сначала прочитай пришедшие к тебе данные и только потом их обрабатывай. И я уверен что многие тысячи подобных кейсов решены именно таким способом без велокрафтинга. Единственный случай, при котором такой подход не будет работать — это когда объем передаваемого сообщения превышает объем оперативной памяти ноды, но что-то мне подсказывает, что у автора доклада, который одной нодой по его словам обрабатывает миллионы одновременных подключений, не этот случай.

ndka Feb 25 2017 at 15:04

Как-раз именно тот случай. Там дикие объёмы данных перегоняются. :)

Blooderst Mar 1 2017 at 22:13

Если так, тогда да, это смотрится как весьма хитрое инженерное решение =)

ndka Mar 1 2017 at 22:23

К сожалению, доклад из-за временных рамок не мог вместить всякого хитрого, поэтому автор вынужден был скакать по верхам. За подробностями лучше его терроризировать, вона, он ниже отписал, mohtep звать. :)

mohtep Feb 22 2017 at 14:26

Увы. Ваше предложение корректно, но только в случае, если память бесконечна. То есть мы должны вычитать объем данных предназначавшихся для неактивного воркера. Если этот объем велик, то мы достаточно агрессивно начнем тратить хип.

sshipkov Feb 22 2017 at 21:58

Если речь про «неактивных воркеров», тем более не стоит изобретать велосипед. Вариантов реализации механизма отложенных вычислений великое множество.
Про память, этот вопрос тоже легко решается, даже с велосипедом. Из пула читающих воркеров, данные складываются в буфер нужного бизнес воркера. Буфер может быть локальный (например кольцевой), внешний (например очередь).

-1