Pull to refresh

Comments 14

По статье 4 вопрос — если убрать связь с предыдущей ячейкой, остаётся ли сеть рекурсивной?

Пейстну из чатика:

sim0nsays
Так эта, есть же recurrence через ct все равно?
Как полностью распараллелить?

gsoul
Я так понимаю, что все остальное считают в параллель, а c_t последовательно, но это не сильно тормозит весь процесс

sim0nsays
Хм, то есть сначала backward pass по ct последовательно, а потом параллельно все остальные для каждого шага?

gsoual
Со скрина ниже формулы 3, 4, 5 можно считать параллельно, 6 и 7 - нельзя.

asobolev
совсем параллельно нельзя, вся рекуррентность тогда уйдёт. Но можно попробовать другие архитектуры, вроде Attention is all you need именно такая
А в телеграме публичного канала нет у вас с материалами и обсуждениями?
Пока что нет, подумаем над этим. А пока приходите к нам в Slack. Там интересно и не менее удобно, чем в Телеграме :3
Зарегистрировался и что дальше?
скоро придет инвайт в слак, у нас там ручная проверка, делается она раз в пару дней; причина такого отбора в том, что у нас платный аккаунт в слаке, который слак нам и предоставил как не коммерческой организации, но если пускать всех подряд, то там начнут плодится и пхп каналы, а людей будет десятки тысяч
Спасибо. Зарегистрировался.
я не думаю что будет в телеграме, хоть что то
и обсуждениями

Обсуждения широкой тематики без разделов и тредов? Вы явно знаете толк в извращениях :-)
Ребята, стухла идея со статьями? Или где-то в другом месте публикуете/обсуждаете?
вступайте в ods.ai, у нас там слак в котором есть канал #article_essence откуда и берется материал для формирования этой рубрики
Тут читать просто приятно. Спасибо, что писали.

продолжение скоро будет.

Sign up to leave a comment.