Статья классно и старательно проработана. Но она повторяют одну и ту же ошибку снова и слова: о том, что LLM просто всего лишь предсказывает следующее слово. Нет, оно предсказывает следующее облако смысла, и только в самом конце сводит свой следующий проход в генерации к одному токену. Затем всё "обдумывание" промпта и уже написанного повторяется снова, формируется снова абстрактное понимание вопроса и ответа, и снова на финальном слое сети это облако смысла сводится до одного токена. И так снова и снова и снова. Это не просто "статистическое предсказание следующего слова". Это индуктивный процесс работы над смыслом с превращением этого неимоверно широкого и невероятно сложного процесса в слово.
Если бы сетка "статистически предсказывало следующее наиболее вероятное слово", тогда она даже фразу "an apple" написать не смогла бы. Потому что чтобы предсказать "an", нужно заранее знать, что следом будет "apple", а не "table" например. Она на относительно асбтрактном уровне понимает ещё на этапе генерации артикля, что следом будет apple, но когда нужно сделать самое последнее вычисление на самом последнем слое генерации, эта абстракция превращается в простой артикль "an". Во время следующего прохода генерации она будет иметь дело снова с похожим абстрактным облаком, в котором, опять же, приблизительно будут присутствовать и an, a apple, и даже остальные представления о будущем предложении, но сгенерирует она на этом проходе только "apple"
> А может быть, надо не валить, поджав хвост, а сделать лучше там, где вы находитесь?
Пробовали люди. Их называли потом американскими агентами и заводили дела
Сходи к соседям, забери у них всё, что тебе будет полезно в геополитическом плане, а потом рассказывай ментам, что ты прав, потому что это для твоей семьи
Еще фильтры по полям для поиска не помешали бы. Еще можно позволить пользователям создавать кнопки кастом-action для записей, типа «перегенерировать thumbnails» или «move to trash» или «restore»
Играю по классическим правилам. Карты не вскрываются. То, что игрок слил двоих мафиози означает, что он голосовал за всех ушедших по голосованию и игра не закончилсь ни 3х3, ни 2х2. Это значит, что он результативно голосовал за уход мафии.
Я не говорю о том, что в нормальных играх слить своих — прямой путь получить гарантированно иммунитет от сноса и выиграть черным. Просто там выше люди интересовались как должен компьютерный алгоритм реагировать на подобные действия. Сам я идеологический противник игры против своих черных. Мне больше нравится выигрывать 3х3, 2х2.
Буквально вчера у нас была игра, когда двое черных сообще жестоко разделалась с третим черным, затем оставшись вдвоем второй черный жестоко разделался с третим. После всего этого мирные снесли третьего черного и выиграли. Мирные были достаточно опытные, чтобы объяснить друг другу как все было
Статья классно и старательно проработана. Но она повторяют одну и ту же ошибку снова и слова: о том, что LLM просто всего лишь предсказывает следующее слово. Нет, оно предсказывает следующее облако смысла, и только в самом конце сводит свой следующий проход в генерации к одному токену. Затем всё "обдумывание" промпта и уже написанного повторяется снова, формируется снова абстрактное понимание вопроса и ответа, и снова на финальном слое сети это облако смысла сводится до одного токена. И так снова и снова и снова. Это не просто "статистическое предсказание следующего слова". Это индуктивный процесс работы над смыслом с превращением этого неимоверно широкого и невероятно сложного процесса в слово.
Если бы сетка "статистически предсказывало следующее наиболее вероятное слово", тогда она даже фразу "an apple" написать не смогла бы. Потому что чтобы предсказать "an", нужно заранее знать, что следом будет "apple", а не "table" например. Она на относительно асбтрактном уровне понимает ещё на этапе генерации артикля, что следом будет apple, но когда нужно сделать самое последнее вычисление на самом последнем слое генерации, эта абстракция превращается в простой артикль "an". Во время следующего прохода генерации она будет иметь дело снова с похожим абстрактным облаком, в котором, опять же, приблизительно будут присутствовать и an, a apple, и даже остальные представления о будущем предложении, но сгенерирует она на этом проходе только "apple"
Пробовали люди. Их называли потом американскими агентами и заводили дела
— Дао
Я не говорю о том, что в нормальных играх слить своих — прямой путь получить гарантированно иммунитет от сноса и выиграть черным. Просто там выше люди интересовались как должен компьютерный алгоритм реагировать на подобные действия. Сам я идеологический противник игры против своих черных. Мне больше нравится выигрывать 3х3, 2х2.
Буквально вчера у нас была игра, когда двое черных сообще жестоко разделалась с третим черным, затем оставшись вдвоем второй черный жестоко разделался с третим. После всего этого мирные снесли третьего черного и выиграли. Мирные были достаточно опытные, чтобы объяснить друг другу как все было