Comments 21
По-моему это самая офигенная штука, которую я видел за долгое время.
Автору респектос!
За текст огромное спасибо. Класс.
ЗЫ. Просьба к автору.
Выложите плз конспект вашего поста в виде кратких описаний токены - векторные представления - внимание ... - токены- слова.
Вы реально очень доступно и классно пишите, пояснения на примерах помогают понять, что же вы имеете в виду, но сухая схема-шпаргалка поможет ориентироваться в большом объеме вашего текста.
Заголовки слишком коротки и не создают блок схему той информации, которой вы поделились.
ЗЗЫ. Повторюсь.
Текс и инфа - класс
Хоть и перевод... А есть еще? =D
круть
Да, есть - если пойти по ссылке на оригинал (в заголовке) и потом проскроллировать вниз, то окажется, что автор каждый новый год решает нетривиальную задачу на SQL. Например, год назад это была сборка кубика рубика:
Previous New Year posts:
Пожалуй, лучшая статья 2023 года (дата оригинала)
статьёй GPT in 60 Lines of NumPy,
Есть перевод на Хабре, можно на нее ссылку дать
https://habr.com/ru/articles/716902/
https://habr.com/ru/articles/717644/
То, что я не могу создать, я не понимаю.
Р. Фейнман
Более ясной демонстрации понимания вопроса сложно придумать :)
Как обидно когда любимый язык называют неполным по Тьюрингу!
Хм, одно дело, как здесь, уметь как угодно, лишь бы осмысленно (и неважно как) заканчивать начатое предложение, и другое - отвечать новым предложением на законченный запрос пользователя. Первая задача выглядит в разы проще. Или, таки, принцип один и тот же? (описанный в статье)
Вроде бы и прочитал про температуру, но, похоже, все равно не понял (ну или GPT работает чуть посложнее) - почему иногда он выдает разные ответы (на одинаковый вопрос) при температуре 0?
Один и тот же принцип, только вместо заканчивания предложения нейросети дают заготовку формы вопрос-ответ для заканчивания, типа: "Вопрос: сколько звёзд на небе? Ответ: ". Нейросеть продолжает этот текст, и естественным образом это продолжение является ответом на вопрос.
Какой ужас (в хорошем смысле)
Несколько чисто риторических вопросов...
Как автор писал и тем более отлаживал такие глубоко вложенные SQL запросы? Слабо верится что автор напрямую писал на каждый метод таких вложенные простыни кода.
Эти огромные SQL запросы можно же разбить на подзапросы? Я думаю автор писал и отлаживал отдельные подзапросы и использовал какую то программу, которая потом заменила вызовы подзапросов их телами. Простыни запросов автора выглядят нереальными для понимания и отладки.
Если писал отдельными подзапросами, то зачем в итоге объединил в одну простыню? Сервер не может работать с подзапросами? Или для оптимизации?
Видео по перекликающейся теме на очень базовом уровне (от Andrej Karpathy), Intro to LLM: https://youtu.be/zjkBMFhNj_g
С новым годом: GPT в 500 строках на SQL