Наверное многие слышали историю, рассказанную М. Задорновым в одном из своих выступлений, про трех поросят выпущенных в американской школе с номерами 1, 2 и 4 с панчлайном о том, как полиция долго искала поросенка номер 3.

Мое знакомство с компьютерами типа IBM PC происходило по похожему сценарию. В юности (начало 90х), в скудной литературе регулярно мелькали процессоры 8086(8088) и 80286, 386, затем 486 и т.д. Однако процессор 80186, который было бы логично ожидать не попадался.

Добрый день, уважаемые читатели Хабр. По роду деятельности, я уже некоторое время занимаюсь вопросами NLP, в частности, генеративными большими языковыми моделями и, реализованными, на них чат-ботами. При этом, очень часто в их разработке возникает ряд проблем, с которыми приходится постоянно бороться. Одна из них — «галлюцинирование» моделей, то есть выдача неточной информации на поступающие запросы от пользователя, и, в целом, некорректное поведение модели при длительном ведении диалогов различной степени направленности, специфики, глубины рассуждений, оценки фактов и правдивости выдаваемых ответов. 

Исходя из этого, я решил систематизировать все имеющиеся по этой теме сведения. Сразу оговорюсь, статья носит обзорный характер и я ставлю своей целью обобщение фактов, причин и признаков такого поведения. Поиск возможных вариантов, методик и подходов для решения данной проблемы будут рассмотрены в следующей статье. Здесь, не будет кода и строгих выкладок, лишь, наблюдения, аналитика, способы оценки, выявленные закономерности и оценка работы в общем. 

В качестве результата исследования, предлагается описание общей ситуации с обнаруженными возможными проявлениями феномена «галлюцинирования». На целостность и завершенность обзора, при описании полученных вариаций и проявлений данного факта, не претендую. Это результаты моего поиска и анализа. Информация собиралась, буквально по крупицам, так как все сведения сильно разрознены, проявления их в «дикой природе» не всегда можно заметить и четко классифицировать, либо они начинают проявляться спустя большое количество тестов, диалогов, рассуждений, запросов, вариантов подачи подсказок и уточнений на поставленные запросы и исходных текстов. Кроме всего прочего, градация распределения этих аномалий по степени отслеживания, так же, сильно разнится. Есть те, которые проявляются весьма быстро, а есть крайне редкие, для которых нужен специфических, очень тонкий подход. Ниже я представлю данный перечень с подробными пояснениями, так что всех прошу под кат. 

Цитата Адама Дженсена «I never asked for this» крайне противоположна моим взглядам на развитие технологий. И в слиянии человеческого разума с нейроимплантами я вижу едва ли не эволюционный потенциал и становление нового вида. Но самые оптимистичные взгляды на прогресс неизбежно сталкиваются с реальностью. И эта реальность рисует весьма непростую картину.

Давайте ненадолго перенесёмся в школьные годы и вспомним уроки математики и физики. Помните, чему равно число π? Естественно, помните, мы же на Хабре! А чему равно π в квадрате? Это тоже странный вопрос. Конечно, 9,87. А чему равно ускорение свободного падения g помните? Ещё бы, это число так тщательно вдолбили в нашу память, что захочешь — не забудешь: 9,81 м/c². Конечно, оно может варьироваться, но для решения базовых школьных задачек мы обычно использовали именно это значение.

А теперь, внимание, следующий вопрос: а с какого это перепугу π² примерно равно g?

Томск — это город ученых и студентов. По статистике, каждый 8-й житель где-то учится, а по числу научных сотрудников на душу населения он первый в России. Насыщенная интеллектуальная среда сделала город пионером в освоении интернета. А с конца 1990-х до начала 2010-х тут процветал уникальный феномен — внутригородская интернет-сеть под названием Тонет. Рассказываем об этой вехе раннего российского интернета, ставшей возможной благодаря свободной кооперации между бизнесом, учеными и интернет-энтузиастами. 

В 2023 году в медиа стало все чаще звучать понятие TESCREAL — его называют идеологией современного технологического капитализма. Ее главная идея в том, что благополучие современного мира — это не цель, к которой должно стремиться, а средство для достижения блага для будущих поколений. А главный инструмент TECREALистов — буквально Deux Ex Machina — общий искусственный интеллект. 

Принято считать, что ее главные апологеты — топ-менеджеры компаний-лидеров ИИ-индустрии, которые стремятся повернуть Кремниевую долину вправо и, по мнению критиков с левого фланга, могут уничтожить человечество. Разбираемся, что и кто стоит за этой аббревиатурой, и что не так с ее критикой. 

Сразу оговорюсь, что я против засилья унылого контента, сгенерированного нейросетью. Но давайте помечтаем! Уже не за горами тот день, когда творческие навыки текстовых моделей позволят нам создавать интересный для человека контент. Тогда почему мы не можем уже сейчас начать строить автоматические системы, генерирующие тексты и картинки, которые будут сами всё это публиковать?

Вы сейчас мысленно скажете, что тогда каждый школьник сможет нажать пару кнопок и запустить такую систему, после чего мир наполнится информационным шлаком и мы все утонем во всём этом. Но не стоит ворчать. Вспомните, как все кричали, что фотография как жанр умрёт, если каждый станет сам себе фотографом или видеографом. Никто не утонул во всём этом, так как соцсети быстро научились понимать наши потребности. Так же будет и здесь: некачественный и неинтересный контент просто никому не покажут. Так что переживать не стоит, наверное.

Я же хочу больше рассказать про современные технологии и возможности. В частности, мне как человеку, не владеющему навыками программирования, было интересно найти способ построить автоматическую SMM-систему, не используя больших технических знаний и не тратя много денег.

Недавно ко мне обратились знакомые, которые активно впиливали LLM в своей продукт, однако их смущала стоимость такого решения - они платили около 8$/час за Huggingface inference Endpoint 24/7, на что уходили просто невиданные ~100 тысяч долларов в год. Мне нужно было заресерчить какие есть способы развертывания больших текстовых моделей, понять какие где есть проблемы и выбрать оптимальных из них. Результатами этого ресерча и делюсь в этой статье)

Как запустить локально LLM 70B параметров на 1 видеокарте с 24gb? Нужно квантование!

Квантование - это процесс уменьшения битности вычислений в нейронной сети, используемых для представления весов, смещений и активаций. Путем снижения точности мы можем значительно сократить требования к памяти и вычислительной сложности модели.

Привет, Хабр!

В разработке часто возникают ситуации, когда точность типов и нежелание допускать неясности в коде становятся первостепенными задачами. В таких случаях, разработчикам приходится искать инструменты, предоставляющие максимальную ясность и строгость в определении данных. Один из таких инструментов — ключевое слово as const. В данной статье мы рассмотрим, как as const может повысить уровень строгости и предсказуемости, а также рассмотрим практические примеры его использования для создания неизменяемых и точных типов.

С интеллектуальной точки зрения я всегда находил аргументы сторонников страшилок, касающихся ИИ, довольно убедительными. Однако инстинктивно я всегда считал, что они ошибаются. Это может быть предвзятым рассуждением, поскольку мысль о том, что мне придётся бросить говорить о том, что меня интересует, и сосредоточиться на этом узком техническом вопросе, мне крайне не нравится. Но на протяжении многих лет у меня в голове свербило подозрение, что с объективной точки зрения любители страшилок неправильно предсказывают будущее.

После долгих размышлений я, кажется, наконец понял, почему я не верю тем, кто считает, что ИИ имеет все шансы убить нас всех, потому что у его функция полезности не будет соответствовать человеческим ценностям. Мои рассуждения просты, но я никогда раньше не видел, чтобы кто-то сформулировал что-либо подобное таким образом. Для того чтобы любители страшилок ошибались, скептикам не нужно быть правым во всех своих аргументах. Им достаточно быть правыми в одном из них, и тогда всё построение разрушится.

Сегодня мы запустили новый сервис Нейро — новый способ поиска ответов на вопросы. Пользователь может задать Нейро любой вопрос, а тот сам подберёт подходящие материалы в Поиске, проанализирует их и соберёт найденную информацию в одном ответе, подкрепив его ссылками на источники. Нейро объединил опыт Яндекса в создании поисковых технологий и больших языковых моделей. 

Меня зовут Андрей Сюткин, и я отвечаю за ML-трек в Нейро. В этой статье покажу, как выглядит архитектура Нейро и как формируются ответы на технологическом уровне. Ну и, конечно же, поговорим о нейросетях, в том числе о YandexGPT 3, без обучения которых новый сервис просто не увидел бы свет.

Давно не заходил на хабр, а тут решил зайти и с удивлением обнаружил у себя аж целых 60 подписчиков. Спасибо вам большое, что вы подписались, теперь мне даже как-то неловко, что я так долго ничего не писал про Обсидиан. Видимо теперь придётся всё же написать (мой сетап за это время перетерпел многих изменений и мне есть о чём рассказать).

Но сегодняшняя статья, к сожалению моих подписчиков, будет не про Обсидиан, она будет про телеграмм-бота, чатгпт и чтение, потому что всё это время вечерами я занимался своим пет-проектом, о котором и хочу рассказать.

Всё больше компаний создают разнообразные ИИ-модели, и, конечно, крупные корпорации — впереди планеты всей. На днях Google представила свой новый проект — Gemini Code Assist, инструмент, который помогает разработчикам писать код. О том, что это за новинка и какие ей дали возможности — читайте под катом.

О том, почему возникает такое явление, как галлюцинации у больших языковых моделей на примере работы системы вознаграждения (мотивации-поощрения) у биологических видов.

Вы тоже устали вручную заполнять Dockerfile и docker-compose.yaml под каждый новый проект?

Я всегда задумывался, применяю ли я известные best practices, когда пишу конфиг для Docker, и не занесу ли я случайно какие-нибудь уязвимости, вручную заполняя конфиг-файлы.

Что же, теперь мне больше не придется беспокоиться об этом, благодаря добрым людям из Docker, которые недавно реализовали инструмент для этого - docker init .

Интересно, как экономить время и быстро генерировать конфиги, даже если вы не профи в Docker? Прошу под кат.

Какую программу вы обычно запускаете сразу после загрузки операционной системы? Кто-то сразу стартует браузер — поглядеть, кто там сегодня в Интернете (на Хабре) неправ. У многих — это редактор кода: «Я, как утром встал, сразу за дрель!». Возможно, вы сначала привычно открываете мессенджеры и почту — проверить, что там нового и важного.

Я обычно сразу после запуска операционки открываю свой Любимый Файловый Менеджер. Это «переходящее звание» — в разные периоды моего компьютерного прошлого этой чести «удостаивались» разные приложения с классическим двухпанельным интерфейсом. Сначала это был простой, но универсальный Norton Commander. Потом появился DOS Navigator со всяческими классными фичами: CD-плеер, телефонная книга с дозвоном по модему, встроенный табличный редактор и прочие прекрасные и поразительные для тех лет вещи.

Когда Windows прочно вытеснил DOS и все понемногу забыли про файл autoexec.bat, звание моего любимого файлового менеджера плавно перешло к Total Commander. Он продержался довольно долго, но в какой-то момент в мою жизнь буквально ворвался FAR...