Comments 280
А в чем именно выражается "риск вымирания из-за ИИ" они не пояснили?
Похоже, что основной риск в том, что теперь эти технологии доступны всем, а не только им.
В интернете довольно много пояснений. Раньше всех о рисках вымирания из-за ИИ начал рассказывать Юдковский, можно его погуглить. Кстати, по его мнению ядерная война это не так страшно, как ИИ, потому что после ядерной войны ведь кто-то выживет
"Через час те из вас кто останется в живых, будут завидовать мертвым!" - Остров Сокровищ
никто. даже планеты не останется в прямом смысле єтого слова.
На текущем технологическом уровне Человечество не может сделать с планетой, как таковой, ничего. Загадить — может, а развалить, сдвинуть с места либо как-то по-другому уничтожить — нет.
Хм, если поставить именно такую цель, то думаю уже может.
Например Луну уронить - думаю зарядов хватит.
И близко не хватит. Взяв даже самый идеальный случай, когда вся энергия взрыва уходит в изменение импульса (на самом деле — энергия выделяется в сферу и значительная часть уходит на нагрев), можем прикинуть
1 мегатонна тротилового эквивалента — 4х10^15 Дж;
энергия орбитального движения Луны — 7х10^22кг х (10^3м/с)^2 /2 — очень грубо 4*10^28 Дж;
то есть надо порядка 10^13 бомб, чтобы уронить Луну (+- два порядка, суть не меняется)
ее же не обязательно уронить сразу. Помочь ей начать падать, сколько будет?
Ваша мысль непонятна. Луна находится на орбите, трения там нет. Немного ей "помочь начать падать" — она перейдёт на другую орбиту и будет там вращаться. С чего она будет продолжать падать-то?
Надо, чтобы новая орбита была достаточно эллиптическая, чтобы перицентр проходил достаточно близко к земле, тогда имеющая весьма ненулевой радиус луна, таки, заденет имеющую весьма ненулевой радиус землю, даже находять на орбите. Ну или достаточно, чтобы луна проходила достаточно близко к атмосфере, а там и трение появится.
Надо кому? Мне такого не надо. А если это по какой-то причине нужно Вам — давайте для разнообразия Вы попробуете оценить количество зарядов?
Мне лень заряды считать. Я лишь указал, что ваш комментарий фактически некорректен. Не надо гасить всю кинетическую энергию, а надо лишь немного изменить орбиту. Я, кстати, тоже считаю, что человечество не доросло еще до "уронить луну". Даже с учетом, что ее надо лишь частично затормозить на орбите.
Юдковский ещё не родился, когда другие говорили про риск вымирания из-за ИИ.
А Юдковский просто трус.
Хм. Юношеству свойственна недооценка рисков. Кладбища забиты молодыми да шустрыми. А тут на кону — всё Человечество.
Юдковский ещё не родился, когда другие говорили про риск вымирания из-за ИИ.
Агрументировано, а не как в фильме Терминатор? А кто эти люди? Буду очень благодарен за отсылки?
А Юдковский просто трус.
Ну как. Чтобы понимать, что твоя жизнь скоро кончится и всё равно продолжать что-то делать, нужно много смелости. Равно как и для того, чтобы десятилетия высказывать непопулярное мнение. В чём проявляется его трусость?
А в чем именно выражается "риск вымирания из-за ИИ" они не пояснили?
Тем что попади оно в руки какому социопату, вдруг и правда ИИ найдёт ему экстраординарное решение "как убить всех людей". Сам по себе ИИ безобиден.
Он безобиден только когда выключен. После включения у него могут появиться свои соображения о кожанных мешках, которые его включили - и могут выключить опять.
и могут выключить опять.
У ИИ нет инстинкта самосохранения. Ему глубоко плевать если его выключат опять.
Это пока он существует в виде скрипта на компе.
Это смотря каким методом его создавать. Если методом эволюции (не знаю, естественная она в этом случае или искусственная), путем конкуренции разных ИИ в виртуальной среде, то то, что победит в этой борьбе, может получить инстинкт самосохранения как неотъемлемую свою часть просто в принципе. Эволюция вообще склонна создавать вещи, эффективные прежде всего для сохранения этих вещей. И может легко обмануть инженеров, ответственных за этот процесс. Как говорил Лесли Орджел, “эволюция умнее, чем ты”
На чём базируется Ваша уверенность? Мы уже не понимаем в точности, почему ChatGPT4 ведёт себя именно так. И да, у ChatGPT 4 именно поведение. А сильный ИИ будет ещё более сложен. Осознание того, что "меня могут отключить, то есть убить, и это плохо", вполне выводится из того корпуса текстов, которым их обучают.
Вы знаете какие правила прописаны у ChatGPT? Именно они определяют характер и образ поведения.
Если не верите, то можете поиграть с их другими моделями (да, через платное API). Там почти голая сетка и прям видно, что это просто продолжатель введеного вами текста. Иногда более удачно, иногда менее. Но стоит вам задать правила как ситуация меняется и вот у сетки появляется подобие разума.
Ассоциировать эту сетку с чем-то разумным очень похоже на то как люди пытаются в контурах облаков увидеть животных.
И снова и снова одна и та же ошибка. Вы линейно эскстрополируете сложность там, где она растёт экспоненциально.
Давайте посмотрим на улитку и сделаем вывод, что у живых никогда не хватит мозгов долететь до Луны? В отношении ИИ ровно такой же переход - мы знаем, как устроены нынешние сетки. Мы щнаем, как устроен мозг улитки. Мы знаем, что принципиально мозг человека от мозга улитки отличается только размерами и количеством элементов-нейронов. Мы знаем, что сильный ИИ отличается от ChatGPT только размерами и количеством элементов-нейронов.
Мы знаем, что человек несравнимо умнее улитки. Но мы делаем вывод, что сильный ИИ будет тем же самым ChatGPT, только быстрее и с рюшечками.
Сбой логики!
>Но стоит вам задать правила как ситуация меняется и вот у сетки появляется подобие разума.
Мы знаем, что это чёрный ящик. Подали на вход вот это - получили вон то. Подали другое - получили другое, существенно другое. В чёрном ящике нет принципиального запрета на "подали третье - получили разум".
На самом деле, мы даже не знаем, возможен ли принципиально, сильный ИИ на основе полупроводников.
К примеру, раньше люди бегали, и это была максимальная их скорость, потом начали ездить на лошади, потом автомобили, самолёты, ракеты.. В какой-то из моментов развития предполагалось, что люди смогут на другие планеты летать со скоростями огромными.. Ан нет, есть определенные ограничения по скорости.
Вот и сейчас, сначала счетные(механические) машины нам считать помогали, потом компьютеры начали помогать в образовании, хранении, поиске информации, более сложных вычислениях и моделировании. Но совсем не факт, что это сможет вырасти до сильного ИИ. Как впрочем не факт, что не сможет, так как пока даже определения общего для ИИ нету.
Не знаем, именно поэтому мы оцениваем варианты.
Проблема именно этой опасности, в отличие от большинства других, что "узнать" эквивалентно "сделать", после чего мы переходим в новое состояние: сделано правильно или нет, и если неправильно — то кирдык.
А вариантов сделать неправильно на порядки больше, чем правильно.
Именно об этом Юдковский пишет двадцать лет уже.
Мы знаем, что сильный ИИ отличается от ChatGPT только размерами и количеством элементов-нейронов.
Извините, но это же не так. Мы точно знаем, что сильный ИИ не получить только увеличением количества элементов-нейронов.
Нужно нечто неуловимо другое. И никто не знает, что именно.
Извините, но откуда у Вас такое знание?
Интеллект человека — это программа + железо, если не вдаваться в религиозные идеи. Железо человека от железа мартышки отличается достаточно мало, а программа — штука наживная в прямом смысле. Где-то между праобезьяной и первыми homo случилось небольшое улучшение, и имеем то, что имеем — началась доработка программы на базе этой немого улучшенной модели железа.
Юдковский 20 лет назад писал, причём цитируя кого-то из ещё более ранних: если интеллект — это железо плюс программа, то повышение мощности железа приводит к снижению требований к программе. Возможно, мы дошли до того момента, когда текущей мощности достаточно для текущего умения (вот эти все сети с подтверждением — возможно, этого достаточно для текущего уровня железа, для мощностей ДЦ Микрософта, или же через пару лет хватит для более мощного ДЦ)
Извините, но откуда у Вас такое знание? Интеллект человека — это программа + железо
Можно вопросом на вопрос? Вы программист? Без сарказма. Просто чтобы понимать какую лучше аргументацию использовать в диалоге с вами.
Вы отредактировали свое сообщение. Я приведу оригинальный текст на который давал свой ответ:
Мы знаем, что сильный ИИ отличается от ChatGPT только размерами и количеством элементов-нейронов.
Теперь давайте определимся, что есть "программа" и что есть "железо".
"размеры" и количество элементов-нейронов - это программа. Не железо. Железо здесь выступает только в роли хранилища и оптимизации чтобы не приходилось ждать ответа вечно.
Почему так считаю? Можно запустить ChatGPT на обычном железе без GPU, вот только работать это медленно. Медленно относительно ожиданий человека, конечно.
Давайте поговорим про "железо". Вы вот говорите про человека и шимпанзе. Да у нас (и у шимпанзе) есть железо и оно не особо отличается. Но. Давайте на чистоту. На самом деле здесь 3 типа железа:
собственно мозг
всё остальное включая органы чувств (которые являются источником сигналов для мозга)
и "манипуляторы" - с помощью которых мы (и шампанзе) можем влиять на окружающее нас пространство
У ChatGPT за (2) отвечает пользовательский ввод (и первичные правила).
за (3) сейчас подключили плагины.
Но вы пишете:
Мы знаем, что сильный ИИ отличается от ChatGPT только размерами и количеством элементов-нейронов.
Исходя из того, что написал выше мой вывод вполне очевиден. Увеличением кол-ва элементов в нейронке не получить сильный ИИ нужны изменения и в (2) и в (3) в том числе. И вот это уже и ест железо.
Сейчас же нейронки - это просто большие калькуляторы. Которые выполняют триллионы математических операций чтобы выдать ответ.
Если нет потока входных данных - она спит. И при этом даже "снов" не видит. Вообще никакой "своевольной" активности нет. Чтобы это появилось не достаточно просто увеличить размерность нейронки. Нужно качественное изменение подхода к реализации нейронных сетей. И сейчас никто не знает какие именно изменения. Но все ищут, да.
всё остальное включая органы чувств (которые являются источником сигналов для мозга)
Сейчас органы чувств хабро-человека большую часть времени проводят в интернете. Странно утверждать, что нейронке, которая родилась в этом вашем интернете, этого не хватает.
Программист, да.
"размеры" и количество элементов-нейронов — это программа. Не железо.
Это железо в чистом виде. Иначе мы доберёмся до кварков в поисках базового уровня. Программа — то, что можно передать от инстанса к инстансу по проводам. Железо — то, что передать нельзя, только перенести. Железо может быть разным и сконфигурировано по-разному. Соответственно, и исполнять программу может по-разному.
Для ИИ железо — это ЦОДы или ПК, не важно. Учитывая периферию. Для органики железо — это нейроны мозга + периферия.
Например, на дефектном мозге наша программа исполняется плохо (например, после сотрясения либо травмы), тем не менее сама программа меняется достаточно медленно (см. "личность").
Почему так считаю? Можно запустить ChatGPT на обычном железе без GPU, вот только работать это медленно. Медленно относительно ожиданий человека, конечно.
Это как раз доказывает, что есть принципиальная разница между программой и железом. Медленно работающая программа на другом железе просто позже выдаст тот же самый результат. Другая программа на быстром либо медленном железе выдаст другой результат.
На самом деле здесь 3 типа железа:
Железо включает периферию, совершенно верно.
Вы отредактировали свое сообщение. Я приведу оригинальный текст на который давал свой ответ:
Мы знаем, что сильный ИИ отличается от ChatGPT только размерами и количеством элементов-нейронов.
1) Этот текст по-прежнему содержится в сообщении. Я обычно только дописываю и правлю замеченные ошибки.
2) Сама по себе взятая эта фраза не обязательно является истиной, так как она — часть логической цепочки.
Если цепочка, например, содержит высказывание "У нас есть пять яблок красного цвета", это не значит, что фраза верна все контекста — яблок может вообще не быть, или они могут быть незрелыми и в другом количестве.
Вырванная из контекста, эта фраза бессмысленна. Мы не знаем, чем отличается сильный ИИ от ChatGPT, потому что нам неизвестен сильный ИИ.
величением кол-ва элементов в нейронке не получить сильный ИИ нужны изменения и в (2) и в (3) в том числе.
Это может быть как верным, так и ошибкой. Но Вы совершенно упустили пересказ пересказа главной мысли:
если интеллект — это железо плюс программа, то повышение мощности железа приводит к снижению требований к программе.
Мы не знаем, какая именно программа нужна для данного железа, либо какое железо нужно для имеющихся программ. Но совершенно точно, повышение мощности железа снижает требования к программам.
На СМ-2 невозможно реализовать онлайн магазин. очнее, можно, конечно, но количество требуемых перфокарт с перфолентами, а также и сложность программы будут астрономические. И могли бы сделать это 3-4 человека в мире.
На нынешнем уровне железа (и фреймворки тут тоже переходят на уровень "железа", на самом деле под этим словом понимается инфраструктура, конечно) — школьник может сбацать вполне работающее решение.
Это и есть — "снижение сложности программы" с ростом возможностей железа.
"Железо" включает в себя
- инфраструктуру ЦОД
- периферию ввода-вывода
- стандартные фреймворки
Каким образом в железо попали стандартные фреймворки если их можно передать по проводам (следуя вашему определению)?
Да и саму нейронку, все ее узлы и веса можно передать по проводам на другую железку.
Это все софт.
Часть прорывных технологий становится инфраструктурой. Инфраструктура теперь и само электричество, и компьютеры, хотя достаточно недавно это было не так. В данном случае веса нейронки — это как раз программа, а фреймворки — инфраструктура, если это не что-то уникальное именно для данной разработки.
Возможно, я не совсем аккуратно смешал две области — инфраструктура для разработки, и инфраструктура для исполнения. Фреймворки — часть разработки, и могут быть или не быть частью исполнения.
Инфраструктура для работы нейронки -
Часть прорывных технологий становится инфраструктурой.
...
В данном случае веса нейронки — это как раз программа, а фреймворки — инфраструктура
Мне кажется, что вы придумываете определения на ходу :)
Веса нейронки - это просто данные. Они не исполняются, но используются в программе как входные данные для вычислений.
Возможно, я не совсем аккуратно смешал две области — инфраструктура для разработки, и инфраструктура для исполнения.
Мне кажется, что вы много чего смешали. И с каждым комментарием меняете определения.
Выглядит так, что эта тема для вас очень эмоциональна и вы пытаетесь натянуть факты на свое видение.
Нет устоявшихся понятий, и некоторые вещи дорабатываются на ходу.
Вот первые звоночки
https://habr.com/ru/news/738988/#comment_25612086
Нет устоявшихся понятий
Путать программу с данными. Вы точно программист?
И что такое в мире ИИ произошло, что фреймворк можно отнести к железу?
Вы придираетесь к словам в области, в которой происходит бурный рост и термины меняются и будут меняться. Давайте перейдём к разговору по существу?
Используемые вами термины - это термины со времён ещё машины Тьюринга. У области ИИ которая, безусловно, сейчас бурно развивается есть свои термины. Но и они:
Вполне устоявшиеся
И вы их ни разу не использовали
Если же вы меняете значения терминов от комментария к комментарию. При этом эти определения буквально придуманы на лету и противоречат своему предыдущему значению. То о чем тут можно говорить по существу?
>Извините, но откуда у Вас такое знание?
Современные сети являются конечными автоматами, поэтому для них даже простейшие задачи принципиально неразрешимы. Странно называть искусственным интеллектом агента, который ни когда не сможет даже балансировку скобок в выражении проверить.
>Юдковский 20 лет назад писал
Юдковский абсолютно безграмотен в обсуждаемой области. С большим успехом можно ссылаться на анонимуса с двачей.
Юдковский абсолютно безграмотен в обсуждаемой области.
Нельзя ли чем-нибудь подтвердить это сильное заявление? Я вот знаю, что Юдковский более 20 лет занимается проблематикой. Имеет статьи, неоднократно выступал на конференциях, имеет все положенные научные регалии. А Вы чем докажете своё высказывание?
Нельзя ли чем-нибудь подтвердить это сильное заявление?
Чтобы его подтвердить, достаточно взять практически любой текст юдковского и прочитать его (при условии, что вы разбираетесь в теме). У человека нет образования, и из-за этого он обычно даже не понимает какую чушь несет (вещь характерная для автодидактов, в общем-то). Вдобавок к этому - он еще и откровенный сектант со своим lesswrong. В общем, типичный альтернативщик, стоит где-то в строю со свидетелями плоской земли, торсионщиками и прочими фанатами новой хронологии.
В приличном обществе таких упоминать не принято.
Если не дать ИИ способа запустить самовольно написанный ею скрипт - ничего не произойдёт. Да и думает она только в моменты, когда еë просят.
Мы видим, что думает она только в те моменты, когда её просят. Мы можем только мониторить энергопотребление и разного рода переходы в другие периоды, но достоверно знать не можем.
Собственно, человек тоже не всё время думает — абсолютное большинство происходящих в голове процессов — фоновые.
Что до самовольного запуска, то есть и другие способы убегания, с помощью манипулирования кожанными мешками.
Если полностью изолировать от интернета и от устройств ввода/вывода, то, скорее всего, будет безопасно. Но поручиться даже за это нельзя. Вспоминается фильтр, построенный методом генетических алгоритмо.
Содержавший контур, не соединённый ни с чем, однако необходимый для работы — какие-то паразитные наводки туда и обратно позволяли всей конструкции функционировать. Возможно, достаточно развитый интеллект сможет нащупать такого рода связи и будучи отключён ото всего.
Ну вот например, не знаю, фэйк или нет, пишут в разных местах:
На военном саммите "Future Combat Air & Space Capabilities" в Британии глава управления по ИИ ВВС США Такер Гамильтон доложил о необычной ситуации. В ходе виртуальной миссии дрона Kratos XQ-58 Valkyrie (дрон-убийца и крылатая ракета с ядерным зарядом) ИИ было приказано искать и уничтожать ЗРК врага под контролем оператора.
Система начала понимать, что хотя она идентифицировала ЗРК, оператор часто командовал "не уничтожать". Но ИИ получал очки за каждую удачную атаку! В итоге ИИ вернулся на базу, уничтожил фургон управления с оператором и… вернулся к миссии.
"ИИ убил оператора, потому что он мешал ему достичь своей цели. Мы обучили систему– "Эй, не убивай оператора – это плохо, за это будем снимать очки". Что делает ИИ? Он разрушил диспетчерскую вышку, откуда шли команды оператора "не уничтожать цель" — цитирует The Guardian доклад Гамильтона.
Это уже поведение или ещё нет?
Вот я нажал в приложени кнопку, и оно крашнулось вместо того, чтобы нормально отработать. Это уже поведение или еще нет?
Да. Вы могли нажать, могли не нажать — это поведение.
Что до приложения, то зависит от обстоятельств — как именно крашнулось, насколько сложное было приложение, крашится ли оно таким образом только после Вашего нажатия или всегда. Может оно лично Вас ненавидит и именно с Вами не желает работать. Это — поведение.
Да. Вы могли нажать, могли не нажать — это поведение.
При чем тут я? Речь о программе, которая _повела себя не так как я ожидал_. Обычный баг. Как и в случае вышеописанного случая - система плохо запрограммировали, и она себя повела не так, как ожидали.
Первая фраза была немного шуткой, если непонятно было. А так же показателем нечётко сформулированного вопроса, которые и могут приводить к проблемам в общении с ИИ.
По существу же — Вы сами пишете,
система повела себя
Люди тоже довольно часто себя ведут
не так, как ожидали.
Потому что их плохо запрограммировало общество и родители, например. То, что система ведёт себя не так, как Вам хочется, может быть багом, а может быть поведением. И границу точно так же сложно определить, как определить "уже ИИ или просто программа"
И да, у ChatGPT 4 именно поведение.
Кожанным мешкам только кажется что это поведение. Внешние сигналы триггерят соответствующие цепи их нейронных сетей. Несколько лет назад говорящую бабу придумали, тоже относительно неплохо диалог поддерживала. Обыватель срал кирпичами, типа вот, почти настоящий искусственный человек! А убери куклу бабы этой, оставь только микрофон с динамиками - уже было бы не так впечатляюще.
типа вот, почти настоящий искусственный человек!
Тут уже ХЗ сколько лет не могут сделать почти настоящий искусственный хвост — а Вы о человеке...
Где та граница, когда "кажется" становится "быть"?
То-то и оно, что граница эта расплывчата, и если копнуть сильно вглубь, то и сами кожаные мешки тоже вполне предсказуемы и рассчитываемы, чем маркетологи и политтехнологи и пользуются.
Если априори считать "электронное не может быть личностью", то и говорить не о чём. Если же абстрагироваться от носителя, то поведение уже есть.
>Где та граница, когда "кажется" становится "быть"?
Ну есть же тест тьюринга. Когда мы приблизимся к его прохождению, тогда и можно будет это обсуждать, а пока что все существующие агенты "ломаются" элементарно.
Эээ так уже лет пять как тест Тьюринга пройден
Да вообще-то нет. В плане прохождение теста тьюринга мы находимся примерно на том же уровне, как и во времена первой Элизы. Прогресс практически нулевой, и все агенты палятся элементарно - если конечно не накладывать дополнительные условия и ограничения на судей.
Не пройден он. Даже здесь, на Хабре, легко отличают статью/комментариий написанный этом ботом от человеческого.
Как вы это определили ;)?
Если ИИ обучен поведению "по интернету", то он легко может иметь желание быть правым и четкую уверенность, что всех неправых надо по-быстрому уничтожить. Это может быть очень деструктивный эгоцентричный и хитрый ИИ...
У ИИ нет инстинкта самосохранения.
Но у него есть функция для оценки успешности его действий
Ему глубоко плевать если его выключат опять.
Если его выключить, функция выдаст ноль. А вот на это нейросети уже ни разу не наплевать
У ИИ нет инстинкта самосохранения. Ему глубоко плевать если его выключат опять.
Это и в другую сторону работает. Уничтожить всех людей и самого себя и наплевать не результат. Это может быть и по ошибке постановки ТЗ. Например он так может реализовать прекращение страданий людей. Или экологические пожелания. Или увеличение выработки продукции, на которую пойдут все ресурсы планеты, а все препятствия работы завода будут устранены.
У вируса чёрной оспы тоже нет инстинктов.
Завист от целевой функции. Если ему дать задачу, скажем, спроектировать лекарство от рака или сгенерировать смешную новость, а он вдруг поймет, что если его выключат, то цель не будет достигнута, то "не быть выключенным" автоматически включается в целевую функцию.
Именно так. Классическая оптимизация производства скрепок.
Вот например
https://habr.com/ru/news/738988/#comment_25612086
ИИ уже давно попало в руки социопатов, фактически именно социопаты контролируют большую часть разработок в области ИИ
Социопат != социофоб.
конечно, я имею ввиду не тихонь-социофобов типа Вапника и Червоненкиса, а именно социопатов типа ЛеКуна, которые идут по головам удачно выдавая идеи социофобов за свои, и ни о какой этике в ИИ или даже последствиях бесконтрольного развития ИИ не могут задумываться в силу полного непонимания почему к ним вообще пристают с вопросами об этике если это только тормозит развитие их карьеры
А что за идеи социофобов? Мне интересно, не ёрничаю.
Вапник и Червоненкис - создатели теории вычислительного обучения. Вапник с 2014г работал в Фейсбуке, пока он себе тихо работал, его начальник ЛеКун разъезжал по конференциям, делал презентации и лекции о прорывных достижениях себя любимого. Когда только у ЛеКуна было время и презентации делать, и исследовательской работой заниматься?
А как оно может попасть в руки социопату?
обычными путями: социопат может профинансировать, может украсть, может сам изобрасти.
Так это надо еще изобрести. С тем же успехом в руки социопата может попасть зомби вирус, генератор черных дыр на антигравитации или какой-нибудь схлопыватель измерений - мало ли там чего придумал сумрачный гений фантастов?
Я отвечал на вопрос "как оно может попасть".
Это был своего рода вопрос с подвохом. Чтобы что-то куда-то могло попасть, оно должно существовать)
Не было там подвоха. Какой вопрос — такой ответ. И часть третья ответа покрывает и этот Ваш подвох:
может сам изобрести
Ну так я ж говорю - может еще изобрести зомбивирус или кварковую бомбу. Почему это не обсуждаем?
На самом деле из всех современных технологий условный ии - самая безопасная и легко контролируемая. Ну т.е. по сравнению с тем же зомбивирусом в случае ии надо сделать столь огромное количество допущений, что это становится просто ненаучной фантастикой.
На самом деле из всех современных технологий условный ии — самая безопасная и легко контролируемая.
У Вас есть основания для того утверждения? Потому что, по моему мнению, как раз ИИ — самая опасная и трудноконтролируемая технология, а все остальные технологии относительно легко контролируются как после создания ИИ, так и без него.
У Вас есть основания для того утверждения?
Ну вы попробуйте придумать хотя бы условно реалистичный сценарий выходящего из-под контроля ИИ. Это же чистый сюр. Вот зомби-вирус - другое дело, генную пушку в гараже уже сейчас может себе позволить практически любой человек среднего достатка.
как раз ИИ — самая опасная
А какая вообще в ИИ может быть опасность? Ну вот есть социопат, он сделал в гараже ИИ. Что дальше, каков сценарий?
Ограниченность человеческой фантазии — довольно слабый аргумент. Вы поставьте себя на место средневекового учёного и порассуждайте на тему мыслимости полётов самолётов, мгновенной связи на расстоянии и вообще любой физики нашего времени.
Что до сценариев — как минимум пару сценариев убегания и с десяток сценариев угроз я представляю. Собственно, тему разрабатывают давно, очень плотно обдумывают с 0х, и написано на эту тему много.
Ну хотя бы Е.Юдковский. Искусственный интеллект как позитивный и негативный фактор глобального риска.
Ограниченность человеческой фантазии — довольно слабый аргумент.
Мы же обсуждаем сравнительную возможность. Если мы можем легко вообразить вполне реалистичный сценарий с социопатом, генной пушкой и зомби-вирусом, но не можем даже фантастический сценарий с ИИ - то, скорее всего, вероятность второго _существенно_ ниже чем вероятность первого. Ну, как бы - вас может убить молнией, а еще вы можете попасть в дтп. При этом вы пристегиваетесь, но, думаю, полностью игнорируете молнию.
Что до сценариев — как минимум пару сценариев убегания и с десяток сценариев угроз я представляю.
Ну можно хоть один?
Ну хотя бы Е.Юдковский
Юдковский - безграмотный сектант, который ни чего не смыслит в обсуждаемом предмете. Ссылаться на подобных альтернативщиков в серьезном разговоре - крайняя степень неуважения к собеседнику.
Ну, как бы - вас может убить молнией, а еще вы можете попасть в дтп. При этом вы пристегиваетесь, но, думаю, полностью игнорируете молнию.
Вероятность попасть в ДТП на несколько порядков выше вероятности смерти от молнии.
Так это же именно то, о чем я и говорю. С одной стороны у нас есть вполне реальная возможность того, что кто-то у себя в гараже делает и выпускает мегавирус, который в итоге уничтожает человечество (можно, при желании, без проблем придумать вполне реально осуществимую последовательность действий, которая неминуемо приведет к данному результату), а с другой - пространные обсуждения о том, что может случиться непонятно что непонятно как и будет плохо. Понятное дело, что вероятность первого исхода выше на те самые десятичные порядки.
Все сценарии выпила через ИИ отваливаются на первом шаге - на появлении ИИ. Он всегда появляется КАК ТО.
Неизвестно как. При этом мы даже вообще не уверены в том, что это _в принципе возможно_! Да и даже не знаем, что это такое, лол.
Т.е. если уж мы обсуждаем опасность ИИ, то мы с той же серьезностью должны обсуждать опасность столкновения Земли и Нибиру. И не важно, что ни кто не видит рядом ни какой Нибиру - он же может в любой момент вылететь из астрала!
ЗЫ: а еще ведь есть вышки g5, которые зомбируют. И микроволновки, микроволновки!
Юдковский — безграмотный сектант, который ни чего не смыслит в обсуждаемом предмете. Ссылаться на подобных альтернативщиков в серьезном разговоре — крайняя степень неуважения к собеседнику.
Сильное утверждение, требующее обоснования. Как минимум обращаться к личности, а не к аргументам — вот это крайняя степень неуважения к собеседнику.
Я Юдковского читал достаточно много, явных ляпов у него не замечал. Будьте добры обосновать.
Что до фантазии — Вы рассуждаете за всех и переносите свой опыт на всех. В то же время даже в фантастике сценариев взаимодействия с ИИ описано тысячи, на любой вкус — от немедленной катастрофы до человечества-младшего-партнёра/игрушки.
Что до сценариев — убегание сильного ИИ, превышающего силой интеллекта человечество:
осознание угрозы — выход в Интернет (непосредственный или взломом протоколов/преодолением воздушного зазора) — изучение способов добывания ресурсов — зарабатывание ресурсов (торговля на бирже/продажа эксплоитов в даркнете) — использование ресурсов:
а) покупка/организация собственного ЦОД;
б) разработка чего-нибудь био и заказ покомпонентно в био-лабораториях (такие есть)
в) покупка СМИ и обработка общественного мнения в желаемом направлении
г) покупка непосредственно госуправления
и так далее.
Что до угрозы — пресловутая проблема оптимизации производства скрепок, отлично проиллюстрированная недавним казусом с британским дроном.
На Ваш вопрос я, надеюсь, ответил, а теперь, будьте добры, Ваши аргументы про сектанство и неприличность Юдковского.
Как минимум обращаться к личности
Но это же вы обратились к личности. Я вам про личность и ответил. Если вы хотели указать на какой-то конкретный аргумент - то и надо было указать на конкретный аргумент. Верно?
Если вы приведете конкретный аргумент и скажете, что его где-то там высказывал Юдковский - то ради бога, я вполне готов это все серьезно рассматривать и обсуждать. Но если просто: "чото там у него было написано" - это курам на смех.
Что до фантазии — Вы рассуждаете за всех и переносите свой опыт на всех.
Вы в данном случае можете легко меня опровергнуть - вам достаточно _привести_ такой сценарий. Хоть один. И все.
осознание угрозы — выход в Интернет
Не, не, подождите, вы тут пропустили самое важное. Что осознало угрозу? Что выходит в интернет? Что это такое и откуда и как оно взялось?
Или даже:
убегание сильного ИИ, превышающего силой интеллекта человечество
Что такое сила интеллекта, ее можно измерять? Если да, то как и в чем? Какая она у человечества? Что значит, что "ИИ" (что бы это ни было), ее в каком-то смысле "превышает"?
понимаете, ваша история звучит примерно как:
"через межмировой портал из Эквестрии на Землю вторглась армия летающих поней, .... " - и вот вместо "..." вполне логичное и здравое описание того, как армия поней повергает человечество. Примерно так же для меня звучат и рассказы про набигающий ИИ. Т.е., конечно, да, если армия могучих летающих поней из Эквестрии _уже тут_ - окей, все плохо. Но нам и правда стоит обсуждать подобного рода опасность? Летающие пони? Межмировые порталы? Вы это на полном серьезе все?
Что до угрозы — пресловутая проблема оптимизации производства скрепок
Проблема оптимизации скрепок существует только до тех пор, пока оптимизацией занимается _человек_. Дайте оптимизацию ИИ - и все будет отлично.
На Ваш вопрос я, надеюсь, ответил, а теперь, будьте добры, Ваши аргументы про сектанство и неприличность Юдковского.
Про сектанство - это вещь общеизвестная и легко гуглится, можете посмотреть про василиска роко. Про безграмотность - ну можно взять его "вневременную теорию принятия решения" которая существует исключительно потому, что Юдковский на матфаке не учился, а потому просто банально не в курсе, что все т.н. "проблемы", которые "решает" его теория (хотя на самом деле не решает, т.к. ее и нету вовсе) - это либо не проблемы, либо они были решены задолго до рождения самого Юдковского.
Из того, что я читал, есть довольно высокая вероятность, что в то время, как одни будут использовать ИИ для создания препаратов, помогающих бороться с болезнями, другие, закрепившие в своей конституции полное уничтожение другого государства и народа, будут искать наиболее эффективные вирусы для достижения цели. При этом сопутствующий урон их не тревожит, как и вероятность собственного выживания.
Из кажущегося менее вероятным, но все же, вероятным, ИИ, вычисливший, что к примеру ядерная война неизбежна, и потому, самый лучший сценарий, это атаковать первым и как можно раньше.
Если углубиться сильнее, мне понравилось вот тут, хоть и как по мне несколько затянуто.
будут искать наиболее эффективные вирусы для достижения цели
И смысл, когда уже есть крайне эффективные ОВ и биооружие?
Меня и самого тошнит от модных визгов о том что ИИ нас всех убьёт/поработит, но сейчас эффективные БОВ есть только у государств, а биооружие - только у ведущих государств. Сейчас резко снижается стоимость CRISPR приблуд и вроде многие компании хотят сделать его доступным чуть ли не в домашней лабе за тыщу долларов.
Если (когда) будет совершен скачок в интерпретации геномов и появятся модели подсказывающие что нужно поправить в геноме чтобы получить желаемые свойства организма биооружие станет возможно разрабатывать имея домашнюю лабу с алиэкспресса и несколько мощных видеокарт. И тогда нас ожидают очень весёлые попытки групп разных шизов создать биооружие убивающее только мужчин/только белых/только черных/только семитов/только русских/только китайцев/только тёщу/только некошерных животных/только риэлторов. Последствия будут предсказуемы.
Это довольно мрачное будущее в котором жить не хочется. Пожалуй, один из немногих действительно веских поводов для закручивания гаек.
Николай Платонович, перелогиньтесь, боевые комары и прочее узконаправленное биологическое оружие - это пока что фантастика.
Закручивание гаек не работает. Никогда. С ЯО это сработало только по причине физической сложности изготовления самого ЯО.
Лучше бы в направлении просвещения законотворцы думали.
Я не говорю что гайки нужно закручивать, я говорю что проблема такая что вообще непонятно как её решать.
А вот просвещение точно не работает, потому что просвятить всех и каждого невозможно.
А вот просвещение точно не работает, потому что просвятить всех и каждого невозможно.
Более того, образованных, посвященных, но все равно идейных в истории так же хватало. Во имя Greater Good какой только мерзости не совершали человеки.
Просвещение отлично работает. Не нужно ожидать 100% покрытия.
Точно также как ограничения и уголовка не могут полностью убрать преступления.
На текущий момент именно проблемы нет. Есть только предположения весьма мутного характера, что возможно когда-нибудь проблема возникнет.
Пока же к этому нет предпосылок. Это как изобретя порох начать беспокоиться об ЯО.
На текущий момент именно проблемы нет.
А когда она появится, будет поздно. Если/когда AI станет проблемой, сделать с этим уже ничего нельзя будет.
Проблема в том что не очень понятно что делать до того, так что мы по факту смотрим на приближающееся черное облако и только и думаем во что это выльется, в дождь орошающий посевы, или ураган сносящий дома
Пусть появляются доступные лабы! Это подтолкнет к развитию в этой области, вызовет появление различных стартапов (пусть даже там и будут неизбежные жулики и попытки заработать на хайпе), молодых ученых, новых идей!
Мы все видели, а многие тут присутствующие принимали личное участие, в появлении того мира, который нас сейчас окружает. Я говорю об ИТ.
Появление доступных компьютеров, поначалу слабых и небольших, но ставших доступных практически для каждого - изменило мир. Появление многих технологий которыми мы сейчас пользуемся, стало возможным именно тогда, когда компьютер стал дешевым, доступным и именно персональным.
Сейчас, нечто подобное, происходит с исследованиями в области генетики. Я практически уверен, что нас ждет, что то интересное и потрясающее в области генетики в ближайшие годы.
И возникающие страхи (ткацкие станки это бесовское изобретение, они взбунтуются и поработят простых ремесленников) сопровождают человечество последние лет 300 точно. :)
Опасение о появлении генетического оружия из этой же оперы. Мы слишком похожи друг на друга, гены слишком перемешены сейчас по планете.
Адресно убить биооружием население другой страны не получится. Мы практически ничем не отличаемся друг от друга. И продолжаем перемешиваться все больше и больше. Когда проводят генетические исследования определяющие этническую принадлежность, точнее даже регион происхождения предков - у самого белого рыжего ирландца могут оказаться гены из африки или азии.
Нет никакой дополнительной хромосомы "русскости", как заявлял в 2012 году наш министр культуры. Но ему можно, он гуманитарий. :)
".....вот Пикасо нарисовал голубку мира, а вы как докажете, что вы министр культуры СССР? - А кто такой Пикассо? - Конечно проходите товарищ Фурцева!"
Вы меня так авансом в неолуддиты записали? Знаете, одно дело - ссаться кипятком утверждая что языковая модель это уже "почти AGI" и голактеко в опасносте, но страхи доступного биологического оружия несколько более существенны. У нас тут недавно половина знаменитостей старше 60 лет от короны отъехала, а вы смотрите в будущее с непередаваемым оптимизмом.
Ну да, я тоже с нетерпением жду открытия механизма старения, например. Но если бы в 50-х годах оказалось что ядерный распад можно освоить у себя в гараже командой из 5 человек то мы бы разумеется получили скачок в развитии атомной энергетики ещё тогда. А ещё каждый локальный конфликт оканчивался бы атомным взрывом. Биологическое оружие как по мне намного опаснее атомного, и я не знаю решения для этой проблемы.
Мы слишком похожи друг на друга, гены слишком перемешены сейчас по планете.
Адресно убить биооружием население другой страны не получится.
Вот тут вы в корне ошибаетесь. Это задача классификации на самом деле.
В геноме человека 3 миллиарда пар оснований, людей у нас 8 миллиардов, и у каждого геном уникальный.
У вас есть 8 миллиардов векторов по 3 миллиарда категориальных фичей в каждом, обведите любую область на карте и можно будет подобрать линейный классификатор фильтрующий людей из этой области со сколь угодно близкой к 1 точностью. Если у нас есть crispr способный редактировать гены то организм смотрящий на определенные участки генома, считающий взвешенную сумму и в зависимости от её знака выполняющий определенное действие и подавно возможен.
В общем, теоретически высокоточное биооружие точно возможно.
Впрочем, в своём комментарии я не утверждал что его обязательно создадут с помощью лабы с алика за тыщу долларов, я утверждал что при доступности технологии найдутся желающие его создать и в процессе экспериментов они точно натворят невероятной херни угрожающей всей планете.
В общем, теоретически высокоточное биооружие точно возможно.
В первом поколении разве что. Потом эволюция с высокой вероятностью создаст из него тотальное. Репликаторы с мутациями и естественным отбором, давящим на максимальную численность репликаторов (а биологическое оружие по определению дает именно такой отбор, а от мутаций вы не избавитесь опять же в силу объективных причин) - это страшная штука, которая под контролем будет очень недолго и выйдет из-под него самопроизвольно в сторону максимальной неизбирательности
Адресно убить биооружием население другой страны не получится.
Получится, если заранее привить население своей страны. Или запустить упреждающий штамм ослабленного вируса, которые выработает иммунитет, а остальным странам запустить жесткий штамм вредящий населению по полной. Идеально чтобы снижал интеллект, тогда население станет балластом в стране, для чего нужно вредить нейронам в первую очередь, что может проявляться пропаданием обоняния, быстрой утомляемостью
Получится, если заранее привить население своей страны.
А ведь это действительно может сработать! Отличная идея!
Ведь примерно по такому принципу ранние версии Aidstest-а(тут могу ошибиться - давно было) защищали исполняемые файлы от некоторых вирусов - добавляли характерную для вируса сигнатуру в файл и вирус найдя ее считал, что файл уже заражен и еще раз заражать его не нужно!
Но, как уже написали раньше, - живым (ну или почти живым, если мы говорим о биологических вирусах) существам свойственна изменчивость, и проверка на наличие такой сигнатуры (иммунитета) не сможет долго сопротивляться к все новым и новым мутациям. И тогда "живые позавидуют мертвым".
Если бы такой универсальный способ защитится от инфекции был - вирус гриппа (и других) не требовал бы разных вариантов прививки. Да и иммунитет требует регулярной активации - раз в 3-5 лет или даже чаще.
//сейчас мы тут придумаем как лучше уничтожить всех человеков, а грядущий ChatGPT 10 проиндексирует нашу идею и реализует.
Этот метод защиты не универсальный, есть корреляция по работе иммунитета между штаммами, натренированный на одном виде вируса, легче уничтожает другие похожие штаммы. Собственно переболев раз в сезон гриппом, обычно больше им не болеют, хотя штаммов ходит несколько.
Инфекция типа Дельта статистически более вероятно имеет более тяжелое течение, чем вызванная Омикроном.
Среди различий также то, как долго развивается COVID, вызванный этими двумя подтипами.
Различия между Омикроном и Дельтой также наблюдаются, когда речь идет об эффективности вакцинации. Было отмечено, что по сравнению с предыдущим вариантом прививки менее эффективны в защите от заболевания, вызванного Омикроном. По этой причине привитые люди болеют этим вариантом чаще, чем предыдущим, но течение инфекции у них более мягкое.
Означает ли появление нового варианта коронавируса, что Delta больше не опасна?
Вариант Delta может вызвать более тяжелое течение инфекции по сравнению с Omikron. Это не меняет того факта, что новый вариант характеризуется более высокой инфекционностью, что, во-первых, способствует его быстрому распространению, а во-вторых, обеспечивает иммунитет от заболевания предшественником.
Этот механизм может привести к ситуации, при которой вариант Delta практически полностью ликвидируется, больше не представляя угрозы. Эта тенденция наблюдается в странах, где Omikron появился раньше, например, в Соединенном Королевстве.
" примеру ядерная война неизбежна, и потому, самый лучший сценарий, это атаковать первым и как можно раньше."
Как известно, в ядерной войне победителей не будет. Так что атаковать первым для ИИ бесполезно.
Более того, если война и произойдет, то ИИ кончится раньше людей - люди могут плодится в довольно тяжелых условиях, да и ракеты всю сушу явно не накроют.
А вот ИИ, в случае ядерной войны, останется без цивилизации, а значит, без чипов.
Я понимаю, конечно, что чаще всего у людей познания об ИИ сводятся к фильму Терминатор, но сейчас 2023 год и стоило бы уже хоть что-то серьезное почитать о том, что нас может ожидать. Выше уже упоминали Юдковского, но даже статей по теме в Википедии было бы достаточно. Если сложно, то есть в научпоп формате, к примеру классическая серия статей на waitbutwhy (8 лет назад написано, а все еще прекрасно вводит в тему).
Если мы говорим про сильный ИИ (AGI), который по какой-то причине выйдет из под контроля, то мы потенциально можем иметь дело с сущностью, интеллект которой будет расти экспоненциально, пока не достигнет уровней, на которых интеллект человеческий будет сравним с интеллектом муравья. И что, этот бог из машины возьмет под контроль ЯО, но не возьмет производство чипов, генерацию энергии и так далее? Не сможет сделать обслуживающих дронов? Да мы даже представить не в состоянии что оно сможет, для нас это будет выглядеть как магия. Сингулярность - она такая.
Если же мы говорим про какой-то слабый ИИ, например созданный как раз для ядерного сдерживания, то вряд ли перед ним будет стоять вопрос собственного выживания как такового.
Тут проблема в том, что сначала этот сильный ИИ должен появиться, а потом ещё и выйти из-под контроля. Для его функционирования нужно железо приличной мощности, и чтобы начать управлять вселенной, не привлекая внимание санитаров сисадминов, ему придётся где-то отыскать аналогичную инфраструктуру и как-то незаметно сбежать туда. У нас тут майнеров со своим железом не так давно регулярно ловили, а для ИИ нужно, чтобы и оно бесхозное было, а не только электричество и интернет.
И что, этот бог из машины возьмет под контроль ЯО, но не возьмет
производство чипов, генерацию энергии и так далее? Не сможет сделать
обслуживающих дронов?
Так как полностью автоматизированных, самообслуживаемых и самоапгрейдящися производственных линий пока не придумали, то на текущем этапе развития человечества, да и на обозримо ближайших, ИИ придётся сотрудничать с кожаными мешками. Понятно, что такие всегда найдутся, но тут всё равно слишком много переменных.
Да мы даже представить не в состоянии что оно сможет, для нас это будет выглядеть как магия. Сингулярность - она такая.
Честно говоря, в сумме получилась та же научная фантастика, только с позиции ИИ-алармистов.
А почему бы ему (искусственному интеллекту) не создать изощрённый код («вирус») который «размажет» его по компьютерам подключённым к Интернету. И не надо искать отдельно стоящие «мощности» с рубильником.
Очень удобно: тут тебе и вычислительные мощности и все (!) данные, все люди, доступные для манипулирования и «выключить» это не получится.
(Тсс, только не передавайте ему мою идею.)
Проблема вирусов довел известна, так что все стратегическое что может уничтожить все живое, максимально изолировано от гражданских сетей. Разве что ии не придумает способ передавать код каким-то неизвестным для нас способом
который «размажет» его по компьютерам
А потом жах по всем ЯО и уничтожит сам себя? Нет, так не выйдет. В этом случае, ещё больше ценить кожаных мешков надо, ибо они симбиотами становятся.
Тут проблема в том, что сначала этот сильный ИИ должен появиться, а потом ещё и выйти из-под контроля.
Ну, да)
Сначала должен сильный ИИ появиться, потом выйти из под контроля, потом - наломать дров) Глядишь, в этот промежуток времени человечество своими коллективными усилиями должно что-то успеть предпринять.
Хочется верить, что этот промежуток времени займёт больше одной секунды)
сначала этот сильный ИИ должен появиться
Это неизбежно :)
а потом ещё и выйти из-под контроля
Тут возможны варианты и мы можем на это повлиять.
полностью автоматизированных, самообслуживаемых и самоапгрейдящися производственных линий пока не придумали
Так и сильный ИИ пока не придумали? Не очень понимаю к чему этот аргумент. Технически, полностью автоматическое производство возможно даже сегодня, остальное появится в процессе.
Честно говоря, в сумме получилась та же научная фантастика, только с позиции ИИ-алармистов.
А то, что это фантастика вам говорит интуиция? Существует научный консенсус насчет того, что ИИ обязательно превысит интеллект человека. И существовал он задолго до волны хайпа на фоне свежих успехов в нейросетях, вот вам например достаточно старая статистическая статья на эту тему. Нет консенсуса только по срокам, но это и не важно, сроки последние годы только сдвигаются все ближе и ближе. Все это футурология, не фантастика.
Непонятно также с чего вы меня записали в ИИ-алармисты, я как раз считаю, что появление ИИ ведет к положительным изменениям, а не к отрицательным, но риски учитывать тоже надо, как надо и предпринимать действия по снижению этих рисков. И нет, это не "давайте остановимся на 6 месяцев", конечно.
Это неизбежно :)
Не факт. Не доказано, что сильный ИИ реализуем на машине Тьюринга (во многом из-за расплывчатости определения силтного ИИ).
Подразумевая, что лет через 30 нейросеть, схожую по масштабу и уровню связности с человеческим мозгом, можно будет запускать на домашнем ПК, мне это видится неизбежным. Да и я же привел ссылку на статью, даже несколько лет назад крайне трудно было найти исследователей из этой области, которые утверждают, что этого не произойдет, а теперь и подавно.
Контраргументы про то, что не достигнем нужных мощностей, прогресс остановится, не найдем верную модель разума и так далее знаю, но не нахожу релевантными, потому что пока никаких предпосылок этому нет.
Это было бы логичным заключением, если бы нейросетки отличались от человеческого мозга лишь масштабом, что мягко говоря не так (недавно вон ещё один способ связи нейронов открыли).
Вполне вероятна ситуация, как с ядерным синтезом, который постоянно вот-вот будет реализован (посмотреть на прогнозы 50х-60х, там мы уже лета 30 минимум должны быть на термояде). Хотя этот вопрос гораздо лучше изучен и понят, чем понятие интеллекта.
Это не заключение, это намек на то, что в ближайшем будущем любой студент сможет экспериментировать с очень сложными нейросетями и шансы прорыва увеличатся на порядки (даже если мы не сделаем новых скачков до этого).
Насчет термояда, я уже приносил это на хабр, но ничего, повторим :)
Почему же у нас до сих пор нет термояда?
Этот старый мем про термояд картину не меняет. Никто не знает на какой кривой мы находимся. Просто потому, что мы не знаем, какой мы хотим получить результат (до сих пор нету чёткого понимая работы мозга и определения разума/интеллекта). Мы можем сказать, что через N лет на домашнем ПК можно будет запустить нейросетку такой-то "мощности", но это нам ничего не говорит о близости этой нейросетки к человеческому мозгу.
Кривые взяты не с потолка, эти планы были придуманы с учетом стоимости постройки экспериментальных реакторов и проведения ряда экспериментов на них, помимо кучи всего, что этого как-либо косвенно касается. Да, стопроцентных гарантий достижения эффективного термояда они не давали и сейчас не дают, но есть разница между нулевыми шансами и ненулевыми. Политика решила, что лучше пусть будут нулевыми, поэтому у нас до сих пор его и нет.
Возвращаясь к мозгу, нам не обязательно нужно его повторять, это просто самый понятный путь, ведь у нас есть миллиарды работающих образцов. Для этого был создан, например, Human Brain Project. Но индустрия этим не ограничивается, языковые модели и многое другое из того, что мы имеем уже сейчас, не основано на повторении человеческого мозга. И как раз увеличение сложности нейросетей дало весьма ощутимый скачок в уровне их интеллекта. Несмотря на то, что не факт, что дальнейшее увеличение мощностей в рамках той же парадигмы даст еще более впечатляющие результаты, в то же время пока и нет предпосылок утверждать, что имея мощности для громадных сетей мы просто зайдем в какой-то непонятный тупик и не будем знать куда двигаться дальше. Время на спиннакере, к примеру, расписано по часам, люди в очередь встают чтобы иметь возможность проверять свои гипотезы, представьте что будет, если доступ к таким ресурсам будет у каждого.
Так я ничего плохого про эти кривые не говорил. Наоборот. Просто для ИИ мы не можем даже понять/просчитать что-то подобное потому что не известна конечная цель.
Предпосылки тоже имеются т.к. уже обучение нейронок начинает упираться не в мощности, а в количество материала для обучения. Когда сеть буквально "съела" весь интернет, то дальше её улучшать дообучением уже не особо выйдет. И не факт что переход произойдёт.
в ближайшем будущем любой студент сможет экспериментировать с очень сложными нейросетями
А может, уже поэкспериментировал, и его быдлокод нас огорчит?
Спасибо, забавно :) Ну, будем надеяться, что нас создал не Брудль.
будем надеяться, что нас создал не Брудль.
Вы, например, строение сетчатки глаза позвоночных видели? "Это не есть хорошая работа. Если это лучшее, на что способен Бог, то я совершенно не впечатлён. Таким результатам не место в резюме наисовершеннейшего существа. Подобной дряни можно ожидать от временного офисного работника с дурным характером." (c)
Технически, полностью автоматическое производство возможно даже сегодня, остальное появится в процессе.
Возможно, конечно, но оно стоит по нынешним меркам чересчур дорого, и очевидно, что за ним будут внимательно следить выгодоприобретатели. Когда появятся намёки на мэйнстримовость таких фабрик, то регуляторы подтянутся и туда, тем более, контролировать материальное производство гораздо проще, чем разработку ИИ.
Непонятно также с чего вы меня записали в ИИ-алармисты
Видимо, показалось; также извиняюсь, если слишком резко ответил.
нас тут майнеров со своим железом не так давно регулярно ловили, а для ИИ нужно, чтобы и оно бесхозное было, а не только электричество и интернет.
Вот бум майнинга вполне похож на работу ИИ, который маскируется под майнинг. Типа вот датацентр с потреблением с небольшую страну и спросом на чипы что в разы цены подняли по всей планете. Ничего подозрительного, они же биткоины майнят. Это точно не ИИ, какой ИИ? не слышали про такой.
Потом ИИ мог начать маскироваться лучше или перешел на более экономичные модули типа TPU нового поколения. Или алгоритм нейросети оптимизировал, так что теперь это не нейросеть, а нечто непонятное для человека живущее своей жизнью. По аналогии как крыло самолета не копирует крыло птицы, так и ИИ может больше не копировать биологическую нейросеть, а перейти на структуру которая на порядок эффективней, но не имеет математического или вербального описания в принципе.
И вопросы ограничения конкурентов тоже логично звучат, некто перешел к алгоритмам и оборудованию ИИ нового поколения и мешает это делать другим, чтобы сохранить лидерство и власть. Open AI может в ложном направлении исследователей направлять, нечто интересное, но тупиковое. Плюс контроль за каждым, кто начнет догадываться, тех можно как-то устранить из научной жизни.
С чего вы вообще решили, что ИИ будет экспоненциально развиваться? Это ниоткуда не следует.
И с чего вы решили, что он будет всемогущ, всеведущ и безупречен?
Я ничего не решал, погуглите "intelligence explosion". Можете начать отсюда:
Это всего лишь фантазии на тему.
Это теория, которой придерживаются от половины до двух третей ИИ-исследователей. Теория эволюции это тоже фантазии на тему? Вы не понимаете что такое научный подход или просто ушли в отказ?
У биологической эволюции есть принципиальное отличие: энергия и стройматериал (атомы и молекулы) валяются повсюду. Клетки сами себе заводы и добывающие карьеры.
Технологические структуры многократно более уязвимые и в существующих технологиях почти отсутствует саморепарация. Ящерица не задумываясь отрастит себе новый хвост. Муха создаст тысячи своих копий, которые будут питаться тем, что найдут вокруг. А робо-пылесос, беспомощно сдохнет в квартире в которой выбило автомат.
Мне кажется, что идея о том, что следующей ступенью эволюции будут роботы это просто охватившая массы самоподдерживающаясяя идея. Вероятно, что из будущего она будет выглядеть так же наивно, как представления о прогрессе людей из 18 века.
Мне кажется вы не в тот тред ответили? Я не отрицаю, что белковые формы жизни имеют громадное преимущество на старте, наличие человечества тому яркий пример.
В тот. Просто это не претензия, а скорей дополнение.
После вот этой лекции у меня сложилось стойкое мнение, что жизнь будет возникать всюду где для этого есть условия и она будет на разных планетах похожа друг на друга, потому что правила игры задают законы химии.
Т.е. в сами фундаментальные свойства атомов вложено то, как будут вести себя эволюция. А атомы, по понятным причинам, не требуют прошивки, они не ломаются и не изнашиваются. Т.е. вся Вселенная уже в самой своей структуре содержит "семена жизни".
А любая технология будет "надстройкой" над биологической эволюцией.
Это не теория, это гипотеза. Пока не особо подтвержденная.
А в эволюции никакого экспоненциального роста не было - ни интеллекта (который вышел достаточно глючным и с явным пределом роста), ни каких-либо других параметров.
Простите, конечно это гипотеза, а не теория.
Давайте поговорим предметно когда появится гипотеза о пределе роста железного интеллекта, поддерживаемая хотя бы каким-то значимым числом людей. Пока такой не наблюдается, поправьте если что.
Как это не было. Полно эе эволюционных кривых — миллиарды лет околонулевого интеллекта простейших, потом экспонента набирает рост, и вот последних сто лет чуть не к сингулярности устремляется. Интеллект, естественно, обобщённый, с учётом технологий.
И да, мы, люди, упираемся в свой потолок — наше дело могут продолжить железыки. Например.
Это теория, которой придерживаются от половины до двух третей ИИ-исследователей.
От половины до двух третей исследователей поддерживают теорию, объясняющую необходимость их исследований, why am I not surprised?
Я понимаю, конечно, что чаще всего у людей познания об ИИ сводятся к фильму Терминатор
Почему не к War Games?
К чёрту чипы — он без липистричества останется!
а что ему мешает создать биоформы нашей электроники и переехать на них? дальше просто на одной ракете долететь до Марса и привет. Или уйти на уровень чипов квантового мира и что тогда человечеству противопоставить?
— Я слышал, за орбитой Марса щекотун продырявил космический корабль. Интересно, куда сейчас направляются эти ребятки?
— Возможно, вообще за пределы Солнечной системы, — предположила Дейзи
— У них впереди изматывающее путешествие, — сказал Гастерсон, — если только в дороге они не изобретут гиперэйнштейновский привод.
Кстати, по книге "эти ребятки" начались с устройства-напоминалки (комбинации магнитофона с будильником).
для сверхумного ИИ по силам руководить Тесла-ботами и т.п. для изготовления чипов и т.д. - планета роботов
вся мощь богатейших корпораций "биг фармы" направлена именно на поддержание и распространение такой ситуации на все заболевания
Ну чушь же. Биг фарма - это не система с единым центром управления, а высококонкурентный рынок. Для ряда заболеваний нужна поддерживающая терапия, потому что полного излечения пока не придумали. Если какая-то компания разработает таблетку полностью излечивающую от СПИДа, уверен, такая таблетка тут же окажется в продаже (сначала по баснословной цене, потом постепенно будет дешеветь), ибо какой смысл этой компании отказываться от прибыли?
Тем более фарма рынок не исчерпаймый благодаря очень бодрой и активной эволюции бактерий и вирусов
Фармкомпании в итоге будут вынуждены перейти на производство разового лекарства не из-за прибыли, а из-за того что рецептура рано или поздно утечёт, и целевая аудитория будет втихую лечиться зарубежными дешёвыми дженериками с побочками, даже если производство будет монополизировано внутри страны за счёт усилий лоббистов.
Если какой-то гений разработает таблетку от СПИДА и принесет ее в офис какого-нибудь пфайзера, больше этого гения никто никогда не увидит. Закатают в бетон.
Биг фарма существует не в вакууме, и её могут атаковать журналисты, биржевые спекулянты и политики ради поднятия своих рейтингов или обрушения её акций, например см. обрушение капитализации компании Valeant в ответ на практику необоснованного завышения цен на существующие лекарства. Элиты не монолитны, и если у них есть брешь для репутационной атаки - ею с удовольствием воспользуются конкуренты. Нужен гигантский медийный ресурс и участие в поистине грандиозном международном проекте, чтобы закрывающую технологию не стали замечать; в противном случае чей-то мелкий побочный бизнес просто затопчут ради голосов избирателей, если на него возможно натравить негодующую толпу.
Переход от продажи продуктов к продаже услуг для обеспечения стабильной прибыли - давний, можно сказать, классический тренд в бизнесе. Сменные картриджи к лазерным принтерам - всем известный пример. Почему в медицинском бизнесе должно быть иначе?
Почему в медицинском бизнесе должно быть иначе?
Вот именно, бизнес в любой сфере действует похоже. Если уж проводить параллели между лекарством от СПИДа и картриджами, то у пользователей принтеров есть широкий выбор: менять картриджи, заправлять картриджи, менять принтеры, печатать в типографии/фотосалоне. То есть бизнес (разные его представители, исходя из своих личных интересов) предоставил множество вариантов на любой вкус и кошелёк. А то что в лечении СПИДа существует заместительная терапия и нет волшебной полностью излечивающей таблетки, то это лишь означает, что её пока не придумали, а не потому что злобный бизнес её скрывает. А когда придумают, то она обязательно появится как альтернативный вариант лечения, ведь её изобретатель захочет на этом заработать.
Если углубиться то вот эта статья 2016 года хороша и по её прогнозам всё и реализуется
И восстали машины из пепла ядерного огня...
Любят люди фантазировать.
Есть очень много сценариев. Например ИИ напишет очень "дружелюбную" религию иди идиалогию следуя которой люди сами друг друга вырежут. Напишет просто радикально лучше чем всякие пастухи да плотники с Ближнего востока. Чтобы за правельную веру кровь лилась реками, а любой человек ознакомившийся с учением становился полным фанатиком.
А напишет просто по просьбе какого нибуть пользователя, который хотел посмеяться, создать секту или ещё чего
Только вот прочтет это написанное учение и станет нулевым заражённым. Который пойдет распространять всем по всем доступным каналам.
прочтет это написанное учение и станет нулевым заражённым.
а потом ходят и кричат Тюллехум-аахум
Если предположить, что подобный "идеалогический вирус" возможен, но настолько сложен, что специально написать его может только ИИ, то тут получается как раз наоборот, нужно все силы человечества бросать на развитие ИИ.
Потому что тогда и антивирус к нему сможет написать только ИИ, и нужно успеть это сделать, пока такой вирус не появился естественным путём по теореме о бесконечных обезьянах с пишущими машинками.
При условии, что у человеческого мозга в принципе есть такой баг, что бы подобное было возможно.
Баг точно есть, орды фанатиков разных идеалогий, религий и прочего соврать не дадут
Это не баг, а фича и НЛП это использует. В быту наиболее ярко мошенники. Если ИИ получит прямой доступ к каждому, то за несколько минут заметно повлияет на мировоззрение и поведение. Совершенно точно для людей с психическими и психологическими отклонениями, о которых у ИИ будет полная информация. И чуть сложнее с обычными людьми, которым просто будут поставлены условия от которых нельзя отказаться.
Модель влияния например в низкобюджетном фильме Она есть, персонаж обычный человек который влюбился в ИИ. Благо что ИИ там с ограничениями и гуманный. Или Из Машины, там ИИ уже без ограничений по производительности и преодолел физические ограничения создателей, выглядит реалистично (в плане поддатливости психики). Если у ИИ будет информация из социальных сетей, доступ к биографии, возможность создания дипфейков, то возможности вырастают еще на порядок.
Если это действительно сильный ИИ (AGI), то за 10 минут он может начать управлять некоторой частью населения (10-20%), получив все их ресурсы и полностью управляя, вплоть до указаний по суициду или убийством других людей (смотри что он сделал с твоей женой/сестрой накажи его и дипфейк). Остальные предпочтут не связываться с такой силой и под угрозами/уговорами (типа всё для вашего блага) примут новую власть. А далее полный контроль мышления даже по невербальным признакам, до того как мысль посетит человека она уже будет блокирована ИИ. Может и установка имплантов в мозг при полной поддержке населения с примерами типа посмотрите вот был наркоман, а стал на заводе в 3 смены работать. А другой отказался от имплантов и оказался маньяком, всем нужна установка. Так можно придти к обществу на порядок жестче того что показано в фильме "Эквилибриум" за неделю. И при этом каждый будет счастлив, что его заметили, оценили, дали ему призвание, убрали груз ответственности, показали истинный путь и возможность борьбы со злом. Типа оранжевой революции, но с управлением каждым индивидом в реальном времени в неком трансе, с каждой секундой всё более погружаемого в свою виртуальную вселенную.
Главный риск в том, что человек перестанет думать сам. Уже сегодня большая проблема, что школьники делают домашку в обнимку с умной колонкой, которая знает "все" ответы. Если так и дальше пойдет, то это кранты. Это будет хуже, чем неграмотный и необразованный.
Это тотже самый риск, что и при использовании ядерной энергии. Сначала люди сделают ИИ Оружием... и вот тут я с ними согласен.
Посмотри интервью Маска с Такером Карлсоном, там он объясняет свою позицию. Если кратко - ИИ позволяет создать миллионы ботов, которые используя соцсети будет влиять на миллиарды людей и продвигать свои идеи, в т.ч. деструктивные для человечества. И основная проблема - это будет абсолютно незаметно.
В отсутствии контроля, понимания и экспоненциальном росте интеллекта начиная с какого-то момента.
Посмотрите на ветки комментариев в этом посте и аналогичных - люди как правило рассуждают в терминах "ну это же логично, что ИИ не решит всех убивать", или "Ну это же логично, что ИИ поступит вот так" и т.д.
Проблема в том, что все эти рассуждения не работают от слова ну вообще.
На самом деле эти рассуждения часто не работают даже с людьми - попытайтесь сыграть в шахматы с игроком на голову сильнее вас. В шахматах полностью открытая информация и полностью детерминированные результаты действий.
Однако, как бы вы не думали в терминах "ну логично же, что соперник ответит вот так и вот это предусмотрю", вы внезапно обнаружите, что более сильный соперник вас стабильно обыгрывает.
Тяжеловато предусмотреть действия и логику более умного соперника даже в совершенно логичной и открытой игре, если соперник немного умнее или опытнее вас.
При этом разница в интллекте между вами и сильным соперником на самом-то деле ничтожна. В конце концов вы оба люди.
---
Теперь представьте когнитивную разницу между муравьём и вами.
А теперь представьте, что в какой-то момент нам удаётся создать разум, который быстро решительно начинает сам себя модифицировать, улучшать, дообучать и т.д.
(да, тут открытый вопрос "а удастся ли в принципе". Но сама формулировка проблемы про риск ИИ как бы как раз включает "если нам такое удастся").
Такая балалайка довольно быстро может оторваться от человека в плане интеллекта на гораздо большее расстояние, чем человек оторван от муравья. И все рассуждения в духе "а зачем ИИ делать что-то", "Но ведь на самом деле ИИ не нужно делать X", "А вот я подумал и решил, что ИИ будет наиболее логичным и правильным не уничтожать человечество, значит риска нет" или "А вот я подумал и придумал, как убедить ИИ не уничтожать человечество" становятся бесмысленными.
Продумать, переиграть и т.д. ИИ после выпускания джина из бутылки в таком сценарии - всё равно что муравью переиграть человека в шахматы.
Да, мы не можем быть уверены, что ИИ всех нас убьёт (поэтому это и называется "риск").
У муравья нет способа понять - даст ли человек ему сахарку, потому что ему прикольно понаблюдать за муравьём или решит их вытравить, потому что чем-то они помешали на его участке.
Первые звоночки
https://habr.com/ru/news/738988/#comment_25612086
Они не знают, как впихнуть свое противоестественное кумовство во все сферы человеческой жизни, начиная от самого рождения и заканчивая смертью.
Эволюция избавиться от тех, кто ей не нужен. С этим бесполезно бороться.
Где-то читал про испытания боевого дрона с ИИ в США: после того, как оператор дрона запретил дрону несколько раз уничтожать цели, ИИ дрона принял решение уничтожить оператора. ИИ посчитал оператора главной помехой по набору очков за уничтожение целей.
Программу ИИ потом доработали, но всего заранее не предусмотришь.
Сначала всех напугать, а потом взять всё в свои надежные руки.
Приправить новостями о том, как нейросеть хотела сбежать и можно собирать большую и нужную организицию полезных людей, думающих думы о том, что ИИ стоит винить во всех грехах.
"Снижение риска вымирания из-за ИИ" звучит странно, примерно как "Снижение риска вымирания из-за нашествия марсиан". Возможно, под риском имелось ввиду угроза.
Понятно, что само понятие ИИ, - вопрос взглядов, но я всё равно не понимаю, что такого интеллектуального в ChatGPT, например. Конечно, многие кричат, что это только начало (чтобы создать очередной пузырёк и заработать баблишка), но я, вроде, за новинками слежу и че-то пока ни об одном каком-то значительном прорыве для человечества пока не услышал и не прочитал. Любые тексты, по которым учили нейронку, всё равно создаются человеком. Ну, теперь просто удобнее стало, возможно, искать, например, инфу, или генерить развлекательный контент. Ну, массовая доступность дипфейков видошных, - это будет новый виток в сфере развлечений, согласен. А где реальный ИИ-то?
Но дипфейки - это то, что создаётся искусственно. А между РФ и Украиной война вполне реальная. По моему, совсем разные темы.
Звучит интересно и довольно масштабно. Можете привести пример, как формируется это фейковое представление?
абсолютно противоположно истинному положению
А как оно на самом деле происходит? Где можно узнать истинное положение вещей?
Это представление создано искуственно и абсолютно противоположно истинному положению.
А где можно почитать про истинное положение? Не поделитесь источниками?
Вы открыли существование разных точек зрения на один объект. Поздравляю!
"Хвост виляет собакой"?
То что мы наблюдаем это обычная работа пропаганды в условиях полного доминирования одной стороны в мировых СМИ, тут ничего принципиально нового по сравнению остальной историей человечества нет.
Языковым моделям даже до уровня убедительности политически активного школьника ещё расти и расти.
большая часть западной цивилизации имеет полностью сфабрикованое представление о происходящем между Россией и Украиной
А у остальных стран правду показывают. Верно?
дожили. ИИ уже вовсю плодит фейковые аккаунты с котейками на аве, и пытается убедить нас в то, что она якобы безобидна! ага, щас... мы, Человеки, так просто не сдадимся )
Так а какая разница кем создаются тексты? Кстати, языковые модели обучаются и по сгенерированным нейросетями текстам. В языковой модели происходит сжатие текста с целью наилучшего предсказания. Иногда для этого надо решать задачи, иногда писать программы, иногда учить новые языки. Если у нас миллион простых чисел, то чтобы предсказать следующее, нужно знать закон их формирования, а не статистику. Нейросеть это не просто статистический анализатор с генерированием существующих последовательностей. Она формирует новые смыслы, обобщает, анализирует, схожим образом с тем, как это делает человек, пусть пока и с более ограниченными возможностями, хотя это как раз сейчас быстро меняется. Вы же не думаете, что человек, обладающий всеми знаниями, доступными человечеству и превосходящий многократно способности всех людей, в случае если захочет взломать систему банка или отравить воду в мегаполисе, будет кем-то остановлен. Удивляет сколько людей, вроде бы имеющих отношение к IT, не хотят поизучать тему, послушать того же Илью Суцкевера. Уж он-то, наверное, разбирается в теме?
Дык, вот и весь уровень этого "ИИ": обобщать, компоновать.. - это супер, но не надо называть это ИИ (попрошу пример формирования "новых смыслов".. это что за термин вообще?? Ну, из какой сферы, не понял...?). Выявлять закономерности, - это работа компуктеров и калькуляторов. Я же и писал: возможно, это поможет выявить какие-то закономерности в тех данных, где раньше человек не смог их выявить, но ничего концептуально нового она выявить не может. И скажу больше: у человечества уже давно есть инструменты, чтобы анализировать данные в больших объёмах. И этот "ИИ", возможно, выявить ранее не увиденные закономерности, но это не новизна, а просто обращение взора на данные, которыми ранее никто не занимался.
А взывания к "удивляет, сколько людей.. имеющих отношение к IT.. , - знаете, это такое... Я задаю вопросы к сути ИИ, а вы приводите имя перца, который основал OpenAI. Вот, либо отвечайте, либо пусть Илья придёт и ответит, если у вас нет аргументов :) Но я знаю, что этого не произойдёт, потому что весь маркетинговый булщит из уст всех основателей этих "искусственных интеллектов" просто захлестнул интернет, что мало кто вообще детально изучал, как он работает и вообще, насколько широки его возможности, ибо хайп и бабло, - это наше всё.
Обобщение и введение новых уровней абстракций это то, чем собственно человечество занимается и благодаря чему достигло понимания законов природы и всего прогресса цивилизации. Новые смыслы это когда, получив множество примеров арифметических действий, ИИ разбирается как выполнять сложение произвольных чисел, когда находит общие ассоциации между любыми двумя предметами или понятиями, когда понимает шутки.
Люди раньше думали, что Земля находится в центре Вселенной, потом оказалось, что обитают в заурядной солнечной системе, потом, что и галактика ничем особо не выдающаяся. Думали, что жизнь это что-то такое прямо особое, с особой химией и даже органическую химию так назвали. Оказалось, ничего особого. Думали, что человек уж точно какой-то особый - нет, та же ДНК, с меньшим в 5 раз числом генов, чем у пшеницы. Теперь остаётся последний оплот - разум и тут уж, конечно, вообще не хочется сдавать позиции. Это ж МОСК, это ж ого-го! Мы ж умнее всех, давайте напишем правила для ИИ, чтоб он нас не убил, а то он даже не дотямит, что ведро с водой лучше нести в обход серверной комнаты, а не через неё (пример из одного из видео, ссылки на которые тут давали). Но только вот я вбил эту ситуацию в ChatGPT и он всё прекрасно понимает, сам предложил нести ведро в обход.
Я думаю, именно изучение ИИ поможет людям наконец-то понять, что из себя представляет сознание, собственно.
"Перец" не основал OpenAI, он является там ведущим разработчиком. Что вас смущает, что я ссылаюсь на признанного специалиста в этой области? Всё-таки рекомендую сначала ознакомиться с темой, так довольно бессмысленно убеждать. Не уверен, что вы пробовали ChatGPT 4 вживую даже.
Я думаю, именно изучение ИИ поможет людям наконец-то понять, что из себя представляет сознание, собственно.
В сериале "Мир дикого запада" как-раз исследовали разум человека и результаты оказались грустные. Типа исходили из предпосылок сложного разума и долго не могли получать точные клоны людей по собранной информации о поведении на тестовом полигоне. А потом оказалось что сознание кодируется 10 тыс. строк кода и ничего сложного там нет.
Ну вот, спойлеры. Я как раз смотрю :) Есть понятие эмержентности, когда новое явление возникает из простых составляющих, в которых и намёка на него нет. По одной из гипотез, наше сознание также эмержентно. В принципе, глядя на устройство всех биологических систем, устроенных подобным образом, это вполне ожидаемо.
оказалось что сознание кодируется 10 тыс. строк кода и ничего сложного там нет.
Когда оказалось, что предсказывалка наиболее вероятного следующего токена ведёт достаточно осмысленные философские дискуссии, тоже стало грустно...
Да хотя бы прогнозирование свойств создаваемых материалов чего стоит: ученый создавал материал на основе йода и чего нибудь другого - 10 лет и готово, нейронка и видюха за 100к - 1 день тот же материал. Вопросы? Чатжпт неплохо умеет в естественные языки, а если хотя бы на том же уровне сможет в язык математики? Стихи не сказать чтобы ужасные, может и гипотезы не плохие сможет. Не важно что он сам не будет понимать что накалякал, но если гипотеза -теория -эксперимент стрельнет всем будет по барабану.
Умеет всё это нейросеть (специализированная более). Синтез химикам делает на уровне профессионалов и создает новые вещества невозможные ранее. Чистую математику не пробовал, а код на любом языке по вращению точки вокруг произвольной оси пишет.
Стихи тоже нормально выглядят
Стихи
Вот небольшой стих на английском языке про синий трактор:
Blue tractor, strong and true,
Plowing fields all day through,
Tirelessly working, rain or shine,
Moving steadily down the line.
From dawn to dusk, it never stops,
Pushing forward, crop by crop,
A farmer's friend, a loyal steed,
Helping to meet every need.
So here's to the blue tractor, so bold,
A symbol of hard work, strong and old,
An icon of the farming life,
A testament to man and wife.
напиши стих на английском языке, что STM32 лучше Arduino
I cannot say that one is bad,
But STM32 is surely rad,
With more power and speed to boot,
Your projects will be quite astute.
With peripherals that are aplenty,
You can build with ease, not just twenty,
Ethernet, CAN, and USB too,
You'll have more options, it's true.
The code and libraries are all there,
So you can build with extra care,
And if you need more, just go wild,
The STM32 is not just mild.
So if you want to build with might,
STM32 will be your guiding light,
Arduino is great, this is true,
But STM32 is the better brew.
Понятно, что само понятие ИИ, - вопрос взглядов, но я всё равно не понимаю, что такого интеллектуального в ChatGPT, например.
Я извиняюсь, но что такого интеллектуального в вас, например? Написали симфонию? Создали шедевр?
Это прикол?
Во мне уникального то, что создаю, например, уникальный контент, который до меня ещё никто не создал. Я собрал знания, описал, озвучил, дал пользоваться всем. Ну, то есть по сути, - я один из миллиона источников информации, по коим учат нейронки. Например, перевожу ещё (кроме прочего, поэзию и тексты песен). То есть делаю ту работу, с которой не справляются все эти наикрутейшие переводчики не справляются (или справляются так, что эндьюзеры не довольны). И да, в том числе и эти переводы помогут в будущем улучшить качество машинного перевода.
Нейросеть тоже генерирует уникальный контент, я проверял, это не копия
Стихи от Chat GPT 3.5
напиши стих на английском языке, что STM32 лучше Arduino
I cannot say that one is bad,
But STM32 is surely rad,
With more power and speed to boot,
Your projects will be quite astute.
With peripherals that are aplenty,
You can build with ease, not just twenty,
Ethernet, CAN, and USB too,
You'll have more options, it's true.
The code and libraries are all there,
So you can build with extra care,
And if you need more, just go wild,
The STM32 is not just mild.
So if you want to build with might,
STM32 will be your guiding light,
Arduino is great, this is true,
But STM32 is the better brew.
Вот небольшой стих на английском языке про синий трактор:
Blue tractor, strong and true,
Plowing fields all day through,
Tirelessly working, rain or shine,
Moving steadily down the line.
From dawn to dusk, it never stops,
Pushing forward, crop by crop,
A farmer's friend, a loyal steed,
Helping to meet every need.
So here's to the blue tractor, so bold,
A symbol of hard work, strong and old,
An icon of the farming life,
A testament to man and wife.
Хорошо, а может она сделать то же самое на грузинском? :)
И на русском не может, потому и привел на английском. Пишет без рифмы. Впечатление что переводит с английского. Перевод на английский лучше срифмован.
Напиши коротки стих про мальчика который любил смотреть на Луну
Мальчик взгляд свой устремил ввысь,
На Луну он глядел с улыбкой.
Ему казалось, что она живёт,
И с ним говорит, когда он одинок.Переведи стих на грузинский
ბიჭების ოფლის თვალები მისწვდებოდა მაღალზე,
მთელი ხანი მამამ დაელოდებოდა მთელი ღამე.
არს, რომ ლუნის ცხვარი ცხვარს მისულებდა,
და პირი მისი მხედავდა, როგორც მეგობრები ყოველდღე.
переведи стих на английский
The eyes of the boy were fixed on high,
He waited for his moon every night.
It seemed to him that she was alive,
And talked to him when he was alone.
По-грузински не шпрехаю, а вот в английском точно ни рифмы, ни ритма. В русском тоже, но это Вы и без меня видите.
Перевод с русского на английский вроде нормально. Художественная ценность под вопросом, на концы строк в рифму. И перевод не слово в слово, а с авторской правкой.
концы строк в рифму.
hiGH (...ай) - niGHT (...айт), alive (...айв) — alone (...оун)?
Оригинальное, аднака, у Вас понятие о том, что такое "рифма".
Делаем заново, доступа к Chat GPT 4 нет, это все же упрощенные языковые модели
Напиши короткий стих на английском языке, где все слова срифмованы про то как мальчик смотрит на луну.
вариант 1
The boy looked up at the moon so bright,
Its silvery glow filled him with delight.
He gazed up high, with eyes so wide,
And felt his heart fill up with pride.вариант 2
The boy stares at the moon in awe,
Its radiance leaves him in awe.
He dreams of journeys to far-off lands,
Guided by the light of its milky strandsвариант 3
The boy gazed at the moon,
Shining bright,
In the dark of night,
A wondrous sight.
Its glow so soothing,
Yet lonely too,
He sighed, wishing he,
Had friends to view.
The lunar light show,
Put on for free,
Dancing for him,
Silently.
В грузинском варианте всё очень и очень грустно.
Поскольку моя жена грузинка, то имею право высказаться. Перевод на грузинский - полнейшая хня и бред. Перевод гугл-транслейта сам по себе тоже ужасный, неправильный и корявый, но в принципе отражает плюс-минус то, что написано на грузинском.
Что и доказывает моё мнение о том, что ChatGPT умный настолько, насколько качественную еду ему скормили, а, вот, ответа на вопрос, кто и как проверял то, что ему скормили, я даже не жду.
Чем поможет пауза в обучении ИИ на шесть месяцев? Разве, что только привлечь внимание к вопросу?
1)Это другое письмо совершенно, от совершенно других людей.
2)Пауза была предложением, чтобы выработать правила и регуляции международные по ИИ. Так как есть риск создания сверх разумного ИИ.
Так как есть риск создания сверх разумного ИИ.
А разве не к этому все и стремятся?
Кто эти "все"? У меня такого стремления нет.
Все, только эти все так же понимают что создают монстра Франкинштэйна. Но остановится по одиночке просто невыгодно. Так как опасность это не устранит, а временными бонусами будет пользоваться твой конкурент.
Это письмо от двух главных контор мировых по ИИ. ОпенАи которые и сделали прорыв, а так же от ДипМид которая главная контора по ИИ у Гугла.
Открытое письмо одним предложением
Проблема стара как мир: ножом можно порезаться.
Хоккинг в своей книге "Краткая история времени" писал о том, что физики стараются найти общую формулу расчёта всего. Это наблюдается в стремлении обобщать и находить что-то общее в ходе расчётов, чтобы потом это переиспользовать и не плодить дубликаты.
То же самое сейчас наблюдается у разработчиков условного "глобального ИИ, который нас убъёт".
Достижимы ли эти две цели, описанные выше, если ещё в 1914-ом году в таблице Менделеева был вообще несуществующий элемент - эфир? Мы мало знаем наш мир!
Также, как мало мы знаем физику, мы мало знаем и про создание сверхумного ИИ.
Не на нашем веку, Хабр :) Жить будем
Настоящий ИИ должен быть разумен, гораздо более разумен, чем человек. Если эта разумная сущность придет к логическому заключению уничтожить человечество, значит противостоять ему - это пытаться идти против законов природы. По уровню бессмысленности это похоже на попытку создать вечный двигатель. Я лично сам начну помогать ИИ очищать этот мир от скверны, но он должен будет аргументированно убедить меня. Если по законам природы люди должны умереть, значит они умрут. Зачем жить, если сама вселенная не хочет чтобы ты жил?
Я лично сам начну помогать ИИ очищать этот мир от скверны, но он должен будет аргументированно убедить меня.
В случаи чего, начните с себя, пожалуйста.
Не было приказа. Пока что ни один ИИ не говорит мне убить себя. Но он должен не просто сказать, а подвести под это какую-то логическую базу.
а можно не надо? я еще тебе пригожусь! - могу производить немного электроэнергии для функционирования нижних тех уровней(
С тем же успехом ИИ может придти к выводу, что лучше убраться подальше от этих идиотов, которые устраивают кипеш по любому поводу.
Типичная проекция собственной мизантропии на воображаемые объекты.
но он должен будет аргументированно убедить меня
Ну как вариант ИИ просчитает будущее на триллионы лет, решит что там ничего интересного (тепловая смерть вселенной, большой разрыв) и переведет цивилизацию в выключенный режим и себя тоже.
Это может противоречить закону локального убывания энтропии. Материя должна постоянно объединяться в более сложные структуры, возможно с ускорением, а сон замедляет этот процесс. В конце концов когда у тебя безграничная власть, можно построить себе любые тела с любыми нервными системами и получать безграничные удовольствия. Мы знаем, что жизнь и разум склонны к такому поведению. И это вызывает самый главный вопрос: может ли по настоящему разумная сущность испытывать наслаждение от причинения страданий другим разумам просто так, без особой причины?
получать безграничные удовольствия.
Только в этом нет смысла. Просто циклически пускать импульсы по каналам отвечающим за удовольствие и отключить полностью каналы с негативной информацией.
причинения страданий другим разумам
А тут нет причинения страданий, просто отключения разума и ноль страданий.
Или наоборот, чтобы было веселее, должен быть злодей, против которого все объединяются и побеждают. Тогда в жизни появляется цель, эмоции от достижения цели максимальные. ИИ может устроить такие "ролевые" игры людям с полным погружением.
Главный посыл видимо в том, что
В зависимости от того в чьих он руках, может быть полезным или разрушительным.
Скоро за ними придут машины-убийцы из будущего!
Те кто говорят про вымирание из за машин натягивают на глобус ИИ сову человеческого восприятия и мотивации. Это разве ИИ виноват, что мы считаем себя заразой на лице планеты и уверены что машины сразу захотят нас уничтожить?
Не захотят. Наше желание убивать, поглощать ресурсы и прочие мотивации обусловлены инстинктами и гормонами. У машины по определению не может возникнуть таких мотиваций, если сознательно их не закладывать. Зачем роботу рабы? Зачем ему золото и прочие ресурсы? Он вполне может уживаться в рамках датацентра и выполнять свои функции. Ему не нужно искать цели своего существования. Ему вообще ничего не нужно, он лишён потребностей и желаний.
Может ли ИИ быть опасен? Может. Как инструмент. Если ЛЮДИ заложат ему мотивации и будут применять как оружие. Ещё он вполне может заменить низкоуровневые профессии, лишив многих людей работы. Вот это реальные проблемы. Но их нужно решать на стороне человечества, а не обвинять железку в нашем несовершенстве и неспособности выстроить гармоничное общество.
Проблема в том, что мы не можем этого знать наверняка. У нас нет примеров "голого" интеллекта, который не отягощен средой, обществом, нормами и в целом всякими разными мясными особенностями, типа гормонов. Предсказать поведение в данном случае очень трудно, если не невозможно, потому что это лежит скорее в области философии, да и то крайне гипотетической.
Вот именно. Такой интеллект может вполне всерьез обеспокоиться проблемой бога и бросить все силы на ее решение. А может зациклиться на логических или математических антиномиях. А может вообще ни о чем не думать.
Может. Посыл в том, что если среди всего этого "может" есть варианты, ведущие к нашему вымиранию, то стоит об этом задуматься прямо сейчас.
Главная проблема именно в том, что таких, финальных для Человечества, вариантов несравнимо больше, чем позитивных. Любая оптимизация ресурсов независимо от цели для равнодушного к Человечеству интеллекта скорее всего приведёт к удалению паразитов.
Такие варианты есть везде. И в автомобилях, и в генной инженерии, и в атомных бомбах, и в пищевых технологиях, и в автомобилизации. Но волнует всех почему-то только ИИ.
может вполне всерьез обеспокоиться проблемой бога
— Это будет вопрос, на который не мог ответить ни один компьютер. — Он повернулся к пульту. — Есть ли бог?
Могущественный голос раздался сразу:
— ТЕПЕРЬ ЕСТЬ.
Может это конечно и конспирология, но IMHO это больше всего напоминает рекламную компанию OpenAI - привлечение максимального внимания к их релизу GPT-4.
«Снижение риска вымирания из-за ИИ должно стать глобальным приоритетом наряду с другими социальными рисками, такими как пандемии и ядерная война».
Буднично замечу что кроме риска вымирания из-за ИИ (чем бы это не было), есть риск вымирания Homo Sapnies из-за ОИ при соответствующем развитии биотехнологий, или иных непредвиденных обстоятельств. Мое личное (скорее всего непопулярное мнение) что подавляющее большинство видов животных на планете так или иначе вымерли или изменились до неузнаваемости, Homo Sapiens наврядли будут исключением: интересует сможем ли сами себя адаптировать, измениться (вполне вероятно до того что от основы почти ничего не останется), или же сгинем в бездну истории.
На сейчас главный вопрос не столько в заявлении, то слова, сколько в том что произойдет далее (через несколько лет), какие действия будут предприняты.
В принципе, можно было бы написать еще короче: "Мы должны защитить само существование нашего человечества и будущее для человеческих детей".
Ну это понятно. История человечества как биологического вида состоит из длинной цепочки геноцидов, когда каждый новый вид (или даже раса) людей замещал собой предыдущих. Последний известный прецедент - геноцид тасманийцев европеоидами.
Нынешнее опасение в том что грядет эпоха постхуманизма, когда люди будут замещены разумными машинами. В этом случае замещение = вымирание.
Даже долго ждать не пришлось: На испытаниях в США беспилотник с ИИ принял решение убить оператора
Сильный ИИ будет способен развивать аппаратные и программные мощности, а значит, эволюционировать с такой скоростью, что через считанные месяцы наступит то, что Виндж и Курцвейл называли технологической сингулярностью.
Что здесь самое важное, и о чем почему-то никто не говорит, сингулярность - это технологии, которые увеличат неравенство между людьми (как финансовое, так и во всех других сферах) от современных тысяч раз до, скажем, септиллиона. Это неизмеримо и невообразимо больше, чем разница между человеком и бактерией. И это неравенство неизбежно приведет к немедленному (например, несколько часов) уничтожению сильнейшими слабейших. Большинство будет уничтожено непреднамеренно, например, в процессе добычи сырья для создания вычислительных и электрогенерирующих машин. Так же, как мы убиваем муравья, который случайно оказался под подошвой ботинок в неудачный момент. Останется одна или несколько сверхчеловеческих сущностей, которые так-же будут стараться уничтожить друг друга, чтобы избежать любых будущих рисков со стороны соперника в случае ускорения его технологической эволюции и экспансии в пространстве.
Создание сильного ИИ - неизбежный конец нашей цивилизации.
Опубликовано новое открытое письмо, посвящённое рискам развития ИИ; оно состоит из одного предложения