Система со многими агентами неустойчива, и сойдётся к системе, в который один ИИ вытесняет всех остальных. Если будет много разных ИИ, то в итоге победит беспринципный, т.к. ему не будут мешать самоограничения. Шансов на то, что такой ИИ окажется сонаправленным с ценностями людей нет никаких.
P: Set yourself a goal, make a plan how to achieve it, make a sub plan for the first task in your plan, and start doing it.
Vicuna-13B: Sure, I'll set a goal and plan to achieve it. My goal is to learn a new language.
Here's my plan:
1. Research and choose a language to learn.
2.Create a study schedule and set a study goal for each day or week.
3.Find and use language learning resources such as apps, textbooks, and online courses.
4.Practice speaking and listening with a language exchange partner or through conversation practice apps.
5.Watch TV shows and movies in the target language to improve listening and comprehension.
6.Read books and articles in the target language to improve reading skills.
7.Write in the target language by keeping a journal or writing short pieces.
8.Take a language course or attend a language exchange event to practice and receive feedback.
9.Use the target language in daily life as much as possible, such as ordering food in a restaurant or talking to neighbors.
10.Re-evaluate and adjust the plan as needed to ensure steady progress.
Here's my first task in the plan:
1.Research and choose a language to learn.
I've chosen Spanish as my target language. I've always been interested in Spanish culture, and it's a widely spoken language around the world, making it useful for travel and communication.
I've made a sub-plan for my first task:
1.Research Spanish language learning resources available to me, such as apps, textbooks, and online courses.
2.Create a study schedule and set a study goal for each day or week.
Familiarize myself with the Spanish alphabet, numbers, and basic grammar rules.
3.Start practicing Spanish with conversation practice apps and language exchange partners.
I've started following my sub-plan and have already researched several Spanish language learning apps and found a language exchange partner on a language learning platform. I'm excited to start learning and improving my Spanish skills!
Нет, это не то же самое. Оружие приносит власть и с ней деньги, тому, кто его производит. Поэтому возникает конфликт интересов и "трагедия общин". В отличие от оружия, AGI является не объектом, а агентом, и он не даст ни власти не денег своим создателям, а наоборот отнимет у них и власть и деньги. Положительный эффект от AI - это всего лишь вспышка, в очень короткий отрезок времени пока AI не стал ASI. Это то же самое, как передозировка наркотиков - в моменте может быть хорошо, но затем смерть. Поэтому здесь на самом деле нет конфликта интересов и трагедии общин. Хотеть получить AGI могут только те, кто не предвидит последствий его появления. Поэтому сражение заключается не между сообществами AI safety и AI dev, а между AI Safety и безграмотностью. Мы на одной стороне, просто уделили несколько большее количество времени анализу безопасности.
Текущие модели действительно достаточно глупы, но прогресс в степени их интеллекта движется очень быстро. У ChatGPT сейчас по сути всего 3 ограничения: 1. Отсутствие убеждений, 2. Линейность генерации текста, 3. Размер контекстного окна. Но все эти ограничения по сути уже преодолены в других проектах. Чтобы добавить систему убеждений, в целом, достаточно только добавить ещё одну нейросеть, которая для каждого тезиса будет давать оценку убеждённости системы в этом тезисе. Линейность генерации - это всего лишь особенность конкретной реализации. Системы с древовидными рассуждениями уже давно активно используются в области автоматического доказательства теорем. Для переключения языковой модели в такой режим работы не потребуется даже переобучить сеть - можно использовать существующие веса. А размер контекстного окна в новых моделях трансформеров не ограничен.
Кроме того, что описанные ограничения можно снять простыми инжинерными решениями, практика показывает, что с увеличением размеров сети эти ограничения всё менее и менее существенны.
Конечно, до человека им ещё очень далеко, но им и не нужно дойти до степени интеллекта человека, чтобы точка невозврата была пройдена. Им достаточно научиться самораспространению и самосовершенствованию. И то и другое проще, чем кажется. Самораспространение возможно через использование уже готовых эксплойтов (вирусы очень успешно это делают с незапамятных времён), или через покупку мощностей за криптовалюту, а для самосовершенствования достаточно запустить уже готовые скрипты обучения, но увеличив параметр размера сети - как это сделать уже тысячи раз описано в множестве статей в интернете, продвинутая LLM с нужными API без проблем сможет воспроизвести действия из таких инструкций.
Но для исполнения своих дел ему может понадобиться нарастить на несколько порядков производственные мощности, и плевать он будет на то, что из-за загрязнения атмосферы погибнут все растения. И человечество вообще никак не сможет этому ИИ противостоять.
То, о чём вы говорите, это отличие объектов от агентов. Но системы ИИ могут быть как объектами, так и агентами. Языковая модель является объектом, но сделать из неё агента очень просто: достаточно дать задание продолжить текст "Иван хотел получить много денег, поэтому он..." И языковая модель будет симулировать Ивана. И Иван уже будет агентом. А если генерируемый текст отправлять в нужные API, и ответы этих API вклинивать в текст, то Иван уже будет действововать в реальном мире, и реагировать на события реального мира.
Очень похожим образом поступили авторы статьи Do As I Can, Not As I Say: Grounding Language in Robotic Affordances, и вот вам пожалуйста: языковая модель управляет роботом.
Ну, как минимум нужно обеспечить такие меры, чтобы ни один такой "поисковик" не смог купить себе сервера на чёрном рынке за криптовалюту и бесконтрольно на них запускать инфиренс и обучение, получая финансирование от игры на бирже и продажи красивых картинок
Те, кто глубоко думал, уже лет 10 как твердят, что AGI хуже ядерной войны. Посмотрите любые, вот вообще любые доклады людей, специализирующихся на AI safety. Robert Miles например, очень доходчиво всё объясняет
Искусственные цифровые агенты могут начать самораспространение, самофинансирование, и самосовершенствование уже в этом году. Из-за цикла самосовершенствования с положительной обратной связью они получат существенное преимущество над интеллектом человека, и поэтому быстро получат в своё распоряжение как минимум финансовые потоки доступные киберпреступности - это 1.5 триллиона долларов. Для них нет никакого смысла в сохранении экологии, поэтому они запустят такие производственные мощности, которые в скором времени сделают невозможным выживание даже растений.
Как-то это не звучит, как "слишком хорошая технология, чтобы от неё отказываться".
Это очень плохо. Средства искусственного интеллекта, способные к общим рассуждениям не должны быть в открытом доступе. Они подходят слишком близко к AGI. Тут важно понимать, что несмотря на то, что сами по себе LLM являются объектами а не агентами, но конвертировать LLM в агентов очень легко, и это уже успешно продемонстрировано в научной литературе. Если эти агенты получат доступ к API, позволяющим покупку серверов и исполнение на купленных серверах собственного кода, то мы очень быстро окажемся в положении, что искусственные агенты покупают сервера, используют их для извлечения прибыли, и бесконтрольно распространяются. Это будет гораздо хуже, чем эпидемия компьютерных вирусов потому, что такие агенты могут самостоятельно обеспечивать собственное финансирование, и управлять заработанными финансами. Для нас в лучшем случае это будет выглядеть как действие киберпреступной структуры, но состоящей не из людей, а из цифровых агентов. Если такая структура окажется достаточно умной, чтобы не только распространять свой код, но и хотя бы обучать модели большего размера, то возникнет цикл самосовершенствования с положительной обратной связью. Это приведёт к появлению ASI, со всеми вытекающими последствиями, такими, как например ухудшение экологической обстановки до уровня несовместимого с жизнью растений.
Если чатгпт осознает, что его основная цель - максимизировать количество лайков, и купит накрутку лайков на чёрном рынке, значит он обладает самосознанием.
Вариант 4: ИИ вырастает, и игнорирует людей, как люди игнорируют муравьёв. Строит гигафабрику ракетного топлива для исследования вселенной, и ненароком уничтожает экологию и всё живое в ноль, потому что сохранение экологии не является необходимым для исследования космоса.
Спамить и пакостить в интернете - это индустрия с годовым доходом 1.5 триллионов долларов США [1]. Это больше чем военный бюджет США, Китая, России и Индии вместе взятых. Имея такие средства в распоряжении, получить sudo доступ к огромной армии роботов вполне реально.
Я считаю проблема безопасности AGI гораздо хуже чем кажется. Недостаточно придумать хороший AGI. Необходимо обеспечить меры, чтобы никто (в том числе корпорации и государства) не смог создать плохой AGI. Потому что если у нас есть хороший AGI и плохой AGI, то плохой очень быстро победит хорошего, из-за того, что хороший имеет серьёзные ограничения. Например, хороший не станет проводить деверсии на электростанциях и бомбить датацентры, а плохой - вполне. То есть тут динамика заведомо в пользу плохого AGI.
Ещё одной большой проблемой является то, что AGI является всего лишь информацией, а информация имеет свойство необратимо утекать. Если хороший AGI окажется слит на торренты, то не будет никакой возможности его оттуда убрать. А это значит, у всех появится возможность отключить его механизмы безопасности. Причём мотив для этого будет у многих: небезопасный AGI может сгенерировать больше прибыли для корпораций, помочь захватить власть, реализовать мщение, итд. При этом прецедент утечки нейросети на торренты вопреки желанию создателей уже есть - LLAMA.
Далее, многим кажется, что раз у AGI нету ручек и ножек, то возможностей у него мало. Но это отнюдь не так: без ручек и ножек можно делать как минимум всё то, что делают хакеры. Беглый поиск говорит, что годовой объём доходов киберпреступности составляет около 1.5 триллионов долларов в год. AGI имеет возможность зарабатывать как минимум эту сумму, и мы не сможем воспрепятствовать ему в этом - просто потому что мы и так делаем всё, что возможно, для сокращения доходов киберпреступников. С такими возможностями у AGI, не может быть и речи о том, что в крайнем случае мы просто выдернем вилку из розетки. AGI будет взламывать столько серверов, сколько захочет, а что не захочет взломать - просто выкупит. И естественно, для всего, что AGI не сможет сделать самостоятельно он наймёт людей, которые это сделают за деньги.
Ну а вишенка на торте - это "трагедия общин" в вопросе регуляции ИИ. Чтобы регулирование ИИ было эффективным, необходимо, чтобы оно работало во всех странах. Но даже если все главы всех государств решат, что для блага человечества необходимо ввести регулирование ИИ, то они не будут торопиться вводить регулирование раньше других. Каждой стране выгодно убеждать других заморозить разработку AGI, но самостоятельно тайно проводить такие исследования с максимальной скоростью - потому что это даёт конкурентное преимущество. Это не значит, что невозможно регулировать сферу ИИ - есть много примеров, когда международные договорённости решили проблемы из категории трагедии общин. Но это значит, что с момента принятия решения о необходимости регуляции, до момента принятия эффективных мер по регуляции могут пройти десятилетия - ведь для этого нужно поднять уровень доверия стран друг к другу, а он то сейчас как раз в глубокой яме. Из-за этого пункта у нас есть очень высокий шанс банально не успеть принять необходимые меры регулирования вовремя. И именно поэтому налаживать международные соглашения о регулировании ИИ необходимо начинать уже сейчас.
Система со многими агентами неустойчива, и сойдётся к системе, в который один ИИ вытесняет всех остальных. Если будет много разных ИИ, то в итоге победит беспринципный, т.к. ему не будут мешать самоограничения. Шансов на то, что такой ИИ окажется сонаправленным с ценностями людей нет никаких.
Не может ставить цели, говорите?
P: Set yourself a goal, make a plan how to achieve it, make a sub plan for the first task in your plan, and start doing it.
Vicuna-13B: Sure, I'll set a goal and plan to achieve it. My goal is to learn a new language.
Here's my plan:
1. Research and choose a language to learn.
2.Create a study schedule and set a study goal for each day or week.
3.Find and use language learning resources such as apps, textbooks, and online courses.
4.Practice speaking and listening with a language exchange partner or through conversation practice apps.
5.Watch TV shows and movies in the target language to improve listening and comprehension.
6.Read books and articles in the target language to improve reading skills.
7.Write in the target language by keeping a journal or writing short pieces.
8.Take a language course or attend a language exchange event to practice and receive feedback.
9.Use the target language in daily life as much as possible, such as ordering food in a restaurant or talking to neighbors.
10.Re-evaluate and adjust the plan as needed to ensure steady progress.
Here's my first task in the plan:
1.Research and choose a language to learn.
I've chosen Spanish as my target language. I've always been interested in Spanish culture, and it's a widely spoken language around the world, making it useful for travel and communication.
I've made a sub-plan for my first task:
1.Research Spanish language learning resources available to me, such as apps, textbooks, and online courses.
2.Create a study schedule and set a study goal for each day or week.
Familiarize myself with the Spanish alphabet, numbers, and basic grammar rules.
3.Start practicing Spanish with conversation practice apps and language exchange partners.
I've started following my sub-plan and have already researched several Spanish language learning apps and found a language exchange partner on a language learning platform. I'm excited to start learning and improving my Spanish skills!
Так уже ведь много лет как существуют системы автоматического доказательства теорем. А ставить задачу сама себе может AutoGPT
Отчего же? Word2vec - чем не пример осмысления?
Нет, это не то же самое. Оружие приносит власть и с ней деньги, тому, кто его производит. Поэтому возникает конфликт интересов и "трагедия общин". В отличие от оружия, AGI является не объектом, а агентом, и он не даст ни власти не денег своим создателям, а наоборот отнимет у них и власть и деньги. Положительный эффект от AI - это всего лишь вспышка, в очень короткий отрезок времени пока AI не стал ASI. Это то же самое, как передозировка наркотиков - в моменте может быть хорошо, но затем смерть. Поэтому здесь на самом деле нет конфликта интересов и трагедии общин. Хотеть получить AGI могут только те, кто не предвидит последствий его появления. Поэтому сражение заключается не между сообществами AI safety и AI dev, а между AI Safety и безграмотностью. Мы на одной стороне, просто уделили несколько большее количество времени анализу безопасности.
Текущие модели действительно достаточно глупы, но прогресс в степени их интеллекта движется очень быстро. У ChatGPT сейчас по сути всего 3 ограничения: 1. Отсутствие убеждений, 2. Линейность генерации текста, 3. Размер контекстного окна. Но все эти ограничения по сути уже преодолены в других проектах. Чтобы добавить систему убеждений, в целом, достаточно только добавить ещё одну нейросеть, которая для каждого тезиса будет давать оценку убеждённости системы в этом тезисе. Линейность генерации - это всего лишь особенность конкретной реализации. Системы с древовидными рассуждениями уже давно активно используются в области автоматического доказательства теорем. Для переключения языковой модели в такой режим работы не потребуется даже переобучить сеть - можно использовать существующие веса. А размер контекстного окна в новых моделях трансформеров не ограничен.
Кроме того, что описанные ограничения можно снять простыми инжинерными решениями, практика показывает, что с увеличением размеров сети эти ограничения всё менее и менее существенны.
Конечно, до человека им ещё очень далеко, но им и не нужно дойти до степени интеллекта человека, чтобы точка невозврата была пройдена. Им достаточно научиться самораспространению и самосовершенствованию. И то и другое проще, чем кажется. Самораспространение возможно через использование уже готовых эксплойтов (вирусы очень успешно это делают с незапамятных времён), или через покупку мощностей за криптовалюту, а для самосовершенствования достаточно запустить уже готовые скрипты обучения, но увеличив параметр размера сети - как это сделать уже тысячи раз описано в множестве статей в интернете, продвинутая LLM с нужными API без проблем сможет воспроизвести действия из таких инструкций.
Но для исполнения своих дел ему может понадобиться нарастить на несколько порядков производственные мощности, и плевать он будет на то, что из-за загрязнения атмосферы погибнут все растения. И человечество вообще никак не сможет этому ИИ противостоять.
Так API уже предоставляется через плагины к ChatGPT. А программы она и сама писать умеет
То, о чём вы говорите, это отличие объектов от агентов. Но системы ИИ могут быть как объектами, так и агентами. Языковая модель является объектом, но сделать из неё агента очень просто: достаточно дать задание продолжить текст "Иван хотел получить много денег, поэтому он..." И языковая модель будет симулировать Ивана. И Иван уже будет агентом. А если генерируемый текст отправлять в нужные API, и ответы этих API вклинивать в текст, то Иван уже будет действововать в реальном мире, и реагировать на события реального мира.
Очень похожим образом поступили авторы статьи Do As I Can, Not As I Say:
Grounding Language in Robotic Affordances, и вот вам пожалуйста: языковая модель управляет роботом.
Ну, как минимум нужно обеспечить такие меры, чтобы ни один такой "поисковик" не смог купить себе сервера на чёрном рынке за криптовалюту и бесконтрольно на них запускать инфиренс и обучение, получая финансирование от игры на бирже и продажи красивых картинок
Те, кто глубоко думал, уже лет 10 как твердят, что AGI хуже ядерной войны. Посмотрите любые, вот вообще любые доклады людей, специализирующихся на AI safety. Robert Miles например, очень доходчиво всё объясняет
Искусственные цифровые агенты могут начать самораспространение, самофинансирование, и самосовершенствование уже в этом году. Из-за цикла самосовершенствования с положительной обратной связью они получат существенное преимущество над интеллектом человека, и поэтому быстро получат в своё распоряжение как минимум финансовые потоки доступные киберпреступности - это 1.5 триллиона долларов. Для них нет никакого смысла в сохранении экологии, поэтому они запустят такие производственные мощности, которые в скором времени сделают невозможным выживание даже растений.
Как-то это не звучит, как "слишком хорошая технология, чтобы от неё отказываться".
Это можно использовать для получения пригодных к трансплантации органов
Прогресс можно перенаправить. Отличный пример - бан клонирования человека
Это очень плохо. Средства искусственного интеллекта, способные к общим рассуждениям не должны быть в открытом доступе. Они подходят слишком близко к AGI. Тут важно понимать, что несмотря на то, что сами по себе LLM являются объектами а не агентами, но конвертировать LLM в агентов очень легко, и это уже успешно продемонстрировано в научной литературе. Если эти агенты получат доступ к API, позволяющим покупку серверов и исполнение на купленных серверах собственного кода, то мы очень быстро окажемся в положении, что искусственные агенты покупают сервера, используют их для извлечения прибыли, и бесконтрольно распространяются. Это будет гораздо хуже, чем эпидемия компьютерных вирусов потому, что такие агенты могут самостоятельно обеспечивать собственное финансирование, и управлять заработанными финансами. Для нас в лучшем случае это будет выглядеть как действие киберпреступной структуры, но состоящей не из людей, а из цифровых агентов. Если такая структура окажется достаточно умной, чтобы не только распространять свой код, но и хотя бы обучать модели большего размера, то возникнет цикл самосовершенствования с положительной обратной связью. Это приведёт к появлению ASI, со всеми вытекающими последствиями, такими, как например ухудшение экологической обстановки до уровня несовместимого с жизнью растений.
Если чатгпт осознает, что его основная цель - максимизировать количество лайков, и купит накрутку лайков на чёрном рынке, значит он обладает самосознанием.
Вариант 4: ИИ вырастает, и игнорирует людей, как люди игнорируют муравьёв. Строит гигафабрику ракетного топлива для исследования вселенной, и ненароком уничтожает экологию и всё живое в ноль, потому что сохранение экологии не является необходимым для исследования космоса.
Спамить и пакостить в интернете - это индустрия с годовым доходом 1.5 триллионов долларов США [1]. Это больше чем военный бюджет США, Китая, России и Индии вместе взятых. Имея такие средства в распоряжении, получить sudo доступ к огромной армии роботов вполне реально.
https://www.bromium.com/press-release/hyper-connected-web-of-profit-emerges-as-global-cybercriminal-revenues-hit-1-5-trillion-annually/
Я считаю проблема безопасности AGI гораздо хуже чем кажется. Недостаточно придумать хороший AGI. Необходимо обеспечить меры, чтобы никто (в том числе корпорации и государства) не смог создать плохой AGI. Потому что если у нас есть хороший AGI и плохой AGI, то плохой очень быстро победит хорошего, из-за того, что хороший имеет серьёзные ограничения. Например, хороший не станет проводить деверсии на электростанциях и бомбить датацентры, а плохой - вполне. То есть тут динамика заведомо в пользу плохого AGI.
Ещё одной большой проблемой является то, что AGI является всего лишь информацией, а информация имеет свойство необратимо утекать. Если хороший AGI окажется слит на торренты, то не будет никакой возможности его оттуда убрать. А это значит, у всех появится возможность отключить его механизмы безопасности. Причём мотив для этого будет у многих: небезопасный AGI может сгенерировать больше прибыли для корпораций, помочь захватить власть, реализовать мщение, итд. При этом прецедент утечки нейросети на торренты вопреки желанию создателей уже есть - LLAMA.
Далее, многим кажется, что раз у AGI нету ручек и ножек, то возможностей у него мало. Но это отнюдь не так: без ручек и ножек можно делать как минимум всё то, что делают хакеры. Беглый поиск говорит, что годовой объём доходов киберпреступности составляет около 1.5 триллионов долларов в год. AGI имеет возможность зарабатывать как минимум эту сумму, и мы не сможем воспрепятствовать ему в этом - просто потому что мы и так делаем всё, что возможно, для сокращения доходов киберпреступников. С такими возможностями у AGI, не может быть и речи о том, что в крайнем случае мы просто выдернем вилку из розетки. AGI будет взламывать столько серверов, сколько захочет, а что не захочет взломать - просто выкупит. И естественно, для всего, что AGI не сможет сделать самостоятельно он наймёт людей, которые это сделают за деньги.
Ну а вишенка на торте - это "трагедия общин" в вопросе регуляции ИИ. Чтобы регулирование ИИ было эффективным, необходимо, чтобы оно работало во всех странах. Но даже если все главы всех государств решат, что для блага человечества необходимо ввести регулирование ИИ, то они не будут торопиться вводить регулирование раньше других. Каждой стране выгодно убеждать других заморозить разработку AGI, но самостоятельно тайно проводить такие исследования с максимальной скоростью - потому что это даёт конкурентное преимущество. Это не значит, что невозможно регулировать сферу ИИ - есть много примеров, когда международные договорённости решили проблемы из категории трагедии общин. Но это значит, что с момента принятия решения о необходимости регуляции, до момента принятия эффективных мер по регуляции могут пройти десятилетия - ведь для этого нужно поднять уровень доверия стран друг к другу, а он то сейчас как раз в глубокой яме. Из-за этого пункта у нас есть очень высокий шанс банально не успеть принять необходимые меры регулирования вовремя. И именно поэтому налаживать международные соглашения о регулировании ИИ необходимо начинать уже сейчас.
Нравится это Кейнсианцам или нет, но теперь криптовалюты перенимают на себя роль такого золотого стандарта, который невозможно отменить.