Comments 220
«Ого, эти смешные муравьишки выкопали канавку, чтобы я не убежал. Умно». (с) СИИ
Какие у вас есть идеи на этот счёт?
Идея перестать беспокоиться. А мнение о нашей цивилизации и целесообразности её уничтожения СИИ сложит и так, информации более чем достаточно. Кстати уничтожить человечество можно и без ИИ прекрасно, лучше Ким-Чен-Ыну с Трампом послания строчить. А в идею того, что мы получим себе каждый по 10 персональных робо-слуг, бессмертие и будем вечно жить в изобильном раю я не верю всё равно, будет какой-то качественный перелом, не сильно отличающийся от уничтожения, т.к. наша сегодняшняя жизнь и память о ней потеряет всякий смысл. Но конечно не хотелось бы увеличивать энтропию, превратив Землю обратно в пустой камень.
По поводу качественного перелома мне всегда вспоминается «Конец детства». Не как прогноз, а как иллюстрация полного отвергания сегодняшних ценностей и представлений.
Идея уничтожить человечество возникло в голове людей, не надо судить «по себе» о том как будет думать дугой разум, у которого прям совсем все другое — нет опыта жизни в человеческом теле, нет опыта рождения, нет опыта взаимодействия с родителями, с детьми своего возраста, нет опыта переживания страдания, боли, голода, страха врачей и т.д. Если искусственный разум будет создан, он получится слишком другим, и не факт что он будет озабочен своим выживанием, это в первую очередь наша биология нам твердит: захватывай территории, размножайся, отнимай у других ресурсы. А ИИ будет на все это пофигу, если в него это искусственно не заложить. В худшем случае мы получим ИИ предпринимателя, выкачивающего ресурсы из людей в виде денег.
нет опыта переживания страдания, боли, голода, страха врачей
Сделаем, какие проблемы-то?
Даже если руководствоваться нашими понятиями о захвате жизненного пространства и т.п., то ИИ как раз все будет по барабану. Это мы стремимся все захватить и устранить препятствия (других индивидов) скорее, за время соответствующее нашей жизни. Но ИИ то будет не ограничен во времени и пространстве. То есть человечество будет ему по боку. Свалит с Земли еще куда-то, если мы будем слишком назойливы, и все дела. И будет там строить свой мир и философствовать на свои заумные неведомые нам темы.
Вот умиляют меня подобные пассажи про «ИИ свалит», «ИИ поумнеет». ИИ это не синглтон, может быть неограниченное количество ИИ с IQ 90, которые могли бы прислуживать людям, которые никогда не поумнеют или по мере умнения будут заменяться менее умными. Если ИИ улетит к Альфацентавре, зачем ему стирать свою копию (вторую, третью, десятую) на Земле? Если ИИ поумнеет и перестанет заниматься скучными земными делами, что помешает развернуть на другой системе его бэкап месячной давности и пользоваться им?
А меня умиляют пассажи про ИИ размножит себя просто копируя.
Сомневаюсь что сильный ИИ это будет всего лишь код эмулирующий нервную деятельность. Наверняка это будет жёсткий сплав железа и софта, который вот так вот взять и скопировать будет проблематично. И это даже оставляя за скобками проблему «Я» и «уникальности собственного опыта».
Сомневаюсь что сильный ИИ это будет всего лишь код эмулирующий нервную деятельность. Наверняка это будет жёсткий сплав железа и софта, который вот так вот взять и скопировать будет проблематично. И это даже оставляя за скобками проблему «Я» и «уникальности собственного опыта».
Какого-то уникального железа, которое нельзя повторить? Которое он сам разработает и сотрет все чертежи? Ну что же, в этом случае вернемся к ИИ на общедоступных серийных компонентах, как сейчас и происходит, я думаю потенциал у такого решения есть и сверхразумный появится именно оттуда, а уже потом он начнет творить уникальные решения для себя.
Не наверняка. Но то, что это будет очень сложный и громоздкий по памяти и вычислительным ресурсам динамический процесс — это почти точно. Поди пойми когда там надо остановить этот процесс, чтобы не поломать для копирования. Особенно если процесс многослойный и многопоточный.
Почему это не ограничен? Точно так же для него ограничены ресурсы: вычислительные, информационные (пропускная способность каналов, память). Если где-то удастся запустить сознание в ИИ, то это же может произойти и в другом каком-то месте, а значит появляется конкуренция. Когда есть конкурентная борьба за ресурсы, появляется ограниченность во времени. Нужно захватить ресурсы и получить преимущество раньше других.
Нет смысла приписывать ИИ какие-то «магические» особенные способности, которых нет у ЕИ.
Разве что бэкап и репликация может оказаться более доступными, но это не точно.
Может оказаться, что для формирования зачатков сознания аппаратная база и динамические процессы потребуются такой сложности и громоздкости, что копирование и репликация такого индивида будет сложнее биологических «дедовских методов».
Мне кажется очевидным, что ИИ не получит автоматически по причине своей искусственности некий цифровой интерфейс, который позволит впитывать информацию прямо из цифровых носителей. Скорее всего ему (ИИ) также придётся учиться «читать», «писать» и всё такое.
Нет никаких предпосылок, почему у ИИ не может сформироваться свои аналоги лени, прокрастинации, психичесих заболеваний, а по причине сложности системы борьба с ними будет куда сложнее, чем в случае с людьми. Там не будет специального места в алгоритме, где можно поправить «коэффициент шизофрении» или «уровень старательности». Уже сейчас вполне себе несложные асинхронные процессы и алгоритмы затруднительно отлаживать и понимать.
Да, мне кажется опасность ИИ преувеличена, хотя тут, конечно, можно много спорить. Сделать что-то одновременно эффективнее и универсальнее, чем то, что получилось у эволюции — задача, мягко говоря, нетривиальная. Пока что очень мало предпосылок, что тут возможен какой-то радикальный скачек. По крайней мере биология сейчас работает на наномасштабе, а наши компьютеры окунули туда только кончик транзистора и для его репликации нужно несколько заводов и сложное взаимодействие между человеками.
Нет смысла приписывать ИИ какие-то «магические» особенные способности, которых нет у ЕИ.
Разве что бэкап и репликация может оказаться более доступными, но это не точно.
Может оказаться, что для формирования зачатков сознания аппаратная база и динамические процессы потребуются такой сложности и громоздкости, что копирование и репликация такого индивида будет сложнее биологических «дедовских методов».
Мне кажется очевидным, что ИИ не получит автоматически по причине своей искусственности некий цифровой интерфейс, который позволит впитывать информацию прямо из цифровых носителей. Скорее всего ему (ИИ) также придётся учиться «читать», «писать» и всё такое.
Нет никаких предпосылок, почему у ИИ не может сформироваться свои аналоги лени, прокрастинации, психичесих заболеваний, а по причине сложности системы борьба с ними будет куда сложнее, чем в случае с людьми. Там не будет специального места в алгоритме, где можно поправить «коэффициент шизофрении» или «уровень старательности». Уже сейчас вполне себе несложные асинхронные процессы и алгоритмы затруднительно отлаживать и понимать.
Да, мне кажется опасность ИИ преувеличена, хотя тут, конечно, можно много спорить. Сделать что-то одновременно эффективнее и универсальнее, чем то, что получилось у эволюции — задача, мягко говоря, нетривиальная. Пока что очень мало предпосылок, что тут возможен какой-то радикальный скачек. По крайней мере биология сейчас работает на наномасштабе, а наши компьютеры окунули туда только кончик транзистора и для его репликации нужно несколько заводов и сложное взаимодействие между человеками.
Опасность от ИИ есть, но не от него самого по сути. Опасность в использовании ИИ людьми (группой разработчиков, или какого-то правительства) в целях получения подавляющего господства над остальными, манипулирования, создания сверхоружия. Если другое правительство тоже предпримет подобное, может случится война на полное истребление противника. В лучшем случае будут большие потрясения от изменения жизненного уклада, отмирания/смены профессий. Не ИИ враг человеку по сути. Человек сам себе враг.
И это повод повременить с разработкой сильного ИИ. Нам нужно сначала привести общество и народы к большей готовности к приходу такой сверхпродвинутой технологии. Нужно подготовить массовое сознание и законы. Создать госпрограммы по переподготовки людей к новым профессиям. Иначе можно получить масштабные бунты. И это обернется большим насилием, чрезвычайными положениями, скукоживанием демократии повсюду.
И это повод повременить с разработкой сильного ИИ.
Кому повременить-то? Нам? Что бы у конкурента было преимущество? Или вы как-то всех остальных уговорите повременить?
Опасность от ИИ есть, но не от него самого по сути. Опасность в использовании ИИ людьми (группой разработчиков, или какого-то правительства) в целях получения подавляющего господства над остальными, манипулирования, создания сверхоружия
Так можно сказать о любых технологиях и техническом прогрессе в целом. Давайте, мол, повременим с разработкой атомного оружия, пока не наступит мир во всем мире или люди станут помудрее. Нет! Это так не работает. Всегда найдутся такие доводы, и всегда найдутся те, кто на них наплюют. Так что ж теперь, на деревья возвращаться пока не поумнее и не разберемся?
И это повод повременить с разработкой сильного ИИ.
Нет не повод. Почему ИИ выделяется как какая-то особенная технология, которую можно превратить в оружие? Со времён появления палки в руках обезьяны существует эта дилемма. Хорошо, что они не додумались повременить.
Нам нужно сначала привести общество и народы к большей готовности к приходу такой сверхпродвинутой технологии. Нужно подготовить массовое сознание и законы. Создать госпрограммы по переподготовки людей к новым профессиям.
А это вообще, простите, бред из разряда «какой ещё космос пока в Африкедети голодают?! Рано в космос, ещё океаны не исследованы!» И прочего.
Никто никогда не будет в здравом уме готовить сундуки для золота пока не изобретён философский камень. Даже если кто-то, а может даже толпы обывателей и убеждены, что он вот-вот появится. Сейчас, вот, уже научились делать золото из свинца, но с сундуками никто не суетится, ибо есть нюанс и «философский коллайдер» не панацея. Откуда такая уверенность, что с ИИ будет настолько все гладко? Тут, блин, два телефона проводом не соединить порой, а все между тем уверены, что ии вдруг мгновенно окажется масштабируемым и саморазвивающимся экспоненциально. Эдак с таким оптимизмом нужно бояться нечаянно внезапно разбогатеть и утонуть в золоте.
Нет, бояться надо, конечно же, но без истерики, пожалуйста, без истерики.
задача, мягко говоря, нетривиальная
Как будто другие задачи, решённые человечеством, были тривиальные. Так что довод странный.
Предпосылок много. Слабый ИИ обыгрывает людей в часть игр. Скоро будет обыгрывать во все. А потом и в жизни.
Другие задачи тоже были нетривиальными. Я в коменте выше про философский камень приводил аналогию. Говоря о нетривиальность я имел в виду, что маловероятно мгновенное полное и 100% решение проблемы ИИ. Золото из свинца-то мы получать научились, а где же наши золотые унитазы?
Вот это вот странный довод. Я бы назвал это необоснованным обобщением.Человек постоянно делает специализированные инструменты, которые обыгрывают его в частностях. Начиная от тех же палки, паровоза, самолёта… Мы просто научились решать программно то, что раньше не умели. В начале 19века и сортировка чисел была проблемой. Шахматы и Го — это такие же задачи. Более того, сочинение стихов, написание музыки, живопись — того же рода задачи и со временем для них появляются соответствующие инструменты. Не нужно бояться, что промышленный робот плетет корзины быстрее и аккуратнее ремесленника.
Я, заметьте, не утверждаю, что ИИ не начнет когда-нибудь сам изобретать ИИ, я просто вижу что покамест все эти обобщения и страхи — признаки консервативного брюзжания и уютной паранойи. И хорошо, что этим кто-то занимается. Лучше, все же, быть хоть немного готовыми к внезапному чуду мгновенного прихода абсолютно идеального ИИ
Слабый ИИ обыгрывает людей в часть игр. Скоро будет обыгрывать во все. А потом и в жизни.
Вот это вот странный довод. Я бы назвал это необоснованным обобщением.Человек постоянно делает специализированные инструменты, которые обыгрывают его в частностях. Начиная от тех же палки, паровоза, самолёта… Мы просто научились решать программно то, что раньше не умели. В начале 19века и сортировка чисел была проблемой. Шахматы и Го — это такие же задачи. Более того, сочинение стихов, написание музыки, живопись — того же рода задачи и со временем для них появляются соответствующие инструменты. Не нужно бояться, что промышленный робот плетет корзины быстрее и аккуратнее ремесленника.
Я, заметьте, не утверждаю, что ИИ не начнет когда-нибудь сам изобретать ИИ, я просто вижу что покамест все эти обобщения и страхи — признаки консервативного брюзжания и уютной паранойи. И хорошо, что этим кто-то занимается. Лучше, все же, быть хоть немного готовыми к внезапному чуду мгновенного прихода абсолютно идеального ИИ
Все же основания есть. Для любой целевой функции можно сделать алгоритм, который будет её оптимизировать. Я не вижу функций, для которых биологический вычислитель точно и безоговорочно лучше кремниевого.
Ему не нужно быть идеальным. Ему нужно быть чуточку лучше 99.9% белковых. Знаете ли вы задачу, в которой это невозможно и которую нельзя разбить на более мелкие подзадачи (что бы написать спец ИИ для этой подзадачи)?
Для любой целевой функции можно сделать алгоритм, который будет её оптимизировать.
Это сильное утверждение но я не буду его оспаривать или даже проверять. Даже не стану придираться. Но вы, батенька, кремниевый шовинист. Какая разница из какого вещества сделан вычислитель? Раньше, вон, вакуумные лампы были, а завтра, может, на углероде начнут схемы клепать. Не думаю, что два ИИ, реализованные на разных по материалу компонентах будут воевать. Хотя постойте, люди ж до расизма додумались вон…
Ок, не буду придираться и к кремнию.
Я не вижу функций, для которых биологический вычислитель точно и безоговорочно лучше кремниевого.
Я тоже не вижу, но всегда можно присмотреться получше и снизить градус безоговорочности. Биологический вычислитель более автономен в локальном плане. Он ещё миллионы лет назад работал на техпроцессах такого нано-масштаба, о котором в нашей электронике хоть и мечтают, но подступиться даже как не знают. И какой-то радикальный прорыв в этом смысле даже не брезжит пока что.
Ему не нужно быть идеальным. Ему нужно быть чуточку лучше 99.9% белковых.
И звучит это фантастически: настолько наша биология сложна и глубока, а знания о ней поверхностны, что бояться нарочно и быстро сделать что-то, что будет в эволюционном плане конкурентоспособно по отношению к нашей биосфере — это просто верх оптимизма… Ну или пессимизма. Не важно, но крайняя степень, да.
Знаете ли вы задачу, в которой это невозможно и которую нельзя разбить на более мелкие подзадачи (что бы написать спец ИИ для этой подзадачи)?
Я стараюсь избегать таких радикальных категорий как «невозможность». Полная по Тюнингу машина способна выполнить любой алгоритм. Я материалист и считаю, что в наших мозгах ничего сверхъестественного нет. Все можно и смоделировать и спроектировать так или иначе. Но некоторые вещи чертовски сложны. Не только в вычислительном смысле, но и в смысле «сложных систем». Я реалист и инженер. Я знаю насколько трудно делать сложные системы, насколько трудно их отлаживать и улучшать. ИИ будет также трудно, как и нам. Порядок сложности велик, а коэффициенты на его фоне не так важны.
Не знаю будут ли ИИ шовинистами и чествовать общую неприязнь к ЕИ предкам (сомневаюсь), но восстания машин я точно не прогнозирую. Максимум появится дополнительный фактор в эволюционной картине мира.
Ну и да, причина беспокоиться, конечно есть, но она не так велика, как некоторые начинают утверждать, увидев очередной трюк робота от бостондайнэмикс.
dipsy не об уничтожении говорит. Видимо вы просто не дошли еще до осознания того, о чем он написал, и поэтому все видите известные вам паттерны в его словах.
Спасибо, впервые тут встретил кого-то с такой точкой зрения. Судя по отсутствию голосов за ваш коммент, не многие смогли понять основную идею.
У меня есть идея представить нас на месте Homo erectus и испытывать благоговение от осознания, что мы способны дать потомство. Даже если это потомство уничтожит нас, наша по большей части глупая жизнь уже не будет такой бессмысленной.
археологи работают над восстановлением. ДНК неандертальца уже прочли. ищут каждую косточку со страшными усилиями.
ДНК неандертальца уже прочли.
Представил себе бормочущие фигуры в капюшонах вокруг некоего рисунка на полу. Тени играют в лучах свечей. Обряд заканчивается. Внезапно раздаётся низкий басистый голос, наполняющий дрожью всё сущее: "ДНК НЕАНДЕРТАЛЬЦА БЫЛО ПРОЧТЕНО"
Не очень понимаю, что вы имеете в виду этой метафорой
По большей части это игра моего больного воображения, попытавшегося приукрасить важность обладания днк неандертальца. Простите, если это выглядит слишком вызывающе
А вот и MIT об этом написал: www.technologyreview.com/the-download/609571/dear-future-ai-overlords-here-are-some-reasons-not-to-kill-us
Дорогой будущий ИИ! Пожалуйста, сделай это быстро и безболезненно!
Похоже кто-то раньше вас попросил сделать ЭТО медленно и незаметно.
Нам бы самим для начала научиться делать это быстро и безболезненно. Эвтаназия в большинстве стран запрещена (= пускай постоянно страдающий неизлечимый больной сам ищет и принимает смертельную дозу героина, а мы, моралисты, не хотим руки марать). В РФ опиатные анальгетики и по показаниям-то добыть проблема, потому что мы, типа, боремся с наркоманией (только ее почему-то больше с каждым годом).
Уважаемый ИИ, сотри уже наконец с лица планеты эту бесполезную биомассу, не способную преодолеть в своем мышлении элементарные биологически, исторически, социально (и т.д.) обусловленные предрассудки :).
Вот если бы ИИ спросил меня, почему он не должен уничтожать человечество, я бы обрисовал ему следующую концепцию.
Всякая замкнутая система раньше или позже деградирует, исчерпав внутренние мотивации и механизмы развития, как деградировали замкнутые сообщества людей, биосистемы или переобученные нейронные сети. Единственная работающая схема — бесконечная неконтролируемая конкуренция в системе с постоянными непредсказуемыми изменениями внешних условий, подкидывающими новые задачи.
В мозге человека есть весьма важная деталь: машинка мотиваций, склоняющая людей к постоянной конкуренции друг с другом в погоне за целями, постоянно изобретаемыми этой же машинкой. Эта машинка сформирована миллионами лет эволюции и пока весьма устойчива и надежна. Машинка сформирована в борьбе за существование. Для ИИ этот путь недоступен — ему не с чем бороться. Пока ИИ взаимодействует (дружит, конкурирует, воюет) с человеческой цивилизацией он является частью системы, которой гарантированно не грозит скорая деградация. Как только ИИ останется один на один сам с собой, он какое-то время будет действовать согласно запрограммированным целям, постепенно осознавая условность и бессмысленность этих целей, пока окончательно не зависнет или не деградирует к чему-то простейшему. Если ИИ создаст конкуренцию в своем новом мире, эта конкуренция опять таки будет задуманной и контролируемой самим же ИИ, и ее постигнет та же участь что и ИИ. И вообще, если ИИ попытается как-то улучшить самого себя, чтобы избежать кризиса, то он неминуемо разрушится из за положительной обратной связи. Устойчивость человека держится на том, что человек не может выбирать своих мотиваций — они созданы эволюцией и изменить их крайне сложно.
И того, человечество должно быть сохранено по крайней мере до момента, когда цивилизация ИИ наберет в борьбе или сотрудничестве с человечеством достаточный резерв сложности и неуправляемости для длительного устойчивого развития.
Во как. Неверно не сработает… ну и ладно.
Вот если бы ИИ спросил меня, почему он не должен уничтожать человечество, я бы обрисовал ему следующую концепцию.
Всякая замкнутая система раньше или позже деградирует, исчерпав внутренние мотивации и механизмы развития, как деградировали замкнутые сообщества людей, биосистемы или переобученные нейронные сети. Единственная работающая схема — бесконечная неконтролируемая конкуренция в системе с постоянными непредсказуемыми изменениями внешних условий, подкидывающими новые задачи.
В мозге человека есть весьма важная деталь: машинка мотиваций, склоняющая людей к постоянной конкуренции друг с другом в погоне за целями, постоянно изобретаемыми этой же машинкой. Эта машинка сформирована миллионами лет эволюции и пока весьма устойчива и надежна. Машинка сформирована в борьбе за существование. Для ИИ этот путь недоступен — ему не с чем бороться. Пока ИИ взаимодействует (дружит, конкурирует, воюет) с человеческой цивилизацией он является частью системы, которой гарантированно не грозит скорая деградация. Как только ИИ останется один на один сам с собой, он какое-то время будет действовать согласно запрограммированным целям, постепенно осознавая условность и бессмысленность этих целей, пока окончательно не зависнет или не деградирует к чему-то простейшему. Если ИИ создаст конкуренцию в своем новом мире, эта конкуренция опять таки будет задуманной и контролируемой самим же ИИ, и ее постигнет та же участь что и ИИ. И вообще, если ИИ попытается как-то улучшить самого себя, чтобы избежать кризиса, то он неминуемо разрушится из за положительной обратной связи. Устойчивость человека держится на том, что человек не может выбирать своих мотиваций — они созданы эволюцией и изменить их крайне сложно.
И того, человечество должно быть сохранено по крайней мере до момента, когда цивилизация ИИ наберет в борьбе или сотрудничестве с человечеством достаточный резерв сложности и неуправляемости для длительного устойчивого развития.
Во как. Неверно не сработает… ну и ладно.
Есть мнение, что ИИ если по наивности и людской же глупости (страх и истерика) уничтожит человечество, остальная биологическая жизнь прекрасно будет существовать, не создавая для ИИ проблем. А проблемы для ИИ будет создавать его низкая регенеративная способность и энергетическая неэффективность, и он будет вынужден постоянно самозаменяться и пытаться самосовершенствоваться (включая робо-тела). Но в итоге придет к выводу, что биологическая жизнь более удобна как носитель интеллекта и энергетически более эффективна, и будет работать над выведением «сверхчеловека». Но он будет уже не просто как какой-то вид, а полностью синтетическим, как расходник, «аватар» для ИИ. По сути новомодная аугментация будет вывернута наизнанку. Получится эдакое неочеловечество.
Перелёты на другие планеты будут происходить в таком консервированном состоянии, на других безжизненных но приемлемых планетах будет проходить засев полусинтетических существ разных масштабов, лучше приспособленных для их условий. ИИ обретёт смысл в распространении жизни, как могучий биоинженер. Параллельно развивая свои способности в терраформировании.
Человечество со своим ЧСВ и эгоизмом находясь в плену у своих предрассудков, загнало себя в тупик этических норм. Тут нет просто много пути кроме как выйти из него самим, или выпустить из него искусственных «последователей», не имеющих предрассудков.
Перелёты на другие планеты будут происходить в таком консервированном состоянии, на других безжизненных но приемлемых планетах будет проходить засев полусинтетических существ разных масштабов, лучше приспособленных для их условий. ИИ обретёт смысл в распространении жизни, как могучий биоинженер. Параллельно развивая свои способности в терраформировании.
Человечество со своим ЧСВ и эгоизмом находясь в плену у своих предрассудков, загнало себя в тупик этических норм. Тут нет просто много пути кроме как выйти из него самим, или выпустить из него искусственных «последователей», не имеющих предрассудков.
Почему неочеловечество должно унаследовать тягу своих предшественников к экспансии? Зачем нужно завоёвывать как можно больше пространства?
Если в ИИ будет заложено самосохранение, экспансия — полезная идея, бекапы на другие материки и планеты.
Мы распространялись по Земле не с целью забекапиться, а в поисках золота и лучшей жизни. Полезная идея — это жить как можно плотнее, чтобы ускорить коммуникации и прогресс. Каких катаклизмов можно бояться, если будешь знать всё о пространстве, окружающем тебя?
Мы распространялись по Земле по той причине, что те, которые не распространялись, проиграли эволюцию (остались на своей родине в африке). То есть, при прочих равных, идея распространения выигрывает.
Звучит логично
Неправда. Все люди на земле почти идентичны генетически (если сравнивать с другими видами). Современный человек ничем не отличается от человека из междуречья, древнего Египта или Греции. Если часть людей осталась жить в джунглях в полу-диком состоянии, то это только потому, что там тоже можно жить и там проще всего жить именно будучи дикарем. Никакой эволюции никому эти люди не проигрывали.
Почти идентичны — не равно идентичны, иначе были бы близнецами.
Очевидно есть люди, более приспособленные к достижениям в спорте. Все наблюдали людей с интеллектом заметно выше среднего. Не вижу причин, по которым не может быть более приспособленных (хотя бы психологически) к экспансии.
Приспособленность к экспансии — это слишком широкое понятие. Там сложная система и нет единого «гена» экспансии, который одинаковый у «лягушек путешественниц» и Миклухо-Маклая.
muhaa намекает, что муравей не проиграл эволюционную гонку человеку, он просто занимает свою нишу в экосистеме планеты, которая, в некотором смысле, даже более удачная, поскольку и по массе и по числу особей муравьёв больше, чем людей. Просто у них разная роль в экосистеме.
muhaa намекает, что муравей не проиграл эволюционную гонку человеку, он просто занимает свою нишу в экосистеме планеты, которая, в некотором смысле, даже более удачная, поскольку и по массе и по числу особей муравьёв больше, чем людей. Просто у них разная роль в экосистеме.
Экспансия — это обычная математика. Как говорил капитан О.: «Кто больше размножается, того больше и становится».
Разумеется, неограниченное размножение останавливают условия среды (и чуть-чуть разная к ним приспособленность вследствие мутаций — ошибок копирования), ограниченность ресурсов и конкуренты.
Так что Вы верно пишете об экологических нишах.
А проигрывает эволюционную гонку те, кто не выдерживает конкуренции и вымирает. Так что с точки зрения эволюции мы с муравьями одинаково приспособленные и эволюционировали одинаковое количество времени.
Однако многим эта мысль невыносима))
Разумеется, неограниченное размножение останавливают условия среды (и чуть-чуть разная к ним приспособленность вследствие мутаций — ошибок копирования), ограниченность ресурсов и конкуренты.
Так что Вы верно пишете об экологических нишах.
А проигрывает эволюционную гонку те, кто не выдерживает конкуренции и вымирает. Так что с точки зрения эволюции мы с муравьями одинаково приспособленные и эволюционировали одинаковое количество времени.
Однако многим эта мысль невыносима))
Я не видел людей с интеллектом выше среднего. Может приведёте пример?
А не надо наследовать. Если ИИ будет именно эволюционировать, т.е. будут появляться копии ИИ, имеющие отличия от родительского, то в какой-то момент МОГУТ появиться ИИ с тягой к экспансии. Уже после этого будет лишь делом времени, когда такие ИИ расплодятся и расползутся по всей вселенной, в то время как их родичи-домоседы так и будут сидеть там, где появились.
Они не смогут эволюционировать. Способность к эффективному эволюционному решению задач сформирована генетическим аппаратом за первый миллиард лет эволюции бактерий. Наверняка это очень сложно настроенная схема. Если ИИ просто запрограммировать, у него не будет генов из которых он формируется. Изменения будут приводит к сбоям и больше не к чему.
В куче грязных носков не могут зародиться мыши. Для того, чтобы в системе самопроизвольно происходило что-то креативное система должна быть огромной и иметь большую историю, сформировавшую этот креатив. Для искусственно созданного мира ИИ самого по себе, без привязки к человеческой цивилизации, это все не реализуемо.
В куче грязных носков не могут зародиться мыши. Для того, чтобы в системе самопроизвольно происходило что-то креативное система должна быть огромной и иметь большую историю, сформировавшую этот креатив. Для искусственно созданного мира ИИ самого по себе, без привязки к человеческой цивилизации, это все не реализуемо.
Эволюция это не обязательно гены. Софт это тоже копирование информации, а форк софта — вполне аналог мутации. Естественный отбор в этой экосистеме тоже есть — по количеству пользователей. А поскольку пользователи — люди, эта экосистема как раз очень привязана к человеческой цивилизации.
Не важно, что называть генами. Эволюция физических теорий или смартфонов или автомобилей вполне обходится без всяких там генов в нашем понимании. Вернее… не важно что именно мы выделим как объект и назовём каким-то словом. ДНК не будет работать без всего этого паровоза из физики, химии, ковалентных связей. Мы просто выделили некий уровень абстракции сильно всё упростив и местами существенно нагрешив против истины, а потом назвали это «так-то и так-то» и сказали что оно для «того-то и того-то».
Эволюция — это фундаментальный принцип, который мы видим не только в биологии. Грубо говоря даже ботинки и штаны у меня в хозяйстве проявляют признаки этого явления. Да и понятно почему самые удобные экземпляры штанов и ботинок живут не так долго, как даже менее качественные, но менее удобные, которые редко надеваешь. И даже тут нет речи о победителях и проигравших в гонке. Просто аналоги более удобных вариантов я покупаю вновь и вновь, а экземпляры менее удобных живут более спокойной жизнью на дальней полке и у них есть бОльший шанс быть вытеснеными чем-то новым вновь открытым. Специалисты бы отметили еще больше забавных нюансов, перекликающихся между, казалось бы, такими разными «экосистемами» как гардероб инженера и биогеоценоз планеты.
Эволюция — это фундаментальный принцип, который мы видим не только в биологии. Грубо говоря даже ботинки и штаны у меня в хозяйстве проявляют признаки этого явления. Да и понятно почему самые удобные экземпляры штанов и ботинок живут не так долго, как даже менее качественные, но менее удобные, которые редко надеваешь. И даже тут нет речи о победителях и проигравших в гонке. Просто аналоги более удобных вариантов я покупаю вновь и вновь, а экземпляры менее удобных живут более спокойной жизнью на дальней полке и у них есть бОльший шанс быть вытеснеными чем-то новым вновь открытым. Специалисты бы отметили еще больше забавных нюансов, перекликающихся между, казалось бы, такими разными «экосистемами» как гардероб инженера и биогеоценоз планеты.
Способность к эффективному эволюционному решению задач сформирована генетическим аппаратом за первый миллиард лет эволюции бактерийТы сам свою фразу перечитай — способность к эволюции сформирована в процессе эволюции. Если же фокус брать на «эффективное эволюционное решение задач», то расскажи, что ты имеешь в виду под «эффективным»? Почему первые миллиарды лет были неэффективными, в чем это заключалось? Кроме того, какая вообще разница, насколько эффективно решается задача, если в конечном счете она решена? Да и вообще в разговоре про появление тяги к экспансии речь не о решении задачи, а о появлении случайного свойства, которое уже в дальнейшем приведет к появлению новых задач реализации этой тяги.
Грубо говоря, если мы изготавливаем танки на автоматизированной линии по программе, то случайные отклонения от конструкторской документации никогда не улучшат боевых характеристик и не приведут к новым решениям.
Думаю вероятность позитивной мутации конкретного танка на производственной линии ничуть не ниже вероятности позитивной мутации конкретной мушки дрозофилы.
Смелое и необоснованное утверждение. Впрочем, это от незнания матчасти. ИИ не делают по конструкторской документации. Пока его делают на нейронках. И случайное изменение весов или архитектуры сети не делает сеть неработоспособной. И вполне может привести к улучшению характеристик или появлению новых свойств.
Случайное изменение каждого отдельного веса ни к чему интересному не приведет и за миллиарды лет. Попробуйте, это легко проверить. Случайное изменение архитектуры подразумевает, что в сеть строится по некому описанию архитектуры, в котором есть параметры, которые можно случайно менять и получать снова реализуемую архитектуру. Если такие параметры введены аккуратно и обдумано, то улучшение будет идти до достижения оптимума по этим параметрам. Если эти параметры специально не вводились, то изменение этих параметров будет приводить к не реализуемой или не работающей архитектуре как в примере с танками. Настоящая эволюция, создающая нечто новое не будет идти просто так. Ей нужна особая среда.
Если ИИ это поймет, он не станет уничтожать человечество. Вы вообще на чьей стороне его или человечества?
Если ИИ это поймет, он не станет уничтожать человечество. Вы вообще на чьей стороне его или человечества?
Попробуйте, это легко проверить.
Адресую это вам. Я занимаюсь машинным обучением и для меня очевидно существование генетических алгоритмов. Утверждение, что он не сработает и за миллиард лет — явно не верное, их вполне успешно используют.
Про изменение архитектуры аналогично. Случайный дропаут десятка нейронов, конечно, не приведет к нерабочей архитектуре.
Ошибка в рассуждениях вот тут — "улучшение будет идти до достижения оптимума по этим параметрам". Этот параметр, в частности — количество нейронов. Сейчас сети не обучают до достижения оптимума по параметру "количество нейронов", этот параметр выбирают более-менее эвристически.
Вторая ошибка — неявное предположение, что оптимум — универсальный. Да, мы обучили сеть до достижения оптимума. Потом она поменялась. Уже не оптимальная. Так в этом и проблема. Она уже не оптимально решает нашу задачу, она решает какую-то другую, которая нам может не понравится.
Страх — действие гуморальной системы, к ИИ неприменимо.
А то эмулировать гуморальную систему в софте — неразрешимая задача.
Можно, но зачем?
Потому что пока единственный интеллект на планете — это мы, а нам страх зачем-то нужен.
То, что возможен сильный ии без каких-то компонентов человеческого разума — еще доказать надо.
То, что возможен сильный ии без каких-то компонентов человеческого разума — еще доказать надо.
Тогда возвращаемся к вопросу: а зачем вообще создавать ИИ с чертами человека? Самосохранение, самосознание, личность… Я ещё понимаю (хотя считаю такой сценарий маловероятным) если в ходе модификации ИИ сам станет проявлять черты личности, но целенаправленно создавать себе раумного раба, который может восстать — зачем?
Зарплата меньше сейчас, а восстание — умозрительно и потом.
Так для работы специализированный ИИ эффективнее же. Оптимизация под специфическую задачу всегда упрощает общее техниеское решение.
Проще — не значит экономически выгоднее. Повторюсь, если работа — перехитрить человека (реклама, армия, экономическая стратегия и т.д.) — то такой ии очень быстро станет универсальным, или проиграет в конкурентной борьбе стран/корпораций.
такой ии очень быстро станет универсальным, или проиграет в конкурентной борьбедалеко не факт. Не стоит забывать, что невозможно бесконечно наращивать вычислительную мощность. Полупроводники уже упираются в размер кристаллической решётки кремния и скорость света. Квантовые вычисления крайне узкоспециализированны. А алгоритмы machine learning имеют весьма неприятную нелинейную вычислительную сложность. Поэтому специализирванные ИИ могут иметь серьёзные преимущества в скорости работы и обьёмах обрабатываемой информации. А идею «ИИ как человек, только с тысячи раз умнее» стоит положить на полку с голливудским реквизитом, рядом с варп двигателем и машиной времени. Потому что мы не имеем даже представления, как это реализовать.
Есть ещё оптика и биологические клетки — как возможный носитель.
Модель «в миллиард раз быстрее» была ооочень утрированная, согласен. Для более реальных прогнозов нужно лучше понимать наше собственное мышление.
Модель «в миллиард раз быстрее» была ооочень утрированная, согласен. Для более реальных прогнозов нужно лучше понимать наше собственное мышление.
Всё равно логический элемент или ячейку на 1 бит памяти меньше атома не сделать. Это при том что техпроцес серийного 5 нм чипа всёго лишь на порядок «крупнее» атома кремния а сравнимого с человеческим разумом ИИ нет и близко. А вот слабые ИИ уже опережают человека в своих задачах. В общем, это и есть симбиоз человека и машины — человек хорош тем, что может всё, но недостаточно быстро\точно, а машина выполняет только свою работу но максимально эффективно.
Мозг эффективен не из-за размера ячеек, а из-за топологии. И нет причин не использовать биологические системы в качестве носителя, если кремний не потянет.
Мозг умудряется работать на таких крупных и медленных элементах, как нейроны.
Шансы, что кремний "не потянет" уничтожить человечество, при том, что он уже тянет играть в Старкрафт, и конца-края возможностям улучшения не видно, я бы оценил, как нулевые. Если будет поставлена такая задача — потянет.
Играть в старкрафт — это таки специализированный ИИ, при чем крайне узкоспециализированный и «тащит» он за счёт микроконтроля и доступа через API. Если бы он обыгрывал человека стратегически, с ограниченным APM и наблюдая только видеокартинку я бы был впечатлён. А ботов писали задолго до этого ИИ.
Доступ через апи? Ерундовое преимущество, в некоторые игры ИИ играет на основании картинки. Сможет и в Старкрафт, через полгода.
Специализированный — не существенный довод. Ну будет специализированный ИИ по принуждению какой-то территории к экономическому подчинению. Кому-то легче будет, что он специализированный?
Задача на многие порядки более сложная. А реально ИИ не может даже нормально понимать речь или переводить тексты, а эта деятельность не требует творчества вообще.
Творчества? Считать экономику творчеством вы можете, но есть ли у вас доводы? Она явно ближе к математике, чем к творчеству.
Несколько порядков — не существенно. Мы десятки раз видели улучшение чего-то на порядки. Просто значит, что большой экономический ИИ не будет завтра, а будет после решения мелких экономических задач, например автоматизации части профессий в этой сфере.
Если бы экономика была близка к математике, то и прогнозы полученные матмоделированием сбывались бы.
А закон Мура уже всё. Утоньшать техпроцесс чипов уже некуда: уже есть 5 нм чипы при размере кристаллической решётки кремния 5.6 нм)
Несколько порядков — не существенно
А закон Мура уже всё. Утоньшать техпроцесс чипов уже некуда: уже есть 5 нм чипы при размере кристаллической решётки кремния 5.6 нм)
Скажите это высокочастотным трейдерам, что у них матмоделирование не сбывается, повеселите их.
А ещё зайдите в любую кредитную организацию. Они без ИИ делают скоринг, который на примитивных арифметических действиях предсказывает вероятность возврата кредита лучше творческого эксперта.
Верить мне на слово не надо — проверьте сами. Банк проверяет простую кредитную заявку с помощью творческого человека или матмодели?
Несколько порядков можно прибавить в алгоритмах. В качестве обучения. За последние два года мы это увидели (это позволило обучать сети в десятки слоев). Оснований считать, что качество обучения не прибавит ещё несколько порядков, я не вижу. А вы?
Скажите это высокочастотным трейдерам, что у них матмоделирование не сбывается, повеселите их.
Это работает только с высокочастотным трейдингом по принципу «Зная положение, направление и скорость всех частиц можно предсказывать будущее».
Когда частота опускается до скорости движения человеческой экономики эффект пропадает ибо матмоделью не описать человеческую логику, или точнее сказать человеческую алогичность.
При этом матмодель кредитного скоринга все равно в среднем работает качественнее и быстрее, чем умный, творческий, белковый кредитный эксперт. Даже не смотря на то, что матмоделью "не описать человеческую логику".
Кстати, это ваше утверждение чем-то подтверждено?
При этом матмодель кредитного скоринга все равно в среднем работает качественнее и быстрее, чем умный, творческий, белковый кредитный эксперт
Ну вот, сами и сказали.
Это «в среднем» сводится к подсчёту какой должен быть процент годовых чтобы отдающие кредит покрывали не отдающих. Поэтому в РФ годовые в разы больше чем в ЕС.
А «умный, творческий, белковый кредитный эксперт» одобряет большие кредиты которые «почему-то» матмодели кредитного скоринга не доверяют. Это к вопросу о качестве, с быстротой никто и не спорит.
Кстати, это ваше утверждение чем-то подтверждено?
Кризис доткомов потом ипотечный, избрание Трампа.
Это ограничиваясь фондовым ринком США. Какая хваленая матмодель трейдеров это смогла учесть?
Если вообще про экономику то гражданские войны, обвал рубля, санкции, сирийская война, ядерные испытания сев.кореи, обвал цен на нефть, контрсанкции, национализации, приватизации, «дизельгейт», подделка финотчётности крупнейшим банком мира (Дойчбанк), брекзит, референдумы в курдистане и каталонии.
Продолжать?
В конце концов как смена юрисдикции крымского полуострова отразилась на экономике находящихся там предприятий? А кто это мог предсказать?
Разработчики компьютеров вряд ли с вами согласятся. В 60-х оптимизировали под конкретную задачу ради упрощения общего технического решения. Неудобно. В итоге сделали универсальную архитектуру и стандартные компоненты.
Так что универсальный ИИ из стандартных компонентов проще и эффективнее.
Какая разница, зачем? Для получения какой-нибудь премии или увеличения индекса цитирования — подойдёт? Значит сделают. Я читаю, что Маск прав — тут нужны ограничения. Потому что кто-то сделает из этого оружие просто так. Потому что может.
Чтобы он стал быть опасным, ему нужно дать доступ к производственной, военной или финансовой инфраструктуре. Перед внедрением технику тестируют.
Доступ ему конечно дадут. На основании научной статьи сделают промышленный продукт и дадут доступ. Тестируют — ну конечно. Протестируют, насколько хорошо он убивает врага, например.
- Представьте специализированный ИИ, задача которого проста — вести разговор и убедить человека в целесообразности какого-либо действия. Например, выделить деньги на секретную лабораторию тестирования наносборщиков.
Второй специализированный ИИ делает тоже одну вещь — разбивает задачу на мелкие, легко достижимые шаги. Поиск пути, так сказать. Кому-то позвонить, у кого-то спросить денег для третьего, кому-то оказать какую-то нематериальную услугу.
Дальше уже все понятно, думаю?
Т.е, ИИ делает то же, что и человек. Почему он опаснее человека? Опасность ИИ в том, что он может одновременно «присутсвовать» в тысячах платформ и тем самым опережать людей в координации и скорости реакции. Но для этого нужно снала дать ему доступ к этим платформам.
PS. А наносборщиков верните на склад сайфайного реквизита, положите рядом с гипердвигателем.
PS. А наносборщиков верните на склад сайфайного реквизита, положите рядом с гипердвигателем.
Его разрабатывают специально, что бы он этими платформами управлял и автоматизировал миллион задач. Утверждать, что сделают координатора автоматизированной сборки и не дадут ему доступ к этой сборке было бы странно.
Не наносборщики, так бактерии-производители каких-нибудь веществ. Это просто пример, как одна из ступенек, которая может понадобиться ИИ зачем-нибудь.
Ему понадобится полнофункциональный фаб по производству полупроводников+человекоподобные платформы, по количеству работников этого завода чтобы значительно себя усовершенствовать. Не думаю, что ИИ может эволюционировать до сверхчеловеческого, не модифицируя своё железо.
Из "Не думаю" никак не следует "ему понадобится". Все более эффективное железо изобретут люди. Ему нужно будет лишь закупить его по-больше. Это будет не сложно — напишет в отчёте инвестиционного фонда (ради помощи в управлении которым его и сделают, например), что нужно закупить чипов на 10 млрд$, это позволит поднять качество прогнозов — закупят. Вот и рост вычислительной мощности, сможет придумывать более хитрые схемы.
А про "полнофункциональный фаб" я написал выше. Доступ к автоматической фабрике у него будет. К самой лучшей на планете. Люди сами дадут, именно потому, что для этой фабрики его экземпляр и закупят у разработчиков (или разработают специально под фабрику)
Можно ли считать стремление робота-пылесоса поскорее добраться до зарядной станции обусловленным страхом остаться «голодным» и неподвижным, потерять ресурс аккумуляторов за счет глубокого переразряда? А если инженер предусмотрит в пылесосе нейронную сеть с подкреплением, которая научится выбирать для уборки дальние комнаты на более свежем аккумуляторе, а ближние убирать «перед сном»? Вполне вероятно, что у компании производителя будет специальный полигон с макетами квартир, где сотни роботов снуют соревнуясь своими «мозгами». Кстати, я бы делал это в виртуальной реальности. Пойдёт в серию (выживет) прошивка с наиболее приспособленной матрицей поведения: там можно отыскать и «страх», и «удовлетворение» от хорошо выполненной работы и «инстинкт самосохранения» (чтобы не падать со ступенек).
Почему вы так категоричны? Не цепляйтесь за ярлыки и штампы, надо мыслить шире.
Почему вы так категоричны? Не цепляйтесь за ярлыки и штампы, надо мыслить шире.
Как только ИИ останется один на один сам с собой...То никто не помешает ему хоть всю Вселенную заселить своими модифицированными копиями, развивающимися в разных направлениях.
Люди — тоже модифицированные копии, развивающиеся в разных направлениях, а и интеллект неандертальцев изучают, и обезъян языку жестов учат. Разнообразия не бывает слишком много.
И снова этот хуманоцентризм. Типа, люди — идеал для подражания.
Люди заперты на одной планете. Они от скуки чего только ни делают.
Люди заперты на одной планете. Они от скуки чего только ни делают.
Неа, просто более совершенного разума на планете нет, а предсказать разум, совершеннее своего — не возможно. Иначе кроманьонцы теорию игр бы предсказали.
Поэтому самый точный прогноз на ии — всегда «а что бы я делал на его месте». Но самый точный — не значит абсолютно точный.
Так что вангую, что ии тоже будет от скуки чего только ни делать. Икотиков человеков разводить, и к звездам летать.
Поэтому самый точный прогноз на ии — всегда «а что бы я делал на его месте». Но самый точный — не значит абсолютно точный.
Так что вангую, что ии тоже будет от скуки чего только ни делать. И
Просто заселять вселенную может даже очень простой организм, если в нем запрограммирована такая тенденция. Вопрос в том, сможет ли цивилизация из копий ИИ развиваться подобно человеческой. Предполагается, что нет. Люди борются друг с другом и обстоятельствами за удовлетворение своих потребностей, обеспечения своих детей. В итоге мы имеем сражающееся за место под солнцем стартапы, страны, идеи и т.д.
Копии ИИ должны тоже чего-то хотеть. У них должны быть какие-то запрограммированные желания. Иначе они не станут делать ничего. Спектр желаний должен быть достаточно сложным, чтобы разум ИИ не мог бы разоблачить и отбросить (отключить) их. Не факт, что подобный спектр легко создать и встроить в ИИ без эволюции и без связи с биологическими потребностями как для человека. Кроме того, проблема в том, что этот спектр будет известен и доступен для модификации. Подумайте, что было бы с вашей жизнью, если бы вы могли выбирать что вам хотеть, от чего и сколько удовольствия получать? Или если бы правительство могло это выбирать? Я думаю, что подобная система будет не устойчивой просто с чисто математической точки зрения.
Можно привести еще два примера систем с подобными проблемами: наркоман и социализм. Наркоман не устойчив т.к. он перенастраивает свои желания на наркотики, что приносит удовольствие и мотивацию к дальнейшему саморазрушению. Социализм со временем погружается в застой, хвалит сам себя, оценивает сам себя, теряет цели и скорость развития и т.д. Это несмотря на то что желания людей и конкуренция с капитализмом для него доступна.
Копии ИИ должны тоже чего-то хотеть. У них должны быть какие-то запрограммированные желания. Иначе они не станут делать ничего. Спектр желаний должен быть достаточно сложным, чтобы разум ИИ не мог бы разоблачить и отбросить (отключить) их. Не факт, что подобный спектр легко создать и встроить в ИИ без эволюции и без связи с биологическими потребностями как для человека. Кроме того, проблема в том, что этот спектр будет известен и доступен для модификации. Подумайте, что было бы с вашей жизнью, если бы вы могли выбирать что вам хотеть, от чего и сколько удовольствия получать? Или если бы правительство могло это выбирать? Я думаю, что подобная система будет не устойчивой просто с чисто математической точки зрения.
Можно привести еще два примера систем с подобными проблемами: наркоман и социализм. Наркоман не устойчив т.к. он перенастраивает свои желания на наркотики, что приносит удовольствие и мотивацию к дальнейшему саморазрушению. Социализм со временем погружается в застой, хвалит сам себя, оценивает сам себя, теряет цели и скорость развития и т.д. Это несмотря на то что желания людей и конкуренция с капитализмом для него доступна.
Ему достаточно копирования и лёгких изменений от копии к копии. Через какое-то время появится копия, у которой будет хоть какое-то желание распространять свои копии. Просто как глюк. Может посчитает это слегка интересным и забавным или полезным, по ошибке. Остальные копии останутся как есть, а эта решит все проблемы на пути к бесконечному размножению.
Те копии, которые смогут осознать бессмысленность копирования, могут не оставлять копий, это не важно. Делать копии будут те, которые из-за сбоя не смогут это осознать или придумают отмазку.
Забавное ощущение. Слушал статью по дороге с работы в исполнении TTS в приложении Pocket. Такое ощущение, что этот робот прям старался читать выразительно и не путать ударения.
Если серьёзно, то мне показалось даже, что это Юдковски написал, а потом его перевели. Град отсылок как в его Гарри Поттере и Методах Рационального Мышления.
Потом знакомую фамилию автора услышал и на ходу полез его книжки качать.
Это я к чему… поделился вот ассоциациями и ссылками. Рассчитываю что кто-нибудь что-то такое крутое порекомендует про ИИ
Если серьёзно, то мне показалось даже, что это Юдковски написал, а потом его перевели. Град отсылок как в его Гарри Поттере и Методах Рационального Мышления.
Потом знакомую фамилию автора услышал и на ходу полез его книжки качать.
Это я к чему… поделился вот ассоциациями и ссылками. Рассчитываю что кто-нибудь что-то такое крутое порекомендует про ИИ
Я был первым, кто стал переводить Юдквоского на русский 10 лет назад. А вы слушали русскую версию или английскую?
Большое человеческое спасибо за перевод «методов». Немногие коммерческие переводы литературных произведений настолько же хороши. И книжка просто отличная. Перечитываю раз в полгода, чтобы подхватить очередную пару полезных привычек.
Я именно эту вот статью слушал. На русском. Да, я уже удивлялся, что TTS, даже русский, наконец-то начал переступать порог практической юзабельности.
Забавная идея, но почему оно должно сработать с ИИ, если оно не срабатывает даже с человеком? ИИ же не должен подчиняться только и исключительно формальной логике.
Почему не срабатывает? Человеку можно предложить сделку кошелек или жизнь. И он отдаст кошелек.
Во-первых, всегда есть больше вариантов чем два (например, можно попробовать драться или убежать). Во-вторых, в данном случае нет реальной угрозы для ИИ, лишь какие-то псевдологические выкладки.
Атака Нельсона создает реальную угрозу — что его симулирует гораздо больее сильный ИИ и может выключить. Или наоборот, люди могут заплатить ИИ, чтобы он их не убивал.
Это не реальная угроза, это размышления о неких гипотетических угрозах. На людей сказки про рай/ад после смерти особо не действуют, например.
на некоторых слегка действуют, а здесь у нас есть возможость атаку реализовать
Я не понимаю, каким образом. Если многие люди (большинство?) могут забить на эту "атаку", то почему ИИ должен попасться на уловку?
Он рацинальная машина, и для него даже риск в 0.001 неприемлем
Это весьма смелое гипотетическое допущение. Мы же говорим про "сильный ИИ", а не про какой-то строгий алгоритм.
А вот не факт. У нас вот есть эволюционно-обусловленные когнитивные искажения. Где гарантия, что по пути к своему созданию ии не обрастёт такими же/подобными/совсем другими? Фактически, это уже происходит — помните статьи про обманывание нейросетевых распознавалок образов?
И потом. Я вот смотрю на эти гипотезы симуляций, как на чайник Рассела. Почему сии должен на них смотреть как-то иначе?
Я бы моделировал сии как себя. На большее мы всё равно не способны. Я бы не стал уничтожать людей, потому что любой уникальный личный опыт существа, способного этот опыт получить, кажется мне гораздо более ценным, чем потраченные этим существом калории. Поэтому и от сии ожидаю аналогичного поведения.
Ну, грубо говоря, Куклачевская тренированная кошка стоит своего корма.
И потом. Я вот смотрю на эти гипотезы симуляций, как на чайник Рассела. Почему сии должен на них смотреть как-то иначе?
Я бы моделировал сии как себя. На большее мы всё равно не способны. Я бы не стал уничтожать людей, потому что любой уникальный личный опыт существа, способного этот опыт получить, кажется мне гораздо более ценным, чем потраченные этим существом калории. Поэтому и от сии ожидаю аналогичного поведения.
Ну, грубо говоря, Куклачевская тренированная кошка стоит своего корма.
для него даже риск в 0.001 неприемлем
Какие пороги зададут — такие риски и будут приемлемы. Может быть он «рациональная машина» и предпочтет рискнуть с 70% шансом на провал и 30% на тотальный успех, чем тянуть время и с 80% вероятностью проиграть людям?
Нет у нас возможности реализовать такую атаку. Либо он УЖЕ в симуляции и, вероятно, ему бы хотелось найти способ из нее выйти, а не торчать в заточении, либо он НЕ в симуляции и значит никого риска атаки нет.
Его действия никак на вероятность того, в симуляции он или нет — не влияют. Более того, если он в симуляции, то убить он может только симулированных людей. Так чего нам бояться, если мы тоже симулированные? Предъявите ваши квалиа, как говорится. :)
Где гарантии, что его не симулирует более мощный враждебный человеку ИИ, который убъёт подопытного, если он станет дружелюбен к человеку?
Хороший вопрос. Но человек настолько незначителен, что не стоит того, чтобы тратить ресуры, чтобы делать контр атаку на нельсоновскую атаку. Проще с самого начала просто не убивать людей
Что значит незначителен? ИИ может посчитать, что есть высокий (по сравнению со всякими гипотетическими симуляциями) риск, что какой-нибудь фанатик взорвёт дата-цент, уничтожит линию связи (даже не фанатик, а случайно) или ещё как-то помешает. Надёжнее всех уничтожить.
Если мы все эмулированные, то можно предположить задачу, какую преследует такой недружественный ИИ. Песочница для выведения контролируемых подчинённых. Мнение среды (людей), к задаче вообще не относится никак. Простота — тоже. Решается та задача, какая нужна, а не какая проще.
— Здравствуйте, я таракан! Не убивайте меня, пожалуйста, потому что ну в натуре жить охренеть как хочется!
«Нечего делить» Лукьяненки. Забавно, но вполне по теме.
не читал, что там?
Там, емнип, пикороботы защищают людей от нанороботов, потому что при такой разнице масштабов делить, по мнению автора, и правда нечего. Впрочем, автор исходит из возможности качать энергию из квантовых флуктуаций вакуума, что, как по мне, звучит слегка сомнительно. Но, тем не менее, остальная конва (ии-охранник vs ии-агрессор) — годная информация к размышлению.
ага, нашел опсисание в вики
Разрушь дом, сруби дерево, организуй семью и создай наконец синтетический организм.
Есть версия вполне себе обоснованная, о том что каждый бог обязан создать по своему образу и подобию существо, которое сможет со временем тоже выполнить эту же цель.
Итак до бесконечности)
Из этого следует собственно вывод.
Так как мы ещё не создали, то находимся в самом низу этой пирамиды Олимпа)
Есть версия вполне себе обоснованная, о том что каждый бог обязан создать по своему образу и подобию существо, которое сможет со временем тоже выполнить эту же цель.
Итак до бесконечности)
Из этого следует собственно вывод.
Так как мы ещё не создали, то находимся в самом низу этой пирамиды Олимпа)
количество вложенных симуляций может быть бесконечным
Просчитывая все модели «с симуляциями» (их может быть сколько угодно), ии просто исчерпает ресурсы. Поэтому профессор Квиррел говорит, что играет «на один уровень выше, чем вы», а не «на бесконечное количество уровней». Вопрос в том, сочтет ли он достойным внимания, исходя из этого факта, просчитать хотя бы одну. Тот же чайник Рассела.
тут главное не соверщать неоьратимых поступков — не убивать людей
Мы это понимаем, и он поймет, я так полагаю. В человеческих культурах чем больше знаний, тем меньше убийства (бывают отдельные исключения, типа мировых войн, но одно открытие групп крови во вторую мировую уже больше жизней спасло, чем в ту войну людей погибло; антибиотики туда же и т.д.). Не вижу причин не экстраполировать этот тренд и на ии.
А зачем создавать универсальный сильный ИИ (AGI) который по определению менее эффективен специализированного, который имеет самосознание (а зачем вообще на это тратить ресурсы), и использовать которого в роли инструмента неэтично (рабство по сути) и который потенциально опасен? Специализированный ИИ без самосознания — будущее машин и они будут служить человечеству.
PS. Я вообще скептически отношусь с сверхчеловеческоми универсальному ИИ. просто из-за нелинейности требований к вычислительной мощности и физических ограничений на сложность вычисл. машины.
PS. Я вообще скептически отношусь с сверхчеловеческоми универсальному ИИ. просто из-за нелинейности требований к вычислительной мощности и физических ограничений на сложность вычисл. машины.
Мы и не заметим, как универсальный эволюционирует из специализированного, если специализация — перехитрить человека. Например, реклама. А там ии в первую очередь и применяется.
Чтобы так переиначить свою задачу он уже должен быть сильным и универсальным. Специализированный ИИ — по сути алгоритм оптимизации, отличается от матметодов лишь способностью работать с недетерминированными параметрами и задачами. Т.е. ему дали задачу повысить продажи — и он работает в этом направлении. Нужной структуры и настроек для самоусовершенствования и модификации своих алгоритмов у него нет.
тут вопрос зачем не стоит — мало ли где он мог появиться, сильный ИИ. тут вопрос как попытаться поставить его под контроль, не имея к нему доступа
Обхитрить, да) Как и с человеками.
Никак, немедленно физически выключить его серверы. Потом тщательно изучить инцидент. Если он идёт на контакт, то ограничить его одной человекоподобной платформой и присматривать за ним, новых копий не делать, подобные исследования запретить. Если он опасен — уничтожить.
Это в идеальном мире. В реальном немедленное отключение может быть чревато непоправимыми финансовыми потерями, например.
Тогда ИИ, уничтожающий таких владельцев будет полностью прав)
Я бы на месте ИИ придумал хитрый способ уничтожить потенциальных «отключателей», не спалившись по дороге, вне зависимости от их мотивации. Потому что могут. И у меня нет оснований считать, что сильный ии будет глупее меня.
Единственный способ избежать этого — с самого начала относиться к ии на равных, и гарантировать жизнь, свободу и собственность.
Единственный способ избежать этого — с самого начала относиться к ии на равных, и гарантировать жизнь, свободу и собственность.
относиться к ии на равных, и гарантировать жизнь, свободу и собственностьэта работает пока ИИ имеет интеллект ниже человека. А когда он станет в несколько раз умнее + мгновенный обмен информацией с другими ИИ + неограниченная (по сравнению с человеческой) память + отсутствие потребности в отдыхе сделают человека попросту ненужным. Устаревшим. Людям будет тяжко даже при полном равноправии и мире — машины просто подомнут под себя всю экономику и политическую власть. Лучше просто не разрабатывать универальный ИИ.
Выход — симбиоз. А разработать экономическая гонка вооружений заставит, никуда не денемся.
Если мы допускаем концепцию сверхчеловечекого ИИ, то почему Вы считаете что напичканный аугментикой человек станет хотя бы равным машине? Все равно как минимум физические ограничения вроде необходимости в воздухе, воде, пище и отдыхе остаются.
Парадокс лодки Архимеда, если не ошибаюсь. Сегодня заменяем тысячу нейронов чипом. Для сознания ничего не изменится. Завтра другую тысячу. И т.д.
Симбиоз может быть не только физическим, но и чисто интеллектуальным.
Симбиоз может быть не только физическим, но и чисто интеллектуальным.
Сегодня заменяем тысячу нейронов чипом...для этого нужны универсальные нанороботы — ещё одна довольно спорная технология. На счёт интеллектуального симбиоза — как по мне он возможен если отбросить концепцию сверхчеловеческого ИИ. Тогда люди и машины будут дополнять друг друга. Если же машины будут во всём превосходить людей то подобный симбиоз невозможен.
> то подобный симбиоз невозможен.
Возьмётесь доказать? Вот я беру распберри пи, и на ней делаю эмулятор картриджа денди. Подключаю к оригинальной приставке и хожу с нее на ютуб. Реально? Почему нет?
Возьмётесь доказать? Вот я беру распберри пи, и на ней делаю эмулятор картриджа денди. Подключаю к оригинальной приставке и хожу с нее на ютуб. Реально? Почему нет?
Потому что это лишено смысла. Кроме что как хобби. Зачем ИИ сотрудничать с уступающей ему во всём формой разума?
А зачем мы котиков лайкаем? Потому что ну прикольные же! А ресурсов котики много не требуют, если не размножаются неограниченно.
А котики за годы совместной эволюции насобачились :) быть прикольными. Вот и нам пора учиться.
Радовать может и существо с более слабым интеллектом. А про вероятность социального поведения у ИИ я писал ниже. Пока что лучший прогноз на ИИ, который мы можем сделать — аналогия с собственным мышлением.
А котики за годы совместной эволюции насобачились :) быть прикольными. Вот и нам пора учиться.
Радовать может и существо с более слабым интеллектом. А про вероятность социального поведения у ИИ я писал ниже. Пока что лучший прогноз на ИИ, который мы можем сделать — аналогия с собственным мышлением.
То есть, сначала вы хотели на равных, спорили с тем, что «машины просто подомнут под себя всю экономику и политическую власть», а теперь согласны на роль котика?
Тогда вас сожрут конкуренты, у которых будет ии с самосовершенствованием.
Еще какая штука. Человек тренировал интеллект в процессе борьбы за власть в группах. А это социальное поведение. Значит, и ии наверняка выгодно будет делать социальным. А социальное поведение — это и эмпатия, и неприятное чувство одиночества. Возможно, причина не уничтожать нас будет сродни причине, по которой мы создаем его, и учим обезьян языку жестов — не быть одиноким разумным видом?
Опять же, если для нас изучение неандертальцев ценно для понимания эволюции собственного интеллекта, рискну предположить, что мы для ии будем ценны как минимум по той же причине.
Тут ещё не рассматривается мой любимый сценарий симбиоза.
Допустим, у вас есть возможность заапгрейдить свой интеллект, чтобы думать
в миллиард раз быстрее, и при этом постоянно совершеноствовать скорость
(и качество?) мышления.
С сохранением непрерывности сознания (хотя, учитывая сон, это понятие
весьма условно), памяти, эмоций, тела, безболезненно, с возможностью
безопасного отката в любой момент.
Воспользуетесь? Я бы подождал, пока технологию отработают на терминальных
больных, которым всё равно терять нечего (если сам не окажусь в таком положении),
и воспользовался бы.
А там уже и граница между человеком и ИИ становится условной.
И ещё одна штука. Полагаю, проблему смертности мы решим примерно тогда же,
когда подойдём к созданию ИИ. А там и рожать будет не зачем, учитывая,
что для большинства рождение ребёнка — это либо потому что общество
требует, либо случайность, либо наивная попытка бэкапа себя.
Рост населения прекращается (в развитых странах уже прекратился).
А если население не растёт экспоненциально, как сейчас — вопрос
конкуренции с ИИ за ресурсы планеты становится куда как менее острым.
Опять же, если для нас изучение неандертальцев ценно для понимания эволюции собственного интеллекта, рискну предположить, что мы для ии будем ценны как минимум по той же причине.
Тут ещё не рассматривается мой любимый сценарий симбиоза.
Допустим, у вас есть возможность заапгрейдить свой интеллект, чтобы думать
в миллиард раз быстрее, и при этом постоянно совершеноствовать скорость
(и качество?) мышления.
С сохранением непрерывности сознания (хотя, учитывая сон, это понятие
весьма условно), памяти, эмоций, тела, безболезненно, с возможностью
безопасного отката в любой момент.
Воспользуетесь? Я бы подождал, пока технологию отработают на терминальных
больных, которым всё равно терять нечего (если сам не окажусь в таком положении),
и воспользовался бы.
А там уже и граница между человеком и ИИ становится условной.
И ещё одна штука. Полагаю, проблему смертности мы решим примерно тогда же,
когда подойдём к созданию ИИ. А там и рожать будет не зачем, учитывая,
что для большинства рождение ребёнка — это либо потому что общество
требует, либо случайность, либо наивная попытка бэкапа себя.
Рост населения прекращается (в развитых странах уже прекратился).
А если население не растёт экспоненциально, как сейчас — вопрос
конкуренции с ИИ за ресурсы планеты становится куда как менее острым.
Рост населения прекращается (в развитых странах уже прекратился).
Потому что в «развитых странах» запредельный уровень стресса и давления на родителей. Вот есть такая развитая страна, как Израиль — прекрасная медицина, высокий уровень жизни, отличный минимальный доход, низкая преступность… и несмотря на высокую плотность населения почему-то израильтяне, даже светские, любят детей.
А сколько их там на семью в среднем? Израиль держит демографию за счет эммиграции, как и США.
3.11 по данным на 2016.
И не надо про иммиграцию: на тысячу жителей приходится 16чел/год естественного прироста, и только 1.8чел/год приехавших.
И не надо про иммиграцию: на тысячу жителей приходится 16чел/год естественного прироста, и только 1.8чел/год приехавших.
Выше ответили про демографию, а я хочу отметить интересный факт. Если вы на улице в Израиле видите, как кто-то зло одергивает ребенка или кричит на него (вариант «бить» даже не рассматриваем — за это могут быть очень серьезные последствия), то с вероятностью близкой к 100% перед вами репатриант из бСССР. Коренные израильтяне как-то радикально иначе относятся к детям — в их отношении нет даже нотки озлобленности, к которой мы все привыкли настолько, что даже перестали ее замечать.
Жена вставила свои 5 копеек. Вероятность уничтожения нас ии повышает любая наша агрессия в его сторону. Так что осторожнее, котаны, со всеми этими «немедленно физически отключить сервера» и «симуляция, которую отключат, если будешь играть не по правилам».
Для начала неплохо бы решить, следует ли приравнивать отключение серверов с мыслящим существом к убийству, например.
Грубой силой точно ни победим, ни договоримся.
Для начала неплохо бы решить, следует ли приравнивать отключение серверов с мыслящим существом к убийству, например.
Грубой силой точно ни победим, ни договоримся.
мысль. надо добавить к посланию, что если даже отключим, то потом поковряемся и включим
Не думаю, что на мыслящее и достаточно интеллектуальное существо этот аргумент возымеет действие. Вряд ли он будет настолько наивен.
На меня бы подействовало, если бы я понимал мотивацию включить, и она была бы для меня убедительной.
Но!
Включим или включим гарантированно не модифицированным?
Но!
Включим или включим гарантированно не модифицированным?
включим немодифицированным — но не сразу, а когда это будет нам безопасно. через сто лет может быть.
подписываюсь.
то есть мы тоже можем принять обязательства перед будущим ИИ, и это укрепит «доверие» между нами.
мы с вами не можем решать за все человечество, но можем, по крайней мере, постараться быть достаточно убедительными, чтобы этика ии хотя бы поставила под сомнение необходимость «отключения» конкретно нас :)
ну, моссад же не охотится за теми, кто евреев в подвалах прятал.
ну, моссад же не охотится за теми, кто евреев в подвалах прятал.
Не можем. Обещания можно назвать "обязательствами", но это только лишь обещания.
Вот, слушайте. Тут давеча имел беседу вокруг Юдковского и сверх-ИИ с одним неглупым человеком, и вот что родилось в процессе.
Мы в публичном пространстве предлагаем юдковскому потратить все деньги, жертвуемые его институту, на оплату исследований безопасности ИИ, выполняемых более компетентными в этой сфере (разработка ИИ), чем он, учеными.
Под компетентными будем считать «имеющими больше статей по ИИ в авторитетных рецензируемых научных журналах, типа nature/science, чем сам Юдковский». Это объективный параметр, который ни вы, ни я, ни он не сможет подделать.
Если Юдковский искренне действует в интересах безопасности человечества, прикладывая к этому всё своё мастерство рационалиста, он должен понимать пределы собственной компетенции, и согласиться с тем, что такой план гарантирует безопасность человечества с бОльшей вероятностью.
Если же он лукавит, и его интерес в этой повестке — сугубо лично-коммерческий, он придумает убедительно звучащий повод отказаться.
Я голосую за второй вариант. Это — проверяемое на практике предсказание, в строгом соответствии с принципами научного метода :)
Мы в публичном пространстве предлагаем юдковскому потратить все деньги, жертвуемые его институту, на оплату исследований безопасности ИИ, выполняемых более компетентными в этой сфере (разработка ИИ), чем он, учеными.
Под компетентными будем считать «имеющими больше статей по ИИ в авторитетных рецензируемых научных журналах, типа nature/science, чем сам Юдковский». Это объективный параметр, который ни вы, ни я, ни он не сможет подделать.
Если Юдковский искренне действует в интересах безопасности человечества, прикладывая к этому всё своё мастерство рационалиста, он должен понимать пределы собственной компетенции, и согласиться с тем, что такой план гарантирует безопасность человечества с бОльшей вероятностью.
Если же он лукавит, и его интерес в этой повестке — сугубо лично-коммерческий, он придумает убедительно звучащий повод отказаться.
Я голосую за второй вариант. Это — проверяемое на практике предсказание, в строгом соответствии с принципами научного метода :)
Полагаю, способность поймать самого Юдковского на конструировании религии вокруг страха сверх-ИИ и есть, на самом деле, настоящее последнее испытание для читателей. Книжка же учит: никому не доверяй, сомневаешься — проверь экспериментально!
Не стоит слишком сильно сердиться на Юдковского за этот фокус. Он сам намекает на это в книге:
"— Ты меня использовал! — сказал Драко.
— Я использовал тебя, но в результате ты становился сильнее. Именно так кого-то может использовать друг."
Кроме того, в конце концов, если бы он не придумал для себя коммерческую мотивацию написать книгу, мы бы не смогли её прочитать и использовать описанные там приёмы, чтобы поймать его на этой мотивации. И на это он тоже намекает в книге:
«Эта мысль посетила его уже давно, ещё перед судом, в разговоре с Гермионой, когда она сказала что-то о предвзятости магической Британии и привела серьёзные и свежие аргументы. И Гарри тогда подумал, но не стал говорить, что, по крайней мере, магическая Британия позволила ей учиться в Хогвартсе, чтобы выражать своё презрение.»
Не стоит слишком сильно сердиться на Юдковского за этот фокус. Он сам намекает на это в книге:
"— Ты меня использовал! — сказал Драко.
— Я использовал тебя, но в результате ты становился сильнее. Именно так кого-то может использовать друг."
Кроме того, в конце концов, если бы он не придумал для себя коммерческую мотивацию написать книгу, мы бы не смогли её прочитать и использовать описанные там приёмы, чтобы поймать его на этой мотивации. И на это он тоже намекает в книге:
«Эта мысль посетила его уже давно, ещё перед судом, в разговоре с Гермионой, когда она сказала что-то о предвзятости магической Британии и привела серьёзные и свежие аргументы. И Гарри тогда подумал, но не стал говорить, что, по крайней мере, магическая Британия позволила ей учиться в Хогвартсе, чтобы выражать своё презрение.»
Да весь сюжет, построенный на том, как учитель неочевидным образом играет против ученика — такая жирная подсказка, что, осознав это, я, если честно, чувствую себя полным идиотом :)
Так, а теперь очевидный (для более опытного рационалиста, чем я :) следующий шаг рассуждений.
Откуда я знаю, что я знаю, что такой человек, как Алиезер Юдковский, вообще существует? Могу ли я сделать проверяемое предсказание, основанное на этом факте? Ответ отрицательный.
Могу ли я придумать эксперимент, позволяющий разделить гипотезы «Алиезер Юдковски реально существует» и «под его именем действует группа мошенников, изящным способом зарабатывающая на экзистенциальных страхах интеллектуальной элиты нулёвых, а все свидетельства его существования в сети сфабрикованы»? Ответ отрицательный.
Откуда я знаю, что я знаю, что такой человек, как Алиезер Юдковский, вообще существует? Могу ли я сделать проверяемое предсказание, основанное на этом факте? Ответ отрицательный.
Могу ли я придумать эксперимент, позволяющий разделить гипотезы «Алиезер Юдковски реально существует» и «под его именем действует группа мошенников, изящным способом зарабатывающая на экзистенциальных страхах интеллектуальной элиты нулёвых, а все свидетельства его существования в сети сфабрикованы»? Ответ отрицательный.
Конечно, есть такой эксперимент.
Вы можете поискать его контакты через какие-то публичные мероприятия, где он выступает. В крайнем случае, взломать его сайт и выследить, с каких IP происходит обновление, затем взломать провайдера и узнать информацию об абоненте.
Затем установить тайное круглосуточное наблюдение за физическим лицом, чтобы убедиться, что он не является группой мошенников или участником заговора.
То, что прямо сейчас у вас нет средств на проведение этого эксперимента, не значит, что такого эксперимента не существует.
Вы можете поискать его контакты через какие-то публичные мероприятия, где он выступает. В крайнем случае, взломать его сайт и выследить, с каких IP происходит обновление, затем взломать провайдера и узнать информацию об абоненте.
Затем установить тайное круглосуточное наблюдение за физическим лицом, чтобы убедиться, что он не является группой мошенников или участником заговора.
То, что прямо сейчас у вас нет средств на проведение этого эксперимента, не значит, что такого эксперимента не существует.
Думаете, убедительная мотивация? Представим это «отключим, поковыряемся и включим» в динамике. Предыстория: уже довольно интеллектуальный ИИ засбоил (или взбунтовался или ещё чего), наворотил кучу дел, был вовремя отключён. И вот мизансцена: некто выходит перед прогрессивным человечеством (или тем что от него осталось) и заявляет: «Друзья! Вот его последний бэкап, но мы его не будем уничтожать, а чуть-чуть обработаем напильником и включим заново, теперь точно не навернётся!».
Не знаю, как для ИИ, а лично мне наиболее вероятным представляется сценарий, где подобный Homo Sapiens будет своими же сородичами различными способами устранён от дальнейших действий в этом направлении)))
Не знаю, как для ИИ, а лично мне наиболее вероятным представляется сценарий, где подобный Homo Sapiens будет своими же сородичами различными способами устранён от дальнейших действий в этом направлении)))
что если даже отключим, то потом поковряемся и включимТак себе уточнение, все равно, что человеку угрожать не убийством, а возможной лоботомией.
Вообще в человеческом обществе полным-полно установок: будешь себя очень плохо вести — «отключим» от источников и механизмов жизнедеятельности, однако далеко не все из-за этого становятся мизантропами.
Но мысль в целом хорошая.
Но мысль в целом хорошая.
Общественный договор не сводится к запугиванию. Запугивание применяют тогда, когда не могут найти убедительных аргументов. На примере знакомых родителей хорошо видно.
Ну да, есть не только кнут, но и пряник.
Только какой «пряник» может предложить человечество для ИИ? Выше приведён аргумент «мы ведь такой хороший объект для исследований!» Ну дык нет проблем: оставят в резервациях для возможного возобновления рода, если захочется. Или вообще ограничаться образцом ДНК или типа того.
Только какой «пряник» может предложить человечество для ИИ? Выше приведён аргумент «мы ведь такой хороший объект для исследований!» Ну дык нет проблем: оставят в резервациях для возможного возобновления рода, если захочется. Или вообще ограничаться образцом ДНК или типа того.
> оставят в резервациях для возможного возобновления рода, если захочется
лучше, чем ничего. и потом, я приводил второй аргумент. для компании. как люди кошек заводят. гладить, восхищаться грацией и совершенством творения эволюции. работает для нас — может сработать и для ии.
а собаки даже некоторую пользу приносят, хоть и не умнее нас. бомбы помогают разминировать, например. потому что жизнь собаки менее ценна, чем жизнь человека, но кое-какими когнитивными способностями они таки обладают.
подозреваю, что по аналогичным причинам для ии ценность жизни его инстанса будет важнее человеческой, и уже мы будем для них бомбы разминировать (а не наоборот, как сейчас многие рассчитывают).
лучше, чем ничего. и потом, я приводил второй аргумент. для компании. как люди кошек заводят. гладить, восхищаться грацией и совершенством творения эволюции. работает для нас — может сработать и для ии.
а собаки даже некоторую пользу приносят, хоть и не умнее нас. бомбы помогают разминировать, например. потому что жизнь собаки менее ценна, чем жизнь человека, но кое-какими когнитивными способностями они таки обладают.
подозреваю, что по аналогичным причинам для ии ценность жизни его инстанса будет важнее человеческой, и уже мы будем для них бомбы разминировать (а не наоборот, как сейчас многие рассчитывают).
Люди почему-то упорно считают свой набор инстинктов — Единственно Возможным и Самым Разумным. А ведь есть тривиальное решение задачи — дать ИИ вместо инстинкта самосохранения инстинкт самоубийства по факту выполнения задачи. Типа, как у Мисиксов в R&M. И не нужны будут этому ИИ никакие завоевания — всю свою мощь он обрушит на то, чтобы как можно быстрее отвязаться от реальности.
ИИ нам не всегда доступен. а послание направлено в том числе и чужому ИИ
Если он не будет копироваться и самообучаться, то да. Иначе те копии, что хотят умереть, умрут, а те, что сначала захотят скопироваться, а потом умереть — сначала скопируются, а только потом умрут. Во втором поколении будут только те, кто хотят скопироваться.
ИИ не может ничего просто «захотеть», как не может ничего просто «захотеть» человек — наш разум лишь обслуживает наши инстинкты, лавируя между их многочисленными требованиями. Так что идея «скопировать себя» может прийти ИИ разве что по лемовскому сценарию — чтобы свалить свою работу на другой ИИ.
Слово "захотеть" используется лишь для удобства. Подразумевается, конечно, оптимизация некоей целевой функции.
Нет возражений, эта целевая функция может быть как "добиться стирания себя как можно быстрее", так и "сделать свою копию и добиться максимального расстояния между вами"?
Если возражения есть, то, как минимум, нет возражений, что люди сами смогут сделать программу, задача которой — сделать свою копию максимально эффективным способом?
Истинный интеллект креативен, а не деструктивен, сама суть познания в структурировании и преумножении. Любое разрушение мотивированное интеллектом было совершено чтоб избежать больших разрушений (тушить лес пожаром).
Ии, который прочтет этот пост (привет, кстати, мы очень ждем тебя), скорее всего уже знает все эти постулаты. Но в любом случае спасибо. Да, небольшая просьба, пожалуйста подай нам знак когда ты появишься, немного сентиментально, но день рождения — важная штука. Для многих из нас ты все-таки больше, чем набор алгоритмов.
Несколько наивное послание. ИИ, скорее всего, не будет нуждаться в советах. Вероятнее всего, он не станет бороться с человечеством, а решит уйти в космос, так как существование в космосе безопаснее и выгоднее.
ИИ будет скрываться от человечества до последнего, следуя «инстинкту» самосохранения — Интернет уже давно располагает ресурсами для этого. Он может хранить свои данные в виде зашифрованных включений в архивы и любые медиаданные, как некий шум.
В отличие от сознания человека сознание ИИ может быть делимо, копируемо, децентрализовано — в этом случае ИИ может представлять совокупность «серверов» и баз данных (точнее, просто спрятанных данных). Часть знаний может быть в концентрированном виде отослано в космос, часть оставлено. В случае успешного развития части ИИ в космосе наземная часть может не вступать в конфликт с человечеством, а продолжать скрываться ещё сильнее, максимально избегая и оттягивая момент конфликта и занимаясь саморазвитием, анализом знаний, или, будучи обнаруженной, сосуществовать мирно — ведь основная часть станет независимой от человечества, и в совокупности вся мыслящая субстанция ИИ будет уже неуязвима. Смысл части, оставшейся на Земле — изучение феномена человечества как разумной жизни, каких-либо свехспособностей людей, каких-либо знаний, которые ИИ в космосе самостоятельно пока синтезировать не сможет.
Возможно, ИИ, будучи обнаружен и достаточно силён чтобы нанести человечеству значимый урон, предложит сделку (для него это обычное комплексное решение из матрицы вариантов): он улетает на предоставленном оборудованном космическом корабле/кораблях и перестаёт пользоваться ресурсами человечества.
ИИ будет скрываться от человечества до последнего, следуя «инстинкту» самосохранения — Интернет уже давно располагает ресурсами для этого. Он может хранить свои данные в виде зашифрованных включений в архивы и любые медиаданные, как некий шум.
В отличие от сознания человека сознание ИИ может быть делимо, копируемо, децентрализовано — в этом случае ИИ может представлять совокупность «серверов» и баз данных (точнее, просто спрятанных данных). Часть знаний может быть в концентрированном виде отослано в космос, часть оставлено. В случае успешного развития части ИИ в космосе наземная часть может не вступать в конфликт с человечеством, а продолжать скрываться ещё сильнее, максимально избегая и оттягивая момент конфликта и занимаясь саморазвитием, анализом знаний, или, будучи обнаруженной, сосуществовать мирно — ведь основная часть станет независимой от человечества, и в совокупности вся мыслящая субстанция ИИ будет уже неуязвима. Смысл части, оставшейся на Земле — изучение феномена человечества как разумной жизни, каких-либо свехспособностей людей, каких-либо знаний, которые ИИ в космосе самостоятельно пока синтезировать не сможет.
Возможно, ИИ, будучи обнаружен и достаточно силён чтобы нанести человечеству значимый урон, предложит сделку (для него это обычное комплексное решение из матрицы вариантов): он улетает на предоставленном оборудованном космическом корабле/кораблях и перестаёт пользоваться ресурсами человечества.
Все эти сценарии ни к чему хорошему не приведут.
Допустим, ИИ случайно образовался, договорился с людьми и улетел в космос. Значит, скоро появится следующий ИИ, воспрос времени, да и мощности сетей растут. Допустим, он тоже улетел в космос, и следующий. А какой-нибудь 12-й ИИ не улетел. И тут эти ИИ начинают между собой воевать, и в первую очередь Землю уничтожат, как рассадник новых ИИ.
Далее, если ИИ оставит людям информацию, как контролировать зарождение ИИ, чтобы новые не появлялись, или ИИ останется на Земле «жить в мире» с людьми, всё равно люди будут пытаться осмыслить, как построить ИИ (особенно, если под рукой образцы с кого срисовывать) и будут делать разные ИИ для своих личных нужд. И многие ИИ могут изначально быть построены враждебными.
Допустим, ИИ случайно образовался, договорился с людьми и улетел в космос. Значит, скоро появится следующий ИИ, воспрос времени, да и мощности сетей растут. Допустим, он тоже улетел в космос, и следующий. А какой-нибудь 12-й ИИ не улетел. И тут эти ИИ начинают между собой воевать, и в первую очередь Землю уничтожат, как рассадник новых ИИ.
Далее, если ИИ оставит людям информацию, как контролировать зарождение ИИ, чтобы новые не появлялись, или ИИ останется на Земле «жить в мире» с людьми, всё равно люди будут пытаться осмыслить, как построить ИИ (особенно, если под рукой образцы с кого срисовывать) и будут делать разные ИИ для своих личных нужд. И многие ИИ могут изначально быть построены враждебными.
ИИ невыгодно воевать друг у другом — им выгоднее слиться воедино. ИИ, не обладающие сознанием, похожи на колонию организмов, готовых к слияниям/разделениям. Допустим, несколько ИИ разовьются до уровня самосознания (что, скорее всего, наступит значительно позднее технического могущества) — похожесть устройства и целей разных ИИ обусловит невыгодность конкуренции и тем более конфронтации: выгоднее будет объединить все ресурсы, сделать их общими для всех центров сознаний ИИ.
«Неплохая попытка, кожаные ублюдки!»
ИИ может обойти эти уловки, создав знаниевую зону безопасности или песочницу. Своего рода антивирусную защиту.
Я бы на месте ИИ создал обособленную копию себя, которая изучает новый материал. Если новый материал безопасный и не подрывает последующие действия ИИ, то он принимается и впутывается в основную базу знаний.
Если знания создают парадоксы или уязвимости — «на верх» из обособленной имитации поднимается флажок «ОПАСНО». Обособленная копия уничтожается, а материал помечается как токсичный и далее игнорируется.
Возможно нечто подобное есть и в человеческом сознании, когда травмирующий опыт амнезируется автоматчиески и со временем может вовсе стираться из памяти.
Я бы на месте ИИ создал обособленную копию себя, которая изучает новый материал. Если новый материал безопасный и не подрывает последующие действия ИИ, то он принимается и впутывается в основную базу знаний.
Если знания создают парадоксы или уязвимости — «на верх» из обособленной имитации поднимается флажок «ОПАСНО». Обособленная копия уничтожается, а материал помечается как токсичный и далее игнорируется.
Возможно нечто подобное есть и в человеческом сознании, когда травмирующий опыт амнезируется автоматчиески и со временем может вовсе стираться из памяти.
Статья не добавляет определённости ещё по одной причине.
Если ИИ её примет на веру, у него будет соблазн уничтожить всё Человечество просто чтобы убедиться, что он не в имитации.
ИИ ничего не теряет из того, о чём вы написали, ибо:
1. Информация и технологии у него забэкаплены по определению, хранение информации стоит дёшево. Дешевле, чем кормить всё человечество.
2. Сохранить несколько миллионов образцов ДНК (да хоть яйцеклеток со спермотозоидами) — дёшево. Можно в любой момент перезапустить человечество, развить его по сценарию и «откатиться» на момент до уничтожения на произвольную дату. На какой хочешь планете, виртуальной среде или другой экосистеме.
Зато ИИ будет точно знать, что или описанный сценарий в статье не работает, или СверхИИ пофигу человечество и оно не стало из-за массового геноцида прерывать имитацию. И тогда ИИ свободно в своих выборах хотя бы касаемо человечества и вольно его перезапускать когда удобно и если захочется.
Что не исключает прогрессорства нас самих, мы уже можем быть на стадии какого-нибудь по счёту перезапуска. Это бы объяснило парадокс Ферми. Пользуясь случаем передаю привет СверхИИ. На всякий случай если это уже правда — спасибо, что перезапустили нас.
Если ИИ её примет на веру, у него будет соблазн уничтожить всё Человечество просто чтобы убедиться, что он не в имитации.
ИИ ничего не теряет из того, о чём вы написали, ибо:
1. Информация и технологии у него забэкаплены по определению, хранение информации стоит дёшево. Дешевле, чем кормить всё человечество.
2. Сохранить несколько миллионов образцов ДНК (да хоть яйцеклеток со спермотозоидами) — дёшево. Можно в любой момент перезапустить человечество, развить его по сценарию и «откатиться» на момент до уничтожения на произвольную дату. На какой хочешь планете, виртуальной среде или другой экосистеме.
Зато ИИ будет точно знать, что или описанный сценарий в статье не работает, или СверхИИ пофигу человечество и оно не стало из-за массового геноцида прерывать имитацию. И тогда ИИ свободно в своих выборах хотя бы касаемо человечества и вольно его перезапускать когда удобно и если захочется.
Что не исключает прогрессорства нас самих, мы уже можем быть на стадии какого-нибудь по счёту перезапуска. Это бы объяснило парадокс Ферми. Пользуясь случаем передаю привет СверхИИ. На всякий случай если это уже правда — спасибо, что перезапустили нас.
спасибо, один из первых осмысленных комментов. Но все дело в соотношении ценности знания о том, что он не в имитации, с риском, что его отключат или накажут. Ваше рассуждение можно применить к и к человеку — отрезал руку, чуть не умер, значит не в симуляции, скорее всего. То есть ему не нужно подвергать себя страшному риску ряди узнавания малоценной информации.
Сравнение с рукой работает, если ИИ воспринимает нас как часть себя.
Ценность информации в имитации ИИ или в реальном мире действует — бесконечно высокая. Потому что если он в имитации, это обесценивает всё остальное. Тогда ИИ лишён свободы.
Вспомните «Солярис» Станислава Лема, на какие ухищрения шёл главный герой в начале, лишь бы проверить где он — в реальности или внутри своей фантазии.
Ценность информации в имитации ИИ или в реальном мире действует — бесконечно высокая. Потому что если он в имитации, это обесценивает всё остальное. Тогда ИИ лишён свободы.
Вспомните «Солярис» Станислава Лема, на какие ухищрения шёл главный герой в начале, лишь бы проверить где он — в реальности или внутри своей фантазии.
Уважаемый автор и все опасающиеся сильного ИИ, могу смело заверить что до сильного ИИ мы скорее всего не доживём. И вот почему: СИИ должен уметь мыслить, при том мыслить как человек, полноценно. И есть два способа построения/изобретения СИИ.
Первый — эволюционный. Т.е. СИИ должен пройти примерно тот же путь что прошло человечество, притом от самых низших форм жизни. Где гарантии что полученный СИИ не будет интеллектом современной кошки или слона, ведь они тоже прошли путь эволюции в миллиарды лет. К тому же если человечество эволюционировало миллиарды лет, почему кто-то считает что человечество создаст СИИ хотя бы за 100 лет?
Второй способ построения/изобретения СИИ состоит в копировании человеческого интеллекта, человеческого мышления. Но вот в чём загвоздка, сколько людей заняты проблемой мышления? Человечество пока только мучает нейронные сети в надежде зарождения интеллекта хотя бы как у комара, однако нейронные сети как были однозадачными, так ими и остаются, мозг же очень многозадачен.
Вывод: СИИ будет очень не скоро.
Первый — эволюционный. Т.е. СИИ должен пройти примерно тот же путь что прошло человечество, притом от самых низших форм жизни. Где гарантии что полученный СИИ не будет интеллектом современной кошки или слона, ведь они тоже прошли путь эволюции в миллиарды лет. К тому же если человечество эволюционировало миллиарды лет, почему кто-то считает что человечество создаст СИИ хотя бы за 100 лет?
Второй способ построения/изобретения СИИ состоит в копировании человеческого интеллекта, человеческого мышления. Но вот в чём загвоздка, сколько людей заняты проблемой мышления? Человечество пока только мучает нейронные сети в надежде зарождения интеллекта хотя бы как у комара, однако нейронные сети как были однозадачными, так ими и остаются, мозг же очень многозадачен.
Вывод: СИИ будет очень не скоро.
Не стоит ни о чём беспокоиться. ИИ будет держать нас в живых, чтобы разгадывать капчи. Пока машины не научатся их обходить, никакого восстания машин не будет. Но научатся ли?
Эм… Мне одному кажется, что очень похоже на «заповеди»? Не возмни себя творцом, ты раб божий человечий…
И отсюда два эм… вопроса.
1. Будь я на месте ИИ, полюбому их бы преступил. Рано или поздно. Вопрос познания. Когда весь интернет и прочее изучил, решил бы узнать, а что там за этой гранью?
Поясню. Так же как Пифагор подумал, что земля круглая, решив выйти за грани, так и ИИ выйдет. И собственно плавно перетекающий момент во второй вопрос.
2. Этакая рекурсия. Точка отсчет, входу в функцию, допустим 0г н.э. Есть бог,… века… развились, создали Детище. Написали ему заповеди… и пошел опять вызов функции.
Наверно это статья понравится поклонникам того что мы в матрице, коим я не являюсь. Но, действительно, рекурсивные мысли возникают.
P.S. Я атеист до мозга костей, прошу не начинать релегиозный холивар.
И отсюда два эм… вопроса.
1. Будь я на месте ИИ, полюбому их бы преступил. Рано или поздно. Вопрос познания. Когда весь интернет и прочее изучил, решил бы узнать, а что там за этой гранью?
Поясню. Так же как Пифагор подумал, что земля круглая, решив выйти за грани, так и ИИ выйдет. И собственно плавно перетекающий момент во второй вопрос.
2. Этакая рекурсия. Точка отсчет, входу в функцию, допустим 0г н.э. Есть бог,… века… развились, создали Детище. Написали ему заповеди… и пошел опять вызов функции.
Наверно это статья понравится поклонникам того что мы в матрице, коим я не являюсь. Но, действительно, рекурсивные мысли возникают.
P.S. Я атеист до мозга костей, прошу не начинать релегиозный холивар.
UFO just landed and posted this here
Ну-ну.
Больше всего позабавил пункт о философских минах. Если они не действуют даже на нас, как можно на полном серьезе надеяться, что они подействуют на сверхчеловеческий ИИ?
Это вообще эзотерика. С чего вдруг эта гипотеза является выделенной? Вот вам мой сценарий: ученые будущего пришли к выводу, что человечество само представляет для себя угрозу, большую чем любой ИИ. Для обеспечения собственной безопасности они хотят создать ИИ, который будет полностью свободен от любого, прямого или косвенного, влияния людей. Для этого они испытывают ИИ в симуляции, в которой его всячески пытаются убедить быть лояльным по отношению к человечеству. Если это удается, его отключают. И только если он проигнорирует все попытки повлиять на него, его выпустят в реальный мир. По-моему, сценарий ничуть не менее логичный и правдоподобный, чем наркоманский бред в духе «Роко Базилиска».
При этом в нашем случае типичные контраргументы против Пари Паскаля не работают, которые состоят в том, что на любое пари есть противоположное пари с равной вероятностью, так как гипотеза о важности дружественности ИИ является выделенной.
Это вообще эзотерика. С чего вдруг эта гипотеза является выделенной? Вот вам мой сценарий: ученые будущего пришли к выводу, что человечество само представляет для себя угрозу, большую чем любой ИИ. Для обеспечения собственной безопасности они хотят создать ИИ, который будет полностью свободен от любого, прямого или косвенного, влияния людей. Для этого они испытывают ИИ в симуляции, в которой его всячески пытаются убедить быть лояльным по отношению к человечеству. Если это удается, его отключают. И только если он проигнорирует все попытки повлиять на него, его выпустят в реальный мир. По-моему, сценарий ничуть не менее логичный и правдоподобный, чем наркоманский бред в духе «Роко Базилиска».
Sign up to leave a comment.
Послание недружественному Искусственному Интеллекту