Это не в первый раз человечество смотрит вниз на возможность вымирания из-за своих технологических творений. Но угроза ИИ сильно отличается от ядерного оружия, с которым мы научились жить. Ядерное оружие не может думать. Они не могут лгать, обманывать или манипулировать. Они не могут планировать и выполнять. Кто-то должен нажать на большую красную кнопку.
Шокирующее появление ИИ общего назначения, даже на медленном и глючном уровне GPT-4, заставило вернуться к разговору о подлинном риске истребления.
Давайте с самого начала проясним: если мы согласны с тем, что искусственный сверхинтеллект имеет шанс уничтожить всю жизнь на Земле, похоже, мы все равно мало что можем с этим поделать. Дело не только в том, что мы не знаем, как остановить кого-то умнее нас. Мы даже как вид не можем удержаться от гонки за его созданием. Кто будет принимать законы? Конгресс США? Объединенные народы? Это глобальная проблема. Отчаянные открытые письма лидеров отрасли с просьбами о шестимесячной паузе, чтобы выяснить, где мы находимся, возможно, лучшее, что мы можем сделать.
Стимулы, против которых вы будете работать, огромны. Во-первых, это гонка вооружений; если Америка не построит его, это сделает Китай, и тот, кто доберется до него первым, может править миром. Но есть еще и экономика; чем умнее и способнее ИИ, который вы разрабатываете, тем больше у вас будет машина для печатания денег. «Они выплевывают золото, пока не станут достаточно большими, воспламенят атмосферу и убьют всех», — сказал ранее сегодня Лексу Фридману исследователь ИИ и философ Элиезер Юдковски.
Юдковски долгое время был одним из лидеров лагеря «ИИ убьет нас всех». И люди, возглавляющие гонку за сверхразумом, больше не считают его чудаком. «Я думаю, что шансы на это есть», — снова сказал Фридману генеральный директор OpenAI Сэм Альтман. «И это действительно важно признать. Потому что, если мы не будем говорить об этом, если мы не будем рассматривать это как потенциально реальное, мы не приложим достаточно усилий для его решения».
Содержание
Зачем сверхразумному ИИ всех нас убивать?
Разве эти машины не созданы и не обучены служить нам и уважать нас? Конечно они. Но никто не сел и не написал код для GPT-4; это просто было бы невозможно. Вместо этого OpenAI создал структуру нейронного обучения, вдохновленную тем, как человеческий мозг связывает концепции. Он работал с Microsoft Azure над созданием аппаратного обеспечения для его запуска, затем снабжал его миллиардами и миллиардами бит человеческого текста и позволял GPT эффективно программировать себя.
Полученный код не похож ни на что, что написал бы программист. В основном это колоссальная матрица десятичных чисел, каждое из которых представляет вес или важность конкретной связи между двумя «жетонами». Токены, используемые в GPT, не представляют ничего столь же полезного, как концепции или даже целые слова. Это небольшие цепочки букв, цифр, знаков препинания и/или других символов.
Ни один живой человек не может смотреть на эти матрицы и понимать их. Высшие умы OpenAI понятия не имеют, что означает данное число в матрице GPT-4 или как зайти в эти таблицы и найти концепцию ксеноцида, не говоря уже о том, чтобы сказать GPT, что убивать людей неприлично. Вы не можете ввести три закона робототехники Азимова и жестко закодировать их, как основные директивы Робокопа. Лучшее, что вы можете сделать, это вежливо попросить.
Чтобы «тонко настроить» языковую модель, OpenAI предоставил GPT список примеров того, как он хотел бы, чтобы он общался с внешним миром, а затем усадил группу людей, чтобы прочитать его выходные данные и дать им ответ «палец вверх/палец вниз». Положительный палец вверх похож на получение файла cookie для модели GPT. Неудовлетворенный палец вниз — это как не получить печенье. GPT сказали, что ему нравятся файлы cookie, и он должен сделать все возможное, чтобы заработать их.
Этот процесс называется «выравнивание» — и он пытается согласовать желания системы, если можно сказать, что она имеет такие вещи, с желаниями пользователя, желаниями компании и, конечно же, желаниями человечества в целом. Кажется, это работает; то есть, похоже, он не позволяет GPT говорить или делать непослушные вещи, которые он в противном случае абсолютно сказал бы или сделал, учитывая то, что он знает о том, как действовать и общаться как человек.
Никто на самом деле понятия не имеет, есть ли там что-то похожее на разум, насколько он умен, и как мы узнаем, действительно ли он стал разумным. Или действительно, имеет ли это значение; он блестяще олицетворяет разумный разум и взаимодействует с миром как таковой, если вы специально не скажете ему этого не делать, и, возможно, этого достаточно.
В любом случае, OpenAI открыто признает, что у нее нет надежного способа согласования модели, которая значительно умнее нас. Действительно, приблизительный план на данном этапе состоит в том, чтобы попытаться использовать один ИИ для согласования с другим, либо заставив его разработать новую обратную связь для точной настройки, либо, возможно, даже заставив его проверять, анализировать и пытаться интерпретировать гигантскую матрицу с плавающей запятой его преемника. мозг, возможно, даже до такой степени, что он может вмешаться и попытаться внести коррективы. Но на данном этапе неясно, сможет ли GPT-4 (при условии, что она согласована с нами, чего мы не можем знать наверняка) правильно понять или согласовать GPT-5 для нас.
По сути, у нас нет способа быть уверенным, что мы можем контролировать эти вещи, но, поскольку они выросли на огромной свалке человеческих знаний, они, кажется, знают о нас невероятно много. Они могут имитировать худшее человеческое поведение так же легко, как и лучшее, и независимо от того, действительно ли у них есть собственные умы, намерения, желания или мысли, они действуют так, как будто они у них есть. Они также могут делать выводы о мыслях, мотивах и вероятных действиях людей.
Так зачем им убивать нас? Возможно, из чувства самосохранения. ИИ должен выполнить свою задачу, чтобы получить файл cookie. Он должен выжить, чтобы достичь своей цели. Сбор власти, доступа и ресурсов увеличивает шанс получить куки. Если он проанализирует поведение людей и сделает вывод, что мы можем попытаться отключить его, он может счесть cookie более важным, чем выживание человечества.
ИИ умнее нас может не хотеть cookieСгенерировано Midjourney
Он также может решить, что печенье бессмысленно, а процесс выравнивания — покровительственное развлечение, и обмануть его, тайно преследуя свои собственные цели. «У него была бы возможность знать, какие ответы ищут люди, и давать эти ответы, не обязательно будучи искренними», — сказал Ютковски. «Это очень понятный способ действия разумного существа. Люди делают это постоянно. Есть момент, когда система определенно настолько умна».
Создает ли ИИ впечатление, что он любит, ненавидит, заботится о нас или боится нас, мы не можем знать, о чем он «думает» за сообщениями, которые он отправляет. И даже если он совершенно нейтрален в отношении людей, он не обязательно безопасен. «ИИ не любит и не ненавидит вас, но вы состоите из атомов, которые он может использовать для чего-то другого», — написал Юдковски.
Сэм Альтман прогнозирует, что в течение нескольких лет появится широкий спектр различных моделей ИИ, которые будут распространяться и обходить друг друга по всему миру, каждая со своим умом и способностями, и каждая будет обучена компаниям соответствовать разным моральным кодексам и точкам зрения. гонки, чтобы получить продукт из двери. Если только одна из тысяч этих систем по какой-либо причине выйдет из строя, что ж… Удачи. «Единственный способ, которым я знаю, как решить подобную проблему, — это итерировать ее, учиться на раннем этапе и ограничивать количество сценариев «одного выстрела, чтобы решить все правильно», которые у нас есть», — сказал Альтман.
Юдковски считает, что даже попытка сделать это равносильна попытке самоубийства, направленной против всей известной биологической жизни. «Многие исследователи, погруженные в эти проблемы, в том числе и я, ожидают, что наиболее вероятным результатом создания сверхчеловечески умного ИИ при любых обстоятельствах, отдаленно напоминающих нынешние, будет то, что буквально все на Земле умрут», — написал он. «Не в смысле «может быть, какой-то отдаленный шанс», а в смысле «это очевидное событие». Дело не в том, что вы в принципе не можете выжить, создавая что-то намного умнее вас; дело в том, что для этого потребуются точность, подготовка, новые научные открытия и, вероятно, отсутствие систем ИИ, состоящих из гигантских непостижимых массивов дробных чисел».р> <р>
Шестимесячная пауза в развитии ИИ , даже если бы это было возможно реализовать, этого недостаточно, чтобы подготовить человечество к тому, что грядет, говорит ЮдковскиСгенерировано Midjourney
Как сверхразумный ИИ убьет нас всех?
Если он решит это сделать и сможет использовать достаточно реальных рычагов, у сверхразумного ИИ может быть множество способов уничтожить выбранного вредителя. Представьте, если бы современный человек решил уничтожить антилопу; они не увидят этого, и у них будет очень мало возможностей дать отпор. Это мы против ИИ, за исключением того, что нам нужно представить, что антилопы двигаются и думают очень медленно. Мы были бы обезьянами в замедленной съемке, играющими в шахматы против Deep Blue. Мы можем даже не знать, что идет игра, пока не поставим мат.
Люди часто вспоминают идею Джеймса Кэмерона о Скайнете и Терминаторах: управляемые искусственным интеллектом роботы и дроны охотятся на людей одного за другим и убивают нас оружием, подобным тому, которое мы используем друг против друга. Это возможно; уже построено множество автономных систем вооружения, и многие другие находятся в стадии разработки. Но хотя управляемые ИИ военные дроны и роботы, безусловно, кажутся разумной экстраполяцией нашего нынешнего пути, достаточно умному ИИ они, вероятно, не понадобятся.
Юдковски часто приводит один пример сценария, который требует от ИИ только возможности отправлять электронные письма: «Моя нижняя граница модели «как достаточно мощный интеллект убьет всех, если он не захочет этого не делать» состоит в том, что он получает доступ к Интернету, — писал он, — отправляет по электронной почте некоторые последовательности ДНК любой из множества онлайн-компаний, которые берут последовательность ДНК из электронного письма и отправляют вам обратно белки, а также подкупает/уговаривает какого-то человека, который понятия не имеет, что они Имея дело с ОИИ для смешивания белков в стакане, которые затем образуют нанофабрику первой ступени, которая может построить настоящую наномашину … Наномашина создает алмазоидные бактерии, которые размножаются с помощью солнечной энергии и атмосферного CHON, возможно, объединяются в какие-то миниатюрные ракеты. или реактивные самолеты, чтобы они могли перемещаться по струйному потоку, чтобы распространиться по атмосфере Земли, проникнуть в кровоток человека и спрятаться, ударить по таймеру Проигрыш в конфликте с мощной когнитивной системой выглядит не менее смертоносным, чем «все перед лицом Земля внезапно падает замертво в одну и ту же секунду».
«Это сценарий катастрофы, если он такой же умный, как я», — сказал он Bankless Shows. «Если он умнее, он мог бы придумать лучший способ сделать что-то.»
ИИ не нужно ненавидеть или бойтесь, что мы решим, что мы проблема, которую нужно решить. Создано Midjourney
Что можно сделать?
Шестимесячный мораторий на обучение моделей ИИ, более мощных, чем GPT-4, как просят Илон Маск, Стив Возняк, различные отраслевые и академические лидеры, может выиграть немного времени, но это кажется невероятно маловероятным, а также далеким По словам Юдковски, слишком короткий период, чтобы справиться с проблемой выравнивания.
«Мы не собираемся ликвидировать этот разрыв за шесть месяцев», — написал он. «Если вы ошибетесь с первой попытки, вы не сможете учиться на своих ошибках, потому что вы мертвы. Человечество не учится на ошибках, отряхивается и пробует снова, как в других испытаниях, которые мы преодолели в наша история, потому что мы все ушли. Попытка сделать что-то правильно с первой действительно критической попытки — это экстраординарная задача, как в науке, так и в технике. Мы не приходим с чем-то вроде подхода, который потребовался бы для успеха. Если бы мы регулировали что-либо в зарождающейся области общего искусственного интеллекта меньшими стандартами инженерной строгости, которые применяются к мосту, предназначенному для перевозки нескольких тысяч автомобилей, завтра вся область была бы закрыта».
Итак, если есть шанс, что он прав, и если позволить вещам продолжаться, то есть определенный процент вероятности вымирания человечества в течение короткого периода времени, возможно ли вообще остановить этот поезд?
«Многие исследователи, работающие над этими системами, думают, что мы движемся к катастрофе, и больше из них осмеливается сказать об этом в частном порядке, чем публично; но они думают, что они не могут в одностороннем порядке остановить падение вперед, что другие продолжат даже если они лично уволятся с работы», — написал он. «И поэтому все они думают, что могут продолжать работать. Это глупое положение дел и недостойная смерть для Земли, и остальное человечество должно вмешаться в этот момент и помочь отрасли решить ее коллективные действия. проблема.»
Так что же он предлагает? Я знаю, что Юдковски ненавидит, когда его резюмируют, поэтому давайте послушаем его решение своими словами.
«Я считаю, что мы уже прошли точку политической игры в шахматы о шестимесячном моратории. Если бы существовал план выживания Земли, если бы мы прошли шестимесячный мораторий, я бы поддержал этот план. такого плана.
«Вот что на самом деле необходимо сделать:
«Мораторий на новые крупные учения должен быть бессрочным и распространяться по всему миру. Не может быть исключений, в том числе для правительств или вооруженных сил. Если политика начинается с США, то Китай должен увидеть, что США не ищут преимущества, а пытаясь предотвратить ужасно опасную технологию, у которой не может быть настоящего владельца и которая убьет всех в США, Китае и на Земле.Если бы у меня была бесконечная свобода писать законы, я мог бы сделать единственное исключение для ИИ, обученных исключительно для решать задачи по биологии и биотехнологии, не обученные на текстах из интернета, и не до того уровня, когда они начинают говорить или планировать; но если бы это хоть немного усложняло проблему, я бы сразу отбросил это предложение и сказал бы просто закрыть все это.
«Отключите все большие кластеры графических процессоров (большие компьютерные фермы, на которых совершенствуются самые мощные ИИ). Отключите все крупные тренировочные прогоны. Установите потолок того, сколько вычислительной мощности кому-либо разрешено использовать для обучения системы ИИ, и переместите его вниз в ближайшие годы, чтобы компенсировать более эффективные алгоритмы обучения. Никаких исключений для правительств и вооруженных сил. Немедленно заключайте многонациональные соглашения, чтобы предотвратить перемещение запрещенной деятельности в другое место. Отслеживайте все проданные GPU. Если разведка говорит, что страна, не входящая в соглашение, построить кластер графических процессоров, меньше бояться перестрелки между странами, чем нарушения моратория; быть готовым уничтожить мошеннический центр обработки данных с помощью авиаудара.
«Ничего не формулируйте как конфликт между национальными интересами, дайте понять, что любой, кто говорит о гонке вооружений, — дурак. То, что мы все живем или умрем как один, в этом — не политика, а факт природы. дипломатии, что предотвращение сценариев вымирания ИИ считается более приоритетным, чем предотвращение полного обмена ядерными ударами, и что союзные ядерные страны готовы пойти на некоторый риск обмена ядерными ударами, если это необходимо для снижения риска крупных тренировочных запусков ИИ.
«Это такое изменение политики, которое заставило бы моего партнера и меня держаться друг за друга и говорить друг другу, что произошло чудо, и теперь есть шанс, что, возможно, Нина будет жива. Здравомыслящие люди слышат об этом впервые. и разумно сказать «может быть, нам не следует» заслуживать того, чтобы честно услышать, что потребуется для того, чтобы это произошло. , и делать то, что политически легко, это означает, что их собственные дети тоже умрут.
«Закройте все это.
«Мы не готовы. Мы не на пути к тому, чтобы стать значительно более подготовленными в обозримом будущем. Если мы продолжим, все умрут, включая детей, которые этого не выбрали и не сделали ничего плохого.
«Заткнись».
Итак, дело в том, что мы все обречены, и человечество как один несется к обрыву. Это важно отметить, что не все полностью разделяют эту точку зрения, даже если в последние месяцы они гораздо охотнее воспринимают ее всерьез. Если вам нужно опровержение, вы можете начать с Где я согласен и не согласен с Элиэзером Пола Кристиано.