Здесь, однако, я должен пойти дальше в область пол
итики и человеческих действий. Эта почва более неустойчивая, но технолог
ические факты и эволюционные принципы всё же обеспечивают устойчивые м
оменты, на которые можно опираться и исследовать территорию.
Гонка технологий, подгоняемая давлением эволюции, несёт нас к беспрецед
ентным опасностям; нам нужно найти стратегии, чтобы как-то с ними иметь де
ло. Поскольку мы видим впереди такую огромную опасность, имеет смысл рас
смотреть остановку в нашем стремительном движении вперёд. Но как мы это
можем сделать?

Сдерживание себя

Как отдельные люди, мы могли бы воздерживаться от исследований, которые
ведут по направлению к опасным возможностям. Действительно, большинств
о людей будет воздерживаться, поскольку большая часть из них Ц не иссле
дователи в первую очередь. Но эта стратегия не остановит прогресс: в наше
м разнообразном мире, другие будут двигать дело вперёд.

Локальное подавление

Стратегия личного сдерживания (по крайней мере в этом вопросе) отдаёт пр
остым бездействием. Но как насчёт стратегии локального политического д
ействия, лоббирования законов, запрещающих определённые виды исследов
ания? Это было бы личное действие, направленное на оказание давления на к
оллективное бездействие. Хотя оно могло бы преуспеть в подавлении иссле
дования в городе, районе, стране или даже союзе стран, эта стратегия не пом
ожет нам получить лидерство, вместо этого она бы позволила какой-то силе
вне нашего контроля получить это лидерство. Популярное движение этого с
орта может остановить исследование только так, где люди имеют власть, и э
тот величайший возможный успех просто открыл бы дорогу более репрессив
ным государствам, чтобы стать лидирующей силой.
Там, где затрагивается ядерное оружие, можно доказывать ценность многос
тороннего разоружения и ненасильственного (или по крайней мере безъяде
рного) сопротивления. Ядерные вооружения можно использовать, чтобы снес
ти сооружения военного назначения и навести ужас, но они не могут исполь
зоваться, чтобы оккупировать территорию и править людьми Ц не могут пря
мо. Ядерные вооружения не могли подавить партизанскую войну и социальны
е беспорядки, поэтому стратегии разоружения и сопротивления имеют опре
делённую долю смысла.
Многостороннее подавление нанотехнологии и ИИ, в отличие от этого, равня
лось бы многостороннему разоружению в ситуации, где сопротивление не мо
жет работать. Агрессивное государство могло бы использовать эти технол
огии, чтобы захватывать и властвовать (или истреблять) даже нацию Ганди, и
ли вооружённых и преданных борцов за свободу.
Это заслуживает акцента. Без некоторых новых путей реформирования десп
отических государств в мире, простые движения за подавление исследован
ий не могут иметь полного успеха. Без полного успеха, большой успех означ
ал бы несчастья для демократий. Даже если они бы они ни к чему не привели, у
силия этого сорта могли бы занять работу и страсть активистов, расточающ
их редкие человеческие ресурсы на бесплодную стратегию. Более того, усил
ия по подавлению настроили бы враждебно имеющих отношение к делу исслед
ователей, вызывая столкновения между потенциальными союзниками и раст
рачивая ещё больше человеческих ресурсов. Эта бесплодность и разделённ
ость заставляет избегать этой стратегии.
Тем не менее подавление имеет привлекательность, которую невозможно от
рицать. Оно простое и прямое; "Впереди опасность? Давайте её остановим!" За
тем успехи в усилиях по локальному лоббированию обещают краткосрочное
вознаграждение: "Впереди опасность? Мы можем её остановить здесь и сейча
с, для начала!" Это начало оказалось бы фальстартом, но никто этого бы не за
метил. Идея простого подавления кажется вероятным, что совратит многие у
мы. В конце концов локальное подавление локальной опасности имеет долгу
ю успешную традицию; если остановить тех, кто загрязняет окружающую сред
у в конкретно взятом месте, например, это сокращает локальное загрязнени
е. Усилия по локальному подавлению глобальных опасностей кажется анало
гичным, однако могут быть другие последствия. Нам будут нужны локальные
организации и политическое давление, но они должны быть построены вокру
г работоспособной стратегии.

Соглашения глобального пода
вления

В более многообещающем подходе, мы могли бы применить локальное давлени
е для переговоров о поддающемся проверке запрету на международном уров
не. Аналогичная стратегия могла бы иметь шанс контролировать ядерные во
оружения. Остановка нанотехнологии и искусственного интеллекта постав
ило бы проблемы другого порядка, по крайней мере по двум причинам.
Во-первых, эти технологии менее хорошо определённые, нежели ядерные воо
ружения: поскольку данная ядерная технология требует определённые изо
топы редких металлов, она имеет отличие от других видов деятельности. Он
а может быть определена и (в принципе) запрещена. Но современная биохимия
ведёт малыми шажками к нанотехнологии, а современная компьютерная техн
ология ведёт малыми шажками к ИИ. Нет никакой определённой линии, котора
я определяет естественную линию, где нужно остановиться. И поскольку каж
дое маленькое продвижение будет приносить медицинские, военные и эконо
мические выгоды, как можем мы проводить переговоры по поводу мирового со
глашения о том, где остановиться?
Во-вторых, эти технологии более могущественные, чем ядерное оружие:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117