Они могли бы быть «высшими» в эволюционно
м смысле, но это не обязательно сделало бы их ценными. Мы научились любить
мир богатым живыми тварями, идеями, и разнообразием, так что не причины це
нить серую массу только за то, что она может распространяться. Действите
льно, если мы предотвратим её размножение, тем самым мы докажем наше эвол
юционное превосходство.
Угроза серой липкой массы делает одну вещь совершенно очевидной: мы не м
ожем себе позволить определённые виды случайностей с размножающимися
ассемблерами.
В главе 5 я описал некоторое из того, что будут делать для нас продвинутые
системы ИИ, если мы будет правильно с ними обращаться. В конечном счёте он
будут воплощать структуры мысли заставлять их течь со скоростью, с котор
ой не может сравняться ни один мозг млекопитающего. Системы ИИ, которые р
аботают вместе, также как это делают люди, будут способны думать не прост
о как отдельные люди, но как целые общества. Опять же, эволюция генов остав
ила жизнь в определённом состоянии. Опять же, эволюция мимов человечески
ми существами, и в конечном счёте машинами, будут продвигать наши аппара
тные средства далеко за пределы жизни. И снова, с точки зрения эволюции эт
о создаёт очевидную угрозу.
Знание может давать власть, а власть может давать знание. В зависимости о
т своей природы и своих целей, продвинутые системы ИИ могли бы накопить д
остаточно знания и власти, чтобы сместить нас, если мы не подготовимся до
лжным образом. И также как с репликаторами, простое эволюционное «превос
ходство» не обязательно сделает победителей лучшими, исчезнувшие, по вс
ем стандартам, кроме грубой способности конкурировать.
Эта угроза делает одну вещь совершенно очевидной: нам необходимо найти с
пособы жить с мыслящими машинами, чтобы сделать их законопослушными гра
жданами.

Машины власти

Определённые виды репликаторов и систем ИИ могут столкнуть нас с формам
и технических средств, способных к быстрому эффективному независимому
действию. Но новизна этой угрозы, происходящей от самих машин, не должна н
ас скрывать от нашего взора более традиционную опасность. Репликаторы и
системы ИИ могут также служить как великолепные машины власти, если ими
свободно завладеют суверенные государства.
На всём протяжении истории, государства разрабатывали технологии, чтоб
ы расширить свою военную мощь, и государства несомненно будут играть дом
инирующую роль в разработке репликаторов и систем ИИ. Государства могли
бы использовать воспроизводящиеся ассемблеры, чтобы строить арсеналы
совершенного оружия, быстро, легко и в огромных количествах. Государства
могли бы использовать специальные репликаторы, непосредственно, чтобы
вести род биологической войны Ц войны, которая становится намного боле
е практичной с программируемыми, управляемыми компьютерами «микробами
». В зависимости от своих способностей, системы ИИ могли бы служить как ор
ужие разработчиков, стратегов и бойцов. Военное финансирование уже подд
ерживает и молекулярные технологии, и искусственный интеллект.
Государства могли бы использовать ассемблеры или продвинутые системы
ИИ, чтобы достигать неожиданных, дестабилизирующих прорывов. Ранее я гов
орил о причинах, почему нужно ожидать, что приход воспроизводящихся ассе
мблеров принесёт сравнительно неожиданные изменения: способные быстро
размножаться, их могло бы стать огромное количество за считанные дни. Сп
особные делать почти всё что угодно, их можно было бы запрограммировать,
чтобы копировать имеющееся оружие, но сделанное из более совершенных ма
териалов. Способные работать со стандартными, хорошо понятными компоне
нтами (атомами), они могли бы неожиданно строить вещи, разработанные в ожи
дании ассемблерной революции. Эти результаты проектирования с опереже
нием могли бы включать программируемые микробы и другие жуткие новшест
ва. По всем этим причинам, государство, которое сделает ассемблерную рев
олюцию, могло бы быстро создать решающую военную силу Ц если не букваль
но за ночь, то по крайней мере с беспрецедентной скоростью.
Государства могли бы использовать продвинутые системы ИИ для аналогич
ных целей. Системы автоматической разработки будут ускорять проектиро
вание с опережением и ускорять разработку ассемблеров. Системы ИИ, спосо
бные строить лучшие системы ИИ сделают возможным взрыв способностей с п
оследствиями, которые трудно предвидеть. И системы ИИ и воспроизводящие
ся ассемблеры дадут государствам возможность увеличивать свои военные
возможности на порядки за короткое время.
Репликаторы могут быть более действенны, чем ядерное оружие: чтобы опуст
ошить Землю бомбами, потребовалось бы массы экзотических технических с
редств и редких изотопов, но чтобы разрушить всю жизнь с помощью реплика
торов, потребовалось бы лишь одно пятнышко, состоящее из обычных элемент
ов. Репликаторы составляют ядерной войне что-то вроде компании как поте
нциальная причина вымиранию, давая более широкий контекст вымиранию, ка
к моральной обеспокоенности.
Вопреки своему потенциалу как машины разрушения, нанотехнология и сист
емы ИИ будут годиться для более тонких способов использования, чем ядерн
ое оружие. Бомба может только взрывать, но наномашины и системы ИИ могли б
ы проникать, захватывать, изменять и управлять территорией или миром. Да
же самая безжалостная полиция бесполезна для ядерного оружия, но она име
ет смысл против безумных идей, наркотиков, убийц или других гибких машин
власти.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117