Ист
ория свидетельствует, что тоталитарные государства могут тогда вообще
уничтожить людей. В этом есть некоторое утешение. Кажется вероятным, что
государство, желающее и способное поработить нас биологически, вместо э
того бы просто нас убило.
Угроза совершенной технологии в руках правительств делает одну вещь со
вершенно очевидной: мы не можем позволить себе дать деспотическому госу
дарству взять первенство в грядущих прорывах.
Основная проблема, которую я обрисовал Ц очевидна: в будущем, также как и
в прошлом, новые технологии будут годиться для аварий и злоупотребления
. Поскольку репликаторы и думающие машины будут давать огромную новую вл
асть, эта возможность аварий и злоупотребления будет также огромен. Эти
возможности создают реальные угрозы нашим жизням.
Большинство людей хотело бы иметь возможность жить и быть свободными вы
бирать, как им жить. Эта цель может не звучать слишком утопичной, по крайне
й мере в некоторых частях света. Это не означает принуждение жизни каждо
го к соответствию какому-то грандиозному плану; это главным образом озн
ачает, чтобы избежать порабощения и смерти. Однако, также как достижение
утопичной мечты, это принесёт будущее чудес.
Учитывая эти проблемы жизни и смерти и эту общую цель, мы можем рассмотре
ть, какие меры могли бы нам помочь достичь успеха. Наша стратегия должна в
ключать людей, принципы и институты, но также она должна основываться на
тактике, которая неизбежно будет включать технологию.

Системы, которым можно довер
ять

Чтобы использовать такие мощные технологии безопасно, мы должны делать
технические средства, которым мы можем доверять. Чтобы иметь доверие, мы
должны быть способны тщательно оценивать технические факты Ц способн
ость, которая в свою очередь будет зависеть отчасти от качества наших сп
особов оценки. Более существенно, однако, она будет зависеть от того, буде
т ли заслуживающие доверие технические средства физически возможны. Эт
о Ц вопрос надёжности компонентов и систем.
Часто мы можем делать надёжные компоненты, даже без помощи ассемблеров.
«Надёжные» не значит «неразрушимые» Ц всё что угодно разрушится, если е
го поместить достаточно близко к ядерному взрыву. Это даже не означает «
стойкий» Ц телевизор может быть надёжным, однако он не выдержит удара о
бетонный пол. Скорее, мы называем что-то надёжным, когда мы можем рассчиты
вать, что оно будет работать, как задумано.
Надёжный компонент не обязательно должен быть совершенным воплощением
совершенной конструкции: ему только нужно быть достаточно хорошим вопл
ощением достаточно предусмотрительной конструкции. Инженер, который с
троит мост, может не быть уверен насчёт силы ветра, нагрузки движения по м
осту, и прочности стали, но предполагая высокий ветер, интенсивное движе
ние и непрочную сталь, инженер может сконструировать мост, который сможе
т выдержать.
Неожиданные отказы компонентов обычно проистекают из физических дефек
тов. Но ассемблеры будут строить компоненты, которые имеют пренебрежимо
малое число атомов не на своём месте Ц ни одного, если будет в том необход
имость. Это сделает их идеально унифицированными и в ограниченном смысл
е Ц совершенно надёжными. Однако излучение будет всё равно вызывать пов
реждение, поскольку космические лучи могут неожиданно выбивать атомы и
з чего угодно. В достаточно малых компонентах (даже в современных компью
терных устройствах памяти), отдельная частица излучения может вызвать о
тказ.
Но системы работают, даже когда их части перестают работать; ключ к этому
Ц избыточность. Представьте мост, подвешенный на канатах, которые случа
йным образом обрываются, каждый около одного раза в год в непредсказуемы
й момент времени. Если мост упадёт когда порвётся канат, его будет исполь
зовать слишком опасно. Однако представьте, что чтобы починить канат треб
уется один день (потому что квалифицированная команда ремонтников с зап
асными канатами вызывается как только необходимо), и что, хотя необходим
о пять канатов, чтобы поддерживать мост, есть на самом деле шесть. Теперь о
дин канат рвётся, и мост всё равно остаётся на своём месте. Закрыв движени
е и далее заменив порвавшийся канат, операторы моста могут восстановить
безопасность. Чтобы разрушить этот мост, в этот же день должен порваться
второй кабель, также как и первый. Поддерживаемый шестью канатами, кажды
й имеющий 1 из 365 шансов порваться, мост вероятно выдержит около 10 лет.
Во время перестройки он остаётся ужасным. Однако мост с десятью канатами
(пять необходимых и пять дополнительных) упадёт только если шесть канат
ов порвутся в тот же день: система поддержки вероятно выдержит более дес
яти миллионов лет. С пятнадцатью канатами ожидаемая продолжительность
жизни Ц более чем в десять тысяч раз больше возраста Земли. Избыточност
ь может давать экспоненциальный взрыв безопасности.
Избыточность работает лучше всего, когда избыточные компоненты действ
ительно независимы. Если мы не доверяем процессу конструирования, то мы
должны использовать компоненты, разработанные независимо; если бомба, п
уля или космический луч может повредить несколько соседних частей, то мы
должны распределить избыточные части более широко. Инженеры, которые хо
тят обеспечить надёжное сообщение между двумя островами не должны прос
то добавлять канаты к мосту. Им нужно построить два хорошо разделённых м
оста, использующих различные конструкции, далее добавить туннель, паром
и пару островных аэропортов.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117