Умственные части, которые отвергаю
т идеи действия по этическим основаниям, соответствуют тому, что мы назы
ваем совестью. Системы ИИ со многими частями будут иметь место для избыт
очности и разнообразия конструкции, делая надёжность возможной.
Настоящая гибкая система ИИ должна развивать идеи. Чтобы это делать, она
должна находить или формировать гипотезы, генерировать варианты, тести
ровать их, и далее модифицировать или отбрасывать те, которые она находи
т неадекватными. Исключение некоторых из этих способностей сделало бы е
ё глупой, упрямой или невменяемой ("Тупая машина не может думать и не будет
учиться на своих ошибках Ц выброси её!"). Чтобы избежать ловушки начальны
х заблуждений, ей придётся рассматривать противоречивые взгляды, смотр
я, насколько хорошо каждый объясняет данные, и смотря, может ли один взгля
д объяснить другой.
Научное сообщество проходит через подобный процесс. В статье с название
м "Метафора научного сообщества", Вильям А. Корнфельд и Карл Хьювитт из лаб
оратории искусственного интеллекта MIT высказывают мысль, что исследоват
ели ИИ моделируют модели своих программ ещё более близко к развившейся с
труктуре научного сообщества. Они указывают на плюрализм науки, на её ра
знообразие конкурирующих создателей теорий, сторонников и критиков. Бе
з создателей теорий, идеи не могут появиться; без сторонников, она не може
т расти; а без критиков, которые пропалывают их, плохие идеи могут вытесни
ть хорошие. Это остаётся верным для науки, технологии, в системах ИИ, а так
же между частями наших умов.
Наличие мира, полного разнообразия и изобилующего авторами теорий, стор
онниками и критиками Ц это то, что делает продвижение науки и технологи
и вперёд надёжным. Если будет больше авторов теорий, будет больше хороши
х теорий; если будет больше критиков Ц плохие теории будут более уязвим
ыми. Лучшие и более многочисленные идеи будут результатом. Подобная форм
а избыточности может помочь системам ИИ разрабатывать достоверные иде
и.
Люди иногда направляют свои действия стандартами истины и этики, и нам н
ужно быть в состоянии разработать системы ИИ, чтобы они делали то же само
е, но более надёжно. Способные думать в миллионы раз быстрее чем мы, они бу
дут иметь больше времени для дополнительных размышлений. Похоже, что сис
темы ИИ можно сделать такими, чтобы им можно было доверять, по крайней мер
е по человеческим стандартам.
Я часто сравнивал системы ИИ с отдельными человеческими умами, но подоби
е не обязательно должно быть близким. Система, которая способна подражат
ь человеку, возможно должна быть подобна человеку, но система автоматиче
ской разработки Ц вероятно не обязательно. Одно предложение (называемо
е системой Агора, в честь греческого слова, обозначающего встречу и рыно
чную площадь) состояло бы в том, чтобы много независимых кусочков програ
мм, которые взаимодействуют, предлагая друг другу услуги в обмен на день
ги. Большинство кусочков было бы простоватыми узколобыми специалистам
и, некоторые способные подсказывать изменение конструкции, а другие Ц а
нализировать его. Во многом также, как земная экология разработала экстр
аординарные организмы, также эта компьютерная экономика могла бы разра
батывать экстраординарные конструкции Ц и, возможно, сравнительно без
мозглым способом. Что более важно, поскольку система была бы распределен
а по многим машинам и имела бы части написанные многими людьми, она могла
бы быть разнообразной, устойчивой и затруднённой для любой группы чтобы
захватить и использовать во вред.
В конце концов так или иначе, системы автоматической разработки будут сп
особны разрабатывать вещи более надёжно чем любая группа людей-инженер
ов может сегодня. Наша большая задача будет сконструировать их правильн
о. Нам нужны человеческие институты, которые надёжно разрабатывают надё
жные системы.
Человеческие институты Ц это развившиеся искусственные системы, и они
могут часто решать проблемы, которые отдельные члены Ц не могут. Это дел
ает их чем-то вроде "искусственных интеллектуальных систем." Корпорации,
армии, и исследовательские лаборатории Ц это всё примеры, также как бол
ее свободные структуры рынка или научного сообщества. Даже правительст
ва могут рассматриваться как системы искусственного интеллекта Ц бол
ьшие, медлительные, одурманенные, однако сверхчеловеческие в своих реал
ьных способностях. И что есть конституциональный контроль и баланс, как
не попытка увеличить надёжность правительства через институционально
е разнообразие и избыточность? Когда мы строим интеллектуальные машины,
мы будет использовать их, чтобы проверять и создавать баланс одной над д
ругой.
Применяя эти разумные принципы, мы можем быть в состоянии разработать на
дёжные техники ориентированные институты, имеющие сильный контроль ош
ибок и балансы, и тогда использовать их, чтобы руководить разработкой си
стем, которые нам понадобятся, чтобы управляться с будущими прорывами.

Тактика ассемблерной револю
ции

Некоторая сила в мире (заслуживающая доверия или нет) возьмёт первенство
в разработке ассемблеров; назовём её "ведущей силой". Из-за стратегическо
й важности ассемблеров, ведущая сила предположительно будет некоторой
организацией или институтом, который эффективно контролируется каким-
то правительством или группой правительств. Чтобы упросить вопрос, пред
положим на минуту, что мы (хорошие ребята, пытающиеся быть мудрыми) можем о
пределить способ поведения для ведущей силы.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117