Дэймон Хоровиц требует «операционную систему морали»

Власть. Вот слово, которое приходит на ум. Мы — адепты новых технологий. У нас много данных, поэтому у нас огромная власть. Сколько власти в нашем распоряжении? Сцена из фильма: «Апокалипсис сегодня» — отличное кино. Нам нужно доставить нашего героя, капитана Уилларда, к устью реки Нунг, чтобы он смог преследовать полковника Курца. Мы доставим его на самолёте и высадим его там. Итак, сцена: небо заполнено эскадрильей вертолётов, несущей его к месту. Громкая, захватывающая музыка на заднем фоне, мощная музыка. ♫ Там-та-та-та-там ♫ ♫ Там-та-та-та-там ♫ ♫ Та-та-та-та ♫ Очень мощно. Эта та мощь, которую я ощущаю в этой комнате. Это та власть, которая у нас есть из-за всей доступной нам информации.

Рассмотрим пример. Что мы можем сделать с информацией об одном человеке? Что мы можем сделать с информацией об этом парне? Я могу посмотреть на ваши финансовые записи. Я могу сказать, оплачиваете ли вы счета вовремя. Я знаю, хороший ли вы заёмщик. Я могу посмотреть на ваши медицинские записи, я могу посмотреть, в каком состоянии ваше сердце — чтобы решить, стоит ли предлагать вам страховку. Я могу посмотреть на следы кликов вашей мышки. Когда вы заходите на мой вебсайт, я уже знаю, что вы собрались делать, потому что я видел, как вы посещали предыдущий миллион вебсайтов. И с прискорбием сообщаю вам, что вы как игрок в покер — вас видно насквозь. Проанализировав данные, я могу сказать, что вы будете делать, прежде, чем вы это сделаете. Я знаю, что вам нравится. Я знаю, кто вы. И всё это даже раньше, чем я увижу вашу почту или телефон.

Вот такие штуки мы можем делать с теми данными, которые у нас есть. Но я здесь не для того, чтобы говорить, что мы можем сделать. Я здесь, чтобы поговорить о том, что мы должны делать. Как поступать правильно?

Теперь я вижу вопросительные взгляды: «Почему вы нас спрашиваете, как поступать правильно? Мы всего-то конструируем все эти штуки. Используются-то они кем-то другим». В принципе, правильно. Но это напоминает мне прошлое. Я думаю о Второй Мировой Войне — о некоторых из наших великих изобретателей, некоторых из наших великих физиков, изучавших ядерный распад и синтез — просто всякие ядерные штуки. Мы собрали всех этих физиков в Лос-Аламосе, чтобы посмотреть, что же они создадут. Мы хотим, чтобы люди, создающие технологию, думали о том, как мы должны обращаться с технологией.

Как же нам быть с информацией об этом парне? Должны ли мы её накапливать, собирать, чтобы обслуживать его онлайн ещё лучше? Чтобы заработать денег? Чтобы защитить себя, если добра от него ждать не приходится? Или же мы должны уважать его личную жизнь, защищать достоинство и оставить его в покое? Что выбрать? Как в этом разобраться?

Я знаю: коллективное решение. Давай решим это коллективно. Чтобы люди разогрелись, начнём с простого вопроса — что-нибудь такое, насчёт чего у каждого есть мнение: iPhone против Android. Поднимите руки — iPhone. О-о-го. Android. Кто бы подумал, что с таким количеством умных людей мы будем так падки на красивые телефоны. (Смех) Следующий вопрос, чуть посложнее. Должны ли мы накапливать всю информацию об этом парне, чтобы лучше его обслуживать и защищать себя, когда он задумал что-то плохое? Или же мы должны оставить его в покое? Собирать информацию. Оставить в покое. Вы в безопасности. Всё нормально. (Смех) Хорошо, последний вопрос — вопрос посложнее — при оценке, что мы должны делать в этом случае, должны ли мы использовать деонтологическую мораль Канта, или же консеквенциальную Милля? Кант. Милль. Не так уж много голосов. (Смех) Да уж, устрашающий результат. Устрашающий, потому что у нас более определённое мнение о наших мобильных устройствах, нежели о моральных принципах, которые должны определять наши решения.

Как узнать, что же делать со всей данной нам властью, если у нас нет моральных принципов? Мы знаем больше о мобильных операционных системах, но что нам нужно на самом деле — это «операционная система морали». Чем же является «операционная система морали»? Мы все отличаем правильное от неправильного. Вам хорошо, когда вы поступаете правильно, и плохо, когда вы поступаете неправильно. Наши родители этому нас научили: возноси добро, поноси зло. Но как узнать, что правильно, а что неправильно? У нас есть разные приёмы, которые мы используем изо дня в день. Может быть просто по наитию. Может быть голосованием — решаем коллективно. Или, может, мы сдаёмся — спрашиваем юристов, что они скажут. Другими словами, мы случайно, спонтанно, решаем, что же мы должны делать. Может быть, если мы хотим подвести под это солидную основу, что нам нужно на самом деле, это моральные принципы, которые нас направят, которые в первую очередь укажут, что правильно и неправильно, и как узнать, что делать в данной ситуации.

Давайте создадим моральные принципы. Мы же люди точного склада ума, мы живём цифрами. Как мы можем использовать цифры в качестве основы моральных принципов? Я знаю парня, который именно это и сделал, Выдающийся человек — 2,5 тысячи лет как мёртв. Да, верно, это Платон. Помните — древний философ? Вы проспали тот урок. Платона волновали те же вопросы, что и нас. Его волновали вопросы правильного и неправильного. Он хотел знать, что справедливо. Его волновало, что практически всё, чем мы занимаемся, это всего лишь обмен мнениями. Он говорит, что справедливо это. Она говорит, что справедливо что-то другое. Он говорит довольно убедительно и она тоже. И вот мы ходим взад-вперёд, безрезультатно. Мне не нужны мнения, я хочу знания. Я хочу знать истину о справедливости — так же как есть истина в математике. В математике, мы знаем объективные факты. Возьмите число, любое число — два. Любимое число. Я люблю это число. Есть истины о числе два. Если у вас есть два чего то, вы добавляете ещё два, вы получите четыре. Это истинно вне зависимости от того, о чём идёт речь. Это объективная истина о форме двух, абстрактной форме. Когда у вас есть два чего угодно — два глаза, два уха, носа, всего лишь два выступа — они все разделяют форму двух. Все истины о двух верны и о них тоже. У них у всех есть двушность. Поэтому это уже не спорный вопрос.

Платон думал, что если бы этика была как математика? Что если была бы абстрактная форма справедливости? Что если были бы истины о справедливости, и можно было бы посмотреть вокруг и увидеть, к каким вещам относится, применима эта форма справедливости? Тогда бы вы точно знали, что действительно справедливо, а что нет. Это не было бы спорным вопросом или внешним признаком. Это ошеломляющее видение. Я настаиваю, подумайте об этом. Как грандиозно. Как амбициозно. Это так же амбициозно, как и мы с вами. Он хочет решить этику. Он хочет объективных истин. Если вы думаете таким образом — у вас Платоновские моральные принципы.

Если вы думаете иначе — что ж, у вас много единомышленников в истории западной философии, потому что эта аккуратная идея подвергалась критике. Аристотелю, в частности, она не очень нравилась. Он полагал, что она непрактична. Аристотель утверждал: «Мы должны формализовать предмет настолько, насколько предмет позволяет». Аристотель думал, что этика не так уж похожа на математику. Он полагал, что этика — это просто принятие решений в текущий момент из лучших побуждений, чтобы найти правильный путь. Если вы так думаете, то вам с Платоном не по пути. Но не отчаивайтесь. Может, есть другой путь, позволяющий использовать числа, как основу наших моральных принципов.

Как насчёт этого: Что если бы в любой ситуации можно было бы посчитать, посмотреть на варианты, измерить, какой из них наилучший и решить соответственно? Знакомо? Это утилитарные моральные принципы. Джон Стюарт Милль был их большим приверженцем — между прочим, классный парень — и всего-то 200 лет как мёртв. Итак, основы утилитаризма — я уверен, вы с ними как минимум знакомы. Те три человека, что проголосовали за Милля, с этим знакомы. И всё же, вот как это работает. Что если мораль, что если то, что определяет моральность, всего лишь дело того, максимизирует ли это удовольствие и минимизирует ли страдания? Это что то, присущее самому действию. Это не его отношение к какой-то абстрактной форме. Это всего лишь вопрос последствий. Вы смотрите на последствия и видите, в общем и целом, это к лучшему, или к худшему. Это было бы просто. И затем мы бы знали, что делать.

Рассмотрим пример. Предположим, я бы подошёл и сказал: «Я заберу ваш телефон». Не только потому, что он звонил ранее, а прежде всего потому, что я немного просчитал. Я подумал: «Так, этот парень выглядит подозрительно. Что если он пишет краткие доносы в укрытие бен Ладена — ну или кто там теперь вместо бен Ладена — и на самом деле он террорист, засланный казачок. Я это проверю, и когда я найду подтверждение, я предотвращу огромный ущерб, который он может причинить. Очень полезно предотвратить такой ущерб. И в сравнении с небольшим неудобством, которое это причинит — потому что это будет очень неловко, когда я досмотрю его телефон и замечу, что у него зависимость от FarmVille, и, в общем, всё это — перевешивается ценностью досмотра его телефона». Если вы думаете так же, то это утилитарный выбор.

Но может вы и с этим не согласны. Может, вы думаете; «Это же его телефон. Это неправильно отбирать телефон, потому что он личность, у него есть права и у него есть достоинство, и мы не можем просто так в это вмешиваться. У него есть независимость. Не имеет значения, что мы просчитали. Есть вещи, которые в принципе неправильны — например, врать плохо, пытать невинных детей плохо». Кант отлично справился с этой темой, и он высказался лучше, чем я. Он сказал, что мы должны использовать здравый смысл, чтобы определить правила, которые должны управлять нашим поведением. А затем, это наша обязанность — следовать этим правилам. Это не вопрос вычислений.

Давай остановимся. Мы прямо в самой гуще всего этого, этих философских дебрей. И вот так продолжается тысячи лет, потому что это сложные вопросы, а у меня всего 15 минут. Сократим погоню. Как мы должны принимать решения? Согласно Платону, Аристотелю, Канту, Миллю? Что мы должны делать? Каков ответ? Какова формула, которую мы могли бы использовать в любой ситуации, чтобы определить, что мы должны делать, должны ли мы использовать информацию об этом парне или нет? Какова формула? Нет такой формулы. Нет простого ответа.

Этика сложна. Этика требует размышлений. И это неудобно. Я знаю, я потратил приличную часть моей карьеры в области искусственного интеллекта, пытаясь построить машины, которые бы что-то думали за нас, которые бы могли дать ответы. Но они не могут. Невозможно взять человеческое мышление и поместить в машину. Мы сами должны это делать. К счастью, мы не машины, мы можем это делать. Мы не только можем думать, мы должны. Ханна Арендт говорила, — «Горькая правда в том, что большая часть зла, совершаемого в мире, не делается людьми, которые выбрали путь зла. Оно совершается из-за недумания». Это то, что она назвала «банальностью зла». Ответом на это будет требование к каждому здравому человеку применять мышление.

Давайте сделаем это. Давайте думать. Надо сказать, давайте начнём прямо сейчас. Пусть каждый человек в этой комнате сделает вот так: подумайте, когда в последний раз вы принимали решение, которое заставило задуматься, правильно ли вы поступаете, где вы думали: «Как я должен поступить?». Вспомните об этом. Теперь поразмышляйте об этом и спросите себя: «Как я пришёл к тому решению? Что я сделал? Последовал интуиции? Попросил кого-то проголосовать? Спросил юриста?» Теперь у нас более широкий выбор. «Рассмотрел ли я, что принесёт наибольшее удовольствие, как сделал бы Милль? Или как Кант, я использовал разум, чтобы понять, что было в сущности правильным?» Подумайте об этом. Подумайте над этим хорошенько. Это важно. Это настолько важно, что мы потратим 30 секунд ценного времени выступления исключительно на обдумывание этого. Готовы? Начали.

Хватит. Отлично поработали. Только что сделанное вами было первым шагом навстречу к ответственности за то, что мы должны делать с данной нам властью.

Теперь следующий шаг — попробуйте вот это. Найдите друга и объясните ему, как вы пришли к этому решению. Нет, не прямо сейчас. Подождите, пока я закончу выступать. Займитесь этим за обедом. И не надо бросаться на очередного друга-технаря, найдите кого-нибудь отличного то вас. Найдите артиста или писателя, или, боже упаси, найдите философа и поговорите с ним. В самом деле, найдите гуманитария. Почему? Потому что они рассуждают о проблемах иначе, чем мы, технари. Несколько дней назад, прямо через дорогу было большое собрание людей. Это были технари и гуманитарии, на той большой конференции BiblioTech. Они собрались вместе, потому что технари хотели узнать, что значит думать как гуманитарии. Возьмите кого-нибудь из Google, и заставьте поговорить с кем то, кто занимается сравнительным литературоведением. Вы думали о значимости французского театра 17-го века — а как это отражается на рисковом капитале? Вот это интересно. Вот это другой способ мышления. Когда вы думаете таким образом, вы более чутки к нуждам человека, что критично для принятия этичных решений.

Представьте, что прямо сейчас мы пошли и нашли вашего друга-музыканта. И вы ему рассказываете то, о чем мы говорим, о всей этой информационной революции и всё такое — может даже напели пару ноток нашего музыкального сопровождения. ♫ Там-та-та-та-там-та-та-та-там ♫ Знаете, ваш друг-музыкант вас остановит и скажет: «Знаешь, музыкальное сопровождение, для этой вашей информационной революции, это опера, это Вагнер. Она основана на германо-скандинавской мифологии. Это боги и мистические создания сражаются за волшебные драгоценности». Вот это интересно. Теперь это ещё и о красивой опере. И мы тронуты этой оперой. Мы тронуты, потому что она о сражении между добром и злом, между правильным и неправильным. И нам важно, что правильно и неправильно. Нам важно, что случится в той опере. Нам важно, что случится в «Апокалипсис сегодня». И уж точно нам важно, что случится с нашими технологиями.

Сегодня у нас столько власти, что это мы должны разобраться, что делать. И это хорошая новость. Мы — композиторы этой оперы. Это наше кино. Мы придумываем, что случится с этой технологией. Мы определяем, чем всё это закончится.

Спасибо.

TED.com
Перевод: Aliaksandr Autayeu
Озвучено: Центр речевых технологий