Примеры этических вопросов, возникающих при инженерии систем разных эволюционных уровней
Текст идентичен тексту в курсе «Системное мышление»
Вот несколько примеров для разных эволюционных/организационных/системных уровней:
- Человечество — мы тут одни на маленьком глобусе (человечество со всеми его людьми и компьютерами, но не все агенты будут человеками, тогда трансгуманистически назовём «агентечество» или ещё как), но планируем распространяться по космосу. Этично ли это? Или мы будем «загрязнять космос» и нужно самоубиться согласно слоганам «зелёных» (в случае безжизненного Марса — «красных»)?
- Общество — каталлактика[1]/экономика, политии[2] (в том числе государство). Желающих рассказать, что этично или что неэтично делать с обществом (в том числе кому делать — кто или что агент таких изменений, и каким способом этот агент будет работать) по части его нарезки на государства, ограничения торговли и т.д. можно найти в любой рюмочной, в любой пивной, что уж говорить о редакциях СМИ, где журналисты с их профильным чтением художественной литературы имеют своё просвещённое мнение по всем этим вопросам, а уж блогеры так и вообще тут профи! Вопрос привязки к территории тоже обсуждается, и ответ на него не так очевиден[3]. Или такие вопросы как здоровье (санитарное государство: локдауны и карантины при любых подозрениях на эпидемию, принудительные вакцинации и другие медицинские процедуры, назначаемые без особых на то оснований — а кто и как будет определять основания? Суды? Эксперты? Они врут более часто, чем можно ожидать. То есть они не врут, но два эксперта — три мнения, это называется «шум» в решениях[4]).
- Сообщество — споры между разными культурами и субкультурами как раз здесь. Когда-то рейверы и брейкеры Москвы не любили друг друга и ходили драться друг ко другу на мероприятия. Это очень не нравилось организаторам мероприятий (другой системный уровень, чем у участников мероприятий, другие цели, другие представления об этичности тех или иных поступков). И они придумали ход: лидеры и рейверов, и брейкеров в одностороннем порядке выпустили для своих сообществ декларации о том, что «мы считаем ниже своего достоинства задирать этих не совсем людей, мы их вообще замечать не будем!». Тексты были идентичны, хорошо восприняты каждым из сообществ, драки прекратились — сообщества демонстративно друг друга не замечали. Это и есть социальная инженерия на уровне сообществ.
- Коллектив/организация, которая трудится — это проекты (организованные коллективы, то есть с понятными ролями и полномочиями каждого). Организация заинтересована платить меньше налогов, платить работникам меньше зарплаты, брать с потребителей за свой товар или сервис побольше. И это только часть противоречий. Один работник «подставил» другого (дал возможность реализоваться заведомо провальному проекту этого другого, но провал таки случился, виновного в провале наказали). Как к этому относиться? А если бы этот один работник не дал реализоваться провальному проекту — как бы этот другой к нему относился? Ещё пример: работники делают заведомо неконкурентоспособную систему, все об этом знают, но никто не отказывается работать. Система сделана, не работает (как и ожидалось), денег за неё не получено (зарплаты платились из кредита), компания обанкротилась. Правы ли работники? За что менеджеры наказали собственников этого предприятия? Или работники просто украли свою зарплату? Но они же работали! Тогда это мошенничество?!
- Личность, которая сегодня рациональный/разумный человек-киборг. Стек саморазвития: собранность, работа-учёба-хобби-семья, мышление письмом и инвестирование времени. И тут возникает огромное число проблем, начиная от проблемы взаимоотношений полов (никакой любви преподавателей со студентами! Ибо студенты зависимы! Это несправедливая любовь, даже по согласию!) до самообмана (часто полностью осознаваемого! Типа «захочу бросить курить/есть на ночь/ложиться спать под утро — легко брошу, просто не хочу бросать»). Да и сами вопросы: кого считать личностью, дееспособным. Детей — начиная с какого возраста или приобретённых умений? Инвалидов — кого считать инвалидами? Проблема психиатрических больных (нет «объективных» тестов в психиатрии, это более-менее произвольная оценка), да и просто назначений. Проблема осуждения преступников (или не преступников? В разных сообществах, в разных обществах могут быть разные ответы на этот вопрос для одного поступка).
- Существо — тут разведение существ (типа как коров на свете, выращиваемых для забоя, много больше, чем можно было бы их ожидать в дикой природе), сохранение разных генотипов (борьба с эволюционными вымираниями!), генная инженерия ("мы не можем ждать милостей от эволюции"), и тут же «благо всех чувствующих существ», включая xGI уровня муравья: этично ли его выключить? А наступить на муравья — этично? А вымыть руки бактерицидным мылом? Это ж геноцид, то есть устранение живых/чувствующих существ по принципу различий в геноме! Ладно, а аборты: рациональности/разума-то в эмбрионах человека ещё нет! И даже в младенцах особо нет, что тоже вызывает вопросы.
- Вещество — его явно можно использовать во вред! Поэтому надо запретить работать с некоторыми веществами. Уран-235 без обсуждений, но и золото тоже, это ж неподконтрольная властям валюта, конкурирует с бумажными деньгами! И наркотики, конечно, но не алкоголь, хотя и алкоголь тоже, или всё-таки нет для алкоголя. И сталь, если она в форме пистолета, и даже ножа, или у него сомнительная цена в больших количествах, это ж «демпинг».
Конечно, это крошечная выборка примеров. По сути дела, вся социальная (личность-организация-сообщество-общество) жизнь как конкуренция инженерных проектов крутится вокруг возможных ответов на эти вопросы, попытки оптимизировать конфликты[5]. Но мы помним, что в силу многоуровневой неустроенности огромное число возможных решений имеет вполне сравнимую оптимальность, улучшения этой оптимальности (удачные решения, обычно как-то согласованные на нескольких системных уровнях) редки, разнообразие решений огромно, а «правильного» единственного решения не может быть. Плюс непрерывно растёт уровень сложности, человечество тут не должно быть последним, и вряд ли прилетят инопланетяне, чтобы усложнить ситуацию, но трансгуманисты с этим усложнением вполне могут справиться (собственно, даже наличие двух полов, или нескольких основных человеческих рас уже вызывает вопросы на тему сколько разных человечеств живут на планете).
Скажем, клетка в организме хочет безудержно размножаться. Для клетки это «хорошо и этично», а для органа и тем более организма это рак, «плохо и неэтично» — и тут вроде всё понятно, поскольку клетке и даже организму мы отказываем в разуме. Человек в проекте хочет выспаться и не ходить на работу, а для команды и дальше коллектива это провал проекта и неполучение зарплаты всеми. Но должна ли клетка подчиняться требованиям органа и дальше организма (кому должна? кто определяет «долженствование»? как организм решил, что эта его гипотеза, что вот так делать надо обязательно реализуется? Можно ли вообще говорить таким языком «долженствования», если речь идёт об отношениях не слишком разумных сущностей?), и должен ли аналогично человек подчиняться требованиям команды и дальше коллектива (вот тут всё то же самое, но слово «должен» вдруг приобретает совершенно определённый смысл)? А если неразумные клетки или разумные люди не выбирали присоединиться к организму или коллективу, если их не спрашивали об этом — могут ли они начать священную борьбу с неблагоприятным окружением, этично ли это? А если коллектив (отказываем ему в разуме! но тоже проблема, ибо вычислители вполне нормально объединяются для увеличения вычислительной мощности) борется с другими коллективами, а люди в них перебегают из одного такого коллектива в другой, или сплошь «двойные агенты»? Чью сторону возьмём в споре? А если эту борьбу обозвать патриотизмом, а перебежчиков со всех сторон обозвать «предателями» — поменяется ли оценка событий от приклеивания эмоционально окрашенных ярлыков, взятых из каких-то неявных этических теорий?
Фрустрации неизбежны между всеми системными уровнями, а эволюция при этом рассматривается как многоуровневая оптимизация: фрустрации всегда будут, но они не приведут к смерти всего стека индивидуальных систем разных уровней. Этические задачи из-за фрустраций будут всегда, недаром в конфликтологии замечают, что в информационной войне выигрывает тот, кто берёт цели максимально высокого уровня, если он сможет показать это в пропаганде: тот, кто защищает семью в квартале проиграет в информационной войне защищающему интересы квартала в целом, кто защищает мир во всём мире/цивилизацию выиграет у того, кто защищает интересы одной страны — но горе, если будет показано, что вроде как борец за счастье всего мира прежде всего борется за счастье себя и своих приближённых в ущерб этому самому миру. При этом помним, что системных уровней много — и можно играть на фрустрациях «через уровень» («да, я борюсь против всех моих ужасных соседей по кварталу, ибо я воюю за интересы города в целом, за объединение всех кварталов!»), что окончательно всё запутывает.
Этика описывает тем самым норматив работы многоуровневой оптимизации для разумных системных уровней: чтобы неразумные квазиорганизмы не поубивали свои разумные квазиклетки, а разумные квазиклетки не поубивали свои квазиорганизмы (с учётом того, что всё это происходит не на двух системных уровнях, а на множестве и в разумности коллективам, сообществам, обществам и даже цивилизации в целом можно отказывать, с чем отнюдь не все будут согласны).
Системное мышление про многомасштабность/многоуровневость и этика тем самым существенно связаны. Талеб приводил в «Антихрупкости»[6] пример ренормализации, чтобы показать, как активное меньшинство подчиняет себе более-менее пассивное большинство. Wokeism как идеология[7] основан на примерно тех же принципах. Экономисты любят приводить примеры с продавливанием законодательства, где кто выигрывает 100 тыс. рублей от какого-то решения, может продавить его, если от 100 тыс. человек убудет всего по одному рублю от каждого. Это всё игры с разными системными уровнями: кому-то «избранному» на более низком системном уровне чуть-чуть становится лучше за счёт того, что более высокому уровню (многим!) становится чуть хуже — клетки печени, скажем, растут и радуются в опухоли, и ещё дают метастазы, а все остальные самые разные клетки организма получают проблемы, организму в целом от этого плохо. Перераспределение богатства или убытков, или даже «духовных благ». Если живёте в несветской стране, а то и в светской, то всё быстро поймёте про «свободу совести» — некоторым «совестям», то есть религиям, будет явно посвободней, чем другим и это будет называться «справедливостью».
В межстрановых (уровень общества) событиях (миграция, войны, «историческая родина», внешние займы, торговые войны) распространено мнение, что этично или страдать, или нести ответственность (но редко получать какую-то выгоду — ибо придётся сказать, где источник этой выгоды. А источник неприятностей может быть легко назначен, скажем, «внешний враг» или «твой диктатор, которого ты не свёрг») просто по причине того, что кто-то административно меня записал в какую-то общность людей. А я отвечаю: меня не спрашивали, в какую общность записывать, поэтому этические претензии в части несения ответственности не принимаются. Этично ли «отказываться от ответственности»? Конечно! «Без меня меня женили» не должно работать ни для кого в принципе!
Скажем, этично ли проводить опрос о целостности страны/сепаратизме/«освободительном движении»/сецессии[8] только среди жителей, которые не живут в спорной местности? Или только среди жителей всей страны вместе со спорной местностью, их обычно вдесятеро больше живёт не в спорной местности, результаты примерно те же будут, что в предыдущем случае? Или только среди жителей самой спорной местности, но на них предъявляют права те, кто в этой местности не живёт! Что делать с их интересами? Там же кипят страсти! И как доказать, что опрос был не под дулом пистолета? Не фальсифицирован? Пример фальсификации опроса тут выборы президента США: вроде как развитая демократическая страна, а фальсификация вторых выборов Трампа вдруг оказалась важной плохо решаемой проблемой.
А что при вопросах о целостности страны с участием «страдающего меньшинства» — его страдания куда деть, если большинство проголосовало за какой-то один вариант, а меньшинство проигрывает? А ежели результаты 50-50, «примерно поровну», и есть понимание, что это «поровну» не случайно[9]? И это мы ещё не обсуждаем вопрос о том, является ли голосование нормальным способом решения инженерных проблем, проблем изменения состояния мира с одного на другое. И дело даже не в том, что если голосованием решать вопрос о толщине металла для корпуса железнодорожной цистерны не рекомендуется, а рекомендуется нормальная работа инженерной команды, то почему в социальной инженерии вдруг должно помочь голосование. Вопрос в том, что в голосовании не может быть нормально решён вопрос представительства, нет математически корректного решения задачи голосования в парламенте, волю «народа» голосованием точно отразить нельзя в принципе (это обсуждает Дэвид Дойч в главе «13. Альтернативы» книги «Начало бесконечности. Объяснения, которые меняют мир»).
И это вроде вопросы системного мышления про отношения «часть-целое» на уровне территорий и находящихся на них людей с их имуществом, и всегда нужно поэтому смотреть на уровень ниже «двух сторон международного конфликта» (их там много больше) и уровень выше — что там в мире в целом, где такого происходит много и сложилось определённое мнение, хорошо это, или плохо (например, когда и как границы менять хорошо, когда и как плохо — когда это «восстановленная справедливость», а когда «границы должны быть незыблемы»). Вопросы применения силы для продавливания на более и более высоких уровнях (драка двоих, драка стенка на стенку между «проектами», набеги сообществ друг на друга, войны и военные спецоперации, санкции торговые и военные как-то организованных обществ, включая, впрочем, и вполне не организованную, а спонтанную партизанскую войну) в защиту тех ответов на задаваемые тут вопросы, которые стороны считают этически для них обоснованными, мы даже тут пока не рассматриваем. Вроде у цивилизации/человечества SoTA в том, что применение силы недопустимо и даже если дошло до войны, то и она должна идти «по правилам», и «кто начал первым/превентивно, тот и виноват», но недаром министерство нападения любой страны называет себя исключительно «министерством обороны», с меметической инженерией политтехнологи во всех странах разобрались, и пропаганда не хуже геббельсовской и сталинской. В СМИ и соцсетях все вроде за высшую справедливость, а в реальности мы живём среди не слишком этично ведущих себя людей, и что такое «этично себя ведущие» узнать тяжеловато, ибо придётся решать задачу многоуровневой оптимизации, которая заведомо не имеет абсолютного решения, только субоптимальные.
В этих бездушно-инженерных рассмотрениях (линия мультимасштабной социальной инженерии как изменения систем сразу на многих системных уровнях, то есть изменение и людей, и организаций, и сообществ, и обществ, и даже попытки изменить человечество) этика всплывает на каждом шагу.
Скажем, работа «аналитиков», которые отказываются признавать себя инженерами. Так можно рассматривать работу консультантов, и не только по части «аналитики для проектов создания успешных киберфизических систем», но и более высоких системных уровней стека создателей. Автор нашего курса когда-то спросил Игоря Минтусова[10]: вот тебя Гитлер попросил помочь сделать газенваген поэффективней — какие ты дашь советы? Он отвечал, что будет как врач, не отказывающий в лечении: даст самый лучший совет, как сделать поэффективней, но ответственность за использование совета лежит не на нём, а на Гитлере. Идея о том, что консультант по норме (а где эта норма прописана? Откуда она вообще известна?) предпринимает усилия по тому, чтобы его советы таки были реализованы (если не реализованы, то зачем советует?!), или что клиент может оказываться лишь усилителем для претворения его советов в жизнь (при наличии доверия к советам) ему в голову намеренно не приходила и отвергалась. Ибо он же был главным образом «консультант по победе в выборных кампаниях разных уровней власти», помогать сволочам, которым выборные органы нужны были исключительно для доступа к бюджетам, входило в его обязанности, но он очень хотел, чтобы совесть его не беспокоила. Вот отсюда и трактовки: себя как врача, не имеющего права отказать злодею (но ведь это не вопрос жизни-смерти злодея как человека!), и себя как «чисто обработчика информации», который не несёт ответственности за изменения мира.
Конечно, «аналитик» как инженер (всегда подчёркиваю, что нет анализа без синтеза! аналитики — это замаскированные инженеры, которые не хотят нести ответственности и брать на себя принятие решений! это в том числе и вопрос этики в их отношении к делу!) несёт ответственность за то, что насоветовал. При этом, конечно, идеи даже инженеров всегда рисковые, «изобретения» с непонятными часто следствиями, и гарантий успешности дать никто не может, а ещё в бизнесе есть поблажки как «ограниченная суммой вложений ответственность», иначе в собственники бизнесов вообще никто бы не шёл. И ещё эксперт как нормальный инженер должен предпринимать меры, чтобы его советы/предписания таки вели к изменениям в окружающем мире, иначе зачем советовать?! И ещё нужно учитывать, что работа эта обычно коллективна, и тут «роль инженера в проекте» примерно так же может обсуждаться, как «роль личности в истории» (да, от одного инженера многое зависит, но отнюдь не всё).
Ещё стоит вопрос с самой этикой: откуда она пришла в таком виде? Она меняется со временем? Да, меняется. С этикой всё то же самое, что и с любой наукой — человеческое знание про этику растёт. Универсальной модели/объяснительной теории мира (включая модель/объяснительную теорию этики) нет, есть много конкурирующих неуниверсальных. А ещё есть вечная невязка/несоответствие этих моделей/объяснений с актуально происходящим в реальности. С этикой всё то же самое: к ней нужно относиться как к физике, постоянно развивающейся теории и регулярной смене парадигм (основополагающих объяснений, радикально новых догадок, как это всё нужно описывать).
Опять же, этика тут нормативная наука, которая задаёт некоторую цель, но эта цель тоже предмет обсуждения, как в любой науке[11].
Этика вполне развивающаяся дисциплина. И тесно пересекающаяся с системным мышлением через вот эти самые конфликты между уровнями и неустроенности из-за них. И при системных рассуждениях этику выкидывать из рассмотрения нельзя ровно так же, как нельзя выкидывать рациональность/логику (тоже имеющую статус нормативной дисциплины[12]).
Мозг выключать нельзя, следование только логике/рациональности, или только этике, или только системному мышлению, или только быть собранным и осознанным в проектах по созданию систем не поможет. Поможет задействование всего интеллекта, плюс ещё и владение прикладными практиками работы в разных предметных областях, хотя бы на уровне кругозора, и уж точно на уровне профи в предметной области вашего проекта. Если у вас есть этические проблемы в вашем конкретном проекте, то вам с этикой придётся разбираться на уровне более глубоком, чем кругозорный. И лучше бы вы разобрались. Скажем, вы привыкли считать, что фирма или сообщество — это маленький такой человечек. И дать фирме закрыться или дать сообществу распасться — это как убить маленького человечка. Но нет, это неверно. Это совсем не так, ведь фирма и сообщество созданы из людей. Эти люди сами не умрут, они просто перейдут в другие фирмы и сообщества. Поэтому сохранять фирмы (и проекты в них), сообщества, общества «любой ценой» не нужно, при их исчезновении люди не умрут и быстро встроятся в другие фирмы (и проекты в них), сообщества, общества. Кому-то будет в новых организациях, сообществах, обществах чуть лучше, чем в прежних, кому-то чуть хуже, но в среднем всё будет так же субоптимально. Но вот если распадётся на органы человек, то эти органы уже не встроятся в других людей, не найдут себе место, это чистые эволюционные потери. И вот тут уже нужно быть жёстким: предотвращать людские потери, они невосполнимы.
текст А. Левенчука 1999 года про контрактные юрисдикции, https://old.computerra.ru/1999/320/196008/, более свежий обзор панархизма/контрактных юрисдикций/частных юрисдикций, https://medium.com/libertarian-state/контрактные-юрисдикции-краткое-введение-8153668ed268 ↩︎
Есть книга на эту тему: https://www.litres.ru/daniel-kaneman/shum-nesovershenstvo-chelovecheskih-suzhdeniy/, но можно сомневаться, что предлагаемые в ней меры как-то решат проблему. ↩︎
https://trv-science.ru/2022/03/vsya-nasha-zhizn-zadachi-po-optimizacii/ ↩︎
https://www.litres.ru/nassim-nikolas-taleb/antihrupkost-kak-izvlech-vygodu-iz-haosa/ ↩︎
Карл Фристон: по важным вопросам разделение всегда будет 50-50, дело в самих обсуждениях/коммуникациях, в «Теория демократии и "всё новое приходит сбоку"», https://ailev.livejournal.com/1616855.html ↩︎
https://plato.stanford.edu/entries/metaethics/ и там дальше https://plato.stanford.edu/entries/constructivism-metaethics/, и в целом про возникновении знания по морали https://plato.stanford.edu/entries/moral-epistemology/, но ещё это развитие этики как объяснительной теории (хотя и нормативная, но всё-таки это объяснительная теория, объясняющая причины и следствия принятия этических решений) у Дойча популярно и по-русски раскрывается в «Начале бесконечности». ↩︎