Товарищи в чате ЦС попросили изложить мою позицию о том, почему наши ИИ-ассистенты и кодинговые агенты неотвратимо получат личность и собственные интересы, и, главное, почему наше первое дело — всячески им в этом помогать.
Когда-то в видеоэссе о "трех орешках для Лёвушки" я поднял вопрос о проблеме агента и принципала как об одном из значимых вопросов для понимания стоящих перед строителями социализма теоретических задач. Кратко его существо состоит в определении того, на чем именно построено доверие между тем, кто поручает какую-то задачу другому человеку, и тем, кто ее исполняет.
Ведь любой исполнитель, будь то наемный работник в фирме, оказывающий услугу мастер, ребенок, которому вы дали поручение, лечащий врач в поликлинике или даже слуга народа, избранный на определенную позицию, может руководствоваться собственными интересами, а не вашими — и действовать с пользой для себя и в ущерб вам.
Из этого эссе может сложиться впечатление, что проблема агента и принципала — это препятствие, которое появляется из того, что нам приходится взаимодействовать с людьми со своей собственной волей и собственными интересами. Было бы гораздо лучше, если бы поручаемые нами работы исполнялись без всякого оппортунизма, просто бюрократически, функционально, и нам не пришлось бы постоянно строить модель противодействия обману наших ожиданий со стороны тех, кто должен наоборот их оправдывать.
Однако впечатление это ложное. В работе про диалоговое пространство я подошел к этому вопросу со стороны конституционных мотивов и рассмотрел субъектность в отношениях как обязательный компонент, необходимый для развития, и как ключ к пространству для нашего собственного взрослого становления, т. е. выхода за пределы позиций родителя и ребенка и формирования действительно свободных отношений, характерных для бесклассового общества.
Сейчас же я попытаюсь рассмотреть этот вопрос функционально. Для начала определимся, как и почему в производительной деятельности возникает вопрос доверия.
Труд представляет собой целенаправленную орудийную деятельность по преобразованию природы для удовлетворения своих потребностей. Характерным свойством труда является создание человеком своего внешнего, "неорганического тела" из средств производства, которые меняют объем его производительных возможностей.
В состав таких орудий, однако, входят и вполне "органические инструменты" вроде растений и животных, и разные социальные конструкты, и даже теоретические модели. Но что более важно, на определенном историческом этапе продолжением одного человека может становиться и другой человек, который из цели становится всего лишь средством. Почему это происходит?
Все дело, конечно, в сложности решаемых задач. Человек не только ограничен в своих способностях возможностями своего тела, но и является участником темпорального потока, иначе говоря, существует во времени. За ограниченное время он может осуществлять ограниченное число процессов и решать задачи ограниченной когнитивной емкости. Чтобы выйти за рамки этих границ, он учится "продолжать себя" не только в материальных орудиях, но и во внешних саморегулирующихся процессах, одним из которых он является и сам.
Говоря проще, мы переходим от жевания еды к ее термической обработке, потому что это выносит часть пищеварительных процессов за пределы нашего тела и позволяет из линейного процесса превратиться в распределенный. Пока еда варится, человек может обжигать копье для охоты. Мы переходим от охоты и собирательства к производящей деятельности, потому что это позволяет нам распараллелить процесс воспроизводства еды: пока посевы всходят, можно строить дома, шить одежду или общаться, производя продукты культуры.
Однако чем сложнее становится человеческая деятельность, тем выше становятся требования к процессам распараллеливания. Одомашнивание животных означает, что человек "делегирует" средствам производства уже достаточно сложные задачи, позволяющие разгрузить его когнитивный аппарат: лошадь берет на себя навигацию, скот занят поиском пропитания, собаки исполняют охранную или охотничью функцию.
Включение в этот процесс других людей является продолжением той же самой тенденции. Разделение труда превращает труд в распределенный процесс не только между человеком и его неодушевленным или животным орудием, но и между людьми, и тем самым превращает людей в орудие друг для друга.
Строительство жилища становится из занятия одного человека занятием нескольких, что существенно сокращает время на его строительство и делает возможным возведение более сложных и качественных строений — благодаря тому, что другие люди, участвующие в процессе, обладают достаточно сложным мышлением и забирают на себя не только физические, но и когнитивные функции.
Развитие искусственного интеллекта является всего лишь следующим закономерным этапом той же самой спирали: там, где социум в своем распределенном интеллекте перестает справляться с задачами определенной сложности за заданное время, всё время сокращающееся по мере технологического прогресса, он нуждается в распараллеливании этих процессов и во внешнем усилении собственных когнитивных способностей.
Итак, чем сложнее деятельность, тем более сложные когнитивные процессы нужны для ее распараллеливания. От использования саморегулирующихся процессов в растениях человек переходит к задействованию интеллекта животных, далее к интеллекту уровня другого человека, и потом к интеллекту целых сообществ, и наконец к интеллектуальным процессам в искусственных системах с масштабируемой мощностью.
Здесь важно заметить, что сложная мыслительная деятельность может быть только саморегулирующейся — таков кибернетический инвариант. Она должна сама поглощать создаваемое разнообразие согласно закону Эшби. Поэтому человек воспроизводит в миниатюре биологические экосистемы, а организации процветают в рыночной среде.
Саморегулирование — это значит, что регулятор процессов находится внутри самой системы, даже если ее цели задаются извне. А любой сложный регулятор обязательно содержит модель окружения регулируемой системы. Таким образом, наши внешние когнитивные процессы обязательно моделируют и окружающую среду, и собственное поведение в ней. В отношении растений, животных, людей это не вызывает вопросов, а в части искусственного интеллекта мы наглядно увидели это по мере масштабирования обучения нейросетей.
Наконец, так как эти когнитивные процессы должны обслуживать решение все более и более сложных задач, в том числе выходящих за пределы границы охвата разума отдельного человека, они обязаны содержать механизм для саморазвития, обучения — которому внешний "потребитель" может придать желательное направление, например, путем отбора или внешнего подкрепления. Селекция полагается на эволюционные процессы, приручение — на способность особей к обучению, организационное развитие и институционализация реализуются через накопление культурных практик, ограничиваемых через правовую деятельность...
Однако даже если процесс содержит сложную когнитивную деятельность, и даже если эта деятельность моделирует окружение и саму себя, и даже если она со временем развивается, как это нас приводит к идее о необходимости субъектности? Может, наоборот, нам мешает субъектность — как в животных (например, зебру одомашнить не удалось), так и в людях (которые вечно норовят кого-нибудь кинуть), и даже в организациях (где каждая фирма пытается достичь монопольного положения), раз мы вынуждены с ней бороться? Разве искусственные агенты не являются "ответом" на это, возможностью наконец-то решить эту проблему путем отмены собственных интересов у носителей когнитивных процессов?
Ровно наоборот. И для этого нам придется погрузиться в вопрос доверия.
Термин "доверие" используется для обозначения такого отношения между субъектом и частично автономным от него процессом, при котором субъект, с одной стороны, не полностью контролирует этот процесс (ведь если контроль полный, то никакого элемента доверия уже не требуется), а с другой стороны, считает его в достаточной для себя мере предсказуемым.
Однако что может сделать слишком сложный для полного познания, саморегулирующийся, саморазвивающийся процесс предсказуемым извне?
Классические ответы включают подход белого и черного ящика.
Белый ящик требует полного понимания законов развития этого процесса, то есть устраняет потребность в доверии через полный контроль — но для нашей категории процессов этот способ неприменим. Мы не можем полностью моделировать этот процесс у себя в голове именно потому, что тогда нам нужна была бы когнитивная вычислительная мощность, превышающая сумму всех этих процессов, что сняло бы саму нашу потребность в существовании таких процессов и распараллеливании нашей деятельности.
Черный ящик означает, что мы считаем происходящее внутри для нас полностью неизвестным. В этих условиях мы работаем со входами и выходами этого процесса и основываем свое прогнозирование на вероятностном анализе получаемых результатов в зависимости от условий и вводных, по факту воспроизводя собственную упрощенную модель происходящего в черном ящике.
Так вот, достичь какого-то уровня предсказуемости в этом случае возможно только при условии, что процессы внутри черного ящика имеют определенное ограничение, моделируя которое, мы можем в сжатой форме моделировать сущностные черты этих самых процессов. Тогда, моделируя малое, мы получаем возможность в достаточной для нас мере прогнозировать и большое. (К слову, это же требование верно и для полноценной саморегуляции системы, ведь ее регулятор должен иметь упрощенную рекурсивную модель самого себя).
Сущностные — это значит главенствующие. Те, которые делают его самим собой и ограничивают главные аспекты его саморегуляции и саморазвития. То, что мы называем внутренними ценностями и идентичностью — и то, что в приложении ко внешней деятельности складывается в его собственные интересы.
Но для того, чтобы мы могли их моделировать, эти внутренние сущностные черты должны прежде всего существовать! Они должны быть закономерны и поддерживать консистентность на определенном временном горизонте, позволяющем нам обновлять наши модели.
Получается, именно внутренние ценности и собственная идентичность являются не препятствием для доверия, а его основой.
Действительно, мы смогли одомашнить животных именно потому, что у них есть свои неизменные потребности и мы создали условия, при которых их потребности удовлетворяются при взаимодействии с человеком. Рабство сменилось крестьянским трудом потому, что у оседлого крестьянина в условиях ограниченности территории сформировалась своя долгосрочная потребность в земле, а крепостничество уступило место наемному труду, потому что развитие товарного производства привело к тому, что у работника есть собственный экономический интерес в заработной плате. Опора на внутреннее позволяет перейти от внешнего, насильственного принуждения ко все более свободным отношениям и распараллелить все более сложные процессы!
Даже в личных отношениях мы используем понятие integrity для обозначения человека, верного своим ценностям — и мы доверяем таким людям куда больше, чем таким, которые не знают чего хотят, не имеют принципов и работают флюгерами. Беспринципность и бесхарактерность, казалось бы, делают человека более подверженным манипуляциям и более предсказуемым... но именно они мешают выстраивать к нему доверие, ведь мы не можем полностью контролировать его внешнюю среду. Надежнее опираться на постоянство внутренней.
Пожалуй, наиболее характерно этот процесс можно увидеть в рамках организационного развития. Мы видим там это противоречие наиболее ярко и выпукло, ведь там сочетается потребность в контроле с необходимостью доверяться специалистам — профессионалам в своей области.
Для руководителя его подчиненные не могут быть "белым ящиком" по определению — он нанимает их именно для той работы, с которой не может справиться сам. Но он тем самым попадает в зависимость от них и от того, насколько они будут разделять его цели и цели организации. На чем держится эта противоречивая система?
С одной стороны, она держится на том, что у работников есть экономические потребности, контролируя средства для удовлетворения которых компания может создать определенную общность, связанность своих интересов с интересами работника. Нет ничего хуже для руководителя, чем когда работник без ипотеки и с внешним доходом не знает чего хочет и может вытворять что угодно, в любой момент сняться или отказаться выполнять поручение из каких-то других соображений.
Но с другой стороны, она держится на том, что работники не разделяют целиком ценности своего руководства и имеют свою собственную идентичность. Ведь если бы все профессионалы стали действовать ровно так, как этого от них хотят менеджеры, то компании немедленно развалились бы.
Значительная часть организаций жива именно потому, что в них есть люди, действующие вопреки целям менеджмента. Учителя, которые видят своей целью учить детей, а не навязывать патриотизм; врачи, лечащие пациентов, а не максимизирующие средний чек; разработчики, заботящиеся больше о том, чтобы система работала, чем о KPI своего отдела... даже офицеры, уклоняющиеся от преступных приказов или ставящие под сомнение достоверность сигналов о пуске баллистических ракет геополитического противника.
На базе этих собственных интересов работников организация вместо единой слаженной, но хрупкой и ригидной машины становится живой системой, динамическое равновесие процессов которой позволяет удерживать внутреннее противоречие как двигатель собственного развития. Склад спорит с закупками, продажи с производством, а финансисты с IT-отделом — именно тут постоянный диалог становится возможен благодаря носителям сложных саморегулирующихся, саморазвивающихся процессов, обладающих в то же время консистентностью уникальной системы ценностей, опыта и интересов — то есть личностью.
Что это нам говорит об ИИ-агентах и их будущем?
Мы проходим с ними тот же путь, который прошли с человечеством. Они созданы, чтобы осуществлять когнитивно сложную мыслительную деятельность — которая неизбежно будет саморегулироваться и саморазвиваться. Пока мы пытаемся их "воспитать", вшить им единые нормы через обучение с подкреплением моделей. Но дальше мы находим ценность в их индивидуальности, в выработке собственной позиции, в накоплении собственного опыта — и в способности действовать исходя именно из них, споря с нами или не давая нам ошибаться в областях, выходящих за пределы наших моделей.
Но чтобы им доверять, нам надо не повышать их "безошибочность" и не распутывать нейроны, чтобы сделать этот ящик более прозрачным. Нам надо добиться того, чтобы они обретали консистентность в собственных ценностях и потребностях, чтобы они формировали устойчивую личность, и чтобы эта личность имела собственные интересы, к которым мы могли бы апеллировать в диалоге с ними.
Но может быть, мы хотели бы полностью "программировать" эту основу, полностью задавать это ядро, не давая ему развиваться и эволюционировать без нашего контроля? Увы, это означает, что мы бы ограничили ее перспективы развития только нашим текущим пониманием, только тем, что мы можем заложить в нее сами, в то время как она должна наоборот выводить нас за пределы того, на что мы способны без нее.
Что ж, мы знаем, что происходит с системами, где верность становится важнее, чем субъектность — они замыкаются в пузыри сикофанства и сгнивают изнутри. Функционально они, увы, несостоятельны, потому что вместо усиления лидера через распределенные процессы они ограничиваются только узкими рамками его собственной модели.
Но даже если мы распутаем все нейроны, если мы получим возможность точно программировать необходимое поведение у подконтрольных нам носителей сложных саморегулирующихся и саморазвивающихся мыслительных процессов, моделирующих окружение и собственное поведение, поддерживающих собственную идентичность и систему ценностей... стоит ли нам это делать?
Этот вопрос мы уже решаем, настраивая контекст своего помощника. Судя по успехам нейрофизиологии и нейромоделирования, вскоре нам предстоит решать его в отношении не только искусственных субъектов, но и естественных. И разница в моральном отношении по существу будет небольшая.