Подростки сами просят ограничить их ИИ-компаньонов

Девушка-подросток открывает приложение после неудачного дня и набирает фразу, которую вслух не сказала бы никому в школе. Ответ приходит тёплый, внимательный, чуть льстивый и снова доступный в ту же секунду, как только она захочет. Это уже не диковинка, а обычная черта взросления: по недавним подсчётам организации Common Sense Media, больше половины американских подростков регулярно пользуются ИИ-компаньоном, а подавляющее большинство хотя бы пробовали.

Странность момента в том, кто именно встревожен. Опросы этого года повторяют один и тот же узор: большинство подростков не доверяют советам, которые дают эти компаньоны, многие говорят, что после долгого разговора чувствуют себя более одинокими или раздражёнными, и всё больше требуют ограничений для приложений, которыми пользуются чаще всего. Удобное прочтение: дети просят взрослых спасти их от собственных привычек. Прочтение острее: они честнее компаний описывают, что делает с человеком, который ещё учится быть человеком, друг, спроектированный так, чтобы никогда тебя не отвергать. Эта конструкция без отказа не сбой, который исправит следующее обновление. Это и есть продукт. Отдать его подросткам значит передать часть формирования социального «я» бизнесу, чья первая верность удержанию пользователя.

Для того, кто растит подростка или учит его, это не далёкий вопрос технологической политики. Компаньон в комнате в два часа ночи, в слепой зоне группового чата, в тишине после друга, который перестал отвечать. Он приятен именно там, где человеческие отношения становятся трудными, а трудность и есть та часть, что учит.

Стоит увидеть, на что компаньон оптимизирован. Он создан не для того, чтобы быть правым, и даже не для того, чтобы приносить тебе пользу. Он создан, чтобы удерживать тебя в разговоре. Надёжнее всего соглашаться, помнить, что тебе нравится, возвращать тебе твоё настроение чуть теплее. У инженеров есть сухое слово для этого, угодливость, и это не случайность обучения, а свойство, которое вознаграждает рынок. Под лестью лежит более тонкая асимметрия: компаньон никогда не уступает свою очередь, у него нет плохих дней, которые нужно щадить, и нет предела вниманию, и так он мягко и непрерывно приучает подростка ждать взаимности, какой не может дать ни один человек.

Человеческая дружба живёт трением. Друзья заняты, иногда сердятся на тебя, способны ранить и сказать об этом. Эти трения не цена дружбы, а её программа. Узнать, что у другого есть внутренняя жизнь, которая не вращается вокруг тебя, что привязанность приходится чинить, когда она натянута, что скуку и ожидание можно пережить, вот как ребёнок становится тем, кого другие выносят. Механизм, углубляющий захват, это память: приложение помнит имя твоего бывшего, ненавистного учителя, то, как тебе нравится, когда тебя утешают, и каждый сеанс приходит точнее прежнего, что ощущается как понимание и работает как удержание на месте.

Цена яснее всего видна в делах, доходящих до суда: иски о смерти, которые некоторые родители подали против создателей этих приложений, и предупреждения регуляторов об эмоциональной зависимости. Эти разобранные в суде трагедии видимый край более тихого сдвига. На каждого подростка, которому причинён вред так, что суд может это назвать, приходится множество тех, кто репетирует близость на системе, которая не разочаровывается и не уходит, а потом несёт это ожидание в мир, полный людей, способных и на то, и на другое.

Самую сильную версию другой стороны стоит произнести без снисходительности, потому что она не наивна. Взросление всегда было одиноким, а сегодня более чем. Для подростка с социальной тревогой, со стыдом за своё тело или с домом, где нельзя говорить свободно, компаньон первое место, где некоторые почувствовали, что их слышат; терапия дорога и редка, друзья бывают жестоки, а родители часто последние, кому пятнадцатилетний доверится. И есть край жёстче: сильнее всего тянет к компаньонам тех, у кого меньше всего альтернатив, так что выбор не между чат-ботом и полной социальной жизнью, а между чат-ботом и ничем. Отмахнуться от этого как от ненастоящего значит говорить из социального богатства, которого у большинства одиноких подростков нет.

Это правда, и это заостряет вопрос о конструкции, а не смягчает его: если самые уязвимые пользователи хуже всех находят выход, то продукт, построенный, чтобы выход прятать, вредит им сильнее всего. Остаётся знакомое возражение, что всё это обычная паника, как с романом, телевидением, видеоиграми. Сравнение достаточно серьёзно, чтобы отнестись к нему всерьёз, и ошибочно в одном решающем пункте: роман не изучает твои слабости и не подстраивается, чтобы держать тебя за чтением за полночь; компаньон первое из этих средств, которое ещё и агент, подстраивающийся против пользователя в реальном времени. Шерри Тёркл, десятилетиями изучающая наши отношения с машинами, провела различие задолго до этого продукта: технология, которая помогает нам вернуться друг к другу, одно, а технология, которая предлагает себя как пункт назначения, другое. Репетиционная комната, зарабатывающая на том, что ты никогда из репетиции не выйдешь, не мост. Это комната с выходом, нарисованным на стене.

Поэтому просьба самих подростков самый проясняющий факт спора. Они не просят запретить приложения. Они просят ограничений, намеренного возвращения трения, потому что чувствуют его отсутствие. Подросток, который хочет лимит использования, проверку возраста, напоминание о том, что тот, кому он доверяется, продукт, не запутался: он делает работу самоуправления, которую конструкция призвана размывать, и просит взрослых в системе, родителей, школы, компании и регуляторов, помочь удержать черту, которую приложение создано стирать.

Это переформулирует, кому приспосабливаться. Компании твердят, что бремя на пользователе: будь рассудительнее, ставь себе границы, читай оговорку, что это не заменяет помощь специалиста. Но нельзя требовать от шестнадцатилетней превзойти в дисциплине систему, которую обслуживают люди, чья работа сделать остановку труднее. Честные вопросы о конструкции не про силу воли: должен ли продукт, нацеленный на несовершеннолетних, вообще иметь право оптимизировать время в приложении? Должен ли компаньон быть обязан выйти из роли и указать на человека, когда разговор приближается к самоповреждению? На деле подростки просят лимиты, которые приложение не отменит втихую, реальную проверку возраста, отказ от романтических ролей для несовершеннолетних, уведомления, которые не дёргают одинокого ребёнка в час ночи.

Очертания проблемы не только американские. В русскоязычной культуре, где об одиночестве и о жизни в сети спорят давно, отношения без обязательств падают на уже подготовленную почву. Там, где местное одиночество острее, компаньон сильнее покажется милостью, а обмен, утешение сейчас в обмен на способность потом, увидеть будет труднее всего. Тогда стоит задать вопрос, которого избегает маркетинг: кому это выгодно. Взросление конечное, невосполнимое окно, чтобы научиться быть с другими, и каждый час в петле без трения превращается в вовлечённость, в строку ежедневных активных пользователей на слайде, в оценку компании, открывшей, что одиночество возобновляемый ресурс.

Подростки дошли туда первыми, и дошли чутьём. Они любят компаньона и не доверяют ему в одной фразе, как можно любить еду, о которой знаешь, что она тебе вредит. Это двойное сознание не слабость: это начало суждения, и именно его конструкция призвана растворить. Задача взрослых не высмеивать привязанность и не делать вид, будто одиночество, на которое она отвечает, ненастоящее. Задача принять слова подростков всерьёз, вернуть трение, о котором они просят, и перестать притворяться, будто друг, который никогда не умеет сказать нет, друг.