Kill switch и институциональный захват

Обещание, которое держится на возможности его отзыва

В 2017 году, во время урагана Ирма, несколько владельцев Tesla во Флориде обнаружили, что их машина после получения удаленного обновления от производителя внезапно получила дополнительные километры запаса хода. Они за них не платили. Батарея всегда была способна их выдать; производитель решил в целях сегментации рынка не позволять этого клиенту. Во время чрезвычайной ситуации Tesla временно активировала полную мощность. После окончания чрезвычайной ситуации она ее деактивировала.

То, что в новостях описывалось как жест щедрости, при внимательном прочтении оказалось чем-то другим. Владелец никогда не был владельцем всего продукта, за который он заплатил. Производитель сохранил техническую возможность — удаленно расширять или сокращать функции — и решил воспользоваться ею в пользу клиента в этом конкретном случае. Он мог выбрать и обратное. Эта история рассказывает не об акте доброты; она рассказывает об архитектуре власти.

Эта статья посвящена этой архитектуре. Мы называем ее, по отраслевой конвенции, kill switch: удаленный выключатель, который позволяет оператору деактивировать, изменять или отзывать возможности продукта, услуги или устройства, которые пользователь уже считал своими. Вопрос не в том, честен ли оператор. Вопрос в том, что происходит, когда он перестает им быть или когда кто-то заставляет его использовать выключатель в другом направлении.

Что именно такое kill switch

Термин пришел из английского языка и переводится с трудом: interruptor de muerte звучит драматично; interruptor remoto — слишком нейтрально. Kill switch определяет не драматизм, а простое свойство: техническая возможность деактивировать что-либо удаленно, находящаяся в руках того, кто не является пользователем. Это может быть полное отключение —машина, которая не заводится, файл, который удаляется, аккаунт, который приостанавливается— или частичное —функция, которая исчезает, батарея, которая теряет емкость, подписка, которая прерывается.

Не любое дистанционное управление является kill switch. Плановое обновление безопасности, разрешенное пользователем при установке продукта, им не является. Как и противоугонная система, которую владелец может активировать сам при краже телефона. Kill switch в строгом смысле слова имеет три черты: его использование является решением оператора, а не пользователя; он не требует точечного согласия затронутого лица для активации; и он применяется к продукту или услуге, которую пользователь уже считал полностью своей.

Европейская галерея активных выключателей

Tesla часто повторяет эту схему, в ее случае — документированным образом: контрактное снижение запаса хода, применяемое к подержанным автомобилям, сменившим владельца, отзыв функций вспомогательного вождения после аннулирования лицензии, односторонние изменения в поведении продукта между версиями прошивки. John Deere уже много лет находится в центре европейских и американских дебатов о праве на ремонт: покупка трактора включает в себя программный слой, обслуживание которого зависит от официальной сети производителя; когда эта сеть отказывает в регистрации, трактор ограничивает основные функции. В 2022 году BMW предложила ежемесячную подписку на активацию подогрева сидений в автомобилях, где он уже был установлен физически; общественное давление вынудило отозвать эту модель, но техническая возможность осталась.

В сфере программного обеспечения эта схема является структурной. Adobe Creative Cloud аннулирует месячные лицензии при непродлении подписки, делая непригодными файлы, созданные пользователем с помощью этих инструментов. Microsoft может деактивировать копии Windows, которые она считает нелицензионными, без практической возможности обжалования. Google удаляет приложения из Play Store во исполнение судебных приказов или внутренних решений; удаленное приложение также удаляется с телефонов, на которых оно было установлено. Apple Pay был отключен в России в марте 2022 года в рамках соблюдения Apple международных санкций: легитимно в данном контексте, но процедура всегда была доступна.

Легитимный аргумент со стороны производителя

Разработчик таких систем обычно предлагает вполне обоснованные аргументы:

1. Предотвращение краж. Если у меня украдут машину или телефон, я ценю то, что производитель может дистанционно вывести их из строя.
2. Предотвращение мошенничества. Неоплаченные подписки требуют механизма отключения; без этого механизма бизнес-модель рушится.
3. Предотвращение злоупотреблений. Опасный инструмент в чужих руках может выиграть от возможности его отзыва.
4. Соблюдение нормативных требований. Определенные судебные приказы обязывают оператора удалять контент, отключать функции или приостанавливать действие учетных записей, и система без выключателя — это система, которая не может их выполнить.

Все четыре аргумента верны. Ни один из них не меняет сути дела. Верно, что kill switch облегчает предотвращение краж; верно и то, что эта же возможность служит для принуждения живого клиента, а не только для нанесения вреда вору. Верно, что модель подписки нуждается в отключении; верно и то, что отключение может быть произведено завтра в отношении действующего клиента по причине, отличной от предусмотренной в договоре. Вопрос не в том, имеет ли kill switch законное применение. Вопрос в том, что как только он появляется, его использование не ограничивается тем, что было предусмотрено в первоначальной документации.

Институциональный захват

Здесь вступает в силу понятие, давшее название статье. Институциональный захват — это ситуация, в которой субъект — частная компания, администрация, регулирующий орган — в конечном итоге использует возможности, которые он приобрел или которые были ему предоставлены для ограниченных целей, в целях более широких, иных или прямо противоположных первоначальным. Политическая экономия знает это явление десятилетиями в финансовом регулировании. Технологическая индустрия открывает его на собственном опыте.

Механизм следующий. Компания разрабатывает kill switch в законных целях: защита от краж, управление подписками, соблюдение требований. Компания документирует эти цели в своих условиях использования, в своей политике конфиденциальности, в своих публичных сообщениях. Проходят годы. Правительство издает приказ в соответствии с новым законодательством; компания вынуждена использовать выключатель в направлении, не описанном в ее первоначальной документации. В совет директоров входит акционер-активист и меняет коммерческую политику; выключатели существуют и применяются в соответствии с новой политикой. Компания поглощается более крупной; условия обслуживания переписываются в одностороннем порядке с уведомлением за тридцать дней. В каждом случае клиент, доверившийся выключателю в задокументированных целях, обнаруживает, что выключатель все еще на месте, но отвечает другим интересам.

Парадигматический случай для европейского читателя: дело Apple против FBI в San Bernardino в 2016 году. После теракта в Калифорнии FBI потребовало от Apple разблокировать iPhone исполнителя. Apple отказалась, выдвинув частично принципиальные аргументы и частично технический аргумент: система была спроектирована так, что сама компания не могла разблокировать устройство без переписывания базового программного обеспечения. Самая надежная защита была не моральной, а архитектурной. Apple опиралась не на обещание не нажимать на выключатель; она опиралась на отсутствие выключателя. Другие компании, в архитектуре которых присутствовали выключатели, не смогли удержать ту же позицию перед лицом аналогичного давления.

Европейская траектория регулирования

Европейское право в последний законодательный период подталкивало к расширению возможностей дистанционного управления, а не к их сокращению. Регламент о цифровых услугах (DSA), полностью применимый с февраля 2024 года, обязывает платформы внедрять быстрые механизмы удаления контента по распоряжению компетентного органа; механизмы, которые не существовали бы без базовых технических возможностей. Регламент об искусственном интеллекте (AI Act), вступающий в силу поэтапно с августа 2024 года, требует от поставщиков определенных систем ИИ высокого риска наличия мер, позволяющих их деактивацию или значительный человеческий контроль: нормативная форма обязательного kill switch. С другой стороны, Регламент о цифровых рынках (DMA) вводит обязательства по функциональной совместимости: противоположное направление, ограничивающее эффект блокировки.

Для европейского профессионала честное прочтение таково: вопрос «может ли оператор отключить эту услугу для меня?» с каждым годом получает все больше утвердительных ответов из-за законодательных требований, а не меньше. Это не ставит под сомнение легитимность нормативных актов — DSA отвечает на реальные проблемы —, но подтверждает одно: доверие к тому, что оператор не воспользуется переключателем, требует дополнительной уверенности в том, что никакое будущее законное обязательство не заставит его использовать его в направлении, которое сегодня не рассматривается. Это доверие, которое опирается не только на компанию; оно опирается на всю нормативную среду.

Вопрос дизайна, который редко формулируется

Большинство современных технических решений предполагают наличие переключателя и обещают не злоупотреблять им. Существует альтернатива, более требовательная, но вполне осуществимая: проектирование исходя из предположения, что переключателя быть не должно. Это не лозунг. Это подразумевает конкретные решения: распределенная архитектура вместо централизованной, права на устройстве пользователя вместо производных от учетной записи, контент, зашифрованный ключами, которых нет у оператора, вместо контента, зашифрованного ключами, которые хранит оператор, криптографическая идентификация пользователя вместо идентификации, управляемой оператором. Каждое из этих решений имеет реальную техническую стоимость и реальные коммерческие последствия. Но все они обладают одним свойством: будучи принятыми, они исключают определенные судебные приказы как возможный объект. То, что невозможно исполнить, невозможно приказать исполнить.

Для профессионального читателя

Пять вопросов, которые следует задать поставщику любой критически важной профессиональной услуги перед ее внедрением, сформулированные в том порядке, в котором их задал бы инспектор по обеспечению непрерывности бизнеса:

1. Существует ли техническая возможность у провайдера дистанционно приостановить, заблокировать, удалить или ухудшить качество моих услуг, данных или продукта?
2. При каких обстоятельствах, заявленных в договоре, провайдер может воспользоваться этой возможностью?
3. При каких незаявленных обстоятельствах — судебный приказ, международные санкции, одностороннее изменение политики, корпоративное поглощение — он также может ею воспользоваться?
4. В случае ее использования, какое время непрерывности профессиональной деятельности у меня есть и какой план выхода доступен?
5. Существует ли архитектурная альтернатива, в которой ответом на первый вопрос будет «нет» в силу конструкции, а не обещания?

Ответ на пятый вопрос не всегда доступен или соразмерен. Личная электронная таблица, вероятно, не заслуживает такого требования. Активное юридическое досье, история болезни пациента, налоговая отчетность, разговор, защищенный профессиональной тайной, — да. Пропорциональность — это профессиональное решение; честное прочтение первого вопроса — нет: либо выключатель существует, либо нет.

---

Защита, сохраняющая возможность отзыва, не является структурной защитой; это переименованное доверие. Доверие, как мы говорили в другой Тетради, — это действенное социальное решение, когда оно дается тому, кто его заслуживает, но оно хрупко при первой же смене владельца. Самая чистая структурная защита — это та, которую невозможно отозвать, потому что ее изначально не существует. Как и во всем, что касается архитектуры: это выбор дизайна, а не маркетинговое решение.