Kill switch og institusjonell fangst

Løftet som hviler på muligheten for å trekke det tilbake

I 2017, under orkanen Irma, oppdaget flere Tesla-eiere i Florida at bilen deres, ved å motta en fjernoppdatering fra produsenten, plutselig fikk ekstra kilometers rekkevidde. De hadde ikke betalt for dem. Batteriet hadde alltid kunnet levere dem; produsenten hadde bestemt, for å segmentere markedet, å ikke la kunden få dem. Under nødssituasjonen aktiverte Tesla den fulle kapasiteten midlertidig. Da nødssituasjonen var over, deaktiverte de den igjen.

Det nyhetene beskrev som en sjenerøs gest, var ved nærmere ettersyn noe annet. Eieren hadde aldri eid hele produktet de betalte for. Produsenten beholdt en teknisk kapasitet — til å utvide eller redusere funksjoner på avstand — og valgte å bruke den til fordel for kunden i det spesifikique tilfellet. De kunne ha valgt det motsatte. Historien forteller ikke om en god gjerning; den forteller om en maktarkitektur.

Denne artikkelen tar for seg denne arkitekturen. Vi kaller det, etter bransjekonvensjon, kill switch: fjernbryteren som gjør det mulig for operatøren å deaktivere, endre eller trekke tilbake funksjoner fra et produkt, en tjeneste eller en enhet som brukeren allerede trodde var hans. Spørsmålet er ikke om operatøren er ærlig. Spørsmålet er hva som skjer når han slutter å være det, eller når noen tvinger ham til å bruke bryteren i en annen retning.

Hva er en kill switch helt nøyaktig

Begrepet kommer fra engelsk og er vanskelig å oversette: interruptor de muerte høres dramatisk ut; interruptor remoto høres for nøytralt ut. Det som definerer en kill switch er ikke dramatikken, men en enkel egenskap: den tekniske evnen til å deaktivere noe på avstand, i hendene på noen andre enn brukeren som benytter det. Det kan være en fullstendig stengning —bilen som ikke starter, filen som slettes, kontoen som suspenderes— eller en delvis stengning —funksjonen som forsvinner, batteriet som mister rekkevidde, abonnementet som avbrytes.

Ikke all fjernstyring er en kill switch. En rutinemessig sikkerhetsoppdatering, godkjent av brukeren ved installasjon av produktet, er ikke det. Heller ikke et tyverisikringssystem som eieren selv kan aktivere når telefonen blir stjålet. En kill switch har i egentlig forstand tre trekk: bruken er operatørens beslutning, ikke brukerens; den krever ikke spesifikt samtykke fra den berørte parten for å aktiveres; og den utøves over et produkt eller en tjeneste som brukeren allerede anså som sin egen.

Det europeiske galleriet over aktive brytere

Tesla gjentar mønsteret ofte, i deres tilfelle på dokumentert vis: kontraktsmessige forringelser av rekkevidde anvendt på brukte kjøretøy som har byttet eier, fjerning av assisterte kjørefunksjoner etter tilbakekalling av lisens, ensidige endringer i produktets oppførsel mellom fastvareversjoner. John Deere har i årevis vært i sentrum av den europeiske og amerikanske debatten om retten til reparasjon: kjøp av traktoren inkluderer et programvarelag hvis tjeneste avhenger av produsentens offisielle nettverk; når dette nettverket nekter registrering, reduserer traktoren viktige funksjoner. BMW tilbød i 2022 et månedlig abonnement for å aktivere setevarme i biler som allerede hadde det fysisk installert; offentlig press tvang dem til å trekke modellen, men den tekniske kapasiteten består.

Innenfor programvare er mønsteret strukturelt. Adobe Creative Cloud tilbakekaller månedlige lisenser når abonnementet ikke fornyes, noe som gjør filer brukeren opprettet med disse verktøyene ubrukelige. Microsoft kan deaktivere kopier av Windows som de anser som uekte, uten praktiske klagemuligheter. Google fjerner applikasjoner fra Play Store i samsvar med rettsordrer eller interne beslutninger; den avinstallerte applikasjonen avinstalleres også fra telefonene der den var. Apple Pay ble deaktivert i Russland i mars 2022 da Apple overholdt internasjonale sanksjoner: legitimt i sammenhengen, men prosedyren var alltid tilgjengelig.

Det legitime argumentet fra produsentens side

Den som designer et av disse systemene, tilbyr vanligvis helt gyldige argumenter:

1. Forebygging av tyveri. Hvis min bil eller telefon blir stjålet, verdsetter jeg at produsenten kan gjøre den ubrukelig på avstand.
2. Forebygging av svindel. Ubetalte abonnementer krever en avstengningsmekanisme; uten denne mekanismen bryter forretningsmodellen sammen.
3. Forebygging av misbruk. Et farlig verktøy i feil hender kan ha fordel av å kunne tilbakekalles.
4. Reguleringsetterlevelse. Enkelte juridiske pålegg tvinger operatøren til å fjerne innhold, deaktivere funksjoner eller suspendere kontoer, og et system uten en bryter er et system som ikke kan etterkomme dem.

De fire argumentene er sanne. Ingen av dem endrer sakens natur. Det er sant at en kill switch letter forebygging av tyveri; det er også sant at denne samme egenskapen tjener til å tvinge den levende kunden, ikke bare til å skade tyven. Det er sant at abonnementsmodellen trenger en avstengning; det er også sant at avstengningen kan utføres i morgen overfor en nåværende kunde av en annen grunn enn den som er forutsett i kontrakten. Spørsmålet er ikke om kill switch har legitime bruksområder. Spørsmålet er at når den først eksisterer, er bruken ikke begrenset til de som er forutsett i den opprinnelige dokumentasjonen.

Institusjonell fangst

Her kommer konseptet inn som gir artikkelen dens tittel. Institusjonell fangst er situasjonen der en aktør — et privat selskap, en administrasjon, et tilsynsorgan — ender opp med å utøve kapasiteter som den ervervet eller fikk tildelt for begrensede formål, til bredere formål, andre formål, eller direkte motsatte formål enn de opprinnelige. Politisk økonomi har kjent fenomenet i tiår innen finansiell regulering. Teknologiindustrien oppdager det nå på egen kropp.

Mekanismen er som følger. Selskapet designer kill switch for legitime formål: tyverisikring, abonnementshåndtering, etterlevelse. Selskapet dokumenterer disse formålene i sine brukervilkår, i sin personvernerklæring, i sine offentlige meldinger. Årene går. En regjering utsteder et pålegg under en ny lovgivning; selskapet tvinges til å bruke bryteren i en retning som ikke er beskrevet i den opprinnelige dokumentasjonen. En aktivistisk aksjonær kommer inn i styret og endrer den kommersielle politikken; bryterne eksisterer, og de brukes i henhold til den nye politikken. Selskapet blir kjøpt opp av et større; tjenestevilkårene skrives om ensidig med tretti dagers varsel. I hvert tilfelle oppdager kunden som stolte på bryteren for de dokumenterte formålene, at bryteren fortsatt er der, men svarer til andre interesser.

Det paradigmatiske eksempelet for den europeiske leseren: Apple mot FBI-saken i San Bernardino i 2016. Etter et angrep i California krevde FBI at Apple låste opp en iPhone som tilhørte gjerningspersonen. Apple nektet, og anførte dels prinsipielle argumenter og dels et teknisk argument: Systemet, slik det var designet, tillot ikke selskapet selv å låse opp enheten uten å skrive om basisprogramvaren. Det mest solide forsvaret var ikke moralsk; det var arkitektonisk. Apple støttet seg ikke på løftet om ikke å trykke på bryteren; de støttet seg på fraværet av bryteren. Andre selskaper, med brytere til stede i sin arkitektur, har ikke kunnet opprettholde den samme posisjonen overfor tilsvarende press.

Den europeiske regulatoriske banen

Europeisk rett har i den siste lovgivningsperioden presset på for flere fjernstyringsmuligheter, ikke færre. Forordningen om digitale tjenester (DSA), som er fullt anvendelig fra februar 2024, forplikter plattformer til å muliggjøre raske mekanismer for fjerning av innhold etter pålegg fra kompetent myndighet; mekanismer som ikke ville eksistert uten den underliggende tekniske kapasiteten. Forordningen om kunstig intelligens (AI Act), som trer i kraft gradvis fra august 2024, krever at leverandører av visse AI-systemer med høy risiko har tiltak som tillater deaktivering eller betydelig menneskelig tilsyn: en normativ form for obligatorisk kill switch. Forordningen om digitale markeder (DMA) innfører derimot forpliktelser om interoperabilitet: en motsatt strømning som begrenser innelåsingseffekter.

For den europeiske profesjonelle er den ærlige lesningen følgende: Spørsmålet «kan operatøren deaktivere denne tjenesten for meg?» får hvert år flere bekreftende svar på grunn av lovkrav, ikke færre. Dette stiller ikke spørsmål ved legitimiteten til regelverket — DSA svarer på reelle problemer —, men det forsterker én ting: Å stole på at operatøren ikke vil bruke bryteren, krever i tillegg tillit til at ingen fremtidig juridisk forpliktelse vil tvinge dem til å bruke den i en retning som ikke forutses i dag. Det er en tillit som ikke bare hviler på selskapet; den hviler på hele det regulatoriske miljøet.

Designspørsmålet som sjelden stilles

Mesteparten av moderne teknisk design antar at bryteren vil eksistere, og lover deretter å ikke misbruke den. Det finnes et alternativ, mer krevende, men fullt ut gjennomførbart: å designe ut fra antagelsen om at bryteren ikke bør eksistere. Det er ikke et slagord. Det innebærer konkrete beslutninger: distribuert versus sentralisert arkitektur, rettigheter på brukerens enhet versus rettigheter avledet fra kontoen, innhold kryptert med nøkler som operatøren ikke har, versus innhold kryptert med nøkler som operatøren beholder, brukerens kryptografiske identitet versus identitet administrert av operatøren. Hver av disse beslutningene har en reell teknisk kostnad og reelle kommersielle konsekvenser. Men alle deler én egenskap: Når de først er tatt, eliminerer de visse juridiske pålegg som mulige objekter. Det som ikke kan utføres, kan det ikke gis pålegg om å utføre.

For den profesjonelle leseren

Fem spørsmål man bør stille leverandøren av enhver kritisk profesjonell tjeneste før man tar den i bruk, formulert i den rekkefølgen en inspektør for forretningskontinuitet ville stilt dem:

1. Eksisterer det en teknisk kapasitet hos leverandøren til å suspendere, blokkere, slette eller forringe min tjeneste, mine data eller mitt produkt på avstand?
2. Under hvilke kontraktsfestede forutsetninger kan leverandøren utøve denne kapasiteten?
3. Under hvilke ikke-erklærte forutsetninger — rettslig pålegg, internasjonal sanksjon, ensidig endring av retningslinjer, bedriftsoppkjøp — kan de også utøve den?
4. Hvis den utøves, hvilken tid for kontinuitet i profesjonell aktivitet har jeg, og hvilken exit-plan er tilgjelig?
5. Finnes det et arkitektonisk alternativ der svaret på spørsmål én er «nei» ved konstruksjon, ikke ved løfte?

Svaret på spørsmål fem er ikke alltid tilgjengelig eller proporsjonalt. Et personlig regneark fortjener sannsynligvis ikke det kravet. En aktiv juridisk mappe, en pasients medisinske historie, et skatteregnskap, en deontologisk beskyttet samtale – ja. Proporsjonalitet er en profesjonell beslutning; en ærlig lesning av spørsmål én er ikke: enten finnes bryteren, eller så gjør den ikke.

---

Beskyttelse som beholder muligheten for tilbaketrekking, er ikke strukturell beskyttelse; det er tillit med nytt navn. Tillit er, som vi har sagt i et annet Hefte, en gyldig sosial løsning når den gis til dem som fortjener den, men den er sårbar ved det første eierskiftet. Det reneste strukturelle forsvaret er det som ikke kan trekkes tilbake fordi det overhode ikke eksisterer i utgangspunktet. Som med alt i arkitektur: et designvalg, ikke en markedsføringsbeslutning.