Kill switch og institutionel indfangning

Løftet, der hviler på muligheden for at trække det tilbage

I 2017, under orkanen Irma, opdagede adskillige Tesla-ejere i Florida, at deres bil, ved at modtage en fjernopdatering fra producenten, pludselig fik ekstra kilometers rækkevidde. De havde ikke betalt for dem. Batteriet havde altid kunnet levere dem; producenten havde besluttet, for at segmentere markedet, ikke at give kunden lov. Under nødsituationen aktiverede Tesla den fulde kapacitet midlertidigt. Da nødsituationen var ovre, deaktiverede de den igen.

Hvad nyhederne beskrev som en generøs gestus, var ved nærmere eftersyn noget andet. Ejeren havde aldrig været ejer af hele det produkt, han betalte for. Producenten bevarede en teknisk kapacitet — at udvide eller reducere funktioner på afstand — og valgte at udøve den til fordel for kunden i dette specifikke tilfælde. De kunne have valgt det modsatte. Historien fortæller ikke om en god gerning; den fortæller om en magtarkitektur.

Denne artikel beskæftiger sig med denne arkitektur. Vi kalder det, efter branchekonvention, kill switch: fjernafbryderen, der gør det muligt for operatøren at deaktivere, ændre eller trække funktioner tilbage fra et produkt, en tjeneste eller en enhed, som brugeren allerede troede var hans. Spørgsmålet er ikke, om operatøren er ærlig. Spørgsmålet er, hvad der sker, når han holder op med at være det, eller når nogen tvinger ham til at bruge kontakten i en anden retning.

Hvad er en kill switch helt præcist

Udtrykket kommer fra engelsk og er svært at oversætte: interruptor de muerte lyder dramatisk; interruptor remoto lyder for neutralt. Det, der definerer en kill switch, er ikke dramatikken, men en enkel egenskab: den tekniske evne til at deaktivere noget på afstand, i hænderne på en anden end brugeren, der benytter det. Det kan være en fuldstændig lukning —bilen, der ikke starter, filen, der bliver slettet, kontoen, der bliver suspenderet— eller en delvis lukning —funktionen, der forsvinder, batteriet, der mister rækkevidde, abonnementet, der bliver afbrudt.

Ikke al fjernstyring er en kill switch. En rutinemæssig sikkerhedsopdatering, autoriseret af brugeren ved installation af produktet, er det ikke. Det er et tyverisikringssystem, som ejeren selv kan aktivere, når telefonen bliver stjålet, heller ikke. En kill switch har i egentlig forstand tre træk: dens brug er operatørens beslutning, ikke brugerens; den kræver ikke specifikt samtykke fra den berørte part for at blive aktiveret; og den udøves over et produkt eller en tjeneste, som brugeren allerede anså for at være helt sin egen.

Det europæiske galleri over aktive afbrydere

Tesla gentager ofte mønsteret, i deres tilfælde på dokumenteret vis: kontraktmæssige forringelser af rækkevidde anvendt på brugte køretøjer, der har skiftet ejer, fjernelse af assistentkørselsfunktioner efter tilbagekaldelse af licens, ensidige ændringer af produktets adfærd mellem firmwareversioner. John Deere har i årevis været i centrum for den europæiske og amerikanske debat om retten til reparation: købet af traktoren inkluderer et softwarelag, hvis service afhænger af producentens officielle netværk; når dette netværk nægter registrering, reducerer traktoren væsentlige funktioner. BMW tilbød i 2022 et månedligt abonnement for at aktivere sædevarme i biler, der allerede havde det fysisk installeret; det offentlige pres tvang dem til at trække modellen tilbage, men den tekniske kapacitet består.

Inden for software er mønsteret strukturelt. Adobe Creative Cloud tilbagekalder månedlige licenser, når abonnementet ikke fornyes, hvilket gør filer, som brugeren har oprettet med disse værktøjer, ubrugelige. Microsoft kan deaktivere kopier af Windows, som de anser for ikke at være ægte, uden praktisk klagemulighed. Google fjerner applikationer fra Play Store i overensstemmelse med retsordrer eller interne beslutninger; den afinstallerede applikation afinstalleres også fra de telefoner, hvor den var installeret. Apple Pay blev deaktiveret i Rusland i marts 2022, da Apple overholdt internationale sanktioner: legitimt i konteksten, men proceduren var altid tilgængelig.

Det legitime argument fra producentens side

Den, der designer et af disse systemer, tilbyder normalt helt gyldige argumenter:

1. Forebyggelse af tyveri. Hvis min bil eller telefon bliver stjålet, værdsætter jeg, at producenten kan gøre den ubrugelig på afstand.
2. Forebyggelse af svindel. Ubetalte abonnementer kræver en afbrydelsesmekanisme; uden denne mekanisme bryder forretningsmodellen sammen.
3. Forebyggelse af misbrug. Et farligt værktøj i de forkerte hænder kan drage fordel af at kunne tilbagekaldes.
4. Overholdelse af regler. Visse juridiske ordrer forpligter operatøren til at fjerne indhold, deaktivere funktioner eller suspendere konti, og et system uden en afbryder er et system, der ikke kan overholde dem.

De fire argumenter er sande. Ingen af dem ændrer sagens natur. Det er sandt, at en kill switch letter forebyggelse af tyveri; det er også sandt, at den samme egenskab tjener til at tvinge den levende kunde, ikke kun til at skade tyven. Det er sandt, at abonnementsmodellen har brug for en afbrydelse; det er også sandt, at afbrydelsen kan udføres i morgen på en nuværende kunde af en anden grund end den, der er forudset i kontrakten. Spørgsmålet er ikke, om kill switch har legitime anvendelser. Spørgsmålet er, at når den først eksisterer, er dens anvendelser ikke begrænset til dem, der er forudset i den oprindelige dokumentation.

Institutionel indfangning

Her kommer det koncept ind, der giver artiklen dens titel. Institutionel indfangning er den situation, hvor en aktør — en privat virksomhed, en administration, et tilsynsorgan — ender med at udøve kapaciteter, som den erhvervede eller fik tildelt til begrænsede formål, til bredere formål, andre formål eller direkte modsatte formål end de oprindelige. Den politiske økonomi har kendt fænomenet i årtier inden for finansiel regulering. Teknologiindustrien opdager det nu på egen krop.

Mekanismen er følgende. Virksomheden designer kill switch til legitime formål: tyverisikring, abonnementsstyring, overholdelse. Virksomheden dokumenterer disse formål i sine brugsbetingelser, i sin privatlivspolitik, i sine offentlige meddelelser. Årene går. En regering udsteder en ordre under en ny lovgivning; virksomheden tvinges til at bruge afbryderen i en retning, der ikke er beskrevet i dens oprindelige dokumentation. En aktivistisk aktionær træder ind i bestyrelsen og ændrer den kommercielle politik; afbryderne eksisterer, og de anvendes i henhold til den nye politik. Virksomheden opkøbes af en større virksomhed; servicevilkårene omskrives ensidigt med tredive dages varsel. I hvert tilfælde opdager kunden, der stolede på afbryderen til de dokumenterede formål, at afbryderen stadig er der, men svarer til andre interesser.

Det paradigmatiske eksempel for den europæiske læser: Apple mod FBI-sagen i San Bernardino i 2016. Efter et angreb i Californien krævede FBI, at Apple låste en iPhone op, der tilhørte gerningsmanden. Apple nægtede og anførte dels principielle argumenter og dels et teknisk argument: Systemet, som det var designet, tillod ikke virksomheden selv at låse enheden op uden at omskrive basissoftwaren. Det stærkeste forsvar var ikke moralsk; det var arkitektonisk. Apple støttede sig ikke på løftet om ikke at trykke på afbryderen; de støttede sig på fraværet af afbryderen. Andre virksomheder med afbrydere til stede i deres arkitektur har ikke kunnet opretholde den samme position over for tilsvarende pres.

Den europæiske regulatoriske bane

Europæisk lovgivning har i den seneste valgperiode presset på for flere fjernstyringskapaciteter, ikke færre. Forordningen om digitale tjenester (DSA), der er fuldt gældende fra februar 2024, forpligter platforme til at muliggøre hurtige mekanismer til fjernelse af indhold efter ordre fra en kompetent myndighed; mekanismer, der ikke ville eksistere uden den underliggende tekniske kapacitet. Forordningen om kunstig intelligens (AI Act), der træder i kraft etapevis fra august 2024, kræver, at udbydere af visse AI-systemer med høj risiko har foranstaltninger, der tillader deaktivering eller betydeligt menneskeligt tilsyn: en normativ form for obligatorisk kill switch. Forordningen om digitale markeder (DMA) indfører derimod forpligtelser til interoperabilitet: en modsat strømning, der begrænser virkningerne af blokering.

For den europæiske professionelle er den ærlige læsning følgende: Spørgsmålet "kan operatøren deaktivere denne tjeneste for mig?" har hvert år flere bekræftende svar på grund af lovkrav, ikke færre. Dette stiller ikke spørgsmålstegn ved lovgivningens legitimitet — DSA reagerer på reelle problemer — men det forstærker én ting: At stole på, at operatøren ikke vil bruge kontakten, kræver også tillid til, at ingen fremtidig juridisk forpliktelse vil tvinge vedkommende til at bruge den i en retning, som ikke forudses i dag. Det er en tillid, der ikke kun hviler på virksomheden; den hviler på hele det lovgivningsmæssige miljø.

Designspørgsmålet, der sjældent stilles

Størstedelen af moderne teknisk design antager, at kontakten vil eksistere, og lover efterfølgende ikke at misbruge den. Der findes et alternativ, som er mere krævende, men fuldt ud gennemførligt: at designe ud fra den antagelse, at kontakten ikke bør eksistere. Det er ikke et slogan. Det indebærer konkrete beslutninger: distribueret arkitektur frem for centraliseret, rettigheder på brugerens enhed frem for rettigheder afledt af kontoen, indhold krypteret med nøgler, som operatøren ikke har, frem for indhold krypteret med nøgler, som operatøren opbevarer, brugerens kryptografiske identitet frem for en identitet, der administreres af operatøren. Hver af disse beslutninger har reelle tekniske omkostninger og reelle kommercielle konsekvenser. Men de deler alle én egenskab: Når de først er truffet, eliminerer de visse juridiske ordrer som mulige objekter. Det, der ikke kan udføres, kan der ikke gives ordre til at udføre.

Til den professionelle læser

Fem spørgsmål, som man bør stille udbyderen af enhver kritisk professionel tjeneste, før man tager den i brug, formuleret i den rækkefølge, som en inspektør for forretningskontinuitet ville stille dem:

1. Eksisterer der en teknisk kapacitet hos udbyderen til at suspendere, blokere, slette eller forringe min tjeneste, mine data eller mit produkt på afstand?
2. Under hvilke kontraktligt erklærede omstændigheder kan udbyderen udøve denne kapacitet?
3. Under hvilke ikke-erklærede omstændigheder — retskendelse, international sanktion, ensidig ændring af politik, virksomhedsopkøb — kan vedkommende også udøve den?
4. Hvis den udøves, hvilken tid til kontinuitet i den professionelle aktivitet har jeg så, og hvilken exit-plan er tilgængelig?
5. Findes der et arkitektonisk alternativ, hvor svaret på spørgsmål ét er "nej" i kraft af konstruktionen, ikke i kraft af et løfte?

Svaret på spørgsmål fem er ikke altid tilgængeligt eller proportionalt. Et personligt regneark fortjener sandsynligvis ikke det krav. En aktiv juridisk sag, en patients journal, et skatteregnskab, en deontologisk beskyttet samtale – ja. Proportionalitet er en professionel beslutning; en ærlig læsning af spørgsmål ét er ikke: enten findes afbryderen, eller også gør den ikke.

---

Beskyttelse, der bevarer muligheden for at blive trukket tilbage, er ikke strukturel beskyttelse; det er omdøbt tillid. Tillid er, som vi har sagt i et andet Hæfte, en gyldig social løsning, når den gives til dem, der fortjener den, men den er skrøbelig ved det første ejerskifte. Det reneste strukturelle forsvar er det, der ikke kan trækkes tilbage, fordi det slet ikke eksisterer i første omgang. Som med alt i arkitektur: et designvalg, ikke en marketingbeslutning.