Kill switch in institucionalno zajetje

Obljuba, ki temelji na možnosti njenega preklica

Leta 2017, med orkanom Irma, je več lastnikov Tesle na Floridi ugotovilo, da je njihov avtomobil ob prejemu oddaljene posodobitve proizvajalca nenadoma pridobil dodatne kilometre dosega. Zanje niso plačali. Baterija jih je vedno lahko zagotovila; proizvajalec se je v namene segmentacije trga odločil, da jih stranki ne omogoči. Med izrednimi razmerami je Tesla začasno aktivirala polno zmogljivost. Po koncu izrednih razmer jo je deaktivirala.

To, kar so novice opisale kot gesto velikodušnosti, je bilo ob natančnem branju nekaj drugega. Lastnik nikoli ni bil lastnik celotnega izdelka, ki ga je plačal. Proizvajalec je obdržal tehnično sposobnost — daljinsko razširitev ali omejitev funkcij — in se v tistem konkretnem primeru odločil, da jo uporabi v korist stranke. Lahko bi se odločil obratno. Zgodba ne govori o dejanje dobrote; govori o arhitekturi moči.

Ta članek se ukvarja s to arhitekturo. Po panonski konvenciji jo imenujemo kill switch: oddaljeno stikalo, ki operaterju omogoča deaktiviranje, spreminjanje ali preklic funkcij izdelka, storitve ali naprave, za katere je uporabnik že verjel, da so njegovi. Vprašanje ni, ali je operater pošten. Vprašanje je, kaj se zgodi, ko preneha biti ali ko ga nekdo prisili v uporabo stikala v drugi smeri.

Kaj točno je kill switch

Izraz izhaja iz angleščine in se težko prevaja: interruptor de muerte zveni dramatično; interruptor remoto zveni preveč nevtralno. Tisto, kar opredeljuje kill switch, ni dramatičnost, temveč preprosta lastnost: tehnična sposobnost deaktivacije nečesa na daljavo, v rokah nekoga, ki ni uporabnik. Lahko gre za popoln izklop —avtomobil, ki ne vžge, datoteka, ki se izbriše, račun, ki se suspendira— ali delni izklop —funkcija, ki izgine, baterija, ki izgubi doseg, naročnina, ki se prekine.

Vsako daljinsko upravljanje ni kill switch. Rutinska varnostna posodobitev, ki jo uporabnik odobri ob namestitvi izdelka, to ni. Prav tako to ni sistem proti kraji, ki ga lahko aktivira lastnik sam ob kraji telefona. Kill switch ima v pravem pomenu tri značilnosti: njegova uporaba je odločitev operaterja in ne uporabnika; za aktivacijo ne zahteva točkovnega soglasja prizadete osebe; in izvaja se nad izdelkom ali storitvijo, ki jo je uporabnik že imel za popolnoma svojo.

Evropska galerija aktivnih stikal

Tesla ta vzorec pogosto ponavlja, v svojem primeru na dokumentiran način: pogodbeno zmanjšanje dosega pri rabljenih vozilih, ki so zamenjala lastnika, odvzem funkcij asistirane vožnje po preklicu licence, enostranske spremembe obnašanja izdelka med različicami strojne programske opreme. John Deere je že leta v središču evropske in ameriške razprave o pravici do popravila: nakup traktorja vključuje programsko plast, katere storitev je odvisna od proizvajalčeve uradne mreže; ko ta mreža zavrne registracijo, traktor omeji osnovne funkcije. BMW je leta 2022 ponudil mesečno naročnino za aktivacijo ogrevanja sedežev v avtomobilih, ki so ga že imeli fizično vgrajenega; pritisk javnosti je prisilil k umiku modela, vendar tehnična zmogljivost ostaja.

Na področju programske opreme je vzorec strukturnen. Adobe Creative Cloud prekliče mesečne licence, ko se naročnina ne obnovi, zaradi česar so datoteke, ki jih je uporabnik ustvaril s temi orodji, neuporabne. Microsoft lahko deaktivira kopije Windows, ki jih ima za neoriginalne, brez praktičnega pravnega sredstva. Google odstranjuje aplikacije iz Play Store ob upoštevanju sodnih nalogov ali notranjih odločitev; odstranjena aplikacija se odstrani tudi s telefonov, na katerih je bila. Apple Pay je bil v Rusiji deaktiviran marca 2022, ko je Apple upošteval mednarodne sankcije: legitimno v tem kontekstu, vendar je bil postopek vedno na voljo.

Legitimen argument na strani proizvajalca

Tisti, ki načrtuje enega od teh sistemov, običajno ponuja povsem veljavne argumente:

1. Preprečevanje kraje. Če mi ukradejo avto ali telefon, cenim dejstvo, da ga proizvajalec lahko na daljavo onemogoči.
2. Preprečevanje prevar. Neplačane naročnine zahtevajo mehanizem izklopa; brez tega mehanizma poslovni model propade.
3. Preprečevanje zlorabe. Nevarno orodje v napačnih rokah ima lahko koristi od možnosti preklica.
4. Skladnost s predpisi. Nekateri pravni nalogi zavezujejo operaterja k odstranitvi vsebine, onemogočanju funkcij ali suspendiranju računov, sistem brez stikala pa je sistem, ki jih ne more izpolniti.

Vsi štirje argumenti so resnični. Nobeden ne spreminja narave zadeve. Res je, da kill switch olajša preprečevanje tatvin; res je tudi, da ta ista zmožnost služi prisili žive stranke, ne le škodovanju tatiču. Res je, da naročniški model potrebuje odklop; res je tudi, da se odklop lahko izvede jutri nad trenutno stranko iz razloga, ki ni predviden v pogodbi. Vprašanje ni, ali ima kill switch legitimne uporabe. Vprašanje je, da ko enkrat obstaja, njegove uporabe niso omejene na tiste, predvidene v začetni dokumentaciji.

Institucionalno zajetje

Tukaj nastopi koncept, ki daje članku naslov. Institucionalno zajetje je situacija, v kateri akter — zasebno podjetje, administracija, regulativni organ — na koncu izvaja zmogljivosti, ki jih je pridobil ali so mu bile podeljene za omejene namene, za širše, drugačne ali odkrito nasprotne namene od prvotnih. Politična ekonomija ta pojav v finančni regulaciji pozna že desetletja. Tehnološka industrija ga odkriva na lastne oči.

Mehanizem je naslednji. Podjetje zasnuje kill switch za legitimne namene: proti kraji, upravljanje naročnin, skladnost. Podjetje te namene dokumentira v svojih pogojih uporabe, v svoji politiki zasebnosti, v svojih javnih sporočilih. Leta tečejo. Vlada izda nalog na podlagi nove zakonodaje; podjetje je prisiljeno uporabiti stikalo v smeri, ki ni opisana v njegovi prvotni dokumentaciji. Aktivistični delničar vstopi v upravni odbor in spremeni komercialno politiko; stikala obstajajo in se uporabljajo v skladu z novo politiko. Podjetje kupi večje podjetje; pogoji storitve se enostransko prepišejo s tridesetdnevnim obvestilom. V vsakem primeru stranka, ki je zaupala stikalu za dokumentirane namene, ugotovi, da je stikalo še vedno tam, vendar se odziva na druge interese.

Paradigmatičen primer za evropskega bralca: primer Apple proti FBI v San Bernardinu leta 2016. Po napadu v Kaliforniji je FBI od podjetja Apple zahteval odklepanje storilčevega iPhona. Apple je to zavrnil, pri čemer se je deloma opiral na načelne argumente in deloma na tehnični argument: sistem, kot je bil zasnovan, ni dopuščal samemu podjetju odkleniti naprave brez ponovnega pisanja osnovne programske opreme. Najtrdnejša obramba ni bila moralna; bila je arhitekturna. Apple se ni zanašal na obljubo, da ne bo pritisnil stikala; zanašal se je na odsotnost stikala. Druga podjetja s stikali v svoji arhitekturi niso mogla ohraniti enakega stališča pred podobnimi pritiski.

Evropska regulativna pot

Evropsko pravo je v zadnjem zakonodajnem obdobju spodbujalo večjo, ne manjšo sposobnost daljinskega upravljanja. Akt o digitalnih storitvah (DSA), ki se v celoti uporablja od februarja 2024, zavezuje platforme, da omogočijo hitre mehanizme za odstranitev vsebine po odredbi pristojnega organa; mehanizme, ki brez osnovne tehnične zmogljivosti ne bi obstajali. Akt o umetni inteligenci (AI Act), ki stopa v veljavo postopoma od avgusta 2024, od ponudnikov nekaterih visokotveganih sistemov UI zahteva ukrepe, ki omogočajo njihovo deaktivacijo ali znaten človeški nadzor: normativna oblika obveznega kill switch-a. Akt o digitalnih trgih (DMA) pa po drugi strani uvaja obveznosti glede interoperabilnosti: nasprotni tok, ki omejuje učinke zaklepanja.

Za evropskega strokovnjaka je iskreno branje naslednje: vprašanje „ali lahko operater zame deaktivira to storitev?“ ima vsako leto več pritrdilnih odgovorov zaradi zakonskih zahtev, ne manj. To ne postavlja pod vprašaj legitimnosti predpisov — DSA se odziva na dejanske težave —, vendar potrjuje eno stvar: zaupanje, da operater ne bo uporabil stikala, zahteva dodatno zaupanje, da ga nobena prihodnja zakonska obveznost ne bo prisilila k uporabi v smeri, ki danes ni predvidena. Gre za zaupanje, ki ne sloni le na podjetju, temveč na celotnem regulativnem okolju.

Vprašanje o oblikovanju, ki je le redko zastavljeno

Večina sodobnega tehničnega načrtovanja predvideva, da bo stikalo obstajalo, in nato obljublja, da ga ne bo zlorabilo. Obstaja alternativa, zahtevnejša, a popolnoma izvedljiva: načrtovanje ob predpostavki, da stikalo ne sme obstajati. To ni slogan. Vključuje konkretne odločitve: porazdeljena arhitektura namesto centralizirane, pravice na napravi uporabnika namesto tistih, ki izhajajo iz računa, vsebina, šifrirana s ključi, ki jih operater nima, namesto vsebine, šifrirane s ključi, ki jih operater hrani, kriptografska identiteta uporabnika namesto identitete, ki jo upravlja operater. Vsaka od teh odločitev ima dejanske tehnične stroške in dejanske komercialne posledice. Vsem pa je skupna ena lastnost: ko so sprejete, izključijo določene pravne odredbe kot možen predmet. Česar ni mogoče izvesti, ni mogoče ukazati izvesti.

Za profesionalnega bralca

Pet vprašanj, ki jih je priporočljivo zastaviti ponudniku katere koli kritične profesionalne storitve pred njeno posvojitvijo, oblikovanih v vrstnem redu, kot bi jih zastavil inšpektor za neprekinjeno poslovanje:

1. Ali obstaja tehnična zmogljivost ponudnika, da na daljavo prekine, blokira, izbriše ali omeji mojo storitev, podatke ali izdelek?
2. V katerih pogodbeno določenih primerih lahko ponudnik izvaja to zmogljivost?
3. V katerih nedoločenih primerih — sodna odredba, mednarodna sankcija, enostranska sprememba politike, korporativni prevzem — jo lahko prav tako izvaja?
4. Če se izvaja, koliko časa za kontinuiteto poklicne dejavnosti imam na voljo in kakšen izhodni načrt je na voljo?
5. Ali obstaja arhitekturna alternativa, kjer bi bil odgovor na prvo vprašanje „ne“ zaradi same zasnove in ne zaradi obljube?

Odgovor na peto vprašanje ni vedno na voljo ali sorazmeren. Osebna preglednica verjetno ne zasluži takšne zahteve. Aktivni pravni spis, zdravstvena dokumentacija pacienta, davčno računovodstvo, deontološko zaščiten pogovor – da. Sorazmernost je profesionalna odločitev; pošteno branje prvega vprašanja ni: ali stikalo obstaja ali pa ga ni.

---

Zaščita, ki ohranja možnost umika, ni strukturna zaščita; je preimenovano zaupanje. Zaupanje je, kot smo rekli v drugem Zvezku, veljavna družbena rešitev, ko se podeli tistemu, ki si ga zasluži, vendar je krhko ob prvi zamenjavi lastnika. Najčistejša strukturna obramba je tista, ki je ni mogoče umakniti, ker sploh ne obstaja. Kot pri vsem v arhitekturi: izbira dizajna, ne marketinška odločitev.