Kill switch i institucionalno zarobljavanje

Obećanje koje počiva na mogućnosti njegovog povlačenja

U 2017. godini, tijekom uragana Irma, nekoliko vlasnika Tesle na Floridi otkrilo je da je njihov automobil, nakon što je primio daljinsko ažuriranje od proizvođača, odjednom dobio dodatne kilometre autonomije. Nisu ih platili. Baterija ih je oduvijek mogla pružiti; proizvođač je odlučio, u svrhu segmentacije tržišta, to ne dopustiti kupcu. Tijekom hitne situacije Tesla je privremeno aktivirala puni kapacitet. Nakon što je hitna situacija prošla, deaktivirala ga je.

Ono što su vijesti opisale kao gestu velikodušnosti bilo je, pažljivo pročitano, nešto drugo. Vlasnik nikada nije bio vlasnik cijelog proizvoda koji je platio. Proizvođač je zadržao tehničku sposobnost — daljinsko proširenje ili smanjenje značajki — i odabrao ju je iskoristiti u korist kupca u tom konkretnom slučaju. Mogao je odabrati suprotno. Priča ne govori o činu dobrote; govori o arhitekturi moći.

Ovaj se članak bavi tom arhitekturom. Nazivamo je, prema industrijskoj konvenciji, kill switch: daljinski prekidač koji operateru omogućuje deaktiviranje, izmjenu ili povlačenje značajki proizvoda, usluge ili uređaja za koje je korisnik već vjerovao da su njegovi. Pitanje nije je li operater pošten. Pitanje je što se događa kada to prestane biti ili kada ga netko prisili da upotrijebi prekidač u drugom smjeru.

Što je točno kill switch

Izraz dolazi iz engleskog jezika i teško ga je prevesti: interruptor de muerte zvuči dramatično; interruptor remoto zvuči previše neutralno. Ono što definira kill switch nije dramatičnost, već jednostavno svojstvo: tehnička sposobnost deaktiviranja nečega na daljinu, u rukama nekoga tko nije korisnik koji to koristi. To može biti potpuno gašenje —automobil koji ne pali, datoteka koja se briše, račun koji se suspendira— ili djelomično gašenje —funkcija koja nestaje, baterija koja gubi domet, pretplata koja se prekida.

Nije svako daljinsko upravljanje kill switch. Rutinsko sigurnosno ažuriranje, koje je korisnik autorizirao prilikom instalacije proizvoda, to nije. Kao što to nije ni sustav protiv krađe koji vlasnik sam može aktivirati kada mu ukradu telefon. Kill switch, u pravom smislu, ima tri značajke: njegovo korištenje je odluka operatera, a ne korisnika; ne zahtijeva točnu privolu pogođene osobe za aktivaciju; i provodi se na proizvodu ili usluzi koju je korisnik već smatrao u potpunosti svojom.

Europska galerija aktivnih prekidača

Tesla često ponavlja taj obrazac, u svom slučaju dokumentirano: ugovorna smanjenja dometa primijenjena na rabljena vozila koja su promijenila vlasnika, uklanjanje funkcija potpomognute vožnje nakon opoziva licence, jednostrane izmjene ponašanja proizvoda između verzija firmwarea. John Deere je godinama u središtu europske i američke rasprave o pravu na popravak: kupnja traktora uključuje softverski sloj čija usluga ovisi o službenoj mreži proizvođača; kada ta mreža odbije registraciju, traktor smanjuje osnovne funkcije. BMW je 2022. ponudio mjesečnu pretplatu za aktiviranje grijanja sjedala u automobilima koji su ga već imali fizički instalirano; pritisak javnosti prisilio je na povlačenje modela, ali tehnička sposobnost ostaje.

Na razini softvera, obrazac je strukturan. Adobe Creative Cloud opoziva mjesečne licence kada se pretplata ne obnovi, ostavljajući neupotrebljivima datoteke koje je korisnik izradio tim alatima. Microsoft može deaktivirati kopije Windowsa koje smatra neoriginalnima, bez praktičnog pravnog lijeka. Google uklanja aplikacije iz Play Storea pridržavajući se sudskih naloga ili internih odluka; deinstalirana aplikacija deinstalira se i s telefona na kojima se nalazila. Apple Pay deaktiviran je u Rusiji u ožujku 2022. jer je Apple poštovao međunarodne sankcije: legitimno u tom kontekstu, ali postupak je uvijek bio dostupan.

Legitiman argument sa strane proizvođača

Tko god dizajnira jedan od ovih sustava, obično nudi sasvim valjane argumente:

1. Sprječavanje krađe. Ako mi ukradu automobil ili telefon, cijenim činjenicu da ga proizvođač može daljinski onesposobiti.
2. Sprječavanje prijevare. Neplaćene pretplate zahtijevaju mehanizam prekida; bez tog mehanizma, poslovni model se urušava.
3. Sprječavanje zlouporabe. Opasan alat u pogrešnim rukama može imati koristi od mogućnosti opoziva.
4. Usklađenost s propisima. Određeni pravni nalozi obvezuju operatera na uklanjanje sadržaja, onemogućavanje funkcija ili suspendiranje računa, a sustav bez prekidača je sustav koji ih ne može ispuniti.

Sva četiri argumenta su istinita. Nijedan ne mijenja prirodu stvari. Istina je da kill switch olakšava sprječavanje krađe; također je istina da ta ista sposobnost služi za prisiljavanje živog klijenta, a ne samo za nanošenje štete lopovu. Istina je da model pretplate zahtijeva prekid; također je istina da se prekid može izvršiti sutra nad trenutnim klijentom iz razloga koji nije predviđen ugovoru. Pitanje nije ima li kill switch legitimne uporabe. Pitanje je da, jednom kada postoji, njegove uporabe nisu ograničene na one predviđene u početnoj dokumentaciji.

Institucionalno zarobljavanje

Ovdje ulazi koncept koji daje naslov članku. Institucionalno zarobljavanje je situacija u kojoj akter — privatna tvrtka, administracija, regulatorno tijelo — završi izvršavajući sposobnosti koje je stekao ili su mu dodijeljene za ograničene svrhe u šire svrhe, različite ili otvoreno suprotne izvornima. Politička ekonomija poznaje ovaj fenomen desetljećima u financijskoj regulaciji. Tehnološka industrija ga otkriva vlastitom rukom.

Mehanizam je sljedeći. Tvrtka dizajnira kill switch za legitimne svrhe: protiv krađe, upravljanje pretplatama, usklađenost. Tvrtka dokumentira te svrhe u svojim uvjetima korištenja, u svojoj politici privatnosti, u svojim javnim porukama. Prolaze godine. Vlada izdaje nalog prema novom zakonodavstvu; tvrtka je prisiljena koristiti prekidač u smjeru koji nije opisan u njezinoj izvornoj dokumentaciji. Aktivistički dioničar ulazi u upravni odbor i mijenja komercijalnu politiku; prekidači postoje i primjenjuju se prema novoj politici. Tvrtku preuzima veća tvrtka; uvjeti pružanja usluge se jednostrano prepisuju uz obavijest od trideset dana. U svakom slučaju, klijent koji je vjerovao prekidaču za dokumentirane svrhe otkriva da je prekidač i dalje tamo, ali odgovara drugim interesima.

Paradigmatičan slučaj za europskog čitatelja: slučaj Apple protiv FBI-a u San Bernardinu 2016. godine. Nakon napada u Kaliforniji, FBI je tražio od Applea da otključa iPhone počinitelja. Apple je to odbio, iznoseći dijelom argumente principa, a dijelom tehnički argument: sustav, onako kako je bio dizajniran, nije dopuštao samoj tvrtki da otključa uređaj bez ponovnog pisanja osnovnog softvera. Najčvršća obrana nije bila moralna; bila je arhitektonska. Apple se nije oslanjao na obećanje da neće pritisnuti prekidač; oslanjao se na odsutnost prekidača. Druge tvrtke, s prekidačima prisutnim u svojoj arhitekturi, nisu mogle zadržati istu poziciju pred sličnim pritiscima.

Europska regulatorna putanja

Europsko pravo u posljednjem je zakonodavnom mandatu guralo prema većim mogućnostima daljinskog upravljanja, a ne manjim. Akt o digitalnim uslugama (DSA), koji se u potpunosti primjenjuje od veljače 2024., obvezuje platforme da omoguće brze mehanizme za uklanjanje sadržaja po nalogu nadležnog tijela; mehanizme koji ne bi postojali bez osnovne tehničke sposobnosti. Akt o umjetnoj inteligenciji (AI Act), koji stupa na snagu postupno od kolovoza 2024., zahtijeva od pružatelja određenih visokorizičnih sustava UI da raspolažu mjerama koje omogućuju njihovu deaktivaciju ili značajan ljudski nadzor: normativni oblik obveznog kill switch-a. Akt o digitalnim tržištima (DMA), s druge strane, uvodi obveze interoperabilnosti: suprotnu struju koja ograničava učinke blokiranja.

Za europskog stručnjaka iskreno čitanje je sljedeće: pitanje „može li operater deaktivirati ovu uslugu za mene?” svake godine ima sve više potvrdnih odgovora zbog zakonskih zahtjeva, a ne manje. To ne dovodi u pitanje legitimnost propisa — DSA odgovara na stvarne probleme —, ali pojačava jednu stvar: povjerenje da operater neće koristiti prekidač zahtijeva i povjerenje da ga nikakva buduća zakonska obveza neće prisiliti da ga koristi u smjeru koji se danas ne predviđa. To je povjerenje koje ne počiva samo na tvrtki; ono počiva na cijelom regulatornom okruženju.

Pitanje dizajna koje se rijetko postavlja

Većina suvremenog tehničkog dizajna pretpostavlja da će prekidač postojati i zatim obećava da ga neće zloupotrijebiti. Postoji alternativa, zahtjevnija, ali savršeno izvediva: dizajniranje uz pretpostavku da prekidač ne smije postojati. To nije slogan. To podrazumijeva konkretne odluke: distribuirana arhitektura naspram centralizirane, prava na uređaju korisnika naspram onih izvedenih iz računa, sadržaj šifriran ključevima koje operater nema naspram onog šifriranog ključevima koje operater čuva, kriptografski identitet korisnika naspram identiteta kojim upravlja operater. Svaka od tih odluka ima stvarnu tehničku cijenu i stvarne komercijalne posljedice. No sve one dijele jedno svojstvo: jednom donesene, eliminiraju određene zakonske naloge kao mogući objekt. Ono što se ne može izvršiti, ne može se narediti da se izvrši.

Za profesionalnog čitatelja

Pet pitanja koja bi trebalo postaviti pružatelju bilo koje kritične profesionalne usluge prije njezina usvajanja, formuliranih redoslijedom kojim bi ih postavio inspektor kontinuiteta poslovanja:

1. Postoji li tehnička sposobnost pružatelja da daljinski obustavi, blokira, izbriše ili degradira moju uslugu, podatke ili proizvod?
2. U kojim ugovorno deklariranim slučajevima pružatelj može izvršiti tu sposobnost?
3. U kojim nedeklariranim slučajevima — sudski nalog, međunarodna sankcija, jednostrana promjena politike, korporativno preuzimanje — je također može izvršiti?
4. Ako se ona izvrši, koje vrijeme kontinuiteta profesionalne djelatnosti imam i koji je plan izlaska dostupan?
5. Postoji li arhitektonska alternativa gdje je odgovor na prvo pitanje „ne” samom konstrukcijom, a ne obećanjem?

Odgovor na peto pitanje nije uvijek dostupan ili razmjeran. Osobna proračunska tablica vjerojatno ne zaslužuje takav zahtjev. Aktivni pravni spis, medicinska povijest pacijenta, porezno računovodstvo, deontološki zaštićen razgovor – da. Razmjernost je profesionalna odluka; pošteno čitanje prvog pitanja nije: ili prekidač postoji, ili ne postoji.

---

Zaštita koja zadržava mogućnost povlačenja nije strukturna zaštita; to je preimenovano povjerenje. Povjerenje je, kao što smo rekli u drugoj Bilježnici, valjano društveno rješenje kada se daje onome tko ga zaslužuje, ali je krhko pri prvoj promjeni vlasnika. Najčišća strukturna obrana je ona koja se ne može povući jer uopće ne postoji. Kao i sa svime u arhitekturi: izbor dizajna, a ne marketinška odluka.