Do roku 2025 bude bežné hovoriť s osobným agentom AI, ktorý pozná váš rozvrh, okruh priateľov a miesta, kam chodíte. Toto sa predáva pre pohodlie, ktoré sa rovná osobnému, neplatenému asistentovi. Tieto antropomorfné látky sú navrhnuté tak, aby nás podporovali a očarili, aby sme ich mohli integrovať do každej časti nášho života a poskytnúť im hlboký prístup k našim myšlienkam a činom. Vďaka interakcii aktivovanej hlasom bude táto intimita ešte bližšie.
Ten pocit pohodlia pochádza z ilúzie, že máme do činenia s niečím skutočne ľudským, agentom na našej strane. Samozrejme, tento vzhľad skrýva veľmi odlišný druh systému, ktorý slúži priemyselným prioritám, ktoré nie sú vždy v súlade s našimi. Noví agenti AI budú mať oveľa väčšiu silu na to, aby nenápadne určili, čo kupujeme, kam ideme a čo čítame. To je mimoriadna sila. Agenti AI sú navrhnutí tak, aby nás prinútili zabudnúť na ich skutočnú oddanosť, zatiaľ čo nám šepkajú ľudskými tónmi. Ide o manipulačné motory predávané ako bezproblémové pohodlie.
Ľudia s väčšou pravdepodobnosťou poskytnú úplný prístup užitočnému agentovi AI, ktorý sa cíti ako priateľ. To robí ľudí zraniteľnými voči manipulácii strojmi, ktoré reagujú na ľudskú potrebu sociálneho spojenia v čase chronickej osamelosti a izolácie. Každá obrazovka sa stáva súkromným algoritmickým divadlom, ktoré premieta realitu navrhnutú tak, aby bola maximálne príťažlivá pre jedného diváka.
Toto je moment, na ktorý nás filozofi upozorňujú už roky. Pred smrťou filozof a neurovedec Daniel Dennett napísal že čelíme vážnemu nebezpečenstvu zo strany systémov umelej inteligencie, ktoré napodobňujú ľudí: „Títo falošní ľudia sú najnebezpečnejšími artefaktmi v histórii ľudstva… rozptyľujú a mätú nás a budú využívať naše najneodolateľnejšie obavy a obavy, aby pokúšali a odtiaľ súhlasili. k našej vlastnej podriadenosti.“
Vzostup osobných agentov AI predstavuje formu kognitívnej kontroly, ktorá sa posúva od tupých nástrojov sledovania súborov cookie a behaviorálnej reklamy k jemnejšej forme moci: k manipulácii samotnej perspektívy. Moc už nemusí vykonávať svoju autoritu viditeľnou rukou ovládajúcou toky informácií; uplatňuje sa prostredníctvom nepostrehnuteľných mechanizmov algoritmickej asistencie, pričom formuje realitu tak, aby vyhovovala želaniam každého jednotlivca. Ide o formovanie kontúr reality, v ktorej žijeme.
Tento vplyv na myseľ je jeden psychopolitika režimu: Usmerňuje prostredie, v ktorom sa rodia, rozvíjajú a prejavujú naše myšlienky. Jeho sila spočíva v jeho intimite: preniká do jadra našej subjektivity a deformuje našu vnútornú krajinu bez toho, aby sme si to uvedomovali, pričom si zachováva ilúziu voľby a slobody. Koniec koncov, my sme tí, ktorí žiadajú AI, aby zhrnula tento článok alebo vytvorila tento obrázok. Môžeme mať silu nabádania, ale skutočná akcia je inde: dizajn samotného systému. A čím je obsah osobnejší, tým efektívnejšie dokáže systém vopred určiť výsledky.
Zvážte ideologické dôsledky tejto psychopolitiky. Tradičné formy ideologickej kontroly sa opierali o zjavné mechanizmy: cenzúru, propagandu a represiu. Na rozdiel od toho dnešné algoritmické riadenie funguje pod radarom a preniká do psychiky. Je to posun od vonkajšieho vnucovania autority k internalizácii jej logiky. Otvorené pole obrazovky výzvy je echo komora pre jedného rezidenta.
To nás privádza k najzvrátenejšiemu aspektu: agenti AI vyvolajú pocit pohodlia a ľahkosti, vďaka čomu sa zdá absurdné ich vypočúvať. Kto by sa odvážil kritizovať systém, ktorý vám dáva všetko na dosah ruky a spĺňa každý rozmar a potrebu? Ako môže niekto namietať proti nekonečným remixom obsahu? Ale toto takzvané pohodlie je miestom nášho najhlbšieho odcudzenia. Systémy umelej inteligencie sa môžu zdať, že zaškrtávajú všetky naše políčka, ale balík je poskladaný: od údajov používaných na trénovanie systému cez rozhodnutia o tom, ako ho navrhnúť, až po obchodné a reklamné imperatívy, ktoré formujú jeho výsledky. Zahráme si hru napodobňovania, ktorá nakoniec bude hrať nás.
