Ako sa objavujú chatboty s umelou inteligenciou, ktoré poskytujú informácie v rôznych aplikáciách, výskumníci z Washingtonskej univerzity vyvinuli nový spôsob, ako doladiť svoje reakcie.
s názvom “Učenie s premenlivými preferenciami“, cieľom metódy je tvarovať výstup veľkého jazykového modelu tak, aby lepšie vyhovoval individuálnemu používateľovi na základe jeho vyjadrených preferencií.
Systémy AI sú trénované na súboroch údajov, ktoré obsahujú vstavané predsudky a nevhodné informácie, ktoré sa inžinieri v súčasnosti snažia odfiltrovať z odpovedí pomocou posilnenia učenia sa z ľudskej spätnej väzby (RLHF). Stratégia vyžaduje, aby skupina ľudí skontrolovala výsledky chatbotov a vybrala požadovanú odpoveď, čím poskytne systému bezpečnú, presnú a prijateľnú odpoveď.
Tieto preferencie však určuje organizácia, ktorá vytvára chatbota, a nemusia nevyhnutne zachytávať rozdielne názory rôznych používateľov, ktorí s nástrojmi interagujú.
„Myslím si, že je trochu strašidelné, že v niekoľkých spoločnostiach máme výskumníkov, ktorí nie sú vyškolení v politike alebo sociológii, ktorí rozhodujú o tom, čo je a čo nie je vhodné, aby modely povedali, a máme toľko ľudí, ktorí používajú systémy. a pokúsiť sa od nich zistiť pravdu,“ povedal Natasja Jacquesodborný asistent na UW Paul G. Allen School of Computer Science & Engineering, v a VAŠA pošta.
„Toto je jeden z najpálčivejších problémov v AI,“ povedala, „takže potrebujeme lepšie techniky na jeho riešenie.“
Jaques vedie Učebné laboratórium sociálneho posilňovania na UW a je tiež vedúcim výskumníkom v Google DeepMind. Takmer pred rokom začala navštevovať Allenovu školu UW.
Jaques uviedol príklad, kde by tréningový prístup RLHF mohol spôsobiť problém. Predstavte si, že by študent s nižším príjmom interagoval s chatbotom, aby sa dozvedel viac o vysokej škole, na ktorú sa chcel prihlásiť, ale odpoveď modelu bola prispôsobená väčšine žiadostí školy, konkrétne študentom s vyšším príjmom. Model by vyvodil, že o informácie o finančnej pomoci bol obmedzený záujem, a neposkytol by ich.
Prístup k variáciám preferencií učenia vyvinutý výskumníkmi UW by postavil samotných používateľov chatbotov do úlohy dolaďovania výsledkov. A dá sa to urobiť rýchlo: pomocou iba štyroch otázok dokáže tréningová metóda VPL zistiť, aký typ odpovedí si používateľ vyberie.
Spresnenie môže zahŕňať požadovanú úroveň špecifickosti odozvy, dĺžku a tón výstupu, ako aj to, aké informácie sú zahrnuté.
Stratégia by sa dala použiť na verbálne interakcie a na trénovanie robotov, ktorí vykonávajú jednoduché úlohy v osobnom prostredí, napríklad doma.
Ale VPL si musí dávať pozor na zaujatosť voči dezinformáciám alebo dezinformáciám, ako aj na nevhodné reakcie, povedal Jaques.
Jaques a kolegovia zdieľali svoje štúdie na minulotýždňovej konferencii Neural Information Processing Systems Conference vo Vancouveri, BC. Výskum bol jednou z hlavných prezentácií podujatia a zaradil sa medzi 2 % najlepších predložených prác.
K ďalším spoluautorom štúdie patrí odborný asistent Allen School Abishek Guptaako aj doktorandi z Allen School Sriyash Poddar, Yanming Wan In Hamish Ivison.
Jaques uviedol, že účastníci dlhotrvajúcej medzinárodnej konferencie sa zaujímali o problematiku podpory rôznych perspektív v systémoch AI, ktorým sa ona a iní venujú.
„Povzbudzuje ma, že vidím vnímavosť a dynamiku komunity AI v tejto oblasti,“ povedal Jaques pre GeekWire.
