– „Jesteśmy w stanie zobaczyć, jaki był powód decyzji modelu” – tłumaczył w Radiu Kraków Adam Wróbel z Uniwersytetu Jagiellońskiego. Badacze rozwijają narzędzie, które ma pomóc lepiej rozumieć działanie chatbotów i systemów rozpoznających obrazy.
Z rozmowy dowiesz się:
- Jak chatbot analizuje obrazy i podejmuje decyzje.
- Na czym polega metoda DAVE opracowywana przez naukowców z UJ.
- Dlaczego modele AI mogą działać w oparciu o błędne założenia.
- Gdzie wyjaśnialna sztuczna inteligencja może znaleźć zastosowanie.
Posłuchaj audycji
Co „widzi” chatbot? Naukowcy z UJ chcą wyjaśnić decyzje sztucznej inteligencji
Dlaczego chatbot odpowiada w określony sposób i co wpływa na jego decyzje? Nad tym pracują naukowcy z Jagiellońskiego Centrum Sztucznej Inteligencji. Badacze z Uniwersytetu Jagiellońskiego analizują mechanizmy działania modeli AI i próbują ustalić, jakie elementy obrazu lub tekstu decydują o końcowej odpowiedzi systemu.
Jak tłumaczył w Radiu Kraków profesor Bartosz Zieliński, możliwość analizowania procesu działania sztucznej inteligencji zależy od tego, czy model jest publicznie dostępny. Zamkniętych systemów, takich jak ChatGPT, nie można badać od środka, ale modele open source już tak.
– „Jesteśmy w stanie analizować ich proces decyzyjny” – podkreślał dyrektor Jagiellońskiego Centrum Sztucznej Inteligencji.
Jak chatbot analizuje obrazy?
Badacze zwracają uwagę, że chatbot nie „widzi” obrazu tak jak człowiek. System rozpoznaje przede wszystkim wzorce i zależności pomiędzy elementami obrazu.
– „Najpierw dostrzega pojedyncze elementy, a następnie łączy je w coraz bardziej skomplikowane wzorce” – wyjaśniał Adam Wróbel, doktorant Wydziału Matematyki i Informatyki UJ.
Profesor Zieliński przypominał, że współczesne modele AI działają w oparciu o tzw. transformery. To właśnie one sprawiły, że sztuczna inteligencja zaczęła analizować obraz globalnie, a nie fragment po fragmencie.
– „Transformer od samego początku patrzy globalnie na cały obraz” – mówił.
Jednocześnie naukowcy podkreślają, że chatboty nie zawsze podejmują decyzje z właściwych powodów. Modele mogą opierać się na błędnych założeniach albo utrwalonych uprzedzeniach obecnych w danych treningowych.
– „Chatboty mogą czasami podejmować nawet prawidłowe decyzje, ale z nieprawidłowych przyczyn” – zaznaczał profesor Zieliński.
Metoda DAVE ma wyjaśnić decyzje AI
Właśnie temu ma służyć metoda DAVE opracowywana przez badaczy. Jej zadaniem jest wskazanie, które elementy obrazu były najważniejsze podczas podejmowania decyzji przez model sztucznej inteligencji.
– „To metoda atrybucji pokazująca, które elementy obrazu są najbardziej istotne podczas podejmowania danej decyzji” – tłumaczył Adam Wróbel.
Badacze chcą dzięki temu lepiej rozumieć działanie modeli AI, ale również wykrywać niepożądane mechanizmy. Profesor Zieliński zwracał uwagę, że różne modele mogą być trenowane według odmiennych zasad i zawierać określone uprzedzenia lub ograniczenia.
Jako przykład podał chińskie modele odpowiadające na pytania dotyczące placu Tiananmen zgodnie z linią chińskich władz.
– „Powinniśmy rozumieć, co tam się dzieje” – mówił.
AI ma pomagać w medycynie i finansach
Zdaniem naukowców wyjaśnialna sztuczna inteligencja będzie coraz ważniejsza wszędzie tam, gdzie algorytmy podejmują decyzje wpływające na życie ludzi.
Nie zastąpi lekarza, ale może mu pomóc. Jak AI zmienia ochronę zdrowia
Dotyczy to między innymi medycyny, bankowości czy systemów oceny ryzyka. Jak podkreślał Adam Wróbel, w takich obszarach modele AI powinny wspierać człowieka, a nie całkowicie go zastępować.
– „Jesteśmy w stanie zobaczyć, jaki był powód tej decyzji” – tłumaczył.
Projekt realizowany jest we współpracy z Max Planck Institute i dotyczy rozwijania metod wyjaśniania działania modeli typu transformer.
