Kamienie milowe AI to nie dowód inteligencji
Od zwycięstwa AlphaGo w 2016 po sukcesy GPT-4o i OpenAI o3 w 2024 – każde z tych osiągnięć prezentowane jest jako krok ku AGI. Jednak wg François Cholleta to błędna narracja. Systemy AI nie posiadają ogólnej inteligencji – wykonują wąskie zadania dzięki dopasowanym architekturom i ogromnym zasobom danych oraz mocy obliczeniowej.
„memorize – fetch – apply” – tak Chollet opisuje działanie dzisiejszych systemów generatywnych AI.
Czym jest prawdziwa inteligencja według Cholleta
Chollet – badacz DNN i twórca testu ARC-AGI – twierdzi, że inteligencja to:
- Zdolność do adaptacji w nowych sytuacjach
- Brak zależności od wcześniej nadanej wiedzy
- Samodzielne, energooszczędne uczenie się bez trenera
To przeciwieństwo dzisiejszych LLM-ów, które przetwarzają dane pasywnie, bazując na wzorcach z treningu.
Dlaczego obecny paradygmat AI nie prowadzi do AGI
Chollet krytykuje dominujące podejście tzw. „scaling laws”. Trening modeli na coraz większych danych nie prowadzi do generalnej inteligencji – prowadzi do coraz lepszej interpolacji, nie generalizacji. Inteligencja ogólna wymaga zmiany architektury i założeń, nie tylko skali.
Czym jest test ARC-AGI i jak mierzyć inteligencję
Test ARC-AGI nie sprawdza, czy maszyna zna fakty, ale czy potrafi się ich nauczyć od zera. Przykład: nie liczy się, jak dobrze AI gra w szachy, ale jak szybko się ich nauczy – bez wcześniejszego kodowania reguł.
Porównanie podejść do AGI
| Podejście | Opis | Plusy | Minusy |
|---|---|---|---|
| Test-Time Computing (TTC) | Więcej zasobów na nowe zadania, bez zmiany modelu | Szybsza reakcja | Brak głębokiej adaptacji |
| Test-Time Training (TTT) | Fine-tuning modelu podczas zadania | Większa elastyczność | Ryzyko overfittingu, duże koszty |
| Program Synthesis | Tworzenie dedykowanych programów przy wsparciu DNN | Największa szansa na „myślenie wolne” | Wciąż wymaga nadzoru człowieka |
2016 – AlphaGo wygrywa z mistrzem Go
2018 – AlphaStar wygrywa z ludźmi w StarCraft II
2019 – MuZero gra w gry komputerowe ucząc się poprze granie
2020 – AlfaFold analizuje i przewiduje trójwymiarowe struktury białek lepiej od człowieka
2022 – Cicero od Meta AI wygrywa w „Dyplomację”
2023 – AMIE i PaLM od googla diagnozują choroby lepiej od lekarzy (i są milsze)
2024 – ChatGPT 4o przechodzi Test Turinga
2024 – OpenAI o3 wygrywa z ludźmi w zadaniach z kodowania, matematyki i nauk przyrodniczych
Wbrew temu, co hajpują mainstreamowe media, żaden z tych „kroków milowych” nie świadczy bynajmniej o „narodzinach istoty nowego gatunku”, ani o nieuchronnej ścieżce wykładniczego wzrostu, na którą wkroczyła ludzkość ku zagładzie.
Mało tego, żadne z tych osiągnięć nie świadczy i nie może świadczyć ani o nadludzkiej inteligencji testowanych maszyn, ani nawet o ich wysokiej inteligencji. Najwyżej o wciąż jak najbardziej ludzkiej (i wciąż niedostępnej maszynom) OGÓLNEJ inteligencji ich twórców — architektów modeli, którzy je projektują i trenują pod konkretne benchmarki.
Powyższy wniosek wynika z koncepcji Françoisa Cholleta — jednego z prekursorów deep-learning, doświadczonego architekta i badacza DNN (Deep Neural Networks), wieloletniego Senior Staff Engineer w Google (2015-2024), laureata Global Swiss AI Award (2021), uznanego niedawno za jedną ze 100 najbardziej wypływowych osób w świecie AI.
Dlaczego sukcesy AI nie świadczą o inteligencji?
Bo każdy z nich możemy wyjaśnić rozwiązaniami, które z inteligencją nie mają nic wspólnego — czysto mechanicznym (1) memoryzowaniem matematycznych procedur odwzorowujących statystyczne korelacje ukryte (przed człowiekiem) w zbiorach treningowych, (2) pasywnym przywoływaniem tych procedur w przypadkach, które maszyna sklasyfikuje jako podobne oraz (3) generowaniem na tej podstawie najbardziej prawdopodobnych zachowań typu obraz, muzyka, diagnoza lub kolejne słowo w ciągu wyrażeń (jak to Chollet dosadnie ujmuje: „memorize – fetch – apply”), tudzież (4)„brute force computing”, tj. dorzucaniem do modelu jeszcze więcej mocy obliczeniowych i jeszcze więcej danych.
Chollet wielokrotnie podkreśla, że dotyczy to wszystkich systemów generatywnej AI opartych na DNN, zwłaszcza popularnych LLM-ów, które z premedytacją nazywa „interpolacyjnymi bazami danych” – interpolative databases tudzież „repozytoriami programów wektorowych” – repository of vector programs.
Czym jest inteligencja?
Wg Cholleta globalne środowisko AI bardzo długo ALBO kompletnie ignorowało to pytanie (na zasadzie „nie wiemy, ale umiemy zbudować”) ALBO fałszywie je upraszczało, zrównując inteligencję z umiejętnościami zaliczania kolejnych benchmarków w wąskich dziedzinach eksperckich (wszystkie z przywołanych „kroków milowych” powyżej).
Co więcej, od blisko dekady twierdzi, że obowiązujący paradygmat rozwoju (tzw. scaling laws), choć ewidentnie skuteczny w rozwiązywaniu wąskich problemów dziedzinowych, nie prowadzi ku AGI. I nie chodzi wyłącznie o kwestię kolapsu modelu, ale o same oczekiwanie (oparte na filozoficznych założeniach koneksjonizmu), że trenowanie DNN na coraz większych ilościach (syntetycznych) danych, przy coraz większych mocach obliczeniowych, wygeneruje samo z siebie „emergentne” właściwości z ogólną inteligencją na czele.
Krótko mówiąc: obecny paradygmat (i chodzi tu o ścisle kuhnowskie rozumienie słowa) wyczerpał swe możliwości. Jeżeli chcesz mieć AGI (prawdziwą, podobną do ludzkiej — nie multimodalne ANI) to musisz zmienić podejście, zmienić architekturę, zmienić założenia.
Czym jest to dzięki czemu maszyny są coraz lepsze od nas?
Chollet przywołuje koncepcję Kahnemana. Na dziś dzień rozmaite systemy oparte na DNN (Gen AI, RNN, CNN itp.) coraz lepiej wykonują działania „Systemu 1” – „myślenia szybkiego”, nawykowego, skutecznego do wykonywania zadań (statystycznie) powtarzalnych, efektywnego w środowisku stabilnym i przewidywalnym.
Nie umieją natomiast wykonywać działań „Systemu 2” – „myślenia wolnego”, kreatywnego, adaptacyjnego, skutecznego do wykonywania zadań nowych, kontekstowych, wysoce niepowtarzalnych, efektywnego w środowisku niestabilnym, nieprzewidywalnym.
To pierwsze Chollet utożsamia z „inteligencją skrystalizowaną”, tj. eksperckimi umiejętnościami (po naszemu „hard skills”). W stosowaniu tychże, maszyny są i będą od nas coraz lepsze. Akurat to dobrze wiemy niemal od dekady.
Tymczasem inteligencja ogólna z konieczności zakłada nie tyle posiadanie i stosowanie eksperckich umiejętności w jednej, wąskiej, specjalistycznej dziedzinie, ale zdolność do nabywania różnych umiejętności w bardzo różnych dziedzinach (tzw. „inteligencję płynną”).
Dlaczego z konieczności? Bo ma być OGÓLNA właśnie. A zatem ma umożliwiać samodzielne, bez udziału człowieka nabywanie umiejętności w dziedzinach, które są nam nieznane, a co za tym idzie — nieznane ich ludzkim twórcom (architektom systemów).
No więc czym jest inteligencja?
Chollet podaje kilka definicji, które oscylują wokół jednej zasadniczej idei:
Inteligencja ogólna to zdolność systemu (ludzkiego lub sztucznego) do efektywnej adaptacji w nowych, nieprzewidywalnych sytuacjach — takich, z którymi ani system, ani jego twórcy czy trenerzy, nie mieli wcześniej do czynienia.
Efektywnej, czyli np. szybkiej, bez zbędnej utraty zasobów, ale też energetycznie wydajnej (oszczędnej) generalizacji posiadanej wiedzy i umiejętności (a tym samym ich modyfikacji) na nowe sytuacje, z którymi system wcześniej nie miał do czynienia.
W pełni autonomicznej, czyli bez udziału instruktora (np. mistrza, nauczyciela, trenera, tudzież architekta systemu AI), który by znał specyfikę konkretnego obszaru i umiał pod tym kątem system przygotować.
Taką formę generalizacji nazywa „ekstremalną” (w przeciwieństwie do „lokalnej”, którą potrafią już dziś potrafią wykonywać DNN w ramach wąskiej dziedziny eksperckiej oraz „szerokiej” — przewidywalnej dla twórców systemu (np. wszystkie możliwe sytuacje drogowe w ramach teoretycznego poziomu 5 dla autonomicznych pojazdów).
Jak (nie) budować AGI?
Pamiętajmy, że Chollet, choć jest krytykiem dominujących podejść do rozwoju AI, nie jest w żadnym razie przeciwnikiem AGI. Wręcz przeciwnie — argumentuje, że to właśnie obecny paradygmat nie tylko nie przyspiesza, ale wręcz spowalnia prace nad AGI, trzymając się kurczowo założeń, które się sprawdzały przez ostatnie lata (a które dużo łatwiej sprzedawać inwestorom, niż niepewne badania podstawowe nad nowym paradygmatem).
Kluczowe wyzwanie wg. Cholleta nie brzmi więc: w jakich jeszcze dziedzinach inżynierowie AI mają pokonać człowieka, ale: jak budować systemy, które będą umiały rozwiązywać problemy, z którymi nigdy wcześniej nie miały do czynienia? Jak budować maszyny, które będą sobie samodzielnie radzić w nowych, nietypowych sytuacjach przynajmniej na poziomie porównywalnym do przeciętnego człowieka?
Jak mierzyć rzeczywistą inteligencję maszyn, tj. ich zdolność do wykonywania zadań niepodobnych do tych, na których wcześniej nie były trenowane i na wykonywanie których nie mogli ich przygotować (wytrenować) ich twórcy (architekci)?
Tak pojęta AGI, jeżeli już powstanie, to z konieczności nie będzie niczym spektakularnym — nie będzie w stanie zaliczyć żadnego „eksperckiego” benchmarku. Wedle Cholleta będzie raczej przypominać niemowlę, które nie umie jeszcze liczyć, mówić ani chodzić, za to umie się uczyć. Jej cechą dystynktywną — w odróżnieniu od wszystkich istniejących AI — ma być właśnie zdolność do samodzielnego uczenia się.
Czym są „priory”?
Jeżeli więc nam zależy na stworzeniu AGI, to mierzenie inteligencji maszyn nie może więcej bazować, jak dotychczas, na spektakularnych kryteriach eksperckich, ale powinno badać samą zdolność do uczenia się „ogołoconą” z wiedzy, która jest nabywana przez uczenie się, trening lub jest nadpisywana przez architektów systemu.
Odpada więc nie tylko wiedza przyrodoznawcza czy matematyczna tudzież znajomość gry w szachy, ale nawet umiejętności mówienia czy liczenia. Jedyne, co zdaniem Cholleta powinniśmy zostawić maszynom podczas testowania ich inteligencji, to podstawowe składniki ludzkiego poznania, wpisane do naszych genów przez ewolucję, o których zestawie nas informuje psychologia rozwojowa (rozpoznawanie podstawowych właściwości przedmiotów fizycznych, identyfikacja intencjonalności, podstawowa topologia itd.).
Przy takim podejściu efektywność uczenia (a co za tym idzie — poziom inteligencji) jest odwrotnie proporcjonalna do zakresu posiadanej wiedzy. Im bardziej inteligentny system, tym efektywniej będzie sobie radził w nowych, nieprzewidywalnych sytuacjach, przy mniejszej ilości wiedzy (danych treningowych).
Dla przykładu: inteligentniejsze będzie nie takie dziecko, które lepiej gra w szachy (czy na instrumencie), ale takie, które szybciej nauczy się grać w szachy (czy na instrumencie), a zwłaszcza takie, które zrobi to szybciej „od zera” — przy braku jakichkolwiek wcześniejszych doświadczeń w tym zakresie.
Mierzenie tak pojętej inteligencji jest celem testu ARC-AGI (o którym napiszę więcej kiedy indziej, bo to wymaga dodatkowych wyjaśnień, a i tak już się rozpisałem).
Jak nauczyć maszyny myślenia w trybie „wolnym”?
Tu odsyłam do najnowszej rozmowy z Cholletem (z początku stycznia), gdzie szczegółowo omawia nie tylko założenia testu ARC-AGI, ale też testowane obecnie najbardziej jego zdaniem obiecujące rozwiązania.
(1) Test-Time Computing (TTC) – polega na dodatkowej alokacji zasobów obliczeniowych podczas rozwiązywania nowych sytuacji (zadań statystycznie niepodobnych do tych, na których były trenowane), jednak bez modyfikacji parametrów modelu. Pozwala to zwiększyć zdolność modelu do bardziej złożonych obliczeń w czasie rzeczywistym, ale nie pozwala na uwzględnienie informacji o tym, co różni nowe zadanie od wszystkich, z jakimi miał wcześniej do czynienia. Podejście to jest stosowane już w modelu o1 udostępnionym we wrześniu 2024.
(2) Test-Time Training (TTT) – modyfikacja parametrów modelu („fine-tuning”) podczas wykonywania nowych zadań (np. przy pomocy zautomatyzowanej analizy potencjalnych rozwiązań w typie MCTS wykorzystywanej już przez AlphaGo). Umożliwia to lepszą adaptację do nowych danych, ALE wiąże się z większymi kosztami obliczeniowymi oraz potencjalnym ryzykiem „overfitting”, tj. obniżenia zdolności do generalizacji na inne zadania. W ten sposób Chollet wyjaśnia działanie o3 oraz jego efektywność (i kosztochłonność) w podejściu do testu.
Chollet krytykuje oba te podejścia, ponieważ (a) bazują na zastanej architekturze modelu obciążonej wzorcami z danych treningowych oraz (b) wymagają nadzwyczajnych zasobów obliczeniowych, co zwiększa koszty i czas działania.
Podejściem, które jego zdaniem najlepiej odzwierciedla działanie „Systemu 2” jest:
(3) Deep-Learning Guided Program Synthesis – generowanie programów specyficznych dla danej domeny (np. zestawu zadań) przy użyciu dedykowanych modeli deep learning. Taki program samodzielnie eksploruje spektrum możliwych rozwiązań, ewaluuje najbardziej obiecujące i modyfikuje dane zastanego modelu.
Zauważmy na koniec, że wszystkie opisane podejścia wciąż wymagają bezpośredniego udziału człowieka co najmniej na etapach: (a) definiowania i specyfikacji zadań (np. przykładów na wejściu i wyjściu), (b) ustalania które z parametrów modelu mogą być modyfikowane i w jakim zakresie, (c) monitorowaniu wyników. To pokazuje jak daleko jesteśmy od w pełni autonomicznej AGI.
