AlphaGo Zero

• ·parametry: dane opublikowane (Epoch AI, pewność: confident)
• ·jednostki korelatora: estymata z parametrów (d∝P^⅓, proporcje dense transformera)
• ·energia: compute ÷ sprawność Google TPU v1 (czip typowy dla ery) × MFU 0,40 × PUE 1,2

Dominik: „informacja razy kod" daje wyobrażenie o mocy diagnostycznejIloczyn dwóch rodzajów bitów — u nas zobrazowany jako pole bramki Mazurowskiej. Liczone wyłącznie ze struktury modelu (parametry, architektura), nie z benchmarków.. Obie liczby liczymy z budowy modelu — zero testów.

Uczciwie: to nadal miara ilości (jak duży korelator), nie jakości — większy model ma większą moc. Cybernetyczna miara jakościPodział informacja/kod × energia/materia (Einstein). Sam Dominik ją odracza w nagraniu („nie pakujmy jeszcze Einsteina"). Oś jakości = faza 2. czeka na fazę 2. „Kod = parametry×16 bitów" to nasze założenie techniczne, a prezentacja iloczynu jako POLA w bit² — nasza operacjonalizacja (Dominik mówi o iloczynie „informacja razy kod", nie o polu).

Fizyka wyznacza absolutne minimum energii na zapis jednego bitu: kT·ln2 ≈ 2,9×10⁻²¹ JGranica Landauera (1961) — twarde prawo termodynamiki: skasowanie lub zapis 1 bitu informacji kosztuje co najmniej kT·ln2 energii (T = temperatura otoczenia). Żaden komputer nigdy nie zejdzie niżej.. To obiektywny punkt odniesienia — mierzymy, ile rzędów wielkości ponad tym minimum model zapłacił za utrwalenie swoich wag.

Mózg jest o ~8 rzędów wielkości bliżej fizycznego ideału — termodynamiczny mistrz.

Uczciwie: to miara sprawności (te same dane co bity/dżul, w jednostkach fizyki) — nadal strona ilościowa. Miara jakościIloraz: wierność kodu (licznik, za Mazurem) na nakład energia×materia (mianownik — rozdział „dżula", tu Dominik odsyła do Einsteina i sam ten wątek odracza). Oś jakości czeka na fazę 2. wymaga jeszcze licznika-kodu (wierności) — faza 2.

Ile drogi do mózgu?iSkala jest logarytmiczna: każdy równy odcinek paska oznacza ok. 10-krotny wzrost indeksu. Lewy kraniec to 10⁻⁷% (poniżej najsłabszego zmierzonego modelu), prawy — pełny parytet z mózgiem.

AlphaGo Zero osiąga 2,5×10⁻⁵% potencjału mózgu — mózg ma ok. 4 000 000× więcej. Pasek jest logarytmiczny, więc każdy równy odcinek to ok. 10× wzrost.

Moment w historii

W dniu publikacji (X 2017) AlphaGo Zero wyprzedzało go 20 modeli — na czele z:

Porównanie obejmuje 419 modeli ze zbioru — „#1” = najwyższy Indeks Świadomości wśród modeli opublikowanych przed premierą.

1. #407Hierarchical Scene Labeling (Stanford Background)New York University (NYU)2,7×10⁻⁵%
2. #408DistBelief SpeechGoogle2,5×10⁻⁵%
3. #409AlphaGo ZeroDeepMind2,5×10⁻⁵%
4. #410JFTGoogle Research,Carnegie Mellon University (CMU)2,4×10⁻⁵%
5. #411DeepSpeech2 (English)Baidu Research - Silicon Valley AI Lab2,2×10⁻⁵%

Od AlphaGo Fan (X 2015) do AlphaGo Zero (X 2017) indeks linii urósł ×3,4. Punkty na wykresie są klikalne — każdy prowadzi do profilu wersji.

1. X 2015AlphaGo Fanszacunek7,3×10⁻⁶%
2. I 2016AlphaGo Leeszacunek z compute0,0006%
3. X 2017AlphaGo Zero2,5×10⁻⁵%

Kontekst czasu

Każdy szary punkt to jeden z 419 modeli; AlphaGo Zero wyróżniony kolorem. Oś pionowa jest logarytmiczna, a przerywana linia u góry to mózg (100%).