Profil modelu

MoE-Multi

Jagiellonian University,Google Brain·Polska·I 2017·język

dane opublikowane

Indeks Świadomości

0,0010%

widełki: 0,0004%–0,0023%

Informacja (pojemność)

1,1×10⁷ bitów

widełki: 4,7×10⁶–2,4×10⁷

Energia treningu

4 MWh

widełki: 2 MWh–8 MWhsprzęt: NVIDIA Tesla K40t (FP32)

Sprawność

10 bit/J

bitów wzorca z 1 dżula energii treningu

Jak policzono te liczby

dane opublikowane

·parametry: dane opublikowane (Epoch AI, pewność: confident)
·jednostki korelatora: estymata z parametrów (d∝P^⅓, proporcje dense transformera)
·energia: compute ÷ sprawność NVIDIA Tesla K40t (FP32) (zmierzony sprzęt) × MFU 0,40 × PUE 1,2

Bramka Mazurowska — pełna moc diagnostyczna (informacja × kod)

metoda z nagrania [Cybernetyka #2]

Dominik: „informacja razy kod" daje wyobrażenie o mocy diagnostycznejIloczyn dwóch rodzajów bitów — u nas zobrazowany jako pole bramki Mazurowskiej. Liczone wyłącznie ze struktury modelu (parametry, architektura), nie z benchmarków.. Obie liczby liczymy z budowy modelu — zero testów.

Informacja

1,1×10⁷

bity — relacje wewnątrz sieci

Kod

1,4×10¹¹

bity — utrwalone wagi

Moc diagnostyczna

10^18,2 bit²

pole = informacja × kod

Uczciwie: to nadal miara ilości (jak duży korelator), nie jakości — większy model ma większą moc. Cybernetyczna miara jakościPodział informacja/kod × energia/materia (Einstein). Sam Dominik ją odracza w nagraniu („nie pakujmy jeszcze Einsteina"). Oś jakości = faza 2. czeka na fazę 2. „Kod = parametry×16 bitów" to nasze założenie techniczne, a prezentacja iloczynu jako POLA w bit² — nasza operacjonalizacja (Dominik mówi o iloczynie „informacja razy kod", nie o polu).

Fizyczna kotwica — granica Landauera

termodynamika · nie benchmark

Fizyka wyznacza absolutne minimum energii na zapis jednego bitu: kT·ln2 ≈ 2,9×10⁻²¹ JGranica Landauera (1961) — twarde prawo termodynamiki: skasowanie lub zapis 1 bitu informacji kosztuje co najmniej kT·ln2 energii (T = temperatura otoczenia). Żaden komputer nigdy nie zejdzie niżej.. To obiektywny punkt odniesienia — mierzymy, ile rzędów wielkości ponad tym minimum model zapłacił za utrwalenie swoich wag.

Fizyczne minimum

4,0×10⁻¹⁰ J

kod × kT·ln2 — mniej się nie da

Realny trening

4 MWh

energia zapłacona naprawdę

Dystans od ideału

19,5 rzędu wielkości

= 10^19,5 × minimum

granica Landauera (0)mózg
14,5MoE-Multi
19,5

Mózg jest o ~5 rzędów wielkości bliżej fizycznego ideału — termodynamiczny mistrz.

Uczciwie: to miara sprawności (te same dane co bity/dżul, w jednostkach fizyki) — nadal strona ilościowa. Miara jakościIloraz: wierność kodu (licznik, za Mazurem) na nakład energia×materia (mianownik — rozdział „dżula", tu Dominik odsyła do Einsteina i sam ten wątek odracza). Oś jakości czeka na fazę 2. wymaga jeszcze licznika-kodu (wierności) — faza 2.

Ile drogi do mózgu?iSkala jest logarytmiczna: każdy równy odcinek paska oznacza ok. 10-krotny wzrost indeksu. Lewy kraniec to 10⁻⁷% (poniżej najsłabszego zmierzonego modelu), prawy — pełny parytet z mózgiem.

0,0010%

10⁻⁷%

Mózg (100%)

MoE-Multi osiąga 0,0010% potencjału mózgu — mózg ma ok. 99 000× więcej. Pasek jest logarytmiczny, więc każdy równy odcinek to ok. 10× wzrost.

Moment w historii

W dniu publikacji (I 2017) MoE-Multi ustępował tylko jednemu modelowi:

SNM-skip

XII 2014

0,0040%

W dniu premiery

Do ówczesnego lidera

×4,0

Modeli przed premierą

Porównanie obejmuje 419 modeli ze zbioru — „#1” = najwyższy Indeks Świadomości wśród modeli opublikowanych przed premierą.

Pozycja w rankingu

#305 z 419

#303GLM-4V-9BZ.ai (Zhipu AI),Tsinghua University0,0010%
#304Yi-1.5-9B01.AI0,0010%
#305MoE-MultiJagiellonian University,Google Brain0,0010%
#306Mamba2-HybridNVIDIA0,0010%
#307Gemma 1.1 7B InstructGoogle0,0010%

Kontekst czasu

Każdy szary punkt to jeden z 419 modeli; MoE-Multi wyróżniony kolorem. Oś pionowa jest logarytmiczna, a przerywana linia u góry to mózg (100%).