Profil modelu

Grok-1

xAI·USA·XI 2023·język

szacunekMoEsprzęt z epoki

Indeks Świadomości

0,012%

widełki: 0,0050%–0,028%szacunek

Informacja (pojemność)

1,3×10⁸ bitów

widełki: 5,4×10⁷–3×10⁸

Energia treningu

1,7 GWh

widełki: 855 MWh–3,4 GWhszacuneksprzęt: typowy dla ery 2023

Sprawność

0,8 bit/J

bitów wzorca z 1 dżula energii treningu

Jak policzono te liczby

szacunek

·parametry: estymata Epoch AI (pewność: likely)
·jednostki korelatora: estymata z parametrów (d∝P^⅓, proporcje dense transformera)
·MoE: indeks z parametrów TOTAL (pojemność, spójnie z mózgiem); dolna granica widełek z AKTYWNYCH (86B czynnego korelatora)
·energia: compute ÷ sprawność era 2023 (czip typowy dla ery) × MFU 0,40 × PUE 1,2
·utrwalenie kodu: 0,89× kotwicy Chinchilli (u=D/(20·P_tot), tokeny z compute; widełki ×÷7,1) — oś diagnostyczna v0 [nasze]

Bramka Mazurowska — pełna moc diagnostyczna (informacja × kod)

metoda z nagrania [Cybernetyka #2]

Dominik: „informacja razy kod" daje wyobrażenie o mocy diagnostycznejIloczyn dwóch rodzajów bitów — u nas zobrazowany jako pole bramki Mazurowskiej. Liczone wyłącznie ze struktury modelu (parametry, architektura), nie z benchmarków.. Obie liczby liczymy z budowy modelu — zero testów.

Informacja

1,3×10⁸

bity — relacje wewnątrz sieci

Kod

5,0×10¹²

bity — utrwalone wagi

Moc diagnostyczna

10^20,8 bit²

pole = informacja × kod

Uczciwie: to nadal miara ilości (jak duży korelator), nie jakości — większy model ma większą moc. Cybernetyczna miara jakościPodział informacja/kod × energia/materia (Einstein). Sam Dominik ją odracza w nagraniu („nie pakujmy jeszcze Einsteina"). Oś jakości = faza 2. czeka na fazę 2. „Kod = parametry×16 bitów" to nasze założenie techniczne, a prezentacja iloczynu jako POLA w bit² — nasza operacjonalizacja (Dominik mówi o iloczynie „informacja razy kod", nie o polu).

Utrwalenie kodu — diagnostyka

oś ilościowa · v0 [nasze] · niekanoniczna

Ile przepływów utrwalających[Mazur] „Narastanie przewodności korelacyjnej będzie określane jako rejestracja informacji" — częste przepływy utrwalają rejestraty, najsłabsze zanikają. [D, 12:16] „tworząc nowe rejestraty… albo poprawiając te, które mamy". Mapowanie „token treningu = przepływ mocy korelacyjnej" to nasza analogia funkcjonalna [nasze]. przeszło przez drogi korelatora podczas nauki. Poniżej 0,3× — drogi słabo wydeptane, kod niejednoznaczny[Kossecki, Metacybernetyka] kod niejednoznaczny (ciągi kodów nieoddzielne) prowadzi do pseudoinformowania i dezinformowania — po ludzku: system skłonny zmyślać..

Pasmo

pasmo kotwicy

kategoria, nie wyścig

Utrwalenie

0,9×

widełki 0,1×–6,4× · 1× = kotwica Chinchilli

Skala nasycona

47%

50% = kotwica · U% = u/(u+1)

Uczciwie: to oś ilościowa — wykrywacz kodu nieutrwalonego (kara za niedotrenowanie), nie ranking jakości. Obejmuje 1 z 3 czynników rejestracji Mazura (częstość; bez siły i świeżości bodźca, bez derejestracji) i nie widzi jakości danych treningowych. Nie wchodzi do Indeksu. Status: v0 [nasze] — czeka na walidację Dominika (pytanie D9).

Fizyczna kotwica — granica Landauera

termodynamika · nie benchmark

Fizyka wyznacza absolutne minimum energii na zapis jednego bitu: kT·ln2 ≈ 2,9×10⁻²¹ JGranica Landauera (1961) — twarde prawo termodynamiki: skasowanie lub zapis 1 bitu informacji kosztuje co najmniej kT·ln2 energii (T = temperatura otoczenia). Żaden komputer nigdy nie zejdzie niżej.. To obiektywny punkt odniesienia — mierzymy, ile rzędów wielkości ponad tym minimum model zapłacił za utrwalenie swoich wag.

Fizyczne minimum

1,4×10⁻⁸ J

kod × kT·ln2 — mniej się nie da

Realny trening

1,7 GWh

energia zapłacona naprawdę

Dystans od ideału

20,6 rzędu wielkości

= 10^20,6 × minimum

granica Landauera (0)mózg
14,5Grok-1
20,6

Mózg jest o ~6 rzędów wielkości bliżej fizycznego ideału — termodynamiczny mistrz.

Uczciwie: to miara sprawności (te same dane co bity/dżul, w jednostkach fizyki) — nadal strona ilościowa. Miara jakościIloraz: wierność kodu (licznik, za Mazurem) na nakład energia×materia (mianownik — rozdział „dżula", tu Dominik odsyła do Einsteina i sam ten wątek odracza). Oś jakości czeka na fazę 2. wymaga jeszcze licznika-kodu (wierności) — faza 2.