Profil modelu

Kimi Explorer

Moonshot·Chiny·I 2024·język

szacunek klasy

Indeks Świadomości

0,021%

widełki: 0,0058%–0,072%szacunek klasy

Informacja (pojemność)

2,2×10⁸ bitów

widełki: 6,2×10⁷–7,6×10⁸

Energia treningu

29,5 GWh

widełki: 7,4 GWh–118 GWhszacunek klasy

Sprawność

0,1 bit/J

bitów wzorca z 1 dżula energii treningu

Jak policzono te liczby

szacunek klasy

·parametry: AUTO-SZACUNEK KLASY — klasa compute flagowców 2024 (~5e+25 FLOP, trend Epoch 4-5×/rok) → Chinchilla
·widełki ×÷4

źródło →

Bramka Mazurowska — pełna moc diagnostyczna (informacja × kod)

metoda z nagrania [Cybernetyka #2]

Dominik: „informacja razy kod" daje wyobrażenie o mocy diagnostycznejIloczyn dwóch rodzajów bitów — u nas zobrazowany jako pole bramki Mazurowskiej. Liczone wyłącznie ze struktury modelu (parametry, architektura), nie z benchmarków.. Obie liczby liczymy z budowy modelu — zero testów.

Informacja

2,2×10⁸

bity — relacje wewnątrz sieci

Kod

1,0×10¹³

bity — utrwalone wagi

Moc diagnostyczna

10^21,4 bit²

pole = informacja × kod

Uczciwie: to nadal miara ilości (jak duży korelator), nie jakości — większy model ma większą moc. Cybernetyczna miara jakościPodział informacja/kod × energia/materia (Einstein). Sam Dominik ją odracza w nagraniu („nie pakujmy jeszcze Einsteina"). Oś jakości = faza 2. czeka na fazę 2. „Kod = parametry×16 bitów" to nasze założenie techniczne, a prezentacja iloczynu jako POLA w bit² — nasza operacjonalizacja (Dominik mówi o iloczynie „informacja razy kod", nie o polu).

Fizyczna kotwica — granica Landauera

termodynamika · nie benchmark

Fizyka wyznacza absolutne minimum energii na zapis jednego bitu: kT·ln2 ≈ 2,9×10⁻²¹ JGranica Landauera (1961) — twarde prawo termodynamiki: skasowanie lub zapis 1 bitu informacji kosztuje co najmniej kT·ln2 energii (T = temperatura otoczenia). Żaden komputer nigdy nie zejdzie niżej.. To obiektywny punkt odniesienia — mierzymy, ile rzędów wielkości ponad tym minimum model zapłacił za utrwalenie swoich wag.

Fizyczne minimum

3,0×10⁻⁸ J

kod × kT·ln2 — mniej się nie da

Realny trening

29,5 GWh

energia zapłacona naprawdę

Dystans od ideału

21,6 rzędu wielkości

= 10^21,6 × minimum

granica Landauera (0)mózg
14,5Kimi Explorer
21,6

Mózg jest o ~7 rzędów wielkości bliżej fizycznego ideału — termodynamiczny mistrz.

Uczciwie: to miara sprawności (te same dane co bity/dżul, w jednostkach fizyki) — nadal strona ilościowa. Miara jakościIloraz: wierność kodu (licznik, za Mazurem) na nakład energia×materia (mianownik — rozdział „dżula", tu Dominik odsyła do Einsteina i sam ten wątek odracza). Oś jakości czeka na fazę 2. wymaga jeszcze licznika-kodu (wierności) — faza 2.