GPT-2 Medium (FlashAttention)

• ·parametry: dane opublikowane (Epoch AI, pewność: confident)
• ·jednostki korelatora: estymata z parametrów (d∝P^⅓, proporcje dense transformera)
• ·energia: compute ÷ sprawność NVIDIA A100 SXM4 40 GB (zmierzony sprzęt) × MFU 0,40 × PUE 1,2
• ·utrwalenie kodu: 59× kotwicy Chinchilli (u=D/(20·P_tot), tokeny z compute; widełki ×÷7,1) — oś diagnostyczna v0 [nasze]

Dominik: „informacja razy kod" daje wyobrażenie o mocy diagnostycznejIloczyn dwóch rodzajów bitów — u nas zobrazowany jako pole bramki Mazurowskiej. Liczone wyłącznie ze struktury modelu (parametry, architektura), nie z benchmarków.. Obie liczby liczymy z budowy modelu — zero testów.

Uczciwie: to nadal miara ilości (jak duży korelator), nie jakości — większy model ma większą moc. Cybernetyczna miara jakościPodział informacja/kod × energia/materia (Einstein). Sam Dominik ją odracza w nagraniu („nie pakujmy jeszcze Einsteina"). Oś jakości = faza 2. czeka na fazę 2. „Kod = parametry×16 bitów" to nasze założenie techniczne, a prezentacja iloczynu jako POLA w bit² — nasza operacjonalizacja (Dominik mówi o iloczynie „informacja razy kod", nie o polu).

Ile przepływów utrwalających[Mazur] „Narastanie przewodności korelacyjnej będzie określane jako rejestracja informacji" — częste przepływy utrwalają rejestraty, najsłabsze zanikają. [D, 12:16] „tworząc nowe rejestraty… albo poprawiając te, które mamy". Mapowanie „token treningu = przepływ mocy korelacyjnej" to nasza analogia funkcjonalna [nasze]. przeszło przez drogi korelatora podczas nauki. Poniżej 0,3× — drogi słabo wydeptane, kod niejednoznaczny[Kossecki, Metacybernetyka] kod niejednoznaczny (ciągi kodów nieoddzielne) prowadzi do pseudoinformowania i dezinformowania — po ludzku: system skłonny zmyślać..

Uczciwie: to oś ilościowa — wykrywacz kodu nieutrwalonego (kara za niedotrenowanie), nie ranking jakości. Obejmuje 1 z 3 czynników rejestracji Mazura (częstość; bez siły i świeżości bodźca, bez derejestracji) i nie widzi jakości danych treningowych. Nie wchodzi do Indeksu. Status: v0 [nasze] — czeka na walidację Dominika (pytanie D9).

Fizyka wyznacza absolutne minimum energii na zapis jednego bitu: kT·ln2 ≈ 2,9×10⁻²¹ JGranica Landauera (1961) — twarde prawo termodynamiki: skasowanie lub zapis 1 bitu informacji kosztuje co najmniej kT·ln2 energii (T = temperatura otoczenia). Żaden komputer nigdy nie zejdzie niżej.. To obiektywny punkt odniesienia — mierzymy, ile rzędów wielkości ponad tym minimum model zapłacił za utrwalenie swoich wag.

Mózg jest o ~6 rzędów wielkości bliżej fizycznego ideału — termodynamiczny mistrz.

Uczciwie: to miara sprawności (te same dane co bity/dżul, w jednostkach fizyki) — nadal strona ilościowa. Miara jakościIloraz: wierność kodu (licznik, za Mazurem) na nakład energia×materia (mianownik — rozdział „dżula", tu Dominik odsyła do Einsteina i sam ten wątek odracza). Oś jakości czeka na fazę 2. wymaga jeszcze licznika-kodu (wierności) — faza 2.

Ile drogi do mózgu?iSkala jest logarytmiczna: każdy równy odcinek paska oznacza ok. 10-krotny wzrost indeksu. Lewy kraniec to 10⁻⁷% (poniżej najsłabszego zmierzonego modelu), prawy — pełny parytet z mózgiem.

GPT-2 Medium (FlashAttention) osiąga 0,0001% potencjału mózgu — mózg ma ok. 940 000× więcej. Pasek jest logarytmiczny, więc każdy równy odcinek to ok. 10× wzrost.

Moment w historii

W dniu publikacji (V 2022) GPT-2 Medium (FlashAttention) wyprzedzały go 43 modele — na czele z:

Porównanie obejmuje 448 modeli ze zbioru — „#1” = najwyższy Indeks Świadomości wśród modeli opublikowanych przed premierą.

1. #411LUKEUniversity of Washington,National Institute of Informatics0,0001%
2. #412Noisy Student (L2)Carnegie Mellon University (CMU),Google0,0001%
3. #413GPT-2 Medium (FlashAttention)Stanford University,University at Buffalo0,0001%
4. #414GPT-2 (355M)OpenAI0,0001%
5. #415BERT-LargeGoogle0,0001%

Od GPT-1 (VI 2018) do GPT-6.1 Sol (IX 2026) indeks linii urósł ×1211. Punkty na wykresie są klikalne — każdy prowadzi do profilu wersji.

1. VI 2018GPT-1szacunek4,8×10⁻⁵%
2. II 2019GPT-2 (1.5B)szacunek0,0003%
3. II 2019GPT-2 (355M)szacunek0,0001%
4. II 2019GPT-2 (774M)szacunek0,0002%
5. V 2020GPT-3 175B (davinci)0,0083%
6. III 2022GPT-3.5 (davinci-002)szacunek z compute0,0073%
7. V 2022GPT-2 Medium (FlashAttention)0,0001%
8. VI 2023GPT-3.5 Turboszacunek0,0018%
9. VI 2023GPT-4 (Jun 2023)szacunek0,042%
10. IX 2023GPT-3.5 Turbo Instructszacunek0,0018%
11. IX 2023GPT-4Vnie publikuje danych—
12. V 2024GPT-4oszacunek klasy0,0091%
13. VII 2024GPT-4o mininie publikuje danych—
14. II 2025GPT-4.5szacunek z compute0,042%
15. VIII 2025GPT-5szacunek z compute0,023%
16. VIII 2025GPT-5 mininie publikuje danych—
17. VIII 2025GPT-5 nanonie publikuje danych—
18. VIII 2025gpt-oss-120bpopularny lokalnieDostępny do uruchomienia lokalnie — Ollama / Hugging Face / LM Studio.0,0062%
19. VIII 2025gpt-oss-20b0,0019%
20. X 2025GPT-5 Proszacunek klasy0,0062%
21. XI 2025GPT-5.1szacunek klasy0,023%
22. XI 2025GPT-5.1 Instantnie publikuje danych—
23. XI 2025GPT-5.1-Codexnie publikuje danych—
24. XI 2025GPT-5.1-Codex-Maxnie publikuje danych—
25. XII 2025GPT-5.2szacunek klasy0,023%
26. XII 2025GPT-5.2 Codexnie publikuje danych—
27. XII 2025GPT-5.2 Proszacunek klasy0,023%
28. II 2026GPT-5.3 Codexnie publikuje danych—
29. II 2026GPT-5.3-Codex-Sparknie publikuje danych—
30. III 2026GPT-5.4szacunek klasy0,023%
31. III 2026GPT-5.4 Proszacunek klasy0,023%
32. IV 2026GPT-5.4-Cyberszacunek klasy0,023%
33. IV 2026GPT-5.5szacunek klasy0,023%
34. IV 2026GPT-5.5 Proszacunek klasy0,023%
35. V 2026GPT-5.5 Cyberszacunek klasy0,023%
36. V 2026GPT-5.5 Instantnie publikuje danych—
37. VIII 2026GPT-5.6 Cyberszacunek klasy0,023%
38. IX 2026GPT-6 Astraszacunek z compute0,058%
39. IX 2026GPT-6 Lunaszacunek klasy0,058%
40. IX 2026GPT-6 Solszacunek klasy0,058%
41. IX 2026GPT-6.1 Solszacunek klasy0,058%

Kontekst czasu

Każdy szary punkt to jeden z 448 modeli; GPT-2 Medium (FlashAttention) wyróżniony kolorem. Oś pionowa jest logarytmiczna, a przerywana linia u góry to mózg (100%).