StarCoder

• ·parametry: dane opublikowane (Epoch AI, pewność: confident)
• ·jednostki korelatora: estymata z parametrów (d∝P^⅓, proporcje dense transformera)
• ·energia: compute ÷ sprawność NVIDIA A100 SXM4 80 GB (zmierzony sprzęt) × MFU 0,40 × PUE 1,2
• ·utrwalenie kodu: 2,93× kotwicy Chinchilli (u=D/(20·P_tot), tokeny z compute; widełki ×÷7,1) — oś diagnostyczna v0 [nasze]

Dominik: „informacja razy kod" daje wyobrażenie o mocy diagnostycznejIloczyn dwóch rodzajów bitów — u nas zobrazowany jako pole bramki Mazurowskiej. Liczone wyłącznie ze struktury modelu (parametry, architektura), nie z benchmarków.. Obie liczby liczymy z budowy modelu — zero testów.

Uczciwie: to nadal miara ilości (jak duży korelator), nie jakości — większy model ma większą moc. Cybernetyczna miara jakościPodział informacja/kod × energia/materia (Einstein). Sam Dominik ją odracza w nagraniu („nie pakujmy jeszcze Einsteina"). Oś jakości = faza 2. czeka na fazę 2. „Kod = parametry×16 bitów" to nasze założenie techniczne, a prezentacja iloczynu jako POLA w bit² — nasza operacjonalizacja (Dominik mówi o iloczynie „informacja razy kod", nie o polu).

Ile przepływów utrwalających[Mazur] „Narastanie przewodności korelacyjnej będzie określane jako rejestracja informacji" — częste przepływy utrwalają rejestraty, najsłabsze zanikają. [D, 12:16] „tworząc nowe rejestraty… albo poprawiając te, które mamy". Mapowanie „token treningu = przepływ mocy korelacyjnej" to nasza analogia funkcjonalna [nasze]. przeszło przez drogi korelatora podczas nauki. Poniżej 0,3× — drogi słabo wydeptane, kod niejednoznaczny[Kossecki, Metacybernetyka] kod niejednoznaczny (ciągi kodów nieoddzielne) prowadzi do pseudoinformowania i dezinformowania — po ludzku: system skłonny zmyślać..

Uczciwie: to oś ilościowa — wykrywacz kodu nieutrwalonego (kara za niedotrenowanie), nie ranking jakości. Obejmuje 1 z 3 czynników rejestracji Mazura (częstość; bez siły i świeżości bodźca, bez derejestracji) i nie widzi jakości danych treningowych. Nie wchodzi do Indeksu. Status: v0 [nasze] — czeka na walidację Dominika (pytanie D9).

Fizyka wyznacza absolutne minimum energii na zapis jednego bitu: kT·ln2 ≈ 2,9×10⁻²¹ JGranica Landauera (1961) — twarde prawo termodynamiki: skasowanie lub zapis 1 bitu informacji kosztuje co najmniej kT·ln2 energii (T = temperatura otoczenia). Żaden komputer nigdy nie zejdzie niżej.. To obiektywny punkt odniesienia — mierzymy, ile rzędów wielkości ponad tym minimum model zapłacił za utrwalenie swoich wag.

Mózg jest o ~6 rzędów wielkości bliżej fizycznego ideału — termodynamiczny mistrz.

Uczciwie: to miara sprawności (te same dane co bity/dżul, w jednostkach fizyki) — nadal strona ilościowa. Miara jakościIloraz: wierność kodu (licznik, za Mazurem) na nakład energia×materia (mianownik — rozdział „dżula", tu Dominik odsyła do Einsteina i sam ten wątek odracza). Oś jakości czeka na fazę 2. wymaga jeszcze licznika-kodu (wierności) — faza 2.

Ile drogi do mózgu?iSkala jest logarytmiczna: każdy równy odcinek paska oznacza ok. 10-krotny wzrost indeksu. Lewy kraniec to 10⁻⁷% (poniżej najsłabszego zmierzonego modelu), prawy — pełny parytet z mózgiem.

StarCoder osiąga 0,0015% potencjału mózgu — mózg ma ok. 66 000× więcej. Pasek jest logarytmiczny, więc każdy równy odcinek to ok. 10× wzrost.

Moment w historii

W dniu publikacji (V 2023) StarCoder wyprzedzały go 32 modele — na czele z:

Porównanie obejmuje 419 modeli ze zbioru — „#1” = najwyższy Indeks Świadomości wśród modeli opublikowanych przed premierą.

1. #267Ling-mini-base-2.0-20TAnt Group0,0015%
2. #268Nanbeige2-16B-ChatNanbeige LLM Lab0,0015%
3. #269StarCoderHugging Face,ServiceNow,Northeastern University,Mila - Quebec AI (originally Montreal Institute for Learning Algorithms),Carnegie Mellon University (CMU),Johns Hopkins University,Leipzig University,ScaDS.AI,Queen Mary University of London,Roblox,Sea AI Lab,Technion - Israel Institute of Technology,Monash University,CSIRO,Data61,McGill University,Saama,University of British Columbia (UBC),Massachusetts Institute of Technology (MIT),Technical University of Munich,IBM,University of Vermont,UnfoldML,SAP,University of Notre Dame,Columbia University,New York University (NYU),University of Allahabad,Discover Dollar,Toloka,Telefonica,Stanford University,Weizmann Institute of Science,Alan Turing Institute,Wellesley College,EleutherAI,Forschungszentrum Julich0,0015%
4. #270Nemotron-4 15BNVIDIA0,0015%
5. #271StarCoder 2 15BHugging Face,ServiceNow,NVIDIA,BigCode0,0015%

Od StarCoder (V 2023) do StarCoder 2 7B (II 2024). Punkty na wykresie są klikalne — każdy prowadzi do profilu wersji.

1. V 2023StarCoderpopularny lokalnieDostępny do uruchomienia lokalnie — Ollama / Hugging Face / LM Studio.0,0015%
2. II 2024StarCoder 2 15B0,0015%
3. II 2024StarCoder 2 7B0,0009%

Kontekst czasu

Każdy szary punkt to jeden z 419 modeli; StarCoder wyróżniony kolorem. Oś pionowa jest logarytmiczna, a przerywana linia u góry to mózg (100%).