Profil modelu

Aya

Cohere for AI,Brown University,Cohere,Carnegie Mellon University (CMU),Massachusetts Institute of Technology (MIT)·Kanada·II 2024·język

szacunek

Indeks Świadomości

0,0013%

widełki: 0,0004%–0,0046%szacunek

Informacja (pojemność)

1,4×10⁷ bitów

widełki: 4,1×10⁶–4,9×10⁷

Jak policzono te liczby

szacunek

·parametry: estymata Epoch AI (pewność: speculative)
·jednostki korelatora: estymata z parametrów (d∝P^⅓, proporcje dense transformera)
·energia: brak compute treningu → nieliczona
·utrwalenie kodu: b.d. — brak compute treningu

Bramka Mazurowska — pełna moc diagnostyczna (informacja × kod)

metoda z nagrania [Cybernetyka #2]

Dominik: „informacja razy kod" daje wyobrażenie o mocy diagnostycznejIloczyn dwóch rodzajów bitów — u nas zobrazowany jako pole bramki Mazurowskiej. Liczone wyłącznie ze struktury modelu (parametry, architektura), nie z benchmarków.. Obie liczby liczymy z budowy modelu — zero testów.

Informacja

1,4×10⁷

bity — relacje wewnątrz sieci

Kod

2,1×10¹¹

bity — utrwalone wagi

Moc diagnostyczna

10^18,5 bit²

pole = informacja × kod

Uczciwie: to nadal miara ilości (jak duży korelator), nie jakości — większy model ma większą moc. Cybernetyczna miara jakościPodział informacja/kod × energia/materia (Einstein). Sam Dominik ją odracza w nagraniu („nie pakujmy jeszcze Einsteina"). Oś jakości = faza 2. czeka na fazę 2. „Kod = parametry×16 bitów" to nasze założenie techniczne, a prezentacja iloczynu jako POLA w bit² — nasza operacjonalizacja (Dominik mówi o iloczynie „informacja razy kod", nie o polu).