BERT-Large

Ile drogi do mózgu?iSkala jest logarytmiczna: każdy równy odcinek paska oznacza ok. 10-krotny wzrost indeksu. Lewy kraniec to 10⁻⁷% (poniżej najsłabszego zmierzonego modelu), prawy — pełny parytet z mózgiem.

BERT-Large osiąga 0,0001% potencjału mózgu — mózg ma ok. 970 000× więcej. Pasek jest logarytmiczny, więc każdy równy odcinek to ok. 10× wzrost.

Moment w historii

W dniu publikacji (X 2018) BERT-Large wyprzedzało go 11 modeli — na czele z:

Porównanie obejmuje 170 modeli ze zbioru — „#1” = najwyższy Indeks Świadomości wśród modeli opublikowanych przed premierą.

1. #138GPT-2 Medium (FlashAttention)Stanford University,University at Buffalo0,0001%
2. #139ERNIE-GEN (large)Baidu0,0001%
3. #140BERT-LargeGoogle0,0001%
4. #141DDPM-IP (CelebA)Utrecht University9,3×10⁻⁵%
5. #142GNMTGoogle8,9×10⁻⁵%

Kontekst czasu

Każdy szary punkt to jeden z 170 modeli; BERT-Large wyróżniony kolorem. Oś pionowa jest logarytmiczna, a przerywana linia u góry to mózg (100%).