← Wszystkie modele

Profil modelu

Mixtral 8x7B

Mistral AI·Francja·XII 2023·język
popularny lokalnieszacunekMoEsprzęt z epoki
Indeks Świadomości
0,0033%
widełki: 0,0014%–0,0074%szacunek
Moc diagnostyczna
3,5×10⁷ bitów
widełki: 1,5×10⁷–7,9×10⁷
Energia treningu
522 MWh
widełki: 261 MWh–1 GWhszacuneksprzęt: typowy dla ery 2023
Sprawność
0,4 bit/J
bitów wzorca z 1 dżula energii treningu

Ile drogi do mózgu?i

0,0033%
10⁻⁷%
Mózg (100%)

Mixtral 8x7B osiąga 0,0033% potencjału mózgu — mózg ma ok. 30 000× więcej. Pasek jest logarytmiczny, więc każdy równy odcinek to ok. 10× wzrost.

Moment w historii

W dniu publikacji (XII 2023) Mixtral 8x7B wyprzedzało go 31 modeli — na czele z:

GPT-4 (Mar 2023)
III 2023
0,042%
GLaM
XII 2021
0,032%
PaLM-E
III 2023
0,019%
W dniu premiery
#32
Do ówczesnego lidera
×12,8
Modeli przed premierą
99

Porównanie obejmuje 170 modeli ze zbioru — „#1” = najwyższy Indeks Świadomości wśród modeli opublikowanych przed premierą.

Architektura MoE

Parametry łącznie
46,7 mld
z nich liczymy indeks i moc diagnostyczną
Aktywne na zapytanie
13 mld
tyle realnie pracuje przy jednej odpowiedzi

Część aktywna to 27,8% wszystkich parametrów.

Pozycja w rankingu

#94 z 170
  1. #92LLaMA-65B0,0041%
  2. #93SNM-skip0,0040%
  3. #94Mixtral 8x7B0,0033%
  4. #95Falcon-40B0,0029%
  5. #96Yi-34B0,0026%

Rodzina Mistral

3 wersje

Od Mixtral 8x7B (XII 2023) do Mistral Large 2 (VII 2024) indeks linii urósł ×2,0. Punkty na wykresie są klikalne — każdy prowadzi do profilu wersji.

  1. XII 2023Mixtral 8x7B0,0033%
  2. II 2024Mistral Large0,012%
  3. VII 2024Mistral Large 20,0065%

Kontekst czasu

Każdy szary punkt to jeden z 170 modeli; Mixtral 8x7B wyróżniony kolorem. Oś pionowa jest logarytmiczna, a przerywana linia u góry to mózg (100%).