Norske språkmodeller sammenlignet: Od1n, NorMistral og de internasjonale modellene på norsk

Slik presterer norske språkmodeller mot hverandre – og mot de internasjonale

På en fersk, kontaminerings-fri norsk 2026-korpus (målt i byte-invariant BPB, der lavere er bedre) ligger NorMistral-11B best an på norsk totalt (0,541), fulgt av NorMistral-7B (0,627) og deretter Od1n 3B (0,632). Det interessante er størrelsesforholdet: Od1n er en modell på bare 3 milliarder parametere, men slår samtlige internasjonale modeller i sammenligningen – inkludert Google Gemma-2-9B, Meta Llama-3.1-8B, Mistral-7B og Alibaba Qwen2.5-3B – selv om flere av dem er to til tre ganger så store.

Kort oppsummert: de to norske NorMistral-modellene scorer høyest på totalen, men de er også vesentlig større enn Od1n. Blant modeller i sin egen vektklasse, og mot alle de internasjonale, er Od1n den sterkeste på norsk i denne målingen.

Benchmark: norsk-score (BPB) på tvers av modeller

Tabellen viser norsk-score målt i bits-per-byte (BPB). Lavere tall betyr at modellen forstår og komprimerer norsk tekst bedre.

Od1n havner på tredjeplass av syv modeller. De to modellene som scorer høyere – NorMistral-11B og NorMistral-7B – er henholdsvis nesten fire ganger og over dobbelt så store. Vi skjuler ikke dette: på totalen ligger begge NorMistral-modellene foran Od1n, og det er en ærlig del av bildet.

Liten modell, tung ytelse

Det som gjør resultatet interessant, er hva Od1n oppnår per parameter. Med 3 milliarder parametere slår modellen alle de internasjonale alternativene på norsk:

• Mot Qwen2.5-3B (Alibaba), som er nøyaktig like stor, har Od1n rundt 29 % bedre norsk-score (lavere BPB). Det illustrerer hvor mye et norsk-fokusert treningsgrunnlag betyr når modellstørrelsen er lik.
• Mot Gemma-2-9B (Google) og Llama-3.1-8B (Meta) ligger Od1n foran, tross at begge er nesten tre ganger så store.
• Mot Mistral-7B er forspranget betydelig, selv om Mistral er over dobbelt så stor.

Sterkest på norsk offentlig forvaltning

Bryter vi tallene ned på sjanger, blir bildet enda tydeligere på ett område: norsk offentlig forvaltningstekst. Her slår Od1n faktisk NorMistral-7B, som er over dobbelt så stor.

• Statlig forvaltning (GOV): Od1n 0,779 mot NorMistral-7B 0,799.
• Kommunal forvaltning (KOMMUNAL): Od1n 0,530 mot NorMistral-7B 0,549.

Det er verdt å være presis her: dette gjelder spesifikt forvaltningstekst, ikke totalen. På tvers av alle sjangre ligger NorMistral-7B fortsatt foran Od1n. Men for norsk offentlig sektor – stortingsdokumenter, kommunale saksframlegg og lignende – er Od1n den sterkeste av de to, til en brøkdel av størrelsen.

Om metoden: hvorfor BPB og hvorfor akkurat denne testen

Sammenligning av språkmodeller på tvers av leverandører er notorisk vanskelig, fordi ulike modeller bruker ulike tokenizere. Vi bruker derfor BPB (bits-per-byte), et byte-invariant og tokenizer-uavhengig mål. Fordi det regnes per byte og ikke per token, blir sammenligningen rettferdig på tvers av helt ulike modellarkitekturer. Lavere BPB betyr bedre modellering av teksten.

Målingene er gjort på en fersk, kontaminerings-fri norsk 2026-korpus satt sammen av tekst fra Stortinget, kommunal forvaltning, nynorsk og kode. Korpuset er publisert etter treningskuttet til konkurrentmodellene, slik at ingen av dem kan ha sett dataene under trening – det reduserer risikoen for at tallene er kunstig gode på grunn av datalekkasje.

Alle modeller ble kjørt under identiske betingelser: samme kontekstlengde (2048 tokens) og samme evalueringskode. Én viktig nyanse: konkurrentene er ferdige, publiserte modeller, og Od1n er her målt ved fullført pretrening (checkpoint 28 640). Modellen forbedres ytterligere i en pågående sluttpuss-fase (anneal).

Åpenhet om hva dette er og ikke er: Dette er interne målinger utført av EZ-Fix AS, ikke tredjeparts-verifisert. Vi presenterer dem fordi metodikken er transparent og reproduserbar med samme korpus og kode, men de bør leses som våre egne resultater. Vi kaller dem verken uavhengige eller eksternt bekreftede.

Hva betyr dette i praksis?

For norske brukere – særlig innen offentlig sektor og fagdomener med mye norsk forvaltningsspråk – viser tallene at modellstørrelse ikke er alt. En 3B-modell trent fra bunnen av på et norsk-tungt datagrunnlag kan matche og til dels slå langt større internasjonale modeller på norsk, og konkurrere tett med større norske modeller. Fordelen med en liten modell er dessuten praktisk: lavere inferenskostnad, raskere svar og enklere drift på egen infrastruktur.

Od1n V5 er en norsk språkmodell på 3 milliarder parametere, trent fra scratch av EZ-Fix AS. Du kan lese mer om hele testoppsettet og se den fullstendige sjanger-fordelte benchmarken under teknologi og full benchmark, eller bli bedre kjent med om Od1n og hvorfor vi bygger en norsk modell fra grunnen av.

Kort om modellene i sammenligningen

• Od1n 3B – norsk språkmodell fra EZ-Fix AS, trent fra scratch.
• NorMistral-11B og NorMistral-7B – norske modeller fra det norske forskningsmiljøet (NORA/UiO).
• Gemma-2-9B – Google. Llama-3.1-8B – Meta. Qwen2.5-3B – Alibaba. Mistral-7B – Mistral AI.