Steg 3 av 10

Stora sprÄkmodeller (LLM)

Tekniken bakom ChatGPT och Claude - hur de förstÄr och genererar text.

Vad Àr en LLM?

Large Language Models (LLM) Àr neurala nÀtverk trÀnade pÄ enorma mÀngder text för att förstÄ och generera sprÄk.

KĂ€rnuppgift: FörutsĂ€ga nĂ€sta ord. "Himlen Ă€r _____" → "blĂ„". FrĂ„n denna enkla uppgift uppstĂ„r förmĂ„liga svar.

Transformer-arkitekturen

Alla moderna LLM:er bygger pÄ Transformer-arkitekturen frÄn 2017. Nyckelkomponenter:

  • Self-Attention: Modellen kan fokusera pĂ„ relevanta delar av texten, oavsett avstĂ„nd
  • Parallell bearbetning: Hela texten bearbetas samtidigt, inte ord för ord
  • Skalbarhet: Prestanda ökar med mer data och större modeller

Viktig terminologi

đŸ§© Tokens

Text delas upp i "tokens" - bitar av ord. "Fantastiskt" kan bli ["Fan", "tast", "iskt"]. GPT-4 hanterar ~128K tokens.

📊 Parametrar

Vikterna i modellen. GPT-4 har uppskattningsvis 1.8 biljoner parametrar. Fler = mer kapacitet.

đŸŒĄïž Temperatur

Styr kreativitet. LÄg (0) = deterministiskt. Hög (1+) = mer slumpmÀssigt och kreativt.

📏 Kontextfönster

Hur mycket text modellen "minns" i en konversation. Claude: 200K tokens, GPT-4: 128K tokens.

⚙ Prompting

Konsten att formulera instruktioner för att fÄ bÀsta resultat. "Prompt engineering" Àr en egen disciplin.

🔄 Fine-tuning

VidartrÀna en modell pÄ specifik data för att specialisera den för en uppgift.

TrÀningsprocessen för LLM:er

Fas Beskrivning
1. Pre-training TrÀnas pÄ internet-skala text (böcker, webb, kod). LÀr sig sprÄk och kunskap.
2. Fine-tuning TrÀnas pÄ specifika instruktioner och svar för att bli hjÀlpsam.
3. RLHF Reinforcement Learning from Human Feedback - mÀnniskor betygsÀtter svar.
4. Safety training TrÀning för att undvika skadligt innehÄll och följa riktlinjer.

Styrkor och svagheter

✅ Styrkor

  • Extremt god pĂ„ sprĂ„k
  • Bred kunskap
  • Anpassningsbar
  • Kreativ

⚠ Svagheter

  • Hallucinationer (hittar pĂ„)
  • Inget minne mellan sessioner
  • Kunskap har cutoff-datum
  • Kan vara översĂ€kert felaktig

đŸ§Ș Testa dig sjĂ€lv

Vad Àr en LLM:s grundlÀggande uppgift under trÀning?

FörstÄ meningen av text
FörutsÀga nÀsta ord i en text
ÖversĂ€tta mellan sprĂ„k
Klassificera text i kategorier