Steg 3 av 10 ⏱ 5 min

Stora sprÄkmodeller (LLM)

Tekniken bakom ChatGPT och Claude - hur de förstÄr och genererar text.

Vad Àr en LLM?

Large Language Models (LLM) Àr neurala nÀtverk trÀnade pÄ enorma mÀngder text för att förstÄ och generera sprÄk.

TÀnk autofyll i mobilen - fast pÄ steroider. Du vet hur telefonen föreslÄr nÀsta ord nÀr du skriver? LLM:er gör exakt samma sak, fast med hela meningar, stycken och dokument. FrÄn den enkla uppgiften att gissa nÀsta ord uppstÄr förmÄgan att skriva, resonera och lösa problem.

Transformer-arkitekturen

Alla moderna LLM:er bygger pÄ Transformer-arkitekturen frÄn 2017. Nyckelkomponenter:

  • Self-Attention: Modellen kan fokusera pĂ„ relevanta delar av texten, oavsett avstĂ„nd
  • Parallell bearbetning: Hela texten bearbetas samtidigt, inte ord för ord
  • Skalbarhet: Prestanda ökar med mer data och större modeller

Viktig terminologi

đŸ§© Tokens

AI lÀser inte ord som vi gör - den bryter ner text i smÄ bitar, ungefÀr som stavelser. "Fantastiskt" blir typ ["Fan", "tast", "iskt"]. Fler tokens = lÀngre text som AI:n kan hantera.

📊 Parametrar

Vikterna i modellen. GPT-4 har uppskattningsvis 1.8 biljoner parametrar. Fler = mer kapacitet.

đŸŒĄïž Temperatur

Styr kreativitet. LÄg (0) = deterministiskt. Hög (1+) = mer slumpmÀssigt och kreativt.

📏 Kontextfönster

Hur mycket text modellen "minns" i en konversation. Claude: 200K tokens, GPT-4: 128K tokens.

⚙ Prompting

Konsten att formulera instruktioner för att fÄ bÀsta resultat. "Prompt engineering" Àr en egen disciplin.

🔄 Fine-tuning

VidartrÀna en modell pÄ specifik data för att specialisera den för en uppgift.

TrÀningsprocessen för LLM:er

Fas Beskrivning
1. Pre-training TrÀnas pÄ internet-skala text (böcker, webb, kod). LÀr sig sprÄk och kunskap.
2. Fine-tuning TrÀnas pÄ specifika instruktioner och svar för att bli hjÀlpsam.
3. RLHF Reinforcement Learning from Human Feedback - mÀnniskor betygsÀtter svar.
4. Safety training TrÀning för att undvika skadligt innehÄll och följa riktlinjer.

Styrkor och svagheter

✅ Styrkor

  • Extremt god pĂ„ sprĂ„k
  • Bred kunskap
  • Anpassningsbar
  • Kreativ

⚠ Svagheter

  • Hallucinationer (hittar pĂ„)
  • Inget minne mellan sessioner
  • Kunskap har cutoff-datum
  • Kan vara översĂ€kert felaktig

🎯 Din tur!

FrÄga en AI hur den sjÀlv fungerar - svaret kan överraska dig:

Förklara hur du fungerar under huven. Vad hÀnder steg för steg nÀr jag skickar ett meddelande till dig?

đŸ§Ș Testa dig sjĂ€lv

Vad Àr en LLM:s grundlÀggande uppgift under trÀning?

FörstÄ meningen av text
FörutsÀga nÀsta ord i en text
ÖversĂ€tta mellan sprĂ„k
Klassificera text i kategorier