Ein künstliches neuronales Netz (ANN) ist lose vom menschlichen Gehirn inspiriert. Es besteht aus Schichten von Neuronen, die miteinander verbunden sind. Jede Verbindung hat ein Gewicht – das Wissen, das beim Training gelernt wird.

Wie ein einzelnes Neuron funktioniert

Jedes Neuron empfängt Eingaben von allen Neuronen der vorherigen Schicht, multipliziert sie mit Gewichten, summiert alles auf und wendet eine Aktivierungsfunktion an:

Neuron-Berechnung (vereinfacht):
  output = Aktivierung(w₁·x₁ + w₂·x₂ + ... + wₙ·xₙ + b)

  w₁...wₙ = Gewichte (werden beim Training gelernt)
  x₁...xₙ = Eingaben vom vorherigen Layer
  b        = Bias (Verschiebungswert)
  Aktivierung = Nichtlineare Funktion (ReLU, Sigmoid, etc.)

Beispiel mit ReLU:
  output = max(0, w₁·x₁ + w₂·x₂ + b)
  → alles < 0 wird zu 0 → Netz lernt "feuert / feuert nicht"

Aktivierungsfunktionen

Wichtige Schichttypen in modernen Netzen

Tiefe vs. Breite: Warum Tiefe besser ist

Ein tiefes Netz (viele Schichten) lernt hierarchische Repräsentationen: Untere Schichten lernen einfache Muster (Kanten, Silben), mittlere Schichten kombinieren sie (Formen, Wörter), obere Schichten erkennen komplexe Konzepte (Gesichter, Bedeutungen). Breite allein reicht nicht.

Seit dem Paper "Attention Is All You Need" (Vaswani et al., 2017) dominiert die Transformer-Architektur die KI-Welt. Alle modernen LLMs – GPT-4, LLaMA, Mistral, BERT – basieren auf ihr. Der Schlüssel: der Self-Attention Mechanismus.

Self-Attention: Die Kernidee

Self-Attention erlaubt jedem Token im Text, jeden anderen Token zu "betrachten", um seinen Kontext zu verstehen. Drei Projektionen (Query, Key, Value) bestimmen, wie stark jedes Token auf andere achtet:

Für jeden Token i:
  Query_i  = Token_i × W_Q    (Was suche ich?)
  Key_j    = Token_j × W_K    (Was biete ich an?)
  Value_j  = Token_j × W_V    (Was ist mein Inhalt?)

Attention-Score(i,j) = softmax(Query_i · Key_j / √d_k)
Output_i = Σ_j [Attention-Score(i,j) × Value_j]

→ Jeder Token bekommt einen Output, der eine
  gewichtete Kombination aller anderen Token ist.

Multi-Head Attention

Statt einer einzigen Attention-Berechnung verwendet man h parallele Heads. Jeder Head lernt, auf andere Arten von Beziehungen zu achten: Head 1 → syntaktische Abhängigkeiten, Head 2 → Koreeferenz, Head 3 → semantische Ähnlichkeit, etc.

Transformer-Block Aufbau

Moderne LLMs im Überblick

VRAM-Bedarf für LLM Fine-Tuning

Hinter jedem Training stecken zwei fundamentale Algorithmen: Backpropagation (berechnet, wie falsch das Modell liegt und warum) und Gradient Descent (passt die Parameter in die richtige Richtung an).

Der vollständige Lernzyklus

Die Learning Rate: Der Schieberegler des Lernens

Die Learning Rate (LR) bestimmt, wie groß jeder Schritt bergab ist. Zu groß: Man überspringt das Minimum und springt wild umher. Zu klein: Man kommt fast nie an.

Gewichts-Update:
  W_neu = W_alt - α × ∂L/∂W

  α (alpha) = Learning Rate (z.B. 0.00002 = 2e-5)
  ∂L/∂W    = Gradient (Ableitung des Loss nach W)

Beispiel:
  W_alt = 0.5, Gradient = 0.3, LR = 0.01
  W_neu = 0.5 - 0.01 × 0.3 = 0.5 - 0.003 = 0.497

Stochastisches Gradient Descent (SGD) vs. Batch GD

Warum Lokale Minima kein Problem sind (bei großen LLMs)

In niedrig-dimensionalen Räumen (2D oder 3D) gibt es viele lokale Minima, aus denen man nicht herauskommt. In hochdimensionalen Parameterräumen mit Milliarden Parametern ist das fundamental anders: Fast alle kritischen Punkte sind Sattelpunkte oder flache Regionen, keine echten lokalen Minima. Zudem sind alle "guten" lokalen Minima ähnlich gut wie das globale Minimum.

Vanishing & Exploding Gradients

Bei sehr tiefen Netzen können Gradienten beim Rückwärtsdurchlauf verschwinden (→ Gewichte ändern sich kaum, Training stagniert) oder explodieren (→ Gewichte werden riesig, Training bricht ab). Moderne Architekturen lösen dies durch: