LoRA Fine-Tuning:
LLMs effizient auf eigene Daten trainieren
LoRA (Low-Rank Adaptation) ermöglicht es, Sprachmodelle mit Milliarden von Parametern auf kleinen GPUs zu fine-tunen – ohne das vollständige Modell neu zu trainieren. Dieser Guide erklärt wie es funktioniert und wann du es einsetzen solltest.
Was ist LoRA?
LoRA steht für Low-Rank Adaptation und ist eine Methode aus der Forschung, die 2021 von Microsoft vorgestellt wurde. Statt alle Milliarden Parameter eines großen Sprachmodells beim Fine-Tuning zu aktualisieren, werden dabei nur kleine, zusätzliche Matrizen trainiert.
Das Prinzip: Die Gewichtsveränderungen eines Modells lassen sich mathematisch durch zwei kleine Matrizen mit niedrigem Rang (Low Rank) approximieren. Diese Matrizen haben wesentlich weniger Parameter als das ursprüngliche Modell – bei gleicher oder sogar besserer Anpassungsqualität.
Ein Llama-3 Modell mit 8 Milliarden Parametern benötigt beim Full Fine-Tuning etwa 60–80 GB VRAM. Mit LoRA reduziert sich das auf 6–12 GB – und ist damit auch auf Consumer-GPUs wie der RTX 4070 oder 3090 machbar.
LoRA vs Full Fine-Tuning – Wann was?
LoRA Fine-Tuning
- Wenig VRAM nötig (6–16 GB reicht)
- Schneller – weniger Parameter zu aktualisieren
- Mehrere LoRA-Adapter pro Basismodell möglich
- Adapter sind klein und einfach zu teilen
- Ideal für domänenspezifische Anpassung
- Gut geeignet: Chatbots, Instruktions-Tuning
Full Fine-Tuning
- Alle Modellparameter werden aktualisiert
- Mehr VRAM nötig (oft 40–80+ GB)
- Bessere Resultate bei sehr großen Datensätzen
- Tiefere Domänenanpassung möglich
- Kein Basismodell als Abhängigkeit
- Gut geeignet: Pre-Training, massive Fachsprache
Faustformel: Für die meisten praktischen Anwendungsfälle – Chatbots, Klassifikatoren, domänenspezifische Assistenten – ist LoRA die bessere Wahl. Full Fine-Tuning lohnt sich erst ab sehr großen, domänenspezifischen Datensätzen (100.000+ Beispiele) und mit entsprechender GPU-Infrastruktur.
QLoRA – noch weniger VRAM
QLoRA (Quantized LoRA) kombiniert LoRA mit 4-Bit-Quantisierung des Basismodells. Das Modell wird dabei in 4-Bit-Präzision geladen, was den Speicherbedarf nochmals drastisch reduziert – und die LoRA-Adapter weiterhin in 16-Bit trainiert.
Ergebnis: Llama-3 8B ist mit QLoRA auf einer RTX 3060 (12 GB) trainierbar. Ein 13B-Modell benötigt etwa 14–16 GB VRAM. Das macht professionelles LLM-Fine-Tuning auch ohne High-End-Hardware möglich.
| Modell | Full FT | LoRA (FP16) | QLoRA (4-Bit) |
|---|---|---|---|
| Llama-3 8B | ~64 GB | ~18 GB | ~10 GB |
| Llama-3 13B | ~104 GB | ~28 GB | ~14 GB |
| Mistral 7B | ~56 GB | ~16 GB | ~8 GB |
| Phi-3 Mini 3.8B | ~30 GB | ~10 GB | ~6 GB |
Wichtige LoRA Hyperparameter
rank (r)typisch: 4, 8, 16, 32Rank der LoRA-Matrizen. Höherer Rank = mehr Parameter, mehr Kapazität, aber auch mehr VRAM. Für einfache Aufgaben reicht r=8, für komplexere Domänenadaption r=16–32.
alpha (α)typisch: gleich wie rankSkalierungsfaktor für die LoRA-Gewichte. Oft auf den gleichen Wert wie rank gesetzt. Höheres Alpha = aggressivere Updates.
target_modulestypisch: q_proj, v_projWelche Schichten mit LoRA adaptiert werden. Query und Value Projektionen sind Standard. Mehr Module = mehr Kapazität, aber mehr Speicher.
lora_dropouttypisch: 0.05 – 0.1Dropout-Rate auf die LoRA-Schichten. Hilft gegen Overfitting bei kleinen Datensätzen.
LoRA Fine-Tuning direkt in FrameTrain
LoRA, QLoRA, Rank, Alpha, Target-Module – alles konfigurierbar in einer intuitiven Oberfläche. Keine Codezeile nötig. Lokal auf deiner GPU.