Lernen heißt: Fehler messen und Gewichte anpassen
Am Anfang stehen zufällige Gewichte. Das Netz bekommt ein Trainingsbeispiel, rechnet es durch und liefert eine Ausgabe, die mit dem richtigen Ergebnis fast nichts zu tun hat. Der Unterschied zwischen Ausgabe und Wunschergebnis wird als eine einzige Zahl ausgedrückt: der Fehler oder Loss.
Jetzt kommt die entscheidende Frage: Welches der 25.760 Gewichte muss in welche Richtung und wie stark verändert werden, damit dieser Fehler kleiner wird? Die Antwort liefert die Ableitung. Für jedes einzelne Gewicht lässt sich berechnen, wie empfindlich der Fehler auf eine kleine Änderung dieses Gewichts reagiert. Diese Empfindlichkeiten zusammen heißen Gradient.
Dann wird jedes Gewicht ein kleines Stück entgegen seines Gradienten verschoben – entgegen, weil man ja bergab will. Wie groß dieses Stück ist, bestimmt die Lernrate. Danach kommt das nächste Beispiel, und das Ganze wiederholt sich einige Millionen Mal.
Beispiel: eine Anpassung von Hand
Ein Ausgabeneuron soll 1,0 liefern, gibt aber 0,7 aus. Der Fehler ist −0,3. Eines seiner Eingangsgewichte ist 0,5, und das zugehörige Neuron war mit 0,8 aktiv. Der Beitrag dieses Gewichts zum Fehler ist −0,3 · 0,8 = −0,24. Bei einer Lernrate von 0,1 wird das Gewicht um 0,1 · 0,24 = 0,024 erhöht, also auf 0,524. Beim nächsten Mal liegt die Ausgabe etwas näher an 1,0. Wichtig ist die Logik dahinter: Gewichte, deren Eingangsneuron stark aktiv war, tragen mehr Schuld am Fehler – und werden entsprechend stärker korrigiert.
Die Lernrate entscheidet über Erfolg oder Absturz
Stellen Sie sich den Fehler als Landschaft vor: Für jede mögliche Gewichtskombination gibt es eine Höhe, und gesucht ist das tiefste Tal. Der Gradient sagt, wo es bergab geht. Die Lernrate sagt, wie weit man in diese Richtung springt.
Zu klein: Der Abstieg dauert ewig. Zu groß: Man springt über das Tal hinweg und landet höher als vorher – das Training explodiert. In der folgenden Demo können Sie beides erzeugen.
Backpropagation: Schuld rückwärts verteilen
Bei einem einschichtigen Netz ist die Zuordnung von Fehler zu Gewicht einfach. Aber wie ist ein Gewicht in der ersten Schicht am Fehler der Ausgabe schuld, wenn dazwischen zwei weitere Schichten liegen?
Die Antwort ist die Kettenregel aus der Analysis, hier Backpropagation genannt. Der Fehler wird von hinten nach vorn durch das Netz zurückgereicht: Jedes Neuron erfährt, wie viel es zum Fehler der nachfolgenden Schicht beigetragen hat, und gibt seinen Anteil an die Neuronen davor weiter – gewichtet mit genau den Gewichten, über die es verbunden ist.
Der Trick dabei ist Effizienz: Ein einziger Rückwärtsdurchlauf liefert die Ableitungen für alle Parameter gleichzeitig. Ohne dieses Verfahren, das seit den 1980ern bekannt ist, wären große Netze schlicht nicht berechenbar.
- Vorwärtsdurchlauf: Eingabe durchs Netz schicken, Ausgabe und Fehler berechnen
- Rückwärtsdurchlauf: Fehleranteil je Neuron von hinten nach vorn verteilen
- Update: alle Gewichte ein Stück entgegen ihres Gradienten verschieben
- Batch: nicht nach jedem Beispiel, sondern nach z. B. 64 Beispielen aktualisieren – stabiler und schneller
- Epoche: ein vollständiger Durchlauf durch alle Trainingsdaten
| Stellschraube | Typischer Wert | Zu klein | Zu groß |
|---|---|---|---|
| Lernrate | 0,001 – 0,1 | Training dauert ewig, bleibt in flachen Stellen hängen | Springt über Minima, divergiert („Loss = NaN“) |
| Batchgröße | 32 – 256 | Sehr verrauschte Updates, langsam auf GPUs | Glatt, aber Speicherhunger und oft schlechtere Verallgemeinerung |
| Epochen | 10 – 100 | Modell hat nicht ausgelernt (Unteranpassung) | Auswendiglernen der Trainingsdaten (Überanpassung) |
| Netzgröße | aufgabenabhängig | Kapazität reicht nicht für das Muster | Genug Kapazität, um Rauschen mitzulernen |
Training live beobachten
Die folgende Demo trainiert ein echtes Netz mit 105 Parametern in Ihrem Browser – Vorwärtsdurchlauf, Backpropagation und Gewichtsupdate laufen tatsächlich ab. Die eingefärbte Fläche ist die Entscheidungsgrenze des Netzes: Sie sehen zu, wie das Modell die Struktur der Daten Stück für Stück nachbildet.
Drei Experimente lohnen sich. Wählen Sie die Spirale – hier reicht die Kapazität kaum, das Netz bleibt bei den engen Windungen hängen. Drehen Sie die Lernrate hoch – das Bild zerfällt. Und drücken Sie mehrfach „Neu würfeln“, ohne sonst etwas zu ändern: Manchmal findet dasselbe Netz eine gute Lösung, manchmal bleibt es in einer schlechten stecken. Nur die Startwerte waren anders.
Overfitting: auswendig gelernt statt verstanden
Ein Netz mit genügend Parametern kann Trainingsdaten perfekt reproduzieren – auch deren Zufälligkeiten und Fehler. Auf den Trainingsdaten sieht das großartig aus, auf neuen Daten versagt es. Das ist Overfitting, und es ist der häufigste Grund, warum ein Modell in der Demo überzeugt und im Betrieb enttäuscht.
Deshalb wird der Datenbestand immer geteilt: Trainingsdaten zum Lernen, Validierungsdaten zum Einstellen der Rahmenbedingungen, Testdaten für die ehrliche Schlussmessung – letztere werden erst ganz am Ende ein einziges Mal angefasst. Steigt der Trainingsfehler weiter, während der Validierungsfehler wieder wächst, ist der Punkt zum Aufhören erreicht.
| Aufteilung | Anteil (typisch) | Wofür | Wie oft angefasst |
|---|---|---|---|
| Training | 70–80 % | Gewichte anpassen | Millionenfach |
| Validierung | 10–15 % | Hyperparameter wählen, Abbruchzeitpunkt bestimmen | Nach jeder Epoche |
| Test | 10–15 % | Ehrliche Schlussmessung | Genau einmal, ganz am Ende |
Beispiel: der Panzer-Klassifikator
Eine oft erzählte Anekdote aus der Frühzeit der Bilderkennung: Ein Modell sollte Panzer auf Fotos erkennen und erreichte im Test nahezu perfekte Werte. Im Einsatz versagte es. Der Grund: Die Panzerbilder waren an bewölkten Tagen aufgenommen worden, die Bilder ohne Panzer bei Sonne. Das Modell hatte gelernt, den Himmel zu bewerten. Ob die Geschichte in allen Details stimmt, ist umstritten – das Muster dahinter ist real und begegnet einem in jedem zweiten Projekt: Modelle greifen nach der einfachsten Regelmäßigkeit, die im Datensatz funktioniert, nicht nach der gemeinten.
Warum niemand genau sagen kann, was im Modell steht
Nach dem Training liegen Millionen oder Milliarden Zahlen vor. Sie funktionieren, aber sie sind nicht lesbar wie Programmcode. Man kann einzelne Neuronen untersuchen – wie in der Ziffern-Demo, wo sich Gewichtsbilder betrachten lassen – und ganze Forschungszweige beschäftigen sich damit, größere Modelle zu interpretieren. Eine vollständige Erklärung, warum ein bestimmtes Modell in einem bestimmten Fall so entschieden hat, gibt es aber nicht.
Das hat unmittelbare Konsequenzen für die Praxis: Man kann ein Modell nicht debuggen wie ein Programm. Man kann es nur messen, eingrenzen und überwachen. Wo Nachvollziehbarkeit rechtlich gefordert ist – etwa bei Hochrisiko-Anwendungen nach EU AI Act – ist das ein Grund, bewusst einfachere und prüfbare Verfahren zu wählen.
Das Wichtigste in Kürze
- Training misst den Fehler und verschiebt alle Gewichte ein Stück entgegen ihres Gradienten.
- Backpropagation verteilt den Fehleranteil rückwärts durchs Netz – ein Durchlauf liefert alle Ableitungen.
- Die Lernrate entscheidet zwischen quälend langsam, brauchbar und Divergenz.
- Zufällige Startwerte führen zu unterschiedlichen Ergebnissen – Training ist ein Suchprozess.
- Overfitting bedeutet: auf Trainingsdaten stark, auf neuen Daten schwach. Getrennte Testdaten sind Pflicht.
- Ein trainiertes Modell lässt sich nicht wie Programmcode lesen, nur messen und überwachen.
?Wissens-Check
Beantworten Sie die Fragen, um Ihr Verständnis zu prüfen. Sie erhalten sofort eine Rückmeldung.
Frage 1.Was beschreibt der Gradient im Training?
Frage 2.Was passiert bei einer zu großen Lernrate?
Frage 3.Woran erkennt man Overfitting?
Frage 4.Zwei Trainingsläufe mit identischen Daten und Einstellungen liefern unterschiedlich gute Modelle. Warum?