Einführung ins Deep Learning · Welche Lieferung soll morgen geprüft werden?
Einstieg
Lernweg
- Eingaben zeitlich begrenzen
- Den Rechenweg verfolgen
- Den Fehler messen
- Ein Gewicht ändern
- Die Reihenfolge prüfen
Die Vorlesung führt vom Perzeptron mit mehreren Ausgaben zum Netztraining und später zum frühzeitigen Abbruch. Im ersten Python-Labor verbinden Gradienten einen berechneten Verlust mit trainierbaren Parametern. Die Lieferrechnung isoliert ein Gewicht, damit seine Änderung von Hand nachvollziehbar bleibt. Folien · PDF 36 · Begleitendes Labor
Beispiel und Abbildungen stammen von GuideWit. Die Zeitlinks führen zu den thematisch passenden Abschnitten der MIT-Vorlesung.
Eingaben zeitlich begrenzen
Setzen Sie x = 2 für die verpassten Kontrollen und y = 1 für die später beobachtete Verspätung. Die tatsächliche Ankunftszeit darf das Zielmerkmal bestimmen. Als Eingabe würde sie dem Modell beim Training die Antwort verraten.
Eingaben zeitlich begrenzen · x = 2 → y = 1 → t₀ < t₁. 15:40 · MIT 6.S191
Den Rechenweg verfolgen
Mit Gewicht 0,4 und Bias −1 ergibt die gewichtete Summe −0,2. Die Sigmoidfunktion liefert daraus 0,4502. Auch eine verspätete Lieferung kann zunächst einen Wert unter einem halben Punkt erhalten.
Den Rechenweg verfolgen · 0.4 × 2 − 1 → −0.2 → σ ≈ 0.450. 27:36 · MIT 6.S191
Den Fehler messen
Für die verspätete Sendung ergibt die binäre Kreuzentropie −ln(0,4502), also ungefähr 0,798. Bei pünktlicher Ankunft würde −ln(1−p) eingesetzt. Ein Klassifikationsschwellwert und ein Trainingsverlust beantworten verschiedene Fragen.
Den Fehler messen · y = 1 → −ln(0.450) → ≈ 0.798. 30:44 · MIT 6.S191
Ein Gewicht ändern
Halten Sie den Bias fest. Der Gradient des Verlusts nach dem Gewicht ist (p−y)x ≈ −1,100. Ziehen Sie das 0,1-Fache vom Gewicht ab. Das neue Gewicht beträgt rund 0,510, die Wahrscheinlichkeit 0,505 und der Verlust 0,683.
Ein Gewicht ändern · −1.100 → 0.4 + 0.110 → w ≈ 0.510. 35:54 · MIT 6.S191
Die Reihenfolge prüfen
Eine pünktliche Sendung mit derselben Eingabe erhält ebenfalls einen höheren Wert. Prüfen Sie die ersten zehn Warnungen an späteren Fahrten. Halten Sie alle Datensätze einer Fahrt zusammen und zählen Sie, wie viele Anrufe tatsächlich verspätete Sendungen betreffen.
Die Reihenfolge prüfen · 0.450 → 0.505 → y = 1: L ↓ → y = 0: L ↑. 45:59 · MIT 6.S191
Durchgerechneter Vergleich
Gewicht | Wahrscheinlichkeit und Verlust |
|---|---|
0,4 | 0,450 / 0,798 |
0,510 | 0,505 / 0,683 |
Fehlersuche
Beobachtung | Prüfung |
|---|---|
Der Wert bleibt gleich | x und Lernrate prüfen |
Der Test wirkt fehlerfrei | Nach Ankunftsfeldern von nach zwölf Uhr suchen |
Übung
- Rechnen Sie mit x = 0 und demselben Bias. Welcher Parameter kann aus dieser Zeile lernen?
Antwort · Der Gewichtsgradient ist null. Ein trainierbarer Bias kann sich weiterhin ändern.
- Reicht der kleinere Verlust bei einer Sendung als Begründung für zehn Anrufe?
Antwort · Nein. Prüfen Sie die Rangfolge an späteren Fahrten mit bekanntem Ergebnis und dem tatsächlichen Anruflimit.
Glossar
Gewicht = gelernter Eingabefaktor. Bias = eingabeunabhängiger Versatz. Gradient = lokale Empfindlichkeit des Verlusts.