Lernrate (Hyperparameter)

Im maschinellen Lernen und in der Statistik ist die Lernrate ein Einstellparameter in einem Optimierungsalgorithmus, der die Schrittweite bei jeder Iteration bestimmt, während man sich dem Minimum einer Verlustfunktion nähert. Da sie beeinflusst, inwieweit neu gewonnene Informationen alte Informationen überschreiben, steht sie metaphorisch für die Geschwindigkeit, mit der ein Modell des maschinellen Lernens „lernt“. In der Literatur zur adaptiven Regelung wird die Lernrate üblicherweise als Verstärkung bezeichnet.

Bei der Festlegung einer Lernrate besteht ein Kompromiss zwischen der Konvergenzgeschwindigkeit und dem Überschwingen. Während die Abstiegsrichtung in der Regel anhand des Gradienten der Verlustfunktion bestimmt wird, legt die Lernrate fest, wie groß ein Schritt in diese Richtung sein soll. Eine zu hohe Lernrate führt dazu, dass der Lernprozess Minima überspringt, während eine zu niedrige Lernrate entweder zu lange bis zur Konvergenz benötigt oder in einem unerwünschten lokalen Minimum stecken bleibt.

Um eine schnellere Konvergenz zu erreichen, Schwingungen zu vermeiden und ein Feststecken in unerwünschten lokalen Minima zu verhindern, wird die Lernrate während des Trainings häufig variiert, entweder gemäß einem Lernratenplan oder durch Verwendung einer adaptiven Lernrate. Die Lernrate und ihre Anpassungen können sich auch je nach Parameter unterscheiden. In diesem Fall handelt es sich um eine Diagonalmatrix, die als Näherung an die Inverse der Hessematrix in der Newton-Methode interpretiert werden kann. Die Lernrate steht im Zusammenhang mit der Schrittweite, die durch die ungenaue Liniensuche in Quasi-Newton-Verfahren und verwandten Optimierungsalgorithmen bestimmt wird.

Zeitplan für die Lernrate

Die Anfangsrate kann auf dem Systemstandardwert belassen oder mithilfe verschiedener Verfahren ausgewählt werden. Ein Lernratenplan passt die Lernrate während des Lernvorgangs an und wird meist zwischen Epochen bzw. Iterationen geändert. Dies geschieht hauptsächlich über zwei Parameter: Abklingrate und Momentum. Es gibt viele verschiedene Lernratenprofile, doch am häufigsten werden zeitbasierte, schrittbasierte und exponentielle Profile verwendet.

Der Abklingvorgang dient dazu, das Lernresultat an einem geeigneten Punkt zu stabilisieren und Schwankungen zu vermeiden, eine Situation, die auftreten kann, wenn eine zu hohe konstante Lernrate dazu führt, dass der Lernwert über ein Minimum hin und her springt. Dieser Vorgang wird durch einen Hyperparameter gesteuert.

Der Impuls lässt sich mit einem Ball vergleichen, der einen Hügel hinunterrollt. Wir möchten, dass der Ball am tiefsten Punkt des Hügels zum Stillstand kommt (was dem geringsten Fehler entspricht). Das Momentum beschleunigt sowohl den Lernprozess (durch Erhöhung der Lernrate), wenn der Fehlerkostengradient über einen längeren Zeitraum in dieselbe Richtung zeigt, als auch vermeidet er lokale Minima, indem er kleine Unebenheiten „überrollt“. Das Momentum wird durch einen Hyperparameter gesteuert, der der Masse eines Balls entspricht und manuell gewählt werden muss – ist er zu hoch, rollt der Ball über Minima hinweg, die wir eigentlich finden wollen. Ist er zu niedrig, erfüllt er seinen Zweck nicht. Die Formel zur Einbeziehung des Momentums ist komplexer als die für den Abklingvorgang, ist jedoch meist in Deep-Learning-Bibliotheken wie Keras integriert.

Zeitbasierte Lernschemata passen die Lernrate in Abhängigkeit von der Lernrate der vorherigen Zeititeration an. Unter Berücksichtigung des Abklingverhaltens lautet die mathematische Formel für die Lernrate:

ηn+1=η01+dn

wobei η die Lernrate ist, die η0 ursprüngliche Lernrate ist, d ein Abklingparameter ist und n der Iterationsschritt ist.

Bei stufenweisen Lernplänen wird die Lernrate entsprechend einiger vordefinierter Stufen angepasst. Die Formel für die Abklingkurve lautet hier wie folgt:

ηn=η0d⌊1+nr⌋

wobei ηn die Lernrate bei Iteration n, η0 die anfängliche Lernrate, d die Änderung der Lernrate bei jedem Schritt ist (0,5 entspricht einer Halbierung) und r der Schrittfrequenz entspricht, d. h. wie oft die Rate gesenkt werden soll (10 entspricht einem Schritt alle 10 Iterationen). Die Floor-Funktion (⌊…⌋) setzt hier den Wert ihrer Eingabe für alle Werte kleiner als 1 auf 0.

Exponentielle Lernpläne ähneln stufenweisen Lernplänen, allerdings wird anstelle von Stufen eine abnehmende Exponentialfunktion verwendet. Die mathematische Formel zur Berücksichtigung des Abklingens lautet:

ηn=η0e−dn

wobei d ein Abklingparameter ist.

Adaptive Lernrate

Das Problem bei Lernratenplänen besteht darin, dass sie alle von Hyperparametern abhängen, die für jede einzelne Lernsitzung manuell ausgewählt werden müssen und je nach Problemstellung oder verwendetem Modell stark variieren können. Um dem entgegenzuwirken, gibt es viele verschiedene Arten adaptiver Gradientenabstiegsalgorithmen wie Adagrad, Adadelta, RMSprop und Adam, die in der Regel in Deep-Learning-Bibliotheken wie Keras integriert sind.

Siehe auch