Gradient

Der Gradient ist ein Vektor, der die Richtung der maximalen Steigung einer Funktion anzeigt. Er ist ein grundlegendes Konzept in der Vektorrechnung und spielt eine wichtige Rolle in vielen Bereichen wie Physik, Maschinelles Lernen, Computergrafik und mehr.

Formal wird der Gradient einer skalaren Funktion definiert als ein Vektor von ihren ersten Ableitungen (Partielle Ableitung). Wenn eine differenzierbare (Differenzierbarkeit) Funktion ist, dann ist der Gradient von gegeben durch:

Jede Komponente des Gradientenvektors gibt die Rate der Änderung von in Bezug auf die entsprechende Variable an.

Als Beispiel betrachten wir die Funktion . Der Gradient dieser Funktion ist:

Das bedeutet, dass die Rate der Änderung von in Bezug auf gleich ist und die Rate der Änderung von in Bezug auf gleich ist. Der Punkt bestimmt also die Richtung und das Ausmass der Steigung.

Die Richtung des Gradientenvektors zeigt immer zur grössten Steigung hin. Daher wird der Gradient oft bei Optimierungsproblemen verwendet: Man beginnt bei einem zufälligen Punkt und bewegt sich entlang des negativen Gradienten (d. h., in die entgegengesetzte Richtung des grössten Anstiegs), um das Minimum einer Funktion zu finden. Dieses Verfahren wird als «Gradient Descent» bezeichnet.