Modell Tuning

Ein Optimierungsproblem

Unter Modell-Tuning versteht man die systematische Veränderung der Modellparameter, um das performanteste Modell zu identifizieren. Modell-Tuning präsentiert sich als Optimierungsproblem. Je nach Modell und Zielvariable lassen sich verschiedene Performance-Kennzahlen als Optimierungsziel auswählen, wie z.B.

• Kontinuierlich verteilte Zielvariable
  • Root Mean Squared Error (RMSE)
  • R-Quadrat
  • Verlustfunktion
  • Mean Absolute Percentage Error (MAPE)
• Diskret verteilte Zielvariable
  • Genauigkeit
  • Sensitivität
  • Spezifität
  • Präszision
  • F1-Score
  • Kappa
  • Area under Curve (AUC)

Um dem Trade-Off zwischen Modellperformance und Overfitting entgegenzuwirken, empfiehlt sich Cross Validation beim Tuning von Modellen. Das Ziel ist die Feinabstimmung der Modellparameter, um die gewählte Performance-Kennzahl zu optimieren. Die Hyperparameter unterscheiden sich von Methode zu Methode. Einige sind unten je nach Methode  beispielhaft gelistet (nicht ausschöpfend):

• Regression
  • Inkludierte Variablen
  • Interaktionseffekte
  • Transformierte Variablen
  • L1-Regularisierung
  • L2-Regularisierung
• Entscheidungsbäume
  • Baumtiefe
  • Split-Kriterium
  • Minimale Anzahl der Beobachtungen in Endknoten
• Random Forest
  • Anzahl der Bäume
  • Betrachtete Features pro Split
  • Baumtiefe
  • Split-Kriterium
  • Sample-Größe beim Bootstrapping
• Gradient Boosting
  • Anzahl der Bäume
  • Lernrate
  • Sample-Größe beim Bootstrapping
  • Anzahl der Endknoten
• Neuronale Netze
  • Lernrate
  • Anzahl der Knoten in dem Hiddenlayer
  • Anzahl der Hiddenlayer
  • Aktivierungsfunktion
  • Batch-Größe

Oftmals wird beim Hyperparameter-Tuning eine sogenannte Grid Search angewendet. Die Werte der Hyperparameter werden nach Ratio, empirischen Belegen oder durch Ausprobieren ausgewählt. Werden verschiedene Werte für die unterschiedlichen Hyperparameter gewählt, ergibt sich dadurch kombinatorisch eine Vielzahl von unterschiedlichen Modellspezifikationen. Diese Matrix an kombinatorischen Spezifikationen von Hyperparametern nennt sich Grid oder Hypergrid. Ziel ist es, aus diesen vielen Spezifikationen, diejenige herauszufinden, welche am besten gemäß einer Performancekennzahl performt. Ein beispielhaftes Grid findet ihr unterhalb für einen Random Forest.

Beispiel-Grid

• Anzahl der Bäume: 500, 1000
• Betrachtete Features pro Split: Wurzel aus Features, +1, -1
• Baumtiefe: 4,5
• Split-Kriterium: Gini, Information Gain

Daraus ergeben sich 2x3x2x2 = 24 zu testende Modellspezifikationen. Es wird ersichtlich, dass durch die Multiplikation der Möglichkeiten schnell sehr große Grids entstehen können. Da jede Zeile eines Grids eine Modellschätzung darstellt, kann es ja nach Komplexität des Modells, der Anzahl der Features und Anzahl der Beobachtungen zu langen, rechenintensiven Abläufen kommen. Daher besteht ein Trade-Off zwischen der Größe des Grids und den Berechnungskosten. Unser obiges fiktives Grid würde nun jeweils mit Cross-Validation angewendet werden. Die Modellperformance wird gemessen und anschließend verglichen. Die Spezifikation mit der optimalsten Modellperformance bestimmen die Parameter im finalen Modell. Dies könnte beispielhaft sein:

• Anzahl der Bäume: 1000
• Betrachtete Features pro Split: Wurzel aus Features +1
• Baumtiefe: 5
• Split-Kriterium: Gini

Suchst du nach einem Tutorial in Python für die praktische Umsetzung? Dann schau auf TowardsDataScience vorbei!