Modell Tuning

Ein Optimierungsproblem

Unter Modell-Tuning versteht man die systematische Veränderung der Modellparameter, um das performanteste Modell zu identifizieren. Modell-Tuning präsentiert sich als Optimierungsproblem. Je nach Modell und Zielvariable lassen sich verschiedene Performance-Kennzahlen als Optimierungsziel auswählen, wie z.B.

  • Kontinuierlich verteilte Zielvariable
    • Root Mean Squared Error (RMSE)
    • R-Quadrat
    • Verlustfunktion
    • Mean Absolute Percentage Error (MAPE)
  • Diskret verteilte Zielvariable
    • Genauigkeit
    • Sensitivität
    • Spezifität
    • Präszision
    • F1-Score
    • Kappa
    • Area under Curve (AUC)

Hyperparameter

Um dem Trade-Off zwischen Modellperformance und Overfitting entgegenzuwirken, empfiehlt sich Cross Validation beim Tuning von Modellen. Das Ziel ist die Feinabstimmung der Modellparameter, um die gewählte Performance-Kennzahl zu optimieren. Die Hyperparameter unterscheiden sich von Methode zu Methode. Einige sind unten je nach Methode  beispielhaft gelistet (nicht ausschöpfend):

  • Regression
    • Inkludierte Variablen
    • Interaktionseffekte
    • Transformierte Variablen
    • L1-Regularisierung
    • L2-Regularisierung
  • Entscheidungsbäume
    • Baumtiefe
    • Split-Kriterium
    • Minimale Anzahl der Beobachtungen in Endknoten
  • Random Forest
    • Anzahl der Bäume
    • Betrachtete Features pro Split
    • Baumtiefe
    • Split-Kriterium
    • Sample-Größe beim Bootstrapping
  • Gradient Boosting
    • Anzahl der Bäume
    • Lernrate
    • Sample-Größe beim Bootstrapping
    • Anzahl der Endknoten
  • Neuronale Netze
    • Lernrate
    • Anzahl der Knoten in dem Hiddenlayer
    • Anzahl der Hiddenlayer
    • Aktivierungsfunktion
    • Batch-Größe

Hyperparameter-Tuning via Grid Search

Oftmals wird beim Hyperparameter-Tuning eine sogenannte Grid Search angewendet. Die Werte der Hyperparameter werden nach Ratio, empirischen Belegen oder durch Ausprobieren ausgewählt. Werden verschiedene Werte für die unterschiedlichen Hyperparameter gewählt, ergibt sich dadurch kombinatorisch eine Vielzahl von unterschiedlichen Modellspezifikationen. Diese Matrix an kombinatorischen Spezifikationen von Hyperparametern nennt sich Grid oder Hypergrid. Ziel ist es, aus diesen vielen Spezifikationen, diejenige herauszufinden, welche am besten gemäß einer Performancekennzahl performt. Ein beispielhaftes Grid findet ihr unterhalb für einen Random Forest.

Beispiel-Grid
  • Anzahl der Bäume: 500, 1000
  • Betrachtete Features pro Split: Wurzel aus Features, +1, -1
  • Baumtiefe: 4,5
  • Split-Kriterium: Gini, Information Gain

Daraus ergeben sich 2x3x2x2 = 24 zu testende Modellspezifikationen. Es wird ersichtlich, dass durch die Multiplikation der Möglichkeiten schnell sehr große Grids entstehen können. Da jede Zeile eines Grids eine Modellschätzung darstellt, kann es ja nach Komplexität des Modells, der Anzahl der Features und Anzahl der Beobachtungen zu langen, rechenintensiven Abläufen kommen. Daher besteht ein Trade-Off zwischen der Größe des Grids und den Berechnungskosten. Unser obiges fiktives Grid würde nun jeweils mit Cross-Validation angewendet werden. Die Modellperformance wird gemessen und anschließend verglichen. Die Spezifikation mit der optimalsten Modellperformance bestimmen die Parameter im finalen Modell. Dies könnte beispielhaft sein:

  • Anzahl der Bäume: 1000
  • Betrachtete Features pro Split: Wurzel aus Features +1
  • Baumtiefe: 5
  • Split-Kriterium: Gini

Suchst du nach einem Tutorial in Python für die praktische Umsetzung? Dann schau auf TowardsDataScience vorbei!

Weiterführende Ressourcen zu Machine Learning

Datenintegration

Wie Machine Learning von Datenintegration profitiert
Die Kausalkette „Datenintegration-Datenqualität-Modellperformance“ beschreibt die Notwendigkeit von effektiver Datenintegration für einfacher und schneller umsetzbares sowie erfolgreicheres Machine Learning. Kurzum: aus guter Datenintegration folgt bessere Vorhersagekraft der Machine Learning Modelle wegen höherer Datenqualität.

Betriebswirtschaftlich liegen sowohl kostensenkende als auch umsatzsteigernde Einflüsse vor. Kostensenkend ist die Entwicklung der Modelle (weniger Custom Code, damit weniger Wartung etc.). Umsatzsteigernd ist die bessere Vorhersagekraft der Modelle, was präziseres Targeting, Cross- und Upselling und ein genaueres Bewerten von Leads und Opportunities betrifft – sowohl im B2B- als auch im B2C-Bereich. Hier findest du einen detaillierten Artikel zu dem Thema:

Plattform

Wie du Machine Learning mit der Integration Platform verwendest
Du kannst die Daten deiner zentralen Marini Integration Platform externen Machine Learning Services und Applikationen zur Verfügung stellen. Die Anbindung funktioniert nahtlos durch die HubEngine oder direkten Zugang zur Plattform, abhängig von den Anforderungen des Drittanbieters. Ein Anbieter für Standardanwendungen des Machine Learnings im Vertrieb ist z.B. Omikron. Du kannst aber auch Standardanwendungen auf AWS oder in der Google Cloud nutzen. Eine Anbindung an deine eigenen Server ist ebenso problemlos möglich, wenn du dort deine eigenen Modelle programmieren möchtest.

Wenn du Unterstützung dabei brauchst, wie du Machine Learning Modelle in deine Plattform einbinden kannst, dann kontaktiere unseren Vertrieb. Wir helfen dir gerne weiter!

Anwendungsbeispiele

Häufige Anwendungsszenarien von Machine Learning im Vertrieb
Machine Learning kann auf vielfältige Weise den Vertrieb unterstützen. Es können zum Beispiel Abschlusswahrscheinlichkeiten berechnet, Cross- und Up-Selling-Potenziale geschätzt oder Empfehlungen vorhergesagt werden. Wichtig dabei ist, dass der Vertriebler unterstützt wird und eine weitere Entscheidungshilfe erhält, anhand derer er sich besser auf seine eigentliche Tätigkeit, nämlich das Verkaufen, konzentrieren kann. So kann der Vertriebler zum Beispiel schneller erkennen, welche Leads, Opportunities oder Kunden am vielversprechendsten momentan sind und diese kontaktieren. Es bleibt jedoch klar, dass der Vertriebler die letztendliche Entscheidung trifft und durch das Machine Learning letztlich nur Erleichterungen erfährt. Schlussendlich verkauft kein Modell, sondern immer noch der Mensch.

Hier findest du eine kurze Einführung in das Thema Machine Learning und die häufigsten Anwendungsmöglichkeiten im Vertrieb.

Weitere Glossar Beiträge