Logistische Regression

Die Logistische Regression ist ein statistisches Verfahren, um binäre Ereignisse zu schätzen. Dabei werden ähnlich wie bei der Linearen Regression beliebig viele unabhängige Variablen (X) verwendet, um eine abhängige binäre Variable Y (mit den Ausprägungen 0 und 1) zu berechnen. Genauer gesagt, versucht man mit Hilfe der logistischen Regression den Einfluss von X auf Y zu schätzen. Für jeden Regressor werden, i.d.R. mithilfe einer Maximum-Likelihood-Schätzung, Koeffizienten βi geschätzt. Die Koeffizienten geben Einflussstärke (Höhe des Koeffizienten) und Einflussrichtung (Vorzeichen des Koeffizienten) an.

Oftmals verläuft die Kurve der logistischen Regression wie ein S. Auf der Y-Achse ist die Wahrscheinlichkeit abgetragen, wohingegen die X-Achse eine bestimmte Regressor-Variable widerspiegelt.

Durch notwendige mathematische Umformungen werden die Koeffizienten transformiert. Dadurch sind sie in ihrer Einflussstärke nicht mehr direkt interpretierbar – im Gegensatz zur Linearen Regression. Oftmals werden daher die sogenannten „Odds-Ratios“ gebildet, da diese eine einfachere Interpretation ermöglichen. Die Odds-Ratios beschreiben die Veränderung des Wahrscheinlichkeitsverhältnisses. Dieses ist jedoch nicht gleichzusetzen mit der Veränderung der absoluten Wahrscheinlichkeit!

Blogbeiträge zur Interpretation der Koeffizienten oder Umsetzung einer Logistischen Regression finden sich hier:

• Statworx
• TowardsDataScience

Abschließend empfiehlt sich, bei der Interpretation ein größeres Augenmerk auf die Einflussrichtung statt der Einflussstärke zu legen.

Die Anwendung von logistischen Regression ist vielfältig und auf zahlreiche Business-Kontexte übertragbar. Ob Vorhersage der Kündigung von Kunden oder Mitarbeitern bis hin zur Berechnung von Response-Wahrscheinlichkeiten für Vertriebsaktionen. Übertragen auf den Vertriebskontext könnte dies bedeuten: Die logistische Regression schätzt, ob Kunden ein Produkt abschließen oder nicht (Zielvariable Y). Als Regressoren (X) können beispielsweise das Alter, die Anzahl der Logins, das Geschlecht und ein Kundenscore (bspw. Häufigkeit der Käufe und Höhe der Käufe) benutzt werden.

Abschlusswahrscheinlichkeit (0 oder 1) = β0 + β1*Alter + β2*Anzahl Logins + β3*Geschlecht + β4*Kundenscore

Bei obigem Beispiel ließe sich vermuten, dass die Anzahl der Logins und der Kundenscore einen positiven Einfluss auf die Wahrscheinlichkeit des Abschlusses haben. Je aktiver (Anzahl Logins) ein Kunde, desto höher tendenziell sein Interesse an den jeweiligen Produkten. Je umsatzstärker ein Kunde (Kundenscore), desto höher tendenziell die Bereitschaft weitere Produkte zu kaufen (Cross-Selling). Dies ließe sich mithilfe der Logistischen Regression verifizieren (zumindest auf korrelativer Ebene).

Die logistische Regression zählt im Machine Learning zu den Supervised Learning Verfahren, da die Zielvariable (Y) bekannt ist. Allein die logistische Regression hat noch keine Machine Learning Charakteristika. Diese kommen hinzu, wenn verschiedene Modelle gegeneinander getestet werden und kontinuierlich mit neuen Daten aktualisiert werden. So „lernt“ das Modell.

Der Code Snippet ist in der Programmiersprache Python geschrieben und basiert auf dem Modul scikit-learn.