Bagging, Random Forest und BoostingSeminar Maschinelles Lernen

Simone Horstmann

24. Mai 2019

Bagging, Random Forest und Boosting

Voraussetzungen

Bagging

Random Forest

Boosting

Übersicht

Literatur

Bagging, Random Forest und Boosting

Voraussetzungen

o Mittlerer quadratischer Fehler (MSE)

MSE (x0) = Bias2(ŷ0) + Varτ (ŷ0) + σ2

wobei σ2 die Varianz des Fehlerterms darstellto Die Varianz ist ein Maß dafür, wie weit die Vorhersagewerte

von ihrem Erwartungswert abweichen:

Varτ (ŷ0) = Eτ [ŷ0 − Eτ (ŷ0)]2

o Der Bias ist ein Maß für die Abweichung der Vorhersagewerteŷ0 von den wahren Werten der Funktion f(x):

Bias2(ŷ0) = [f (x0) − Eτ (ŷ0)]2

Bagging, Random Forest und Boosting Voraussetzungen

o Kapazität: Anzahl der Aspekte der Daten, welche im Modellberücksichtigt werden

o Mit steigender Kapazität passt sich das Modell an dieTrainingsdaten an ⇒ Bias sinkt ⇒ Overfitting

o Modell mit geringerer Kapazität kann wahren Zusammenhangnicht mehr erfassen ⇒ Varianz sinkt ⇒ Underfitting

Bagging, Random Forest und Boosting Voraussetzungen

⇒ ’Model averaging’-Methoden sollen Generalisierungsfehlerminimieren.

o Bagging und Random Forest Methoden senken die Varianz beigleichbleibendem Bias

o Beim Boosting wird ein Modell konstruiert, das durch höhereKapazität den Bias senkt

Bagging, Random Forest und Boosting Voraussetzungen

Inhaltsverzeichnis

Voraussetzungen

Bagging

Random Forest

Boosting

Übersicht

Literatur

Bagging, Random Forest und Boosting Bagging

Bagging, auch genannt Bootstrap aggregation

o erweitert ein Modell zu mehreren Modelleno dafür werden aus dem Trainingsdatensatz sogenannte

Bootstrap samples erzeugto auf diese wird dasselbe Modell, d.h. der gleiche

Trainingsalgorithmus und die gleiche Zielfunktion angewandt⇒ Vorhersage des ursprünglichen Modells f̂ (x) wird durch die

Vorhersage des Kollektivs der ’bagged’ Modelle f̂bag(x) ersetzt

Bagging, Random Forest und Boosting Bagging

Bagging - Funktionsweise

1. Aus dem Trainingsdatensatz Zwerden B Bootstrap samples Z ∗bmit b=1,2,...,B generiert

2. Für jedes Bootstrap sample wirdein Vorhersagemodell generiert,wobei immer derselbeTrainingsalgorithmus verwendetwird

Bagging, Random Forest und Boosting Bagging

Bagging - Funktionsweise

Die Vorhersage jedes Bootstrap samplesf̂ ∗b(x) fließt mit gleichem Gewicht indie Gesamtvorhersage ein:

f̂bag(x) =1B

B

b=1f̂ ∗b(x)

Bei Klassifikationsbäumen ergibt sichdie Vorhersage durch Mehrheitsvotumaller B Bäume:

Ĝbag(x) = argmaxk f̂bag(x)

Bagging, Random Forest und Boosting Bagging

Bewertung der Bagging-Methode

Durch Bagging lässt sich die Varianzreduzieren.Bei gleichbleibendem Biaswert derBäume (gleicher Trainingsalgorithmus)reduziert sich somit der quadratischeFehler.

Bagging, Random Forest und Boosting Bagging

Besonders bei sogenannten instabilen Methoden kannBagging zu einer Verbesserung führen:Ein Entscheidungsbaum ist aufgrund seiner Hierachie instabil, d.h.eine kleine Veränderung der Daten kann schon eineFehlklassifizierung bewirken.→ Durch Anwendung der Baggingmethode erhält man B Bäume,

die alle auf verschiedenen Datensätzten Z ∗b basieren→ Bäume bestehen aus unterschiedlichen Variablen und besitzen

verschieden viele Knotenpunkte→ Die Bäume werden nicht alle denselben Fehler wie der

ursprüngliche Baum erzeugen⇒ Reduzierung von Varianz & Testfehler

Bagging, Random Forest und Boosting Bagging

Inhaltsverzeichnis

Voraussetzungen

Bagging

Random Forest

Boosting

Übersicht

Literatur

Bagging, Random Forest und Boosting Random Forest

Die Random Forest Methodeo ist eine Modifikation der Bagging-Methodeo Trainingsdatensatz wird ebenfalls in sogenannte Bootstrap

samples überführto Entscheidungsbaummodell wird zu B Bäumen, basierend auf

den B Bootstrap samples erweitert⇒ Darüber hinaus wird die Generierung der Bäume so

modifiziert, dass diese möglichst wenig korrelieren

Bagging, Random Forest und Boosting Random Forest

Random Forest - Funktionsweise1. Von b=1 bis B

1.1 Erstelle Bootstrap sample Z∗ der GrößeN

1.2 Erstelle Entscheidungsbaum anhand desBootstrap sample, durch rekusivesAnwenden der folgenden Schritte aufjeden Endknoten, bis dieMinimumknotengröße nmin erreicht ist:

1.2.1 Wähle aus den p Variablen m zufälligaus

1.2.2 Wähle aus den m Variablen die bestefür den Knotenpunkt aus

1.2.3 Teile den Knoten in zweiKinderknoten auf

2. Gib die Gesamtheit aller B Bäume zurück{Tb}B1

Bagging, Random Forest und Boosting Random Forest

Random Forest - Funktionsweise

Bei Regression wird über die Vorhersagewertejedes Baumes gemittelt:

f̂ Brf (x) =1B

B

b=1Tb(x)

Bei Klassifizierung erhält man die Klasse durchMehrheitsvotum:

ĈBrf (x) = majorityvote{Ĉb(x)}B1

Bagging, Random Forest und Boosting Random Forest

Die Varianz kann durch den sogenannten De-Korrelationseffektgesenkt werden:Die Varianz für genau einen Targetpunkt x ist gegeben durch:

Var f̂rf (x) = ρ(x)σ2

wobeiρ(x) = corr [T (x ; Θ1(Z ))T (x ; Θ2(Z ))]

die Korrelation zweier zufällig gewählter Bäume im Random Forestund

σ2(x) = VarT (x ; Θ(Z ))

die Stichprobenvarianz eines zufällig gewachsenen Baumes ist.

Bagging, Random Forest und Boosting Random Forest

Anzahl der Variablen m, aus denenan jedem Knotenpunkt ausgewähltwerden kann, sinkt wobei die mVariablen zufällig gewählt sind⇒ Wahrscheinlichkeit, dass

identische Bäume erstelltwerden, sinkt

⇒ Korrelation der Bäume sinkt

Bagging, Random Forest und Boosting Random Forest

m wird kleiner und reduziert dieKorrelation⇒ reduziert die Varianz⇒ bei (fast) gleichbleibendem

Biaswert⇒ reduziert MSE bzw. den

Test Fehler

Bagging, Random Forest und Boosting Random Forest

Out-of-bag sampleIst eine Beobachtung zi = (xi , yi) nicht im Bootstrap sampleenthalten, kann sie genutzt werden, um genau die Bäume zutesten, welche aus dem bootstrap sample generiert wurden

Bagging, Random Forest und Boosting Random Forest

Inhaltsverzeichnis

Voraussetzungen

Bagging

Random Forest

Boosting

Übersicht

Literatur

Bagging, Random Forest und Boosting Boosting

Die Boosting Methode

o konstruiert ein Modell mit höherer Kapazität undo senkt dadurch den Biaso Die Grundidee von Boosting besteht darin, aus vielen

sogenannten ’weak learners’ ein Kollektiv zu erstellen das dieModellvorhersage verbessert

o Boosting basiert dabei vorwiegend auf Entscheidungsbäumen

Bagging, Random Forest und Boosting Boosting

Boosting - Funktionsweise anhand der AdaBoost Methode

Die AdaBoost Methode erstellt iterativ eine Folge vonEntscheidungsbäumen, mit je einem Knotenpunkt & einerEntscheidungsvariable

Wie stark die Entscheidung des Baumesin die Gesamtentscheidung einfließenwird, wird durch sein Stimmgewichtαm beschrieben.→ αm berechnet sich durch die

Fehlerquote der Variable errmund die Stichproben-Gewichte wi

Bagging, Random Forest und Boosting Boosting

Boosting - Funktionsweise anhand der AdaBoost Methode

Das Stichproben-Gewicht wi ist zuBeginn 1N und wird in jeder Iterationerneuert→ wi berechnet sich durch die

Stimmgewichtung des vorherigenBaumes αm−1

Bagging, Random Forest und Boosting Boosting

Boosting - Funktionsweise anhand der AdaBoost Methode

Das Gewicht von falsch kategorisiertenStichproben wird erhöht, indem es mitdem Faktor eαm skaliert wird.

Bagging, Random Forest und Boosting Boosting

Boosting - Funktionsweise anhand der AdaBoost Methode

Der nächste Klassifikator wird dannanhand der neuen Stichprobengewichteausgewählt.⇒ Hatte ein Klassifikator also eine

hohe Fehlerquote, werden diefalsch klassifizierten Inputdaten dieWahl des nächsten Klassifikatorsstärker beeinflussen.

Bagging, Random Forest und Boosting Boosting

Boosting - Funktionsweise anhand der AdaBoost Methode

⇒ Die Bäume in einem von AdaBoostgenerierten Modell sind also abhängigvoneinander und haben unterschiedlicheGewichtung bei der Modellvorhersage :G(x) = σ(

αmGm(x))

Bagging, Random Forest und Boosting Boosting

Boosting Allgemeino Iterativ werden einzelne Entscheidungsbäume erstellt, sodass

das Modell am Ende aus der Summe aller Bäume besteht:

fM(x) =M

m=1T (x , θm)

→ um einen neuen Baum θ̂m zu definieren, muss immer wiederfolgende Gleichung gelöst werden:

θ̂m = argminθm

N

i=1L(yi , fm−1(xi) + T (xi , θm))

→ da hierbei auch fm−1(xi), der Vorhersagewert des vorigenBaumes in Betracht gezogen wird, sind die Bäume abhängig

o die Entscheidungen der ’weak learner’ fließen nichtgleichwertig, sondern gewichtet in die Gesamtentscheidung ein

Bagging, Random Forest und Boosting Boosting

Die Idee von Gradient Boosting

Eine mögliche Lösung der Gleichung ist ein Regressionsbaumder die Residuen yi − fm−1(xi) bestmöglich vorhersagt:

⇒ jeder Baum wird dann von den Fehlvorhersagen desvorhergehenden Baumes beeinflusst

Bagging, Random Forest und Boosting Boosting

Inhaltsverzeichnis

Voraussetzungen

Bagging

Random Forest

Boosting

Übersicht

Literatur

Bagging, Random Forest und Boosting Übersicht

Übersicht der 3 Methoden

Alle drei Methoden zielen darauf den Generalisierungs- bzwTestfehler zu senken:

o Bagging und Random Forest reduzieren die Varianz desModells

o Boosting reduziert den Biaswert des ModellsDie drei Methoden basieren auf der Grundidee vonEntscheidungsbäumen:

o Bagging kann für verschiedene Trainingsalgorithmenangewandt werden

o Random Forest und Boosting erweitern immer einEntscheidungsbaummodell

Bagging, Random Forest und Boosting Übersicht

Inhaltsverzeichnis

Voraussetzungen

Bagging

Random Forest

Boosting

Übersicht

Literatur

Bagging, Random Forest und Boosting Literatur

Literatur

T. Hastie, R. Tibshirani, and J.H. Friedman. The Elements ofStatistical Learning: Data Mining, Inference, and Prediction.Springer Verlag, 2009.

Ian Goodfellow, Yoshua Bengio and Aaron Courville. DeepLearning, MIT Press, 2016, http://www.deeplearningbook.org

Bagging, Random Forest und Boosting Literatur