11

Evolutionäre Evolutionäre StrategienStrategien

Nicole MännigNicole Männig

22

VortragsgliederungVortragsgliederung

1.1. Woher kommen die evolutionären Strategien?Woher kommen die evolutionären Strategien? GeschichteGeschichte MotivationMotivation

2.2. Spezielle evolutionäre StrategienSpezielle evolutionäre Strategien (1+1)- ES (1+1)- ES ((μμ+1)- ES+1)- ES ((μμ++λλ)- ES und ()- ES und (μμ, , λλ) –ES) –ES

3.3. ModifikationenModifikationen

4.4. SchlusswortSchlusswort

5.5. LiteraturLiteratur

33

1.1. Woher kommen die evolutionären Woher kommen die evolutionären Strategien?Strategien?

Geschichte

Zwei parallele Entwicklungen in den 60er Jahren

In den USA führte Holland die „Genetischen Algorithmen“ ein

→ Kernidee: binäre Kodierung

In Deutschland entwickelte Rechenberg die Idee der „Evolutionären Strategie“, welche von Schwefel weitergeführt wurde

→ Kernidee: reelle Kodierung

44

1.1. Woher kommen die evolutionären Woher kommen die evolutionären Strategien?Strategien?

Geschichte

gehören zu den Verfahren, die ohne Gradienten arbeiten arbeiten mit Stochastik und Populationen

Evolutionäre Methoden

Evolutionäre Programmierung

Evolutionäre Strategien

Genetische Algorithmen

Simulated Annealing

55

1.1. Woher kommen die evolutionärenWoher kommen die evolutionärenStrategien?Strategien?

Motivation

jedes Lebewesen ist nahezu perfekt an seine Umgebung angepasst

die Evolution fand über einen sehr langen Zeitraum statt

selbst gravierende Änderungen der Lebensräume und -bedingungen konnten diese Evolution nicht stoppen

die Natur hat somit ein perfektes Vorbild für die Mathematik geschaffen

66

1.1. Woher kommen die evolutionärenWoher kommen die evolutionärenStrategien?Strategien?

Motivation

evolutionäre Methoden zeichnen sich durch ihre Robustheit und Effektivität aus

Verwendung häufig bei nichtlinearen Systemen, wo andere Optimierungsverfahren versagen oder keine adäquate Lösung liefern

folgende Prinzipien werden dabei auf die Mathematik übertragen

→ Mutation

→ Selektion

→ Rekombination

77

1.1. Woher kommen die evolutionärenWoher kommen die evolutionärenStrategien?Strategien?

Motivation

Idee: die Parameter werden nach dem Zufallsprinzip geringfügig geändert

mit der darstellenden Funktion werden dann die „Fitnesswerte“ der Objekte berechnet und entsprechend sortiert

die neuen Objekte entstehen also durch Mutationen der alten Objekte

die Individuen werden durch Vektoren reeller Zahlen kodiert

eine Population ist somit eine Menge von Vektoren

88

1.1. Woher kommen die evolutionärenWoher kommen die evolutionärenStrategien?Strategien?

Motivation

Industriebeispiel: Verwendung einer evolutionären Strategie in der Bionik

Knochen bauen sich von dem Punkt ausgehend auf, der die größte Belastung aushalten bzw. am stabilsten sein muss

→ finde diesen Punkt in der zu gießenden Form → berechne optimale Vorgehensweise für den Gussvorgang

viele Anwendungen im Bereich der Elektrotechnik meistens jedoch multikriteriell

99

Übersicht.

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien

Evolutionäre Strategie

Eltern Kinder

Selektion Mutation

Bevölkerung

1010

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien(1+1)- ES(1+1)- ES

Einleitung

Wir betrachten das in den vergangenen Vorträgen vorgestellte Optimierungsproblem (Minimierungsproblem)

gesucht ist der Weg zu einem Optimum der nicht linearen Zielfunktion mit multiplen lokalen Optima

selbst wenn es nur ein lokales Optimum gibt, kann es schwierig werden dorthin einen Weg zu finden

.

1111

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien(1+1)- ES(1+1)- ES

Vorstellung

Motivation war die Formoptimierung (1+1)- ES bedeutet: 1 Elternteil, 1 Nachkomme (1+1)- ES = (P°, m, s, cd, ci, f, g, t)

→ P° = (x°, σ°) є I Population I = Rn x Rn

→ m: I → I Mutationsoperator

→ s: IxI → I Selektionsoperator

→ cd, ci є R Schrittweitenkontrolle

→ f: Rn → R Zielfunktion

→ gj: Rn → R Nebenbedingungen j є {1,…, q}

→ t: IxI → {0,1} Abbruchbedingung

1212

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien(1+1)- ES(1+1)- ES

Arbeitsweise einer evolutionären Strategie

Elternteil

Evaluation

(Terminierung) Mutation

Selektion Evaluation

1313

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien(1+1)- ES(1+1)- ES

Arbeitsweise einer evolutionären Strategie

Elternteil: a1´t = Pt (xt, σt) → Evaluation

Mutation = Nachkomme: a2´t = m (Pt) = (x´t, σt) → Evaluation

Vorübergehende Population: P´t = (a1´t, a2

´t) є IxI

Einschub: biologische Beobachtung: kleinere Änderungen treten häufiger auf als größere realisieren daher Mutationen durch normal- verteilte Zufallszahlen

→ x´t = xt + N0(σt )

.

1414

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien(1+1)- ES(1+1)- ES

Arbeitsweise einer evolutionären Strategie

bestimme nun das fittere Individuum (= Selektion)

f(x´t) ≤ f(xt) und

a2´t if

→ Pt+1 = s(Pt) = g(x´t) ≥ 0

a1´t = Pt sonst

der Iterationsprozess stoppt, wenn das Abbruchkriterium t(a1´t , a2

´t)=1 hält

eine Frage die noch offen ist: konvergiert das Verfahren überhaupt?

1515

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien(1+1)- ES(1+1)- ES

Konvergenz

Konvergenz:

→ für σ > 0 und ein reguläres Optimierungsproblem wird das globale Optimum mit Wahrscheinlichkeit 1 gefunden

→ Nachteil: die Suchzeit muss ausreichend lang sein

→ daher keine praktische Relevanz

Rechenberg berechnete die Konvergenzraten für 2 Modellfunktionen

→ Korridor- Modell: f1(x)= F(x1)= c0 + c1 x1 für alle iє{2,…,n}: -b/2 ≤ xi ≤ b/2

→ Sphären- Modell: f2 (x)= Σxi ²

1616

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien(1+1)- ES(1+1)- ES

daraus ergeben sich die zu erwartenden Konvergenzraten:

→ für n>>1

→

Konvergenzrate des Sphärenmodells ist abhängig von der aktuellen Position im euklidischen Raum

1

1

21

2

n

b

81

828exp

2

2

2r

nerr

r

n

r

n

1717

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien(1+1)- ES(1+1)- ES

bestimme damit die optimalen Standardabweichungen

→

→

Berechne davon ausgehend die Wahrscheinlichkeiten für eine erfolgreiche Mutation

n

bopt *21

n

b

e*

2

1max1

n

ropt *224.12 n

r*2025.0max

2

1818

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien(1+1)- ES(1+1)- ES

Erfolgreiche Mutation

→ für n>>1

→ für n>>1

für optimale Schrittweiten ergibt sich damit:

→

→

1

1

21

2

1

n

t

bp

81

2

12

r

nerrp t

184.02

11

ep opt

270.02 optp

1919

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien(1+1)- ES(1+1)- ES

Mutationsvarianz

Ausgehend davon, formulierte Rechenberg seine 1/5 Regel:

„Das Verhältnis der erfolgreichen Mutationen zu allen Mutationen sollte 1/5 sein. Wenn es größer ist als 1/5, erhöhe die Varianz, wenn es weniger

ist, verringere die Mutationsvarianz.“

.

2020

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien(1+1)- ES(1+1)- ES

Mutationsvarianz

daher macht es Sinn, σt dynamisch anzupassen wir erweitern daher den Mutationsoperator m

cdσt, falls pst < 1/5

σt+n= ciσt, falls pst > 1/5

σt, falls pst = 1/5

Schwefel: cd=0.82, ci=1/0.82 Anpassung ungefähr alle n Mutationen

.

2121

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien(1+1)- ES(1+1)- ES

ein kleines Anwendungsbeispiel: Optimierung einer 2- Phasen Überschalldüse

→ Entwicklung eines Stromerzeugers für Satelliten

→ Ausgang: konventionell geformte Venturidüse

→ Schwefel kombinierte nach dem Zufallsprinzip die einzelnen Sektoren, in die eine solche Düse geschnitten wurde

.

2222

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien(1+1)- ES(1+1)- ES

ein kleines Anwendungsbeispiel: Optimierung einer 2- Phasen Überschalldüse

die folgende Abbildung zeigt die zufälligen Änderungen (Mutationen)

eine Änderung, die sich bewährt hat, wurde als Vorlage für die nächste zufällige Anordnung genommen

.

2323

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien(1+1)- ES(1+1)- ES

ein kleines Anwendungsbeispiel: Optimierung einer 2- Phasen Überschalldüse nach 44 zufälligen Mutationen kam dabei folgende Form heraus

diese Form wäre zum damaligen Zeitpunkt nicht mathematisch und logisch nachvollziehbar erwartet worden

auch heute ist dieses Ergebnis nur in etwa nachzuvollziehen die Effizienz dieser Form ist ca. 40% höher als die der Venturidüse und das, obwohl man nicht den Zusammenhang zwischen Form und

Wirkung kennt .

2424

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien((μμ+1)- ES+1)- ES

Einleitung

Welche Auswirkungen hat es, wenn ich eine ganze Bevölkerung zur Verfügung habe?

→ binde dafür das Populationskonzept in den Algorithmus ein

→ μ >1 gibt dabei die Anzahl der Eltern an, die an der Produktion eines Nachfahrens beteiligt sind

→ insbesondere ist nun auch die sexuelle Rekombination simulierbar

2525

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien((μμ+1)- ES+1)- ES

Vorstellung

(μ+1)- ES = (P°, μ, r, m, s, cd, ci, f, g, t)

→ P° = (x°, σ°) є I Population I = Rn x Rn

→ μ >1 Anzahl der Eltern

→ r: Iμ→ I Rekombinationsoperator

→ m: I → I Mutationsoperator

→ s: IxI → I Selektionsoperator

→ cd, ci є R Schrittweitenkontrolle

→ f: Rn → R Zielfunktion

→ gj: Rn → R Nebenbedingungen j є {1,…, q}

→ t: IxI → {0,1} Abbruchbedingung

nun mehr als nur ein Elternteil

wird wegen gestiegener

Elternzahl benötigt

2626

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien((μμ+1)- ES+1)- ES

Arbeitsweise einer (μ+1)- ES

die Einbindung einer Population führt zwangsläufig zu einer anderen Vorgehensweise

Population

Evaluation

Terminierung? Selektion I

Selektion II Rekombination +Mutation

Evaluation

nun stehen mehrere Eltern

zur Auswahldiese müssen auch wieder bewertet

werden suche mir nun daraus potentielle

Eltern ausweitere

Selektion erforderlich

2727

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien((μμ+1)- ES+1)- ES

Arbeitsweise einer (μ+1)- ES

der Rekombinationsoperator entscheidet dabei, von welchem Elternteil welcher Anteil übernommen wird

dies geschieht mittels einer Zufallsvariable auf dem Intervall [0,1]

Konvention: alle Eltern haben dasselbe Paarungsverhalten

r ist diskret, da Komponentenwerte von den Eltern kopiert werden .

2828

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien((μμ+1)- ES+1)- ES

Arbeitsweise einer (μ+1)- ES„Survival of the fittest“

→ Selektionsoperator entfernt das Schwächste Individuum

→ dies kann entweder der Nachkomme oder ein Elternteil sein

→ geschieht vor Produktion der neuen Generation

→ der Rest arbeitet analog zur (1+1)- ES

→ die dynamische Anpassung der Schrittweiten ist jedoch nicht gewünscht, da der Nachkomme mit niedriger Mutationsvarianz bevorzugt wird

2929

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien((μμ++λλ)- ES)- ES

Vorstellung. wie die Schreibweise schon vermuten lässt:

→ μ>1 Eltern→ λ>1 Nachkommen

Selektion arbeitet also nun auf der Vereinigung von Eltern und Nachkommen→ Eltern überleben solange, bis sie komplett von einer besseren Generation Nachkommen überholt werden→ das am beste angepasste Individuum kann daher ewig überleben→ die Qualität der besten Individuen kann sich von Generation zu Generation nicht verschlechtern

damit sind jedoch Nachteile verbunden

3030

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien((μμ++λλ)- ES)- ES

Nachteile

• ändert sich das Optimum mit der Zeit, so steckt die (μ+λ)- ES in der vorherigen Umgebung fest

• bei störanfälligen Variablen passiert dasselbe (häufig in einer experimentellen Umgebung)

• ist μ/λ ≥ pf(x)opt (der Wahrscheinlichkeit für eine erfolgreiche Mutation),

so ist eine zusätzliche Selektion erforderlich

3131

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien((μμ,,λλ)- ES)- ES

Vorstellung

(μ+λ)- ES (μ, λ)- ES

1. Eltern überleben, bis sie komplett von einer Generation Nachkommen eingeholt werden.

2. Qualität kann sich nicht verschlechtern

3. Es kann zu Stagnationsphasen kommen

4. Kann in einer optimalen Umgebung festhängen

1. Nur die Nachkommen bilden die Eltern der nächsten Generation → begrenzte Lebenszeit

2. Es kann Rückschritte in der Qualität geben

3. Stagnationsphasen werden vermieden

4. Kann sich auf neues Optimum einstellen

3232

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien((μμ++λλ)- ES und ()- ES und (μμ, , λλ)- ES )- ES

Qualitäten im Vergleich

bestes Individuum in der Generation

Qua

lität (μ+λ)- ES

(μ, λ)- ES

3333

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien((μμ++λλ)- ES und ()- ES und (μμ, , λλ)- ES)- ES

Mutationen

durch das Unterdrücken groß ausfallender Mutationen können starke Schwankungen vermieden werden

Mutationsmechanismen der ES sind daher meistens klein ausfallende Mutationen

3434

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien((μμ, , λλ)- ES)- ES

Mutationen

wesentlicher Unterschied: Strategieparameter σt wird nun in die genetische Information aufgenommen und nicht durch eine Erfolgsregel (z.B. die 1/5 Regel von Rechenberg) kontrolliert

somit gilt dann für den Mutationsoperator:

→ ai´t = r(Pt) = Genetischer Vorfahre

→ m(ai´t) = ai

´´t = (x´´t, σ´´t)

→ σ´´t = σ´t expN0(Δσ)

→ x´´t = x´t + N0(σ´´t )

σ selbst wird nun ebenfalls verändert

3535

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien((μμ, , λλ)- ES)- ES

Beispiel: Marketing

Grobe Beschreibung:

→ man bringt ein Produkt auf den Markt

→ wie verbreitet sich das Produkt?

→ welche Werbemaßnahmen?

→ welcher Anfangspreis?

→ sobald das Produkt auf dem Markt ist: Konkurrenzprodukte, neue Marketingstrategien, Preisdruck durch Konkurrenten, etc.

ZIEL: selbst- anpassender Algorithmus, der Entwicklungen des Marktes berücksichtigt

3636

2. Spezielle evolutionäre Strategien2. Spezielle evolutionäre Strategien((μμ, , λλ)- ES)- ES

Beispiel: MDO = Multidisziplinäre Optimierung

→ Einbindung verschiedener Disziplinen

→ große Anzahl an Parametern und

Nebenbedingungen

Ziel: Minimierung des Gewichts

FE- Modell: Crash ~ 130.000 Elemente

NVH ~ 90.000 Elemente

unabhängige Parameter: 109 , Anzahl der Simulationen: 3*28*10

Nebenbedingungen: 18, Anzahl CPU (Crash): 800, Anzahl CPU (NVH)=8Monte- Carlo-

Schema(μ, λ)- ESLaufzeit: 58

Stunden

3737

3. Modifikationen3. Modifikationen

die bis hierhin verwendeten Strategien sind nicht die einzigen

man hat auch noch optimale Konvergenzraten betrachtet, welche auf einem optimalen Verhältnis μ/λ arbeiten

Nachteil: werden diese von einem lokalen Optimum angezogen, verringert sich ihre genetische Vielfalt

um dies zu verhindern, kann man die Bevölkerung teilen:→ konstante Subpopulation: trägt nützliches Wissen, erhält minimale genetische Diversität→ dynamische Subpopulation

hier ist die globale Konvergenz nachprüfbar

3838

3. Modifikationen3. Modifikationen

Rekombinationstypen

des Weiteren kann man verschiedene Rekombinationstypen betrachten

→ auch hier gibt es wieder Vor- und Nachteile in der Diversität und Über- Anpassung

Schwefels Implementierung erlaubt 5 Rekombinationstypen:

xa,i (A) keine Rekombination

xa,i oder xb,i (B) diskret

xi´= ½(xa,i + xb,i) (C) intermediär

xai,i oder xbi,i (D) global diskret

½(xai,i + xbi,i) (E) global intermediär

3939

3. Modifikationen3. Modifikationen

Mutationen

auch die Mutationen können noch anders betrachtet werden

→ bislang waren die bevorzugten Suchrichtungen entlang der Achsen

→ erfahrungsgemäß ist die beste Suchrichtung der Gradient, welcher nicht entlang der Achsen liegt

ein günstiges Fortschreiten wird durch korrelierte Mutationen erreicht

4040

3. Modifikationen3. Modifikationen

Mutationen es wird ein zusätzlicher Strategievektor θ eingefügt

m(ai´t)=ai

´´t= (x´´, σ´´, θ´´)

σ´´= σ´t exp N0(Δσ)

θ´´= θ´t + N0(Δσ)

x´´ = x´t + N0(A)

anschaulich bedeutet dies:Ellipsen stellen Bereichegleicher Mutationswahr-scheinlichkeit dar1. globale Schrittweite2. individuelle Schrittweite3. korrelierte Mutationen

4141

4. Schlusswort4. Schlusswort

Evolutionäre Strategien haben durchaus andere Eigenschaften und Fähigkeiten als Methoden, die mit Gradienten arbeiten

grundsätzlich gibt es die Gefahr, nach Auffinden eines lokalen Optimums dort zu verharren

dies ist vorallem ein Manko von Gradientenverfahren

bei evolutionären Strategien sind diese Gefahren deutlich reduziert

somit ist die Wahrscheinlichkeit größer, ein Optimum zu finden oder sich diesem anzunähern

4242

4. Schlusswort4. Schlusswort

auch wenn sie auf Grund der Laufzeiten nicht immer vorteilhaft sind, so können sie doch eine Laufrichtung für andere Verfahren bieten

bei multikriteriellen Optimierungsproblemen liefern sie außerdem neue Ideen oder Schwerpunkte für die Optimierung

4343

5. Literatur5. Literatur

• A Survey of Evolution Strategies, Bäck, Hoffmeister, Schwefel

• Evolutionary Strategies for Multidisciplinary Optimization, Bäck (NuTech Solutions GmbH)

• diverse Internetseiten von Technischen Universitäten mit dem Fachbereich Elektrotechnik, Bionik