Eine matrixfreie Loserklassefur nichtlineare Gleichungssysteme∗

Peter Kosmol†und Ivor Nissen‡

Universitat KielApril 1994

Abstract - Zusammenfassung

A Matrix Free Solver Class for Nonlinear Systems of Equations: A family of rapidly convergent

algorithms to solve nonlinear systems of equations are described. These methods are easy to implement

and doesn’t need any jacobian or update matrix to compute the solution.

Key words: Systems of equations, Equations with nonlinear operators.

AMS-subject classification: 65H10, 65J15.

Eine matrixfreie Loserklasse fur nichtlineare Gleichungssysteme: Es wird eine Klasse von

leicht zu implementierenden Gleichungslosern fur nichtlineare Systeme vorgestellt. Diese benotigen keine

Jacobi- oder Aufdatierungsmatrizen. Zudem zeichnen sie sich durch ihre schnelle Konvergenz aus.

1 Einleitung

In dieser Arbeit soll eine effiziente Algorithmenklasse zur Losung der folgenden nichtli-

nearen Aufgabe vorgestellt werden:

Seien n ∈ IN, F ∈ C1(IRn). Suche ein x∗ ∈ IRn mit

F (x∗) = 0.(1)

Die Verfahren dieser Klasse stellen Verallgemeinerungen des Verfahrens der konjugier-

ten Residuen auf nichtlineare Gleichungen dar und arbeiten matrixfrei. Hier liegt der

∗Erschienen im Bericht Nr. 9404 des Institutes fur Informatik und Praktische Mathematik.†Mathematisches Seminar, Universitat Kiel, D-24098 Kiel, Deutschland. E-mail: nms21@rz.uni-

kiel.d400.de‡Institut fur Informatik und Praktische Mathematik, Universitat Kiel, D-24098 Kiel, Deutschland.

E-mail: in@informatik.uni-kiel.d400.de

1

2 2 ALLGEMEINER ALGORITHMUS

entscheidende Vorteil im Vergleich zu den Newton- und Quasi-Newton-Verfahren, was

die Anwendbarkeit auf hochdimensionale Aufgaben besonders erleichtert. Es wird dabei

nicht auf einen linearen Gleichungsloser zuruckgegriffen. Anstelle der Ableitung wird die

Richtungsableitung benutzt, die numerisch mit Hilfe nur einer weiteren Funktionsaus-

wertung berechnet werden kann. Als Losungsstrategie wird die Minimierung der Qua-

dratnorm ‖F (·)‖2 herangezogen. Die Norm wird durch das gegebene Skalarprodukt (hier

das Euklidische) induziert.

Im weiteren wird jedem ` ∈ IN ein Algorithmus aus der Klasse zugeordnet. Ein we-

sentliches Merkmal der zu ` gehorenden Losungsmethode besteht darin, daß in jedem

Iterationsschritt eine (`+ 1)-dimensionale Minimierung durchgefuhrt wird. Der Parame-

ter ` beschreibt die Anzahl der letzten zu speichernden Suchrichtungen aus dem lau-

fenden Iterationsprozeß. Damit ist dieser Ansatz eine konsequente Ubertragung der in

[KosmolNissen93] angegebenen Algorithmenklasse, Mar` (M¯

odifikation a¯lter R

¯ichtungen)

zur Losung linearer Gleichungssysteme.

Die Formulierung der allgemeinen Algorithmenklasse lautet wie folgt:

2 Allgemeiner Algorithmus

Algorithmus 2.1 (Mar`)

Wahle x0 ∈ IRn; ` ∈ IN; ε > 0;

Wahle linear unabhangige d0, . . . , d`−1 ∈ IRn; (∗)d` := F (x0);

k := `;

WHILE ‖dk‖ > ε DO

Berechne αj ∈ IR; j = 0 . . . ` mit

(α0, . . . , α`) := argminα0,...,α`

‖F (xk +∑`j=0 α`−jdk−j)‖2;

4k :=∑`j=0 α`−jdk−j;

xk+1 := xk +4k;

dk+1−` := 4k;

dk+1 := F (xk+1);

k ← k + 1.

Empfehlenswert sind Initialisierungsrichtungen in (*) die sukzessiv durch Mar(` − 1)

berechnet werden, wobei fur ` = 1 d0 = 0 gewahlt wird. Diese Vorgehensweise wurde

bei den numerischen Tests benutzt (siehe Tabellen). Da 4k bei der Durchfuhrung durch

dk+1−` ersetzt werden kann, benotigt man maximal `+ 2 Vektoren.

3

Die in jedem Iterationsschritt durchzufuhrende lokale Minimierung

‖F (xk +∑j=0

αjdk−j)‖2(2)

muß im allgemeinen numerisch realisiert werden und ist daher mit vielen Funktionsaus-

wertungen verbunden. Es sei das einfachste Klassenelement mit ` = 1 empfohlen, da hier

der Rechenaufwand am geringsten ist.

Algorithmus 2.2 (Mar1)

Wahle x0 ∈ IRn; ε > 0;

40 := 0;

d1 := F (x0);

k := 1;

WHILE ‖dk‖ > ε DO

(α0, α1) := argminα0,α1∈IR

‖F (xk + α04k−1 + α1dk)‖2;

4k := α04k−1 + α1dk;

xk+1 := xk +4k;

dk+1 := F (xk+1);

k ← k + 1.

Die lokale Minimierung (2) liefert die folgenden wichtigen Orthogonalitatsbeziehungen,

die entscheidenden Einfluß auf die Konvergenz haben. Es gilt die

Bemerkung 2.3

∀j = 0..` : 〈F (xk+1)|F ′(xk+1)dk−j〉 = 0.

Beweis: Notwendige Bedingung fur Minimalitat.

Insbesondere gilt F (xk+1) ⊥ F ′(xk+1)F (xk). Im linearen Fall entspricht dies der Konju-

giertheit aufeinanderfolgender Residuen. Es laßt sich sogar zeigen, daß bei symmetrischen

linearen und definiten Problemen alle berechneten Residuen zueinander konjugiert sind

und damit liefert Mar1 algebraisch identische Iteriertenfolgen zum Cr-Verfahren von

Stiefel [Stiefel55].

3 Konvergenzanalyse

Definition 3.1

Sei M ⊂ IRn eine Teilmenge. Eine Abbildung F : M → IRn heißt stark monoton, falls

ein C ∈ IR+ \ {0} existiert mit

4 3 KONVERGENZANALYSE

∀x, y ∈M : 〈F (y)− F (x), y − x〉 ≥ C‖y − x‖2.(3)

Es sei bemerkt, daß die Ableitung einer differenzierbaren Funktion f genau dann stark

monoton ist, wenn f stark konvex ist (vgl. z.B. [Kosmol93, Satz 4, S. 39]).

Satz 3.2 (Konvergenz fur stark monotone Funktionen)

Seien x0 ∈ IRn und F ∈ C1(IRn) mit lokal Lipschitz-stetiger Ableitung F ′. Ist F in der

Startniveaumenge

Sx0 := {x ∈ IRn|‖F (x)‖ < ‖F (x0)‖}

stark monoton und F ′ in der Losung regular, dann ist die von Mar` erzeugte Iterations-

folge (xk)k∈IN (falls nicht endlich) mindestens R-linear konvergent gegen die Nullstelle x∗.

Dieser Satz soll in einer verallgemeinerten Form bewiesen werden. Dafur werden die

folgenden Hilfssatze benotigt.

Lemma 3.3

Sei U ⊂ IRn eine offene Teilmenge, x ∈ U und F ∈ C1(U, IRn) stark monoton. Dann

existiert ein C ∈ IR+ \ {0} mit

∀z ∈ IRn : 〈F ′(x)z, z〉 ≥ C‖z‖2.

Beweis: Sei z ∈ IRn und ε ∈ IR+ \ {0}, so daß I := [x, x+ εz] ⊂ U . Da F stark monoton

ist, existiert eine (von x und z unabhangige) Konstante C ∈ IR+ \ {0}, derart, daß fur

alle ε ∈ (0, ε] gilt:

〈F (x+ εz)− F (x), x+ εz − x〉 ≥ C‖εz‖2 /ε2

⇔ 1

ε〈F (x+ εz)− F (x), z〉 ≥ C‖z‖2

⇒ limε→0

1

ε〈F (x+ εz)− F (x), z〉 ≥ lim

ε→0C‖z‖2

⇔ 〈F ′(x)z, z〉 ≥ C‖z‖2.

2

Lemma 3.4

Sei U ⊂ IRn offen, F ∈ C1(U, IRn), x∗ ∈ U, F ′ lokal Lipschitz-stetig und F ′(x∗) regular.

Dann ist ‖F (·)‖2 in einer nichtleeren Kugel K(x∗, r) ⊂ U stark konvex.

5

Beweis: siehe [Kosmol93, Lemma 1, S. 173]

Satz 3.5 (Konvergenz)

Es existiere ein C ∈ IR+ \ {0}, so daß fur alle Elemente der Startniveaumenge x ∈ Sx0gilt:

|〈F ′(x)F (x)|F (x)〉| ≥ C‖F (x)‖2.(4)

a) Dann ist die Folge der Werte der von Mar` erzeugten Iterationsfolge (xk)k∈IN (falls

nicht endlich) mindestens Q-linear konvergent. Es gilt die Abschatzung

∃δ ∈]0, 1[ ∀k ∈ IN : ‖F (xk+1)‖ ≤ δ‖F (xk)‖.

b) Ist zusatzlich die Niveaumenge beschrankt, dann besitzt (xk)k∈IN Haufungspunkte.

Jeder Haufungspunkt ist Losung von (1) und

c) liegt die eindeutige Losbarkeit vor, so konvergiert die Folge (xk)k∈IN gegen die

Nullstelle x∗.

d) Ist daruber hinaus F ′ lokal Lipschitz-stetig und in der Losung x∗ regular, so liegt

mindestens R-lineare Konvergenz der Iterationsfolge (xk)k∈IN vor.

Beweis: Sei αk ∈ IR derart gegeben, daß

∀α ∈ IR : ‖F (xk + αkF (xk))‖ ≤ ‖F (xk + αF (xk))‖

gilt. Nach Konstruktion werden die Parameter αj optimal gewahlt und es gilt insbeson-

dere

‖F (xk +∑j=0

αjdk−j)‖ ≤ ‖F (xk + αkdk)‖ = ‖F (xk + αkF (xk))‖.

Mit der Bezeichnung xk+1 := xk + αkF (xk) und der Effizienz der optimalen Schrittweite

(vgl. z.B. [Zoutendijk70, Kosmol93]) existiert eine Konstante C ∈ IR+ \ {0}, so daß in

jedem Iterationsschritt k ∈ IN mit (4) die Abschatzung

‖F (xk)‖2 − ‖F (xk+1)‖2 ≥ ‖F (xk)‖2 − ‖F (xk+1)‖2

≥ 4C〈F ′(xk)>F (xk)|F (xk)〉2

‖F (xk)‖2

= 4C|〈F ′(xk)>F (xk)|F (xk)〉|2

‖F (xk)‖2

≥ 4CC2‖F (xk)‖2

6 3 KONVERGENZANALYSE

gilt. Die beidseitige Division durch ‖F (xk)‖2 liefert dann die Abschatzung

‖F (xk)‖2 − ‖F (xk+1)‖2 ≥ 4CC2‖F (xk)‖2 > 0

⇔ ‖F (xk+1)‖‖F (xk)‖

≤√

1− 4C2C < 1.

Teil a) der Behauptung ergibt sich mit

δ :=√

1− 4C2C.

Durch die lokale Minimierung bleibt die durch Mar` erzeugte Iterationsfolge in der

Startniveaumenge und die Beschranktheit garantiert die Existenz von Haufungspunkten

der Iteriertenfolge (xk)k∈IN. Sei x := limi xki . Mit a) folgt

‖F (x)‖ = limi‖F (xki)‖ = 0,

d.h. x ist eine Losung von (1). Dies impliziert die Konvergenz im Falle der eindeutigen

Losbarkeit. Ist F ′ regular und lokal Lipschitz-stetig, dann ist ‖F (·)‖2 in einer Umgebung

von x∗ nach Lemma 3.4 stark konvex. Damit existiert ein m > 0 und ein k0 ∈ IN (vgl.

[Kosmol93, Lemma 2, S. 137]), so daß fur alle k ≥ k0 die Abschatzung

‖xk − x‖ ≤ m‖F (xk)‖ ≤ m‖F (xk0)‖√δk−k0

gilt. (xk)k∈IN konvergiert mindestens R-linear gegen die Losung x∗.

2

Beweis fur stark monotone Funktionen: Mit dem Lemma 3.3 ist die Voraussetzung

(4) erfullt. Die starke Monotonie impliziert die Beschranktheit der Niveaumenge Sx0 ,denn mit der Cauchy-Schwarz-Ungleichung und (3) folgt

∀x ∈ Sx0 : (‖F (x)‖+ ‖F (x0)‖)‖x− x0‖ ≥ ‖F (x)− F (x0)‖‖x− x0‖≥ |〈F (x)− F (x0), x− x0〉|≥ C‖x− x0‖2.

Insbesondere ist

‖x− x0‖ ≤‖F (x)‖+ ‖F (x0)‖

C≤ 2

C‖F (x0)‖.

Die Eindeutigkeit ergibt sich direkt aus der Definition der starken Monotonie.

2

7

Bemerkung 3.6

Im linearen Fall wird die Voraussetzung (4) durch die Definitheit der Matrix garantiert.

Ersatzvarianten bei indefiniten Aufgaben findet man in [Nissen94].

Das auch fur nicht eindeutig losbare Funktionen die lineare Konvergenz der Werte gegen

null vorliegen kann, sei an folgendem veranschaulicht:

Anwendung 3.7

Sei P ein linearer idempotenter Operator. Dann ist die Konstante der Voraussetzung (4)

durch C = 1 gegeben.

Beweis: P ist ein linearer idempotenter Operator und damit gilt

P (Px) = Px.

Damit ist die Konstante der Voraussetzung (4) durch C = 1 gegeben, denn

〈P (Px)|Px〉 = ‖Px‖2.

4 Der lineare Fall

Im linearen Fall konnen die Koeffizienten der (` + 1)-dimensionalen Minimierung alge-

braisch berechnet werden. Fur F (x) := b−Ax ist das Funktional ‖F (·)‖2 stark konvex.

Die Bestimmung der eindeutigen Minimallosung von

(α0, . . . , α`) 7→ ‖F (xk +∑j=0

αjdk−j)‖2

reduziert sich auf das Losen des linearen Gleichungssystemes

∑j=0

αj〈Adk−j|Adk−i〉 = 〈F (xk)|Adk−i〉; i = 0 . . . `.

Die Bezeichnungen pi = Adk−i, qk−1 = A4k−1 und rk = b − Axk fuhren somit auf die

aquivalente

Aufgabe : Suche (αj)j=0...` ∈ IR`+1 mit

∑j=0

αj〈pi|pj〉 = 〈rk|pi〉; i = 0 . . . `.(5)

Dabei ist G` := (〈pi|pj〉)i,j=0...` die Gramsche Matrix, die hier nicht singular ist, solange

die Losung noch nicht erreicht worden ist. Die vom Algorithmus erzeugten Orthogona-

litatsbeziehungen sorgen fur die notwendige lineare Unabhangigkeit der pi. Die neueste

8 4 DER LINEARE FALL

Suchrichtung angewendet auf A ist in p0 gespeichert. Die rechte Seite (〈rk|pi〉)i=0(1)`

von (5) vereinfacht sich zu 〈rk|p0〉e0, wobei e0 den ersten Einheitsvektor darstellt. Das

Element

Q :=∑j=0

αjpj(6)

ist die beste Approximation aus span{pj, j = 0(1)`} von rk und somit ist ‖rk −Q‖ mi-

nimal bzgl. dieses Teilraumes.

Fur den Spezialfall ` = 1 erhalt man nach Umbenennung pk := p0 durch das Losen des

zweidimensionalen linearen Gleichungssystemes (5) mittels det(G1) = ‖qk−1‖2‖pk‖2 −〈qk−1|pk〉2 die Belegung

α0 =‖pk‖2〈rk|qk−1〉 − 〈qk−1|pk〉〈rk|pk〉

det(G1),

α1 =‖qk−1‖2〈rk|pk〉 − 〈qk−1|pk〉〈rk|qk−1〉

det(G1),

und mit dem Wissen, daß das Skalarprodukt von rk und qk−1 verschwindet, gestaltet

sich unter zusatzlicher Einfuhrung eines Prakonditionierers H ∈ L(IRn) der einfachste

Gleichungsloser wie folgt:

Algorithmus 4.1 (Mar1)

Wahle x0 ∈ IRn;H ∈ L(IRn);

r0 := b− Ax0;

40 := Hr0;

q0 := A40;

α1 := 〈r0|q0〉‖q0‖2 ;

x1 := x0 + α140;

r1 := r0 − α1q0;

k := 1;

WHILE ‖rk‖ > ε DO

dk := Hrk;

pk := Adk;

det := ‖qk−1‖2‖pk‖2 − 〈qk−1|pk〉2;

α0 := − 〈qk−1|pk〉〈rk|pk〉det

;

α1 := ‖qk−1‖2〈rk|pk〉det

;

9

4k := α04k−1 + α1dk;

qk := α0qk−1 + α1pk;

xk+1 := xk +4k;

rk+1 := rk − qk;k ← k + 1.

Im linearen Fall kann die obige zweidimensionale Minimierung durch eine sukzessive

zweifache Anwendung von eindimensionalen Minimierungen aquivalent ersetzt werden,

wie das bei den Cg-Techniken ausgenutzt wird. Dieses fuhrt zu der

Bemerkung 4.2

Im linearen Fall erzeugt Mar1 bei identischer Initialisierung die gleiche Iterationsfolge

wie das Verfahren Omin(A>A,H,A) aus der Taxonomie [AshbyManteuffelSaylor90, p.

1549].

Beweis: Auf Grund der in jedem Schritt k ∈ IN vorliegenden Orthogonalitat von rk und

A4k−1 entspricht die Minimierung von

(s, t) 7→ ‖rk − sA4k−1 − tAHrk‖

der folgenden zweistufigen Vorgehensweise: Bestimme βk als Minimallosung von

s 7→ ‖AHrk + sA4k−1‖

und lose anschließend die Minimierungsaufgabe fur αk: Minimiere t 7→ ‖rk − t(AHrk +

βkA4k−1)‖. Denn nach dem Projektionssatz ist

AHrk + βkA4k−1 ⊥ A4k−1.

Mit rk ⊥ A4k−1 folgt

r := rk − αkAHrk − αkβkA4k−1 ⊥ A4k−1.

Damit und r ⊥ AHrk + βkA4k−1 folgt auch r ⊥ AHrk und mit dem Projektionssatz

folgt die Behauptung.

2

Insbesondere ergibt sich die

Folgerung 4.3

Fur eine symmetrische und definite Ausgangsmatrix ist die Iterierten-Sequenz durch

Mar` generiert, unabhangig von ` und identisch zu der, die vom Verfahren der konju-

gierten Residuen erzeugt wird.

10 5 NICHTLINEARES OMIN-VERFAHREN

5 Nichtlineares Omin-Verfahren

Im nichtlinearen Fall entspricht wie bereits erwahnt die zweidimensionale Minimierung

im allgemeinen nicht der sukzessiven Anwendung eindimensionaler Minimierungen (Line-

Search). Letztere ist aber numerisch einfacher zu realisieren.

Abweichend vom vorgestellten Konzept soll daher eine Variante angegeben werden, die

sich an dem Verfahren Omin mitB = A>A (Bezeichnungen s. [AshbyManteuffelSaylor90,

p. 1549]) orientiert und in jedem Iterationsschritt nur eindimensionale Optimierun-

gen verlangt. Jedoch zeigen die numerischen Resultate im Abschnitt 7, daß die Mar-

Methoden vorteilhafter sind.

Algorithmus 5.1 (nichtlineares Omin)

Wahle x0 ∈ IRn;

40 := F (x0);

q0 := −F ′(x0)40; (∗)α1 ← opt. Schrittweite; (**)

x1 := x0 + α140;

d1 := F (x1);

k := 1;

WHILE ‖dk‖ > ε DO

pk := −F ′(xk)dk; (∗)α0 := 〈qk−1|pk〉

‖qk−1‖2;

4k := dk − α04k−1;

qk := pk − α0qk−1;

α1 ← opt. Schrittweite; (**)

xk+1 := xk + α14k;

dk+1 := F (xk+1);

k ← k + 1.

Da ,,Jacobi-frei” gerechnet werden soll, seien die mit (*) und (**) markierten Anweisun-

gen folgend naher ausgefuhrt.

Bemerkung 5.2

(*) Eine matrixfreie Darstellung erhalt man mittels der Richtungsableitung, die mit

einem vorgegebenen 0 < ε durch Differenzen gebildet wird.

pk := −F ′(xk)dk= −F ′(xk)F (xk)

11

= −F ′(xk, F (xk))

≈ 1

ε(F (xk)− F (xk + εF (xk))) =

1

ε(dk − F (xk + εdk)).

Analog gilt fur q0 ≈ 1ε(40 − F (xk + ε40)).

(**) Beim Line-Search kann die Minimierung von ‖F (xk + ·4k)‖2 durch eine eindi-

mensionale Nullstellenbestimmung der Ableitung ersetzt werden, die aber nur eine

notwendige Optimalitatsbedingung darstellt.

d

dα1

‖F (xk + α14k)‖2 =d

dα1

〈F (xk + α14k)|F (xk + α14k)〉

= 〈2F ′(xk + α14k)>F (xk + α14k)|4k〉

= 2〈F (xk + α14k)|F ′(xk + α14k)4k〉= 2〈F (xk + α14k)|F ′(xk + α14k,4k)〉

≈ 2〈F (xk + α14k)|F (xk + (ε+ α1)4k)− F (xk + α14k)

ε〉

=2

ε(〈F (xk + (ε+ α1)4k)|F (xk + α14k)〉 − ‖F (xk + α14k)‖2).

6 Realisierung

Da die Orthogonalitatsbeziehungen entscheidenden Einfluß auf den Konvergenzverlauf

und damit auf die Gute der Klassenelemente nehmen, ist die (`+ 1)-dimensionale Qua-

dratminimierung von essentieller Bedeutung. Da bis auf wenige Spezialfalle eine nu-

merische Bestimmung erforderlich ist, steht bei der Realisierung die Genauigkeit der

Optimallosung und der Aufwand an arithmetischen Operationen sowie die Anzahl der

benotigten Funktionsauswertungen im Vordergrund.

Je nach Problem kann die Hinzunahme mehrerer Richtungen in den Orthogonalisierungs-

prozeß die Konvergenzrate verbessern. Aber der notige Aufwand fur die hoherdimensio-

nale lokale Minimierung kann diesen Vorteil wieder aufheben. Die Frage nach einem

optimalen ` und die effiziente Kombination von Mar-Methode mit lokaler Quadratmi-

nimierung eroffnet ein weites Forschungsfeld.

Bei den numerischen Tests wurden klassische Ausgleichloser in die Mar-Verfahren ein-

gebunden und auf gangige Testfunktionen angewendet. Die Resultate werden mit denen

des klassischen Newton-Verfahrens sowie des ungedampften Quasi-Newton-Verfahrens

mit inverser Broyden-Aufdatierung, bei dem die Startmatrix der inversen Jacobi-Matrix

in x0 entspricht, gegenubergestellt. Die Beispielfunktionen sind vollstandig dem Artikel

12 7 TESTFUNKTIONEN

[MoreGarbowHillstrom81] entnommen, in dem die jeweiligen Orginalarbeiten angegeben

sind.

Als sekundare Loser sind das Newton- und das Gauß-Newton-Verfahren verwendet wor-

den, sowie das Verfahren HY2 von Xu (vgl. [Xu90]), eine hybride Technik aus Gauß-

Newton und BFGS-Quasi-Newton. Da die lokale Minimierung in niedrigsten Dimen-

sionen (zwei bis vier) durchgefuhrt wird, erweisen sich die Sekantenverfahren und das

von Levenberg-Marquardt in der Implementation von More (vgl. [More77, Spellucci93])

angegebene Verfahren bei den Testrechnungen als ungeeignet. Fur die eindimensionale

Minimierung, die jeweils im ersten Iterationsschritt respektive beim Algorithmus 5.1 ver-

wendet wird, erwies sich hinsichtlich der Funktionsauswertungen 3-P (vgl. [Kosmol93])

als uberlegen.

Um die Testfunktionen anzugeben, wurde in Anlehnung an [MoreGarbowHillstrom81]

das folgende Format gewahlt:

(a) Name der Funktion,

(b) Dimensionsangaben mit Beschrankungen,

(c) Funktionsdefinition,

(d) Startpunkt (mit x0 bezeichnet),

(e) (falls bekannt) Losung.

Die Werte in den Tabelle entsprechen der Anzahl der benotigten Iterationen des je-

weiligen Verfahren bis zum Erreichen des Abbruchkriteriums, dem Unterschreiten von

‖F (·)‖ < ε := 10−5. Gefolgt von der Anzahl der Funktionsauswertungen in runden Klam-

mern. Die Abbruchschranke bei der lokalen Minimierung wird durch 10−3 festgelegt. Es

sei noch angemerkt, daß die beim Newton-Verfahren benotigte Gleichungsauflosung und

die Matrix-Vektor-Multiplikationen bei der Broyden-Variante in jedem Iterationsschritt

nicht berucksichtigt wurden, die einen erheblichen Anteil am Rechenaufwand in An-

spruch nehmen. Das ungedampfte Broyden-Verfahren arbeitet mit kleinerem Aufwand,

erreicht in einigen Beispielen aber nicht die Losung. Die Uberschreitung der Iterations-

anzahl von tausend wird durchgangig mit einem Spiegelstrich markiert.

7 Testfunktionen

In den nachgestellten Tabellen werden die Funtionen durch ihre Nummerierung identifi-

ziert. Die Berechnungen wurden auf der Hardware SUN sparc station 10 mit den vom

Sun Pascal-Compiler zur Verfugung gestellten 8-Byte Real-Großen durchgefuhrt.

13

1. (a) Lineare Funktion mit Hilbertmatrix,

(b) n beliebig,

(c) F (x) := b−Ax wobei (A)i,j =1

1+i+j und (b)i =∑n

j=11

1+i+j ,

(d) x0 = (1, . . . , 1),

(e) F = 0;

2. (a) Extended Rosenbrock function,

(b) n beliebig, aber gerade,

(c) F2i−1(x) := 10(x2i − x22i−1);F2i := 1− x2i−1, i = 1(1)n2 ,

(d) x0 = (ζj) wobei ζ2j−1 = −1.2, ζ2j = 1, j = 1(1)n2 ,

(e) F = 0 bei (1, . . . , 1);

3. (a) Extended Powell singular function,

(b) n beliebig, aber durch vier teilbar,

(c) F4i−3(x) := x4i−3 + 10x4i−2;

F4i−2(x) :=√5(x4i−1 − x4i);

F4i−1(x) := (x4i−2 − 2x4i−1)2;

F4i(x) :=√10(x4i−3 − x4i)2, i = 1(1)n4 ,

(d) x0 = (ζj) mit ζ4j−3 = 3, ζ4j−2 = −1, ζ4j−1 = 0, ζ4j = 1 j = 1(1)n4 ,

(e) F = 0 beim Ursprung;

4. (a) Brown almost-linear function,

(b) n beliebig aber gerade,

(c) Fi(x) := xi +∑n

j=1 xj − (n+ 1), 1 ≤ i < n

Fn(x) :=(∏n

j=1 xj

)− 1,

(d) x0 = ( 12 , . . . ,12 ),

(e) F = 0 bei (α, α, . . . , α, α1−n),

wobei α die Gleichung nαn − (n+ 1)αn−1 + 1 = 0 erfullt; insbesondere α = 1

(F = 1 bei (0, . . . , 0, n+ 1)!);

5. (a) Discrete boundary value function,

(b) n beliebig aber gerade,

(c) Fi(x) := 2xi − xi−1 − xi+1 + h2(xi + ti + 1)3/2, i = 1(1)n,

wobei h = 1/(n+ 1), ti = ih, und x0 = xn+1 = 0;

(d) x0 = (ζj) mit ζj = tj(tj − 1) j=1(1)n,

(e) F = 0;

14 7 TESTFUNKTIONEN

6. (a) Discrete integral equation function,

(b) n beliebig,

(c) Fi(x) := xi + h[(1− ti)

∑ij=1 tj(xj + tj + 1)3 + ti

∑nj=i+1(1− tj)(xj + tj + 1)3

]/2,

wobei h = 1/(n+ 1), ti = ih und x0 = xn+1 = 0,

(d) x0 = (ζj) mit ζj = tj(tj − 1),

(e) F = 0;

7. (a) Trigonometric function,

(b) n beliebig,

(c) Fi(x) := n−∑n

j=1 cosxj + i(1− cosxi)− sinxi,

(d) x0 = (1/n, . . . , 1/n),

(e) F = 0;

8. (a) Broyden tridiagonal function,

(b) n beliebig,

(c) Fi(x) := (3− 2xi)xi − xi−1 − 2xi+1 + 1 wobei x0 = xn+1 = 0,

(d) x0 = (−1, . . . ,−1),

(e) F = 0.

Dimension: n=20 Funktion

Algorithmus 1 2 3 4 5 6 7 8

Newton 2(43) 2(43) 11(232) 346(7267) 2(43) 2(43) 3(64) 4(85)

invBroyden 2(23) 2(23) - - 2(23) 3(24) - -

nlOmin (5.1) 113(793) - - 14(108) 24(170) 3(25) 20(152) 13(107)

MAR1 (4.1) 5(6) - - - - - - -

Newton 65(398) 2(68) - 2(78) 20(122) 3(22) 22(210) 13(140)

MAR1 Gauß-Newton 6(26) 2(26) - 2(33) 22(71) 3(16) 21(99) 13(74)

HY2 6(38) 2(281) - 2(33) 22(134) 3(22) 22(144) 13(95)

Newton 13(141) 2(68) 10(297) 2(78) 19(195) 2(27) 19(307) 12(209)

MAR2 Gauß-Newton 5(31) 2(26) 24(247) 2(33) 19(84) 2(18) 19(122) 12(91)

HY2 5(47) 2(281) 24(287) 2(33) 19(159) 2(25) 19(170) 12(119)

Newton 10(167) 2(68) 7(358) 2(78) 18(281) 2(27) 17(413) 11(280)

MAR3 Gauß-Newton 9(60) 2(26) 5(186) 2(33) 18(102) 2(18) 17(140) 11(105)

HY2 9(76) 2(281) 5(202) 2(33) 18(134) 2(25) 17(186) 11(122)

LITERATUR 15

Dimension: n=200 Funktion

Algorithmus 1 2 3 4 5 6 7 8

Newton 2(403) 2(403) 12(2413) - 1(202) 2(403) 3(604) 4(805)

invBroyden 2(203) 2(203) - - 1(202) 3(204) 4(205) -

nlOmin (5.1) 592(4146) 163(1385) - 140(988) 136(954) 4(32) 58(420) 14(112)

MAR1 (4.1) 10(11) - - - - - - -

Newton 87(542) 2(70) - 2(2992) 136(818) 3(28) 58(492) 14(152)

MAR1 Gauß-Newton 16(62) 2(28) - 2(1348) 136(413) 3(19) 58(240) 14(80)

HY2 16(98) 2(283) - 2(1348) 136(818) 3(22) 58(381) 14(104)

Newton 88(911) 2(70) 60(837) 2(2992) 135(1355) 2(33) 57(797) 13(229)

MAR2 Gauß-Newton 15(79) 2(28) 47(376) 2(1348) 135(548) 2(21) 57(314) 13(99)

HY2 17(143) 2(283) 65(522) 2(1348) 135(1087) 2(25) 57(496) 13(131)

Newton 56(882) 2(70) 6(373) 2(2992) 138(2081) 2(33) 58(1193) 12(310)

MAR3 Gauß-Newton 12(94) 2(28) 4(211) 2(1348) 134(682) 2(21) 56(385) 12(115)

HY2 15(114) 2(283) 6(243) 2(1348) 134(1382) 2(25) 56(533) 12(155)

Dimension: n=2000 Funktion

Algorithmus 1 2 3 4 5 6 7 8

Newton 2(4003) 2(4003) 12(24012) - 1(2002) 2(4003) 3(6004) 4(8005)

invBroyden 2(2003) 2(2003) - - 1(2002) 3(2004) 4(2005) -

nlOmin (5.1) 112(788) - - - 216(1514) 4(32) 156(1110) 14(110)

MAR1 (4.1) 16(17) - - - - - - -

Newton 77(490) 2(82) - 2(3082) 216(1298) 4(34) 210(1542) 14(152)

MAR1 Gauß-Newton 45(154) 2(31) - 2(1720) 216(653) 4(22) 156(594) 14(80)

HY2 40(244) 2(283) - 2(1162) 216(1298) 4(28) 156(996) 14(104)

Newton 100(1043) 2(82) 33(577) 2(3082) 215(2155) 3(43) 202(2477) 13(229)

MAR2 Gauß-Newton 30(145) 2(31) 57(441) 2(1720) 215(868) 3(25) 155(785) 13(99)

HY2 38(313) 2(283) 42(498) 2(3640) 215(1727) 3(33) 155(1309) 13(131)

Newton 97(1529) 2(82) 6(403) 2(3082) 221(3326) 2(49) 171(3273) 12(310)

MAR3 Gauß-Newton 31(196) 2(31) 4(237) 2(1720) 214(1082) 2(27) 154(6448) 12(115)

HY2 30(276) 2(283) 4(296) 2(3640) 214(2106) 2(33) 154(1983) 12(204)

Literatur

[AshbyManteuffelSaylor90] Steven F. Ashby, Thomas A. Manteuffel and Paul E. Saylor.

A Taxonomy for conjugate gradient methods. SIAM J. Numer. Anal.

Vol 27, No. 6, pp. 1542-1568.

[Kosmol93] Peter Kosmol. Methoden zur numerischen Behandlung nichtlinearer

Gleichungen und Optimierungsaufgaben. B. G. Teubner Studienbucher,

Stuttgart.

[KosmolNissen93] Peter Kosmol and Ivor Nissen. A Minimal Residual Class of Algo-

rithms for Linear Systems. Computing, Vol. 51, No. 3-4, pp. 335-343.

[More77] J.J. More. The Levenberg-Marquardt algorithm: implementation and

theory. Lecture Notes Math. 630, pp 105-116.

16 LITERATUR

[MoreGarbowHillstrom81] J.J. More, B.S. Garbow, K. E. Hillstrom Testing Unconstrai-

ned Optimization Software. ACM Transactions on Mathematical Soft-

ware, Vol. 7, No. 1. pp. 17-41.

[Nissen94] Ivor Nissen. Mar` - Eine Gleichungsloserklasse fur lineare Systeme. Di-

plomarbeit, Kiel.

[Spellucci93] Peter Spellucci. Numerische Verfahren der nichtlinearen Optimierung.

ISNM Birkhauser Basel.

[Stiefel55] Edvard Stiefel. Relaxationsmethoden bester Strategie zur Losung linea-

rer Gleichungssysteme. Comment Math. Helv. 29, S. 169.

[Xu90] C. X. Xu. Hybrid Method for Nonlinear Least-Square Problems without

Calculating Derivatives. Journal of Optimization Theory and Applica-

tions. Vol 65, No. 3, pp. 555-574.

[Zoutendijk70] G. Zoutendijk. Nonlinear Programming, Computational Methods. in J.

Abadie (ed.) Nonlinear and Integer Programming. North - Holland Pub.

Co, pp. 37-86.