Matriisilaskenta
Luentomoniste
J OUNI S AMPO
Kevät 2014
BM20A1601 Matriisilaskenta (4 op)
Viikko 1
• Lineaariset yhtälöryhmät ja matriisit, sovellustilanteita
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
–
•
•
•
•
•
•
•
•
•
lämpöjakauma levyssä
interpolaatiopolynomi
numeerinen integrointi
spline-sovitus
mixing-problem / ore / nutrition / coins
levyn painopiste
beam-yhtälöt
talouden tasapainohinnat
Leontief-malli
kemiallisen reaktion tasapaino
tasomuunnokset / grafiikan esitys
virtaukset verkossa
RCI-piiriyhtälöt
tilasiirtymä-prosessi, MC
graafin kytkentäsuhteet
binary linear codes
DY-systeemit
planar truss-equation
coupled oscillators
digital signals (DSP)
Yhtälöryhmien ekvivalenssi, alkeisoperaatiot
Yhtälöryhmä ja sen matriisi, Gaussin algoritmi
Echelon-muoto
Ratkaisujoukon rakenteesta
Matriisi x vektori
Lineaarikombinaatiot, viritys
Matriisiyhtälö, Ax = b
Vektoriyhtälö = matriisiyhtälö
Homogeeniyhtälö
Viikko 2
•
•
•
•
•
•
•
•
Vektorit, lineaarikuvaukset, lineaarikuvauksen matriisi
Matriisialgebraa, laskusäännöt
AB ja yhdistetty kuvaus
Käänteismatriisi, A−1
Säännölliset matriisit, 12 ominaisuutta
Alkeismatriisit
LU
Tasomuunnokset, grafiikka
Viikko 3
•
•
•
•
•
Iteraatiomenetelmät
Matriisialgebraa, lohkomatriisit
Determinantit, Cramer-sääntö
Vektoriavaruuksista
Aliavaruus, suora summa, viritys, kanta
• Kannat koordinaatit, kannanvaihto
• Isomorfismi
Viikko 4
•
•
•
•
•
•
•
Matriisin aste, rank-teoreema
Sovelluksia, differenssiyhtälöt
Diskreetit 1. kertaluvun systeemit
Ominaisarvoteoriaa
Ominaisarvojen sovelluksista
Diagonaalihajoitelma
Lineaarikuvauksen matriisiesitys
Viikko 5
•
•
•
•
Lineaariset systeemit, stabilisuus
Ortogonaalisuus
Projektioperiaate ja PNS
Gramm-Smidt
Viikko 6
•
•
•
•
QR-hajoitelma
Sisätuloavaruudet
Symmetriset matriisit
Ortogonaalinen diagonaalihajotelma
Viikko 7
• Neliömuodot ja pääakseliesitys
• SVD singulaariarvohajotelma
• Sovellusalueita
Sisältö
1
Johdattelevia esimerkkejä . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.1
Mixing problem/kolikot
7
1.2
Interpolaatiopolynomi
7
1.3
Talouden tasapainohinnat (Lähde: Lay)
8
1.4
Kemiallisen reaktion massatasapaino (Lähde: Lay)
10
1.5
RCI-piiriyhtälöt
10
1.6
Palkin taipuminen
11
1.7
Tilasiirtymäprosessi
12
1.8
Leontiefin panos-tuotos -malli (Lähde: Lay)
13
1.9
Digital signals (DSP)
14
1.10
Muita sovelluksia
15
2
Lineaarinen yhtälöryhmä . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1
Lineaarisen yhtälöryhmän ratkaiseminen
17
2.2
Ratkaisun esittäminen
20
3
Matriisialgebraa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.1
Kertolasku Ax
23
3.2
Matriisiyhtälö Ax = b
24
3.3
Yhtälön Ax = b ratkaisujoukko
26
3.4
Lineaarinen riippuvuus
27
3.5
Lineaarikuvauksista
28
3.6
Injektio, surjektio, bijektio
29
3.7
Matriisien käsittely
30
3.8
Symmetrinen matriisi
31
3.9
Käänteismatriisi
31
3.10
Säännölliset matriisit
32
3.11
Alkeismatriisit
33
3.12
LU-hajoitelma
34
3.13
Tasomuunnokset ja grafiikkasovellukset
35
3.14
Yhtälöryhmät ja iteratiiviset menetelmät
36
3.14.1 Jacobi’n menetelmä . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.14.2 Gauss-Seidelin menetelmä . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.15
Leontief-malli
37
3.16
Ositetut matriisit
38
3.17
Sarake-eliminointi
39
3.18
Vektoreiden tulo
40
4
Determinantit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
5
Vektoriavaruudet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
5.1
Aliavaruus
45
5.2
Kanta
47
5.3
Matriisin nolla-avaruus N(A)
47
5.4
Sarake-avaruus Col A
48
5.5
Lineaarikuvauksen ydin ja kuva-joukko
49
5.6
Spanning teoreema
49
5.7
Koordinaattijärjestelmä
50
5.8
Isomorfismi
51
5.9
Matriisin riviavaruus
52
5.10
Matriisin aste, rank A
52
5.11
Kannanvaihto
53
5.12
Differenssiyhtälö
55
5.13
1. Kertaluvun systeemit
56
5.14
Ekosysteemin kehityspolku
56
6
Ominaisarvot ja ominaisvektorit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
6.1
Ominaisvektorit ja differenssiyhtälöt
61
6.2
Similaarisuus
61
6.3
Diagonalisointi
61
6.4
Lineaarikuvauksen matriisiesitys
63
7
6.5
Kuvausmatriisin kaava
63
6.6
Lineaarikuvaus ja diagonaali-esitys
64
6.7
Kompleksiset tapaukset
65
6.8
Lineaariset systeemit
68
6.9
Rata-kuvioista
70
7
Ortogonaalisuus ja PNS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
7.1
Sisätulo ja ortogonaalisuus
71
7.2
Ortogonaalinen joukko, Ortonormaali joukko
72
7.3
Ortogonaalinen projektio
73
7.4
Ortogonaalipolynomit
75
7.5
Ortogonalisointi askel
77
7.6
Gram-Schmidt-prosessi
78
7.7
QR-hajotelma
79
7.8
Yhtälöryhmän PNS-ratkaisu
81
7.9
QR-hajotelma ja PNS
83
7.10
PNS ja regressioanalyysi
83
7.11
Sisätulo, normi, ortogonaalisuus
84
7.12
Fourier sarjat
85
8
Symmetriset matriisit ja Neliömuodot . . . . . . . . . . . . . . . . . . . . . . . . 87
8.1
Symmetriset matriisit
87
8.2
Schurin hajoitelma
87
8.3
Ortogonaalinen diagonaalihajoitelma
88
8.4
Neliömuodot
88
8.5
Neliömuoto ja rajoitettu optimointi
89
8.6
Lineaarikuvauksen singulaariarvot
90
1. Johdattelevia esimerkkejä
Tämän kappaleen on laatinut Sirkku Parviainen
1.1
Mixing problem/kolikot
Esimerkki 1.1 5-, 10- ja 20-senttisiä kolikoita on yhteensä 180 kappaletta. Lisäksi 10-senttisiä
on puolet muista ja kolikoiden yhteisarvo on 15 euroa. Paljonko eri kolikoita on?
Ratkaisu
Olkoon 5-senttisiä x kpl, 10-senttisiä y kpl ja 20-senttisiä z kpl. Tällöin saadaan kolme yhtälöä:
Yhteismäärä:
x + y + z = 180
10-senttisiä:
y = 0, 5(x + z) ⇔ x − 2y + z = 0
Yhteisarvo:
5x + 10y + 20z = 1500
Yhtälöryhmän ratkaisu on:
x = 100, y = 60, z = 20
1.2
Interpolaatiopolynomi
Tunnetaan funktion f(t) arvot pisteissä t0 ,t1 , . . . ,tn . Interpolaatiopolynomi on muotoa
p(t) = a0 + a1t + a2t 2 + · · · + ant n
Johdattelevia esimerkkejä
10
ja
p(ti ) = f(ti ),
i = 0, 1, . . . , n.
Esimerkki 1.2 Muodosta interpolaatiopolynomi seuraaville pisteille ja approksimoi funktion
arvoa f(1, 5).
Taulukko 1.1: Pisteet.
t
f(t)
0
1
2
3
3
0
-1
6
Polynomi on muotoa
p(t) = a0 + a1t + a2t 2 + a3t 3
Määrätään kertoimet siten, että polynomi kulkee pisteiden (0, 3), (1, 0), (2, −1) ja (3, 6) kautta:
p(0) = 3
⇔ a0
=3
p(1) = 0
⇔ a0 + a1 + a2 + a3
=0
p(2) = −1
⇔ a0 + 2a1 + 4a2 + 8a3
p(3) = 6
⇔ a0 + 3a1 + 9a2 + 27a3
= −1
=6
Ratkaisuna saadaan
a0 = 3, a1 = −2, a2 = −2, a3 = 1,
joka on yhtälöön sijoitettuna
p(t) = 3 − 2t − 2t 2 + t 3
Approksimaatioksi saadaan
f(1, 5) ≈ p(1, 5) = −1, 125
1.3
Talouden tasapainohinnat (Lähde: Lay)
Leontiefin vaihdantamalli (exchange model)
Talous jakaantuu tuotantosektoreihin. Tuotantosektorit tarvitsevat toisten sektoreiden panosta
omaan tuotantoonsa. Tunnetaan kunkin sektorin tuotos (output) vuodessa ja tuotoksen jakaantuminen kaikkien sektoreiden kesken. Tuotoksen hinta on sen arvo rahayksikössä.
Leontief: Eri sektoreille voidaan määrittää tasapainohinnat (equilibrium prices) siten, että sektorin
tulot ja menot ovat tasapainossa.
1.3 Talouden tasapainohinnat (Lähde: Lay)
11
Esimerkki 1.3 Sektoreina ovat hiili, sähkö- ja terästeollisuus. Taulukossa sähkösektorin tuo-
toksen jakaantuminen on: 40 % hiilelle, 10 % sähkölle ja 50 % teräkselle.
Taulukko 1.2: Sektorit.
Tuotoksen
ostava sektori
Tuottava sektori
Hiili Sähkö Teräs
Hiili
Sähkö
Teräs
0,0
0,6
0,4
0,4
0,1
0,5
0,6
0,2
0,2
Olkoot sektoreiden kokonaistuotosten hinnat pH , pS ja pT . On määrättävä tasapainohinnat, joilla
jokaisen sektorin tuotoksen arvo on panoksen arvo.
pH = 0, 4pS + 0, 6pT
pS = 0, 6pH + 0, 1pS + 0, 2pT
pT = 0, 4pH + 0, 5pS + 0, 2pT
Yhtälöryhmäksi saadaan
pH − 0, 4pS − 0, 6pT = 0
−0, 6pH + 0, 9pS − 0, 2pT = 0
−0, 4pH − 0, 5pS + 0, 8pT = 0
Yhtälöryhmän ratkaisu:
1 −0, 4
−0,
6 0, 9
A B =
−0, 4 −0, 5
1 −0, 4
0 0, 66
0 0
−0, 6
−0, 56
0
−0, 6
−0, 2
0, 8
0!
0
0
R2 + 0, 6 · R1
R3 + 0, 4 · R1
1 −0, 4
0
0, 66
∼
0 −0, 66
−0, 6
−0, 56
0, 56
0!
0
0
∼
R3 + R2
0!
0
0
pT = vapaa muuttuja
28
0, 56
pT =
pT
pS =
0, 66
33
pH =0, 4pS + 0, 6pT = (0, 4 ·
28
31
+ 0, 6)pT =
pT
33
33
Jos esimerkiksi teräksen vuosituotoksen arvo on pT = 100 milj. euroa, niin
pS = 84, 85 milj. euroa
ja
pH = 93, 94 milj. euroa
Johdattelevia esimerkkejä
12
1.4
Kemiallisen reaktion massatasapaino (Lähde: Lay)
Esimerkki 1.4 Kemiallinen reaktio:
PbN6 + CrMn2 O8
→
Pb3 O4 + Cr2 O3 + MnO2 + NO
Muodostetaan reagoiville aineille ja lopputuotteille 5-alkioiset vektorit âi , joissa on alkuaineiden
Pb, N, Cr, Mn ja O atomien määrät molekyylissä.
PbN6
â1 = (1, 6, 0, 0, 0)T
CrMn2 O8
â2 = (0, 0, 1, 2, 8)T
Pb3 O4
â3 = (3, 0, 0, 0, 4)T
Cr2 O3
â4 = (0, 0, 2, 0, 3)T
MnO2
â5 = (0, 0, 0, 1, 2)T
NO
â6 = (0, 1, 0, 0, 1)T
Reaktioyhtälössä on kuutta eri molekyyliä. Olkoon x1 , . . . , x6 molekyylien määrät, jotka tarvitaan
tasapainottamaan edellinen reaktioyhtälö. Vektoriyhtälö:
x1 â1 + x2 â2 = x3 â3 + x4 â4 + x5 â5 + x6 â6
Eli vektoriesityksenä:
 
 
 
 
 
 
1
0
3
0
0
0
6
0
0
0
0
1
 
 
 
 
 
 

 
 
 
 
 
x1 
0 + x2 1 = x3 0 + x4 2 + x5 0 + x6 0
0
2
0
0
1
0
0
8
4
3
2
1
Matriisiyhtälönä taas Ax = 0, missä

1
6

A=
0
0
0

0 −3 0
0
0
0 0
0
0 −1

1 0 −2 0
0
,
2 0
0 −1 0 
8 −4 −3 −2 −1
 
x1
x2 
 
x3 

x=
x4 
 
x5 
x6
1.5
RCI-piiriyhtälöt
Ohmin laki: U = IR
Kirchoffin I laki: Virtapiirin solmuun tulevien virtojen summa on yhtä kuin solmusta lähtevien
virtojen summa.
Kirchoffin II laki: Suljetussa virtapiirissä, jossa on n vastusta resistansseilla Rn , on sähkömotorinen voima E = ∑ Ri I.
1.6 Palkin taipuminen
13
Esimerkki 1.5 Määritetään silmukkavirrat (loop currents) seuraavan kuvan virtapiirissä.
Kuva 1.1: Silmukkavirrat (loop currents).
Ohmin lain ja Kirchoffin II lain perusteella silmukoille saadaan yhtälöt:
ylävasen:
R1 i1 + R2 (i1 − i2 ) + R4 (i1 − i3 ) = E1
yläoikea:
R3 i2 + R5 (i2 − i4 ) + R2 (i2 − i1 ) = E2
alavasen:
R6 i3 + R4 (i3 − i1 ) + R7 (i3 − i4 ) = 0
alaoikea:
R8 i4 + R7 (i4 − i3 ) + R5 (i4 − i2 ) = −E1
Matriisiyhtälö:

(R1 + R2 + R4 )
−R2
−R4
0

−R
(R
+
R
+
R
)
0
−R
2
2
3
5
5


−R4
0
(R4 + R6 + R7 )
−R7
0
−R5
−R7
(R5 + R7 + R8 )

E1
E2 

0 
−E2
1.6
Palkin taipuminen
Vaakasuora molemmista päistä tuettu elastinen palkki, jossa on kolme vaikuttavaa voimaa.
Kuva 1.2: Deflection of an elastic beam.
Voimat ovat
f̂ = ( f1 , f2 , f3 )T
ja palkin taipumat
ŷ = (y1 , y2 , y3 )T
Johdattelevia esimerkkejä
14
Hooken laki on muotoa
ŷ = Df̂,
missä D on taipuisuusmatriisi (flexibility matrix). Käänteismatriisi D−1 on jäykkyysmatriisi
(stiffness matrix):
D−1 ŷ = f̂
Mitä matriisien D ja D−1 sarakkeet kuvaavat?
Olkoon D = [d̂1 d̂2 d̂3 ], missä alkiot ovat D:n sarakevektorit. Jos f̂ = (1, 0, 0)T , niin
 
1
ŷ = Df̂ = d̂1 d̂2 d̂3 0 = 1 · d̂1 + 0 · d̂2 + 0 · d̂3 = d̂1
0
Siis vektorissa d̂1 on taipumat, jotka aiheuttaa yksikkövoima pisteessä 1. Vastaavasti d̂2 ja d̂3 .
Olkoon D−1 = [ŵ1 ŵ2 ŵ3 ]. Jos ŷ = (1, 0, 0)T , niin
f̂ = D−1 ŷ = ŵ1
Joten ŵ1 kuvaa voimia jotka on kohdistettava pisteisiin 1, 2 ja 3, jotta saataisiin taipuma 1
pisteessä 1 ja 0 muissa pisteissä. Vastaavasti ŵ2 ja ŵ3 .
1.7
Tilasiirtymäprosessi
Olkoon vektori x̂k systeemin tila hetkellä k = 0, 1, 2, . . . . Oletetaan, että tila riippuu edellisestä
tilasta lineaarisen differenssiyhtälön mukaan
x̂k+1 = Ax̂k
missä A on tilansiirtomatriisi. Kun alkutila x̂0 tunnetaan, voidaan laskea systeemin tilat x̂1 , x̂2 ja
niin edelleen.
Esimerkki 1.6 Kaupungin väkiluku rk ja sen esikaupunkien väkiluku sk muodostavat tilavekto-
rin.
r
x̂k = k
sk
Olkoon nyt x̂0 vuoden 2000 tilanne. Demograafisten tilastojen mukaan 5 % keskikaupungin väestöstä muuttaa esikaupunkialueelle (95 % pysyy keskikaupungissa) ja 3 % esikaupunkiväestöstä
muuttaa keskikaupunkiin (97 % pysyy esikaupungissa). Tilanne vuonna 2001 on:
r
0, 95 0, 03 r0
0, 95 · r0 + 0, 03 · s0
x̂1 = 1 =
=
s1
0, 05 0, 97 s0
0, 05 · r0 + 0, 97 · s0
Jos muutto-osuudet pysyvät samoina, niin
x̂k+1 = Mx̂k
missä
0, 95 0, 03
M=
0, 05 0, 97
on tilansiirtomatriisi, tässä esimerkissä ”muuttomatriisi”.
1.8 Leontiefin panos-tuotos -malli (Lähde: Lay)
15
Esimerkki 1.7 Autovuokraamolla on 450 autoa kolmessa toimipisteessä. Vuokrattu auto
voidaan palauttaa mihin tahansa pisteeseen. Vuokra-aika on yksi päivä. Palautukset jakautuvat
seuraavasti:
Taulukko 1.3: Palautusten jakautuminen.
Vuokrauspaikka
1
2
3
Palautuspaikka
0,97
0,00
0,03
1
2
3
0,05
0,90
0,05
0,10
0,05
0,85
Maanantaina autoja on paikassa 1 määrä 304, paikassa 2 määrä 48 ja paikassa 3 määrä 98. Jos
kaikki vuokrataan, mikä on autojen jakauma keskiviikkona?
Tiistaina autoja on seuraavasti:
paikka 1:
0, 97 · 304 + 0, 05 · 48 + 0, 10 · 98 = 307, 08
paikka 2:
0, 90 · 48 + 0, 05 · 98 = 48, 1
paikka 3:
0, 03 · 304 + 0, 05 · 48 + 0, 85 · 98 = 94, 82
Tilansiirtomatriisin avulla saadaan

  

0, 97 0, 05 0, 10 304
307, 08
x̂1 = Ax̂0 = 0, 00 0, 90 0, 05  48  =  48, 1 
0, 03 0, 05 0, 85
98
94, 82
Keskiviikkona autoja on paikoissa 1, 2, 3 seuraavasti:

  
309, 75
310
x̂2 = Ax̂1 =  48, 03  ≈  48 
92, 21
92
1.8
Leontiefin panos-tuotos -malli (Lähde: Lay)
Taloudessa on n tuotantosektoria ja tuotantovektorissa x̂, on eri sektoreiden vuosituotokset
(output). Tuotantoon tarvitaan eri sektoreiden panosta (input).
Esimerkki 1.8 Talouden sektorit ovat teollinen tuotanto, maatalous ja palvelut. Alla olevassa
taulukossa j:s sarake ĉ j on ko. sektorin yksikkökulutusvektori, joka kuvaa paljonko yhden
yksikön tuottamiseen tarvitaan eri sektoreiden panosta.
Taulukko 1.4: Sektorit.
Miltä sektorilta
ostetaan
Panoksen kuluttava sektori
Teollinen t. Maatalous Palvelut
Teollinen t.
Maatalous
Palvelut
0,5
0,2
0,1
0,4
0,3
0,1
0,2
0,1
0,3
Johdattelevia esimerkkejä
16
Teollisen tuotannon x1 yksikön tuottamiseen tarvitaan teollista tuotantoa, maataloustuotantoa ja
palveluita määrät
 
0, 5
x1 ĉ1 = x1 0, 2
0, 1
Jos vastaavasti x2 on maatalouden tuotos ja x3 on palvelualan tuotos, tarvitaan kaikkien sektoreiden panosta määrät
x1 ĉ1 + x2 ĉ2 + x3 ĉ3 = Cx̂,
missä


0, 5 0, 4 0, 2
C = 0, 2 0, 3 0, 1
0, 1 0, 1 0, 3
Loppuosa tuotoksista menee avoimen sektorin kulutuskysyntään. Leontiefin tuotantoyhtälö:
x̂ = Cx̂ + d̂,
missä Cx̂ on välikysyntä (tuotantoon tarvittava panos kaikille tuotantosektoreille) ja d̂ on lopullinen kulutuskysyntä. Tunnetaan kysyntä d̂, on ratkaistava x̂:
(I − C)x̂ = d̂,
josta saadaan ratkaisuna
x̂ = (I − C)−1 d̂.
1.9
Digital signals (DSP)
Diskreettiaikainen signaali on yhtä kuin jono mittausarvoja, merkitään nyt {yk }. Mittauksissa
on satunnaisvirhettä, jota pyritään vähentämään tasoituksella (smoothing) tai suodatuksella
(filtering).
Liukuvan keskiarvon (moving average) menetelmä, jossa korvataan arvo yk keskiarvolla
zk =
yk+1 + yk + yk−1
3
Esimerkki 1.9 Annettu signaali yk , jonka arvot ovat
9, 5, 7, 3, 2, 4, 6, 5, 7, 6, 8, 10, 9, 5, 7
Liukuvan keskiarvon menetelmällä tasoitettu signaali on
7, 5, 4, 3, 4, 5, 6, 6, 7, 8, 9, 8, 7
1.10 Muita sovelluksia
17
Kuva 1.3: Alkuperäinen ja tasoitettu kuvaaja.
1.10
Muita sovelluksia
•
•
•
•
•
•
•
•
•
levyn painopiste
beam-yhtälöt
tasomuunnokset / grafiikan esitys
numeerinen integrointi
binary linear codes
DY-systeemit
planar truss-equation
coupled oscillators
RGB väriesitys digitaalikuvissa
2. Lineaarinen yhtälöryhmä
Yleisessä muodossa:
a11 x1 + a12 x2 + · · · + a1n xn = b1
a21 x1 + a22 x2 + · · · + a2n xn = b2
..
.
am1 x1 + am2 x2 + · · · + amn xn = bm
Yllä olevan yhtälön matriisimerkintä on:
Ax = b,
missä A = (ai j ) on m × n-matriisi, x̂ = (x1 , . . . , xn )T ja b̂ = (b1 , . . . , bm )T .
Ratkaistava muuttujat x1 , . . . , xn . Kertoimet ai j ja bi ovat reaali- ja kompleksilukuja. Yhtälöryhmällä voi olla
• yksikäsitteinen ratkaisu
• ääretön määrä ratkaisuja
• ei ratkaisua
2.1
Lineaarisen yhtälöryhmän ratkaiseminen
Kaiksi yhtälöryhmää ovat ekvivalentit, jos niillä on sama ratkaisujoukko. Kirjoitetaan yhtälöryhmän laajennettu matriisi (augmented matrix), joka on muotoa [A b].
Alkeisrivioperaatiot:
1. lisätään riviin toinen rivi vakiolla kerrottuna
2. vaihdetaan kaksi riviä keskenään
3. kerrotaan rivin kaikki alkiot vakiolla (ei nollalla)
Lineaarinen yhtälöryhmä
20
Kaksi matriisia A ja B ovat riviekvivalentit, jos B saadaan A:sta alkeisrivioperaatioita soveltamalla (samoin A saadaan B:stä). Jos kahden lineaarisen yhtälöryhmän laajennetut matriisit ovat
riviekvivalentit, niin niillä on sama ratkaisujoukko.
Ratkaisuperiaate: Muunnetaan yhtälöryhmää rivioperaatioilla helposti ratkaistavaan muotoon.
Esimerkki 2.1 Kolmen yhtälön ja kolmen muuttujan yhtälöryhmä:
x1 − 2x2 + x3 = 0
2x2 − 8x3 = 8
−4x1 + 5x2 + 9x3 = −9
Laajennettu matriisi


1 −2 1
0
2 −8 8 
A b = 0
−4 5
9 −9
Ratkaistaan laajennettu matriisi:
1 −2
0 2
−4 5
1 0!
−8 8
9 −9
1 −2
0 1
0 0
1
−4
1
0!
4
3
R3 + 4 · R1
R1 − R3
R2 + 4 · R3
1 −2
∼ 0 2
0 −3
1 0!
−8 8
13 −9
1 −2
∼ 0 1
0 0
0 −3!
0 16
1 3
0, 5 · R2
R1 + 2 · R2
1 −2
∼ 0 1
0 −3
1 0
∼ 0 1
0 0
1 0!
−4 4
13 −9
R3 + 3 · R2
0 29!
0 16
1 3
Viimeinen muoto esittää yhtälöryhmää, josta nähdään ratkaisu suoraan, joka on
x1 = 29,
x2 = 16,
x3 = 3
Vektori on nollasta eroava, jos sen kaikki alkiot eivät ole nollia. Matriisin nollasta eroavien rivin
johtava alkio on sen ensimmäinen nollasta eroava alkio.
Matriisi A on porrasmuotoa (echelon form), jos
1. sen kaikki nollarivit ovat muiden rivien alapuolella
2. rivin johtava alkio on sitä ylemmän rivin johtavasta alkiosta oikealle
3. johtavan alkion sarakkeessa sen alapuoliset luvut ovat nollia
Porrasmatriisi A on redusoitu porrasmatriisi, jos lisäksi
4. jokainen johtava alkio on 1
5. jokaisen johtavan alkion sarakkeen muut alkiot ovat nollia
Ominaisuus 3 seuraa ominaisuuksista 1 ja 2. Yhtälöryhmän ratkaisussa syntyvä porrasmatriisi on
usein yläkolmiomatriisi. Porrasmatriisin muita nimityksiä ovat echelon-matriisi ja kolmiomainen
matriisi.
Redusoidun porrasmuodon yksikäsitteisyys: jokainen matriisi on riviekvivalentti täsmälleen
yhden redusoidun porrasmatriisin kanssa.
2.1 Lineaarisen yhtälöryhmän ratkaiseminen
21
Esimerkki 2.2 Vasemmanpuoleinen matriisi on riviekvivalentti oikeanpuoleisen redusoidun
porrasmatriisin kanssa.


1 −2 1
0
0
2 −8 8 
−4 5
9 −9


1 0 0 29
0 1 0 16
0 0 1 1
Kuva 2.1: Matriisit porrasmuodossa ja redusoidussa porrasmuodossa.
Rivireduktioalgoritmi
1. Valitse pivotsarakkeeksi matriisin ensimmäinen nollasta eroava sarake vasemmalla
2. Valitse pivotsarakkeesta jokin nollasta eroava alkio pivotalkioksi eli tukialkioksi. Siirrä
pivotalkion sisältävä rivi ylimmäksi mahdollisesti rivejä vaihtamalla
3. Eliminoi pivotalkion alapuoliset alkiot nolliksi alkeisrivioperaatioilla
4. Jatka vaiheiden 1-3 soveltamista pivotalkion alapuolelle jäävään osamatriisiin kunnes
tuloksena on porrasmuoto
5. Valitse oikeanpuoleisin pivotalkio. Jos se ei ole 1, jaa rivi pivotalkiolla. Eliminoi
pivotalkion yläpuolella olevat alkiot 0:ksi rivioperaatioilla
Toista sama muille pivotalkioille edeten oikealta vasemmalle. Tuloksena on redusoitu
porrasmuoto
Gauss-Jordanin menetelmä: vaiheet 1-5 ja ratkaisu saadaan suoraan.
Gaussin menetelmä: vaiheet 1-4 ja ratkaisu saadaan takaisinsijoitusmenettelyllä.
Lineaarinen yhtälöryhmä
22
Ratkaisun olemassaolo- ja yksikäsitteisyysteoreema
Lineaarinen yhtälöryhmä on ratkeava eli konsistentti, jos ja vain jos laajennetun yhtälöryhmän
porrasmuodossa ei ole riviä
0 ··· 0
b , missä b 6= 0.
Jos yhtälöryhmä on ratkeava ja pivotsarakkeita on yhtä monta kuin muuttujia, niin ratkaisu on
yksikäsitteinen. Jos pivotsarakkeita on vähemmän kuin muuttujia, niin ratkaisuja on ääretön määrä. Pivotsarakkeita vastaavia muuttujia kutsutaan kantamuuttujiksi ja muita muuttujia vapaiksi
muuttujiksi.
Esimerkki 2.3 Viedään seuraava yhtälöryhmä porrasmuotoon:
−6
8
12
0 3
A B = 3 −7
3 −9
3 −9
0 2
0 3
12
−4
−6
−9
4
6
6
−5
−9
6 15 !
2 −6
4 −5
4 −5!
8 9
6 15
R1 ↔ R3
R3 − 3/2 · R2
3 −9
∼ 3 −7
0 3
3 −9
∼ 0 2
0 0
12
−4
0
12
8
−6
−9
−5
6
−9
4
0
6 15 !
2 −6
1 4
6 15 !
8 9
4 −5
R2 − R1
Viimeinen matriisi on nyt Echelon- eli porrasmuodossa.
∼
Esimerkki 2.4 Jatketaan edellisen esimerkin porrasmuodosta:
3 −9
0 2
0 0
12
−4
0
−9
4
0
6 15 !
2 −6
1 4
R1 − 6 · R3
3 −9
0 1
0 0
12
−2
0
−9
2
0
0 −9!
0 −7
1 4
R1 + 9 · R2
R2 − 2 · R3
3 −9
∼ 0 2
0 0
3 0
∼ 0 1
0 0
−9
4
0
12
−4
0
−6
−2
0
9
2
0
0 −9 !
0 −14
1 4
0 −72!
0 −7
1 4
1/2 · R2
∼
1/3 · R1
Lopulta matriisi saadaan redusoituun porrasmuotoon:
1 0
∼ 0 1
0 0
−2
−2
0
3
2
0
0 −24!
0 −7
1 4
Kantamuuttujia ovat x1 , x2 ja x5 ja vapaita muuttujia ovat x3 ja x4 . Ratkaisu ei ole yksikäsitteinen!
2.2
Ratkaisun esittäminen
Tapa 1
Ratkaise redusoidun kolmiomuodon yhtälöistä kantamuuttujat vapaiden muuttujien avulla. Vapaat muuttujat ovat ratkaisun parametreja, jotka voivat saada mielivaltaisia arvoja.
2.2 Ratkaisun esittäminen
23
Esimerkki 2.5
x1 − 2x3 + 3x4 = 24
x2 − 2x3 + 2x4 = −7
x5 = 4
Ratkaisut:
x1 = 24 + 2x3 − 3x4
x2 = −7 + 2x3 − 2x4
x5 = 4
x3 ja x4 ovat vapaita muuttujia.
Tapa 2
Takaisinsijoitusmenetelmä kolmio/porrasmatriisille
Rivireduktion vaiheiden 1-4 tuloksena on ei-redusoitu porrasmatriisi. Ratkaistaan viimeisestä
yhtälöstä (ei 0-riveiltä) pivotsarakkeen muuttuja. Sijoitetaan edelliseen yhtälöön, josta ratkaistaan
sen pivotmuuttuja, jne. ensimmäiseen yhtälöön asti.
Esimerkki 2.6 Takaisinsijoitusmenetelmä ei-redusoituun porrasmuotoon:
3. yhtälö:
x5 = 4
2. yhtälö:
2x2 − 4x3 + 4x4 + 2x5 = −6
⇒
x2 =0, 5(−6 + 4x3 − 4x4 − 2x3 ) = 0, 5(−6 + 4x3 − 4x4 − 2 · 4) = −7 + 2x3 − 2x4
1. yhtälö:
3x1 − 9x2 + 12x3 − 9x4 + 6x5 = 15 ⇒
1
1
x1 = (15 + 9x2 − 12x3 + 9x4 − 6x5 ) = (15 + 9(−7 + 2x3 − 2x4 ) − 12x3 + 9x4 − 6x5 )
3
3
1
= (15 − 63 + 18x3 − 18x4 − 12x3 + 9x4 − 24) = −24 + 2x3 − 3x4
3
Lay: ”Takaisinsijoitusmenetelmä ja matriisin saattaminen redusoituun muotoon vaativat saman
määrän aritmeettisia operaatioita.”
Kreyszig: ”Takaisinsijoitusmenetelmä vaatii vähemmän aritmeettisia operaatioita”
Vaikka jälkimmäinen väite pitänee paikkansa, on käsin laskettaessa redusoidun porrasmuodon
käyttäminen (vaiheet 1-5) vähemmän altis laskuvirheille!
Lineaarinen yhtälöryhmä
24
Esimerkki 2.7 Ratkaistaan yhtälöryhmä:
1 −2
−2 4
3 −6
−1
5
−6
3
−5
8
1 −2
∼ 0 0
0 0
−1
3
0
3
1
0
0!
3
2
R2 + 2 · R1
R3 − 3 · R1
1 −2
∼ 0 0
0 0
−1
3
−3
3
1
−1
0!
3
2
R3 + R1
0!
3
5
Viimeinen rivi antaa tuloksen 0 = 5, josta nähdään, että ratkaisua ei ole (redusoitua muotoa ei
siis tarvita).
3. Matriisialgebraa
3.1
Kertolasku Ax

···
a11
 ..
 .
am1 · · ·
A ∈ Rm×n ,
  
x1
a11 x1 + · · ·
  ..  
..
 .  = 
.
amn xn
am1 x1 + · · ·
a1n
x ∈ Rn
⇒
+a1n xn



+amn xn
Ax ∈ Rm
Samaistus: Rn = Rn×1
Sarakevektorit

a11 · · ·
 ..
 .
am1 · · ·

a1n
..  a a · · ·
.  1 2
amn
an ,
ai ∈ Rm
Ax = x1 a1 + x2 a2 + x3 a3 + · · · + xn an
Esimerkki 3.1

 
 
 
 
3 −1 0
x
3
−1
0
0 3 −1 y = x 0 + y  3  + z −1
1 0
3
z
1
0
3
Lineaarikombinaatiot v̂1 , v̂2 , . . . , v̂ p ∈ Rn
c1 v̂1 + c2 v̂2 + · · · + c p v̂ p
Viritysjoukko
span{v̂1 , . . . , v̂ p } = {u = c1 v̂1 + · · · + c p v̂ p |ci ∈ R}
Matriisialgebraa
26
Kuva 3.1: Kuvateksti.
Esimerkki 3.2 Leipomon tuotteiden koostumus
Taulukko 3.1: Ainesosat tuotteissa.
Vehnäjauho
Rasva
Sokeri
Kaneli
v̂1
v̂2
v̂3
40
20
20
1
50
15
15
2
30
8
10
0
Valmistuserä: 100 + 40 + 30
100 · v̂1 + 40 · v̂2 + 30 · v̂3
 
 
 
30
50
40
8
15
20
 

 
100 
20 + 40 15 + 30 10
0
2
1
Ateriasuunnitelma: u = [100, 25, 15, 2]T
x1 v1 + x2 v2 + x3 v3 = [100, 25, 15, 2]T ,
3.2
Ax = u, A = [v̂1 v̂2 v̂3 ]
Matriisiyhtälö Ax = b
Yhtäpitävät esitystavat
Ax = b
x1 a1 + x2 a2 + · · · + xn an = b
a1 a2 . . . an b
Yhtälöllä on ratkaisu
⇔
b ∈ span{ai }
Esimerkki 3.3


1 −1 2 1
A = 1 −1 2 1 ,
2 −2 4 2


1 0 1 2
B =  1 1 2 3
−1 2 1 0
3.2 Matriisiyhtälö Ax = b
27
span{ai } = {t[1, 1, 2]T }
span{bi } = {s[1, 1, −1]T + t[0, 1, 2]}
Ax = u
ratkeaa
⇔
u = t[1, 1, 2]T
Bx = u
ratkeaa
⇔
u = s[1, 1, −1]T + t[0, 1, 2]T
Aina ratkeava tapaus, seuraavat väittämät yhtäpitäviä:
1. Yhtälö Ax = b ratkeaa jokaisella b ∈ Rm
2. span{a1 , . . . , am } = Rm
3. A:n kolmiomuoto ei sisällä 0-riviä
Homogeeniyhtälö Ax = 0
Yhtäpitävää:
1. Yhtälöllä Ax = 0 on ratkaisu x 6= 0
2. A:n kolmiomuodossa on vapaa sarake
Jos û1 , û2 ratkaisuja, niin myös sû1 + t û1 on ratkaisu.
Esimerkki 3.4


3x1 + 5x2 − 4x3 = 0
−3x1 − 2x2 + 4x3 = 0


6x1 + x2 − 8x3 = 0

 
1 0 −4/3
3
5
4
−3 −2 4  ∼ 0 1
0 
6
1 −8
0 0
0



x1 − 4/3x3 = 0
x2 = 0


0=0
  

x1
4/3t
x2  =  0 
x3
t
Esimerkki 3.5
(
x1 + 2x2 + 3x3 = 0
2x1 + 4x2 + 6x3 = 0


x1 = −2s − 3t
x2 = s


x3 = t
1 2 3
1 2 3
∼
2 4 6
0 0 0
 
   
x1
−2
−3
x2  = s  1  + t  0 
x3
0
1
Matriisialgebraa
28
Kuva 3.2: Kuvateksti.
Esimerkki 3.6 Tasapainohinnat ja tuotantovirrat
Taulukko 3.2: Tuotantovirrat.
C
E
S
0
0,6
0,4
0,4
0,1
0,5
0,6
0,2
0,2
C
E
S
Kuva 3.3: Kuvateksti.


x1 − 0, 4x2 − 0, 6x3 = 0
−0, 6x1 + 0, 9x2 − 0, 2x3 = 0


−0, 4x1 − 0, 5x2 + 0, 8x3 = 0

 

1
−0, 4 −0, 6
1 0 −0, 94
−0, 6 0, 9 −0, 2 ∼ 0 1 −0, 85
−0, 4 −0, 5 0, 8
0 0
0


0, 94
x = t 0, 85
1
3.3
Yhtälön Ax = b ratkaisujoukko
Olkoon p yksittäinen ratkaisu ja u homogeeniyhtälön ratkaisu.
)
Ap = b
A(p + u) = Ap + Au = b
Au = 0
3.4 Lineaarinen riippuvuus
29
Siis p + u on ratkaisu.
Olkoon y mielivaltainen ratkaisu
)
Ay = b
A(y − p) = Ay + Ap = 0
Ap = b
Siis y − p on homogeeniyhtälön ratkaisu.
Kuva 3.4: Homogeeniyhtälön ratkaisut.
3.4
Lineaarinen riippuvuus
x1 v̂1 + x2 v̂2 + · · · + x p v̂ p = 0,
v̂1 , . . . , v̂ p ∈ Rn
Jos yllä oleva yhtälö toteutuu ainoastaan, kun x1 = x2 = · · · = x p = 0, vektorit ovat lineaarisesti
riippumattomat. Jos samalla yhtälöllä on ei-triviaali-ratkaisu, vektorit ovat lineaarisesti riippuvat.
Matriisin sarakkeiden lineaarinen riippuvuus
A = [a1 , a2 , . . . , a p ]
Yhtäpitävää:
1. A:n sarakkeet ovat lineaarisesti riippuvia
2. x1 a1 + x2 a2 + · · · + x p a p = 0 jollakin x 6= 0
3. Ax = 0 jollakin x 6= 0
Esimerkki 3.7 Tutki vektoreiden lineaarista riippuvuutta:
a) [1, 1, 0]T , [1, 0, 1]T , [−1, 2, 0]T , [0, 1, 1]T
b) [1, 0, 2, 1]T , [1, 1, −1, 2]T , [1, −1, 5, 0]T

 
 


1 1
1
1 1
1
1
1 1 −1 0
0 1 −1 0 1 −1 0
 
 
1 0 2 1 ∼ 
2 −1 5  ∼ 0 −3 3  ∼ 0
0 1 0 1
1 2
0
0 1 −1
0

1 1
1 −1

0 0
0 0
Huomautus: avaruudessa Rn voi olla korkeintaan n kappaletta lineaarisesti riippumattomia
vektoreita.
Matriisialgebraa
30
Esimerkki 3.8 Valitse lineaarisesti riippumattomat seuraavasta joukosta:
[1, −1, 1]T , [2, 1, 1]T , [0, −3, 1]T , [3, 0, 2]T , [0, 1, 1]T

 
1
1 2 0 3 0
−1 1 −3 0 1 ∼  0
1 1 1 2 1
0
2
1
0

0 3 0
−1 1 −1
0 0 4
3.5
Lineaarikuvauksista
Kuvaus T : Rn → Rm on lineaarikuvaus, jos
(
T(u + v) = Tu + Tv ∀u, θ
T(λ · u) = λ · Tu
∀u, λ
Kuva 3.5: Kuvateksti.
Esimerkki 3.9
T : R2 → R3
T(x1 , x2 )T = (x2 , −x1 )T
T(x1 , x2 )T = (x2 , x2 + 2x1 )T
Esimerkki 3.10
T : R3 → R2
T(x1 , x2 , x3 )T = (x1 + x2 , x3 − x2 )T
Matriisi = Lineaarikuvaus
A ∈ Rm×n matriisi. Kuvaus x → Ax on lineaarikuvaus Rn → Rm
Esimerkki 3.11 T : R2 → R3


1 −3
x


5 ,
T(x) = Ax,
A= 3
x= 1
x2
−1 7




1 −3 x1 − 3x2
x
5  1 =  3x1 + 5x2 
T(x) =  3
x2
−1 7
−x1 + 7x2
3.6 Injektio, surjektio, bijektio
31
a) Määrää vektorin u = (2, −1)T kuva.
b) Määrää x, jonka kuva on (3, 2, −5)T .
c) Onko useita vektoreita x, joiden kuva on (3, 2, −5)T ?
d) Kuuluuko (3, 2, 5)T kuvajoukkoon?
Esimerkki 3.12 Tason kuvaukset T : R2 → R3
A=
2 √0
,
0
2
1 0
,
0 −1
1 k
,
0 1
cos α − sin α
sin α cos α
Lineaarikuvauksen matriisi-esitys, T : R2 → R3
1
0
e1 =
, e2 =
0
1
Oletetaan, että


5
T(e1 ) = −1 ,
2
 
−3
T(e2 ) =  8  ,
0
x
x= 1 ,
x2
1
0
x = x1
+ x2
= x1 e1 + x2 e2
0
1

T(x) =?


  
5 −3 −3
5
x
T(x) = x1 T(e1 ) + x2 T(e2 ) = x1 −1 + x2  8  = −1 8  · 1 = A · x
x2
2
0
0
2
x
T(x) = T(e1 ) T(e2 ) · 1
x2
3.6
Injektio, surjektio, bijektio
T : Rn → Rm
T(x) = Ax
T injektio:
• T(x) = 0 vain kun x = 0
• Ax = 0 vain kun x = 0
• A:n sarakkeet lineaarisesti riippumattomat
T surjektio:
• T(x) = y ratkeaa ∀y
• A(x) = y ratkeaa ∀y
• span{a1 , . . . , an } = Rm
Esimerkki 3.13
u1
u2
→
 
i1
i2 
 
i3 
i4
I = M·u
Matriisialgebraa
32
Kuva 3.6: Kuvateksti.
3.7
Matriisien käsittely
Yhteenlasku ja skalaarikertolasku
A+B = B+A
(A + B) + B = (A + B) + C
A+0 = A
r(A + B) = rA + rB
(r + s)A = rA + sA
r(sA) = (rs)A
Kertolasku
Matriisit ovat A ∈ Rm×n ja B ∈ Rn×p . Tällöin
AB = [Ab1 , Ab2 , . . . , Ab p ]
∈ Rm×p
Kuva 3.7: Kuvateksti.
AB = ”yhdistetty kuvaus”
Laskusäännöt
A(BC) = (AB)C
A(B + C) = AB + AC
(A + B)C = AC + BC
r(AB) = (rA)B = A(rB)
IA = A,
AI = A
3.8 Symmetrinen matriisi
33
Kommutointi. Yleisesti ei päde, että AB = BA
Potenssi
Ak = A
· . . . · A}
| · A{z
k kpl
Transponointi
AT (i, j) = A( j, i)
1 1 −1
A=
,
2 3 4


1 2
AT =  1 3
−1 4
Transponointisäännöt
(AT )T = A
(A + B)T = AT + BT
(rA)T = rAT
(AB)T = BT · AT
3.8
Symmetrinen matriisi
AT = A
Esimerkki 3.14


1 1
A = 2 0  ,
3 −1
 
3
b = 2 ,
1
 
x1
x = x2 
x3


1 1
14 −2
1 2 3 
T

A A=
· 2 0 =
−2 2
1 0 −1
3 −1
 


x1
3x1 2x1 x1
bT x = 3 2 1 · x2  ,
bxT = 3x2 2x2 x2  = 3x3 + 2x2 + x3
x3
3x3 2x3 x3
3.9
Käänteismatriisi
Olkoon A ∈ Rn×n . Jos AC = I ja CA = I, sanotaan että C on A:n käänteismatriisi, jota merkitään
C = A−1 .
A säännöllinen
A singulaarinen
⇔
⇔
∃A−1
@A−1
Matriisialgebraa
34
2 × 2 matriisin inverssi
a b
A=
, ad − bc 6= 0,
c d
−1
A
1
d −b
=
ad − bc −c a
Jos ad − bc = 0, on A singulaarinen
detA = ad − bc
Laskusääntöjä
(A−1 )−1 = A
(AB)−1 = B−1 A−1
(AT )−1 = (A−1 )T
Yhtälöryhmän ratkaisu
Ax = b
Jos A−1 on saatavilla
A−1 Ax = A−1 b
3.10
⇒
x = A−1 b
Säännölliset matriisit
Yhtäpitäviä ominaisuuksia:
a)
b)
c)
d)
e)
f)
g)
h)
i)
j)
k)
l)
A−1 on olemassa
A∼I
A:n kolmiomuodossa n pivotsaraketta
Ax = 0 vain kun x = 0
{a1 , . . . , an } lineaarisesti riippumattomia
Kuvaus x → Ax on injektio
Ax = b ratkeaa ∀b ∈ Rn
span{a1 , . . . , an } = Rn
Kuvaus x → Ax on surjektio
∃ matriisi C, jolle CA = I
∃ matriisi D, jolle AD = I
AT on säännöllinen
Ominaisuuksien seuraussuhteita:
a→ j→d→c→c→b→a
d→c→b→a
a→k
k → g,
Ax = e j
j→c→b
b → a,
A ∼ I,
Ek · · · E1 A = I,
A−1 = E1−1 · · · Ek−1
Käänteiskuvaus ja A−1
T : Rn → Rn Lineaarikuvaus
S : Rn → Rn Lineaarikuvaus
Jos S(T) = x ja T(S) = x (∀x), sanotaan että S = T−1
3.11 Alkeismatriisit
35
Kuva 3.8: Kuvateksti.
3.11
Alkeismatriisit
Rivioperaatiot
• Ri + cR j
• Ri ↔ R j
• cRi
Alkeismatriisi on muotoa E = Iop
Esimerkki 3.15
E1 = IR1 +3·R3


1 0 3
= 0 1 0
0 0 1

1
E2 = IR2 ↔R3 = 0
0

1
E3 = I−6R2 = 0
0

0 0
0 1
1 0

0 0
−6 0
0 1
Alkeismatriisit ja rivireduktio


 

1 0 3 a b c
a + 3g b + 3h c + 3 j
0 1 0 d e f  =  d
e
f 
0 0 1 g h j
g
h
j
Iop A = Aop
Yleisesti
op1 op2
opk
A ∼ ∼ ... ∼ B
Ek · · · E2 E1 A = B
Käänteisoperaatiot E = Iop on säännöllinen ja
E−1 = Iop−1

−1


1 0 3
1 0 −3
0 1 0 = I(R +3·R )−1 = 0 1 0 
1
3
1 0 1
1 0 1
Matriisialgebraa
36
3.12
LU-hajoitelma
A = LU

 
1
0 0
3 −7 −2 2
 −1 1 0
−3 5
1
0
 

 6 −4 0 −5 =  2 −5 1
−3 8 3
9
5 −5 12
Ax = b
⇔
Ux = y
ja
L(Ux) = b
Eli
Ly = b
Gaussin eliminointi ja alkeiskolmiomatriisi


a11 · · ·
 ..

..
 .

.


0
akk 

∼
 ..
.. 
 .
. 
0
ank


a11




.


..




 0
akk 




0 
 0


 ..

 .



0
0
R j − a jk /akk Rk , j = k + 1, . . . , n
Vastaavat alkeismatriisit


1

 ..


.




1
E j = IR j −µ jk Rk = 



0



−µ jk 
0
1
Sarake-eliminointia vastaava matriisi


1

 ..


.




1


Mk = 
−µk+1k 




..


.
−µnk
1


0 3 −7 −2 2


0
 0 −2 −1 2 
0 0 0 −1 1 
0 −1
1 0 0
3.13 Tasomuunnokset ja grafiikkasovellukset
37
Mn−1 · . . . · M2 · M1 A = U
A = (Mn−1 · . . . · M2 · M1 )−1 · U = LU
−1
−1
L = M−1
1 · M2 · . . . · Mn−1

1
0
0
µ21 1
0


L = µ31 µ32 1
 ..
..
..
 .
.
.
µn1 µn2 µn3
···
···
···

0
0

0

.. 
.
···
1
Esimerkki 3.16

2
4

 -4 −5
A=
 2 −5
-6
0

2 4 −1 5
0 3 1
2

0 0 0
2
0 0 0
4

1
0
−2 1
L=
 1 −3
3 −4
 
2
−1 5 −1
 0
3 −8 1  
∼
−4 1
8  0
0
7 −3 1
 
−1
2 4 −1
0 3 1
−3
∼
1  0 0 0
0 0 0
7

0 0
0 0

A = L·U
0 0
2 1
4
3
-9
12
5
2
2
0

−1 5 −1
1
2 −3

∼
−3 −4 10 
4 12 −5

−1
−3
=U
1
5
3.13
Tasomuunnokset ja grafiikkasovellukset
Kuvaus R2 → R3 eli (x, y) → (x, y, 1). ”Homogeeniset koordinaatit”.
Translaatio (x, y) → (x + h, y + k) Ei lineaarikuvaus!
Kuva 3.9: Kuvateksti.
Matriisialgebraa
38
Sen sijaan (x, y, 1) → (x + h, y + k, 1) on lineaarikuvaus.


cos α − sin α 0
 sin α cos α 0
Kierto
0
0
1


0 1 0
1 0 0
Peilaus
0 0 1


s 0 0
0 t 0
Skaalaus
0 0 1
Muunnosten yhdistäminen (siirto, kierto (α = π/2), skaalaus):



 

1 0 −0, 5 0 −1 0 0, 3 0 0
0 −0, 3 −0, 5
0 1
2  1 0 0  0 0, 3 0 = 0, 3
0
2 
0 0
1
0 0 1
0
0 1
0
0
1
3.14
Yhtälöryhmät ja iteratiiviset menetelmät
Olkoon Ax = b. Etsitään jonoa xn , jolle xn → x.
Kirjoitetaan A = M − N. Tällöin
M − Nx = b
⇔
Mx = Nx + b
Iteraatiokaava on muotoa
Mxk+1 = Nxk + b
3.14.1
Jacobi’n menetelmä
A = D + (A − D)
Dx(k+1) = (D − A)x(k) + b
Esimerkki 3.17


10x1 + x2 − x3 = 18
x1 + 15x2 + x3 = −12


−x1 + x2 + 20x3 = 17

  
  

10 0 0
y1
0 −1 1
x1
18
 0 15 0  y2  = −1 0 −1 x2  + −12
0 0 20 y3
1 −1 0
x3
17


10y1 = −x2 + x3 + 18
15y2 = −x1 − x3 − 12


20y3 = x1 − x2 + 17


y1 = (−x2 + x3 + 18)/10
y2 = (−x1 − x3 − 12)/15


y3 = (x1 − x2 + 17)/20
3.15 Leontief-malli
39
Taulukko 3.3: Tulokset.
x0
x1
x2
0
0
0
1,8
-0,8
0,85
1,965
-0,9767
0,98
...
x5
1,9999
-0,9999
0,9999
3.14.2
Gauss-Seidelin menetelmä

a11

A=
an1
a1n
..



.
ann

a11 0 · · ·


M=

an1

0
.. 
. 

0
ann
Mxk+1 = (M − A)xk + b

  
  

10 0 0
y1
0 −1 1
x1
18
 1 15 0  y2  = 0 0 −1 x2  + −12
−1 1 20 y3
0 0
0
x3
17


10y1 = −x2 + x3 + 18
y2 + 15y2 = −x3 − 12


−y2 + y2 + 20y3 = 17
3.15


y1 = (−x2 + x3 + 18)/10
y2 = (−y1 − x3 − 12)/15


y3 = (y1 − y2 + 17)/20
Leontief-malli
Tuotantovektori ja panosmatriisi
 
x1
 .. 
x= . 

c11 · · ·
 ..
C= .
cn1 · · ·
x3
x = Cx + d
(I − C)x = d
⇒
x = (I − C)−1 d

c1n
.. 
. 
cnn
Matriisialgebraa
40
Kuva 3.10: Kuvateksti.
Käänteismatriisi (I − C)−1
(1 − t)−1 = 1 + t + t 2 + · · ·
Onko mahdollisesti niin, että
(I − C)−1 = I + C + C2 + · · · ?
(3.1)
Kokeilu
(I − C)(I + C + C2 + · · · + Cm ) = I + C + C2 + · · · + Cm − [C + C2 + · · · + Cm+1 ] = I − Cm+1
Tulos: Jos Cn → 0, niin yhtälö 3.1 pätee.
3.16
Ositetut matriisit

A11 · · ·
 ..
A= .
Ae1 · · ·


A1k
B11 · · ·
..  B =  ..
 .
. 
Aek
Bk1 · · ·

B1m
.. 
. 
Bkm


A11 B11 + · · · + A1k Bkm A11 B1m + · · · + A1k Bkm


..
AB = 

.
Ae1 B11 + · · · + Aek Bk1 Ae1 B1m + · · · + Aek Bkm
Mikäli laskutoimitukset ovat määriteltyjä


1 0 2
1
0 1 1
2
I B


A=
=
2 1 −1 0 
B −I
1 2 0 −1
I B
AC =
B −I
−1
B
I
C=
I
B−1
−1
−1
B
I
B +B
2I
=
I
B−1
0
B − B−1
Lohkokolmiomatriisi
A B
M=
0 C
3.17 Sarake-eliminointi
41
Jos A, C ovat säännöllisiä, niin
−1
M
−1
A
A−1 BC−1
=
0
C−1
Löydetään seuraavasti
A B E11 E12
I 0
=
0 C E21 E22
0 I


AE11 + BE21 = I



AE + BE = 0
12
22

CE21 = 0



CE = I
22
⇒
⇒
⇒
⇒
E11 = A−1
AE12 = −BC−1
E21 = 0
E22 = C−1
−1
I 0
Harjoitus, etsi:
A I
3.17
Sarake-eliminointi

1 0 0 0
0 1 0 0

M=
0 −2 1 0
0 1 0 1
0 3 0 0

0
0

0

0
1
Rivioperaatiot
R3 − 2R2
R4 + R2
R5 + 3R2
M = IR5 +3R2 · IR4 +R2 · IR3 −2R2 = E3 · E2 · E1 · A
M · A = E3 · E2 · E1 · A

1 0 0
0 1 0

M−1 = 
0 2 1
0 −1 0
0 −3 0
0
0
0
1
0

0
0

0

0
1
Matriisialgebraa
42
3.18
Vektoreiden tulo
x = [x1 , x2 , x3 ]T
xT y = x1 x2
y = [y1 , y2 , y3 ]T
 
y1
x3 · y2  = x1 y1 + x2 y2 + x3 y3 = ”Skalaaritulo” tai ”sisätulo”
y3
Erikoistapaus x = [1, 0, 0]T
Kuva 3.11: Kuvateksti.
 
y1
T
x y = 1 0 0 · y2  = y1 = y:n projektio x:n suuntaan
y3
a11 a12
A=
= a1 a2
a21 a22
a22
detA = a11 a22 − a12 a21 = a11 a21 ·
= aT1 · b
−a12
Kuva 3.12: Kuvateksti.
4. Determinantit
a11 a12
A=
= a1 a2
a21 a22
a11 a12 = a11 a22 − a12 a21 = ±ala {a1 , a2 }
detA = a21 a22 Kuva 4.1: Kuvateksti.
A = a1 , a2 , a3 ∈ R3×3
a11 a12 a13 detA = a21 a22 a23 = ±vol {a1 , a2 , a3 }
a31 a32 a33 Kuva 4.2: Kuvateksti.
Determinantit
44
Alimatriisi






(n−1)×(n−1)

Ai j =  ai j 
∈R


3 × 3 determinantti
a21 a22 a21 a23 a22 a23 + a13 − a12 detA = a11 a31 a32 a31 a33 a32 a33 = a11 detA11 − a12 detA12 + a13 detA13
Kehityskaava, A ∈ Rm×n
detA = a11 detA11 − a12 detA12 + · · · + (−1)1+n a1n detA1n
n
detA = ∑ a1i C1i ,
1
missä Cij = (−1)i+ j detAij
Determinantti ja alkeismatriisit
E1 = IRi ↔Rj
E2 = IcRi
E3 = IRi +cRj
Särmiötulkinta
det(E1 A) = −detA
det(E2 A) = c · detA
det(E3 A) = detA
det(EA) = detE · detA
Kuva 4.3: Kuvateksti.
45
Kolmiomatriisin determinantti

a11 a12
 0 a22


0
detA = det  0
 ..
..
 .
.
0
0

a1n
a2n 

a3n 



ann
= a11 · detA11 − 0 · detA21 + · · · = a11 · detA11 = an · a22 · det[
Sarakereduktio

a11
a21

A= .
 ..


a11
  0
 
 ∼ ..
 .
B





detA = a11 · detB
0
an1
] = · · · = an · a22 · · · · · ann
Esimerkki 4.1

 

2 −8 6 8
2 −8
3
4
 3 −9 5 10  0
3
−4 −2
∼

A=
−3 0 1 −2 0 −12 10 10 
1 −4 0 6
0
0
−3 2
3
3 −4 −2
−4 −2
detA = 2 −12 10 10 = 2 0 −6 2 0
0 −3 2 −3 2 −6 2
= 2 · 3 −6 2 = 2 · 3 · (−6) · 1 = −36
= 2 · 3 −3 2
0 1
Determinantti ja echelon-muoto


p1


..
A∼
p1 . . . pn pivot alkiot

.
pn
detA = (−1)n p1 · . . . · pn , kun A on säännöllinen ja detA = 0, kun A on singulaarinen.
Ominaisuuksia:
•
•
•
•
A säännöllinen ⇔ detA 6= 0
detA = detAT
detAB = detA · detB
Kuvaus x → det[a1 · · · x · · · an ] on lineaarinen
Esimerkki 4.2


1 1+t 3
A = 2 1 − t 1
3 1 − 2t 0
1 1 3 1
t
3 1 1 3 1 1 3
detA = 2 1 1 + 2 −t 1 = 2 1 1 + t 2 −1 1
3 1 0 3 −2t 0 3 1 0 3 −2 0
Determinantit
46
Cramerin temppu
Ax = b
Muodostetaan matriisi

1 0
0 1

Ik (x) =  . .
 .. ..
0 0

x1 0
x2 0

 = [e1 , e2 , . . . , x, en ]

xn 1
detIk (x) = xk
A · Ik (x) = [Ae1 , Ae2 , . . . , Ax, . . . , Aen ] = [a1 , a2 , . . . , b, . . . , an ]
det[a1 , . . . , b, . . . , an ]
detA · detIk (x) = det[a1 , . . . , b, . . . , an ] ⇒ xk =
detA
Esimerkki 4.3
(
3sx1 − 2x2 = 4
−6x1 + sx2 = 1
3s −2
A=
−6 s
4 −2
A1 b =
1 s
4 −2
1 s 4s + 2
=
x1 = 3s −2 3(s + 2)(s − 2)
−6 s 5. Vektoriavaruudet
Joukko alkioita u, v, . . .
Laskutoimitukset u + v, λ · u
Laskulait
Esimerkki 5.1
Rn = {(x1 , . . . , xn )T |xi ∈ R}
R∞ = {x = (xi ) = (x1 , x2 , . . . )|xi ∈ R}
Rn×m = {A|A on m × n matriisi}
q(S, R) = {f|f on funktio S → R}
Kompleksikertoimiset vektoriavaruudet
Cn , C∞ , Cn×m , q(S, C)
5.1
Aliavaruus
V vektoriavaruus, H ⊂ V on aliavaruus, jos
1. x, y ∈ H ⇒ x + y ∈ H
2. x ∈ H ⇒ λ x ∈ H, ∀λ ∈ R
Esimerkki 5.2 Neljä esimerkkiä:
1.
V = R3
H = {x|x1 + 2x2 + 3x3 = 0}
Vektoriavaruudet
48
2.
V = R3×3 ,


0 1 0
H = {A|NA = 0}, missä N = 0 0 1
0 0 0
S = {A|AT = −A}
3.
V = q(R),
H = {f : R → R|f on jatkuva}
K = {f|f(0) = f(1)}
4.
V = C1 (R) = {f|f’ on jatkuva}
H = {f ∈ C1 (R)|f0 + f = 0}
Aliavaruuksien summa
H1 + H2 = {x + y|x ∈ H1 , y ∈ H2 }
Jos lisäksi H1 ∩ H2 = {0}, sanotaan että H1 + H2 on suora summa. Merkitään H1 ⊕ H2 .
Teoreema: Summa H1 + H2 on suora ⇔ Vektorin x ∈ H1 + H2 esitys x = x1 + x2 on yksikäsitteinen.
Kuva 5.1: Kuvateksti.
Esimerkki 5.3
H1 = {τ(1, 2, 3)T |τ ∈ R}
H2 = {x|x1 + x2 + x3 = 0}
H3 = {x|x3 = x1 + x2 }
Viritysjoukko
S ⊂ V osajoukko
span S = {λ1 x1 + · · · + λk xk |λi ∈ R, xi ∈ S} on aina aliavaruus.
5.2 Kanta
49
Esimerkki 5.4 Kaksi esimerkkiä:
1.
V = C1 (R)
S = {1, x, x2 , x3 }
span S = {f = α0 + α1 x + α2 x2 + α3 x3 |αi ∈ R} = P3 (R)
2.
V = C1 (R)
H = {1, x, x2 , x3 }
span S = {f|(1 − x)f00 + xf0 − f = 0}
Ratkaisujoukko: f = Ax + Bex . Siis H = span{x, ex }
5.2
Kanta
Olkoon V vektoriavaruus. B = {b1 , b2 , . . . , bn } ⊂ V on kanta, jos
• {b1 , b2 , . . . , bn } ovat lineaarisesti riippumattomia
• span{b1 , b2 , . . . , bn } = V .
Esimerkki 5.5 E = {e1 , e2 , . . . , en } = {(1, 0, . . . , 0)T , (0, 1, . . . , 0)T . . . } standardikanta R:ssä.
A: säännöllinen matriisi
{a1 , a2 , . . . , an } on kanta Rn :ssä.
{1,t,t 2 , . . . ,t n } on kanta avaruudessa Pn = {p = λ0 + λ1t + · · · + λnt n }
5.3
Matriisin nolla-avaruus N(A)
N(A) = {x|Ax = 0} tai [KeA]
Esimerkki 5.6
1 −3 −2
A=
−5 9
1
x ∈ N(A)
⇔
(
x1 − 3x2 − 2x3 = 0
−5x1 + 9x2 + x3 = 0
N(A) on aliavaruus:
x, y ∈ N(A)
⇒
Ax = 0, Ay = 0
⇒
A(x+y) = 0 = Ax+Ay = 0
N(A) aliavaruuden kanta

 

−3 6 −1 1 −7
1 −2 0 −1 3
A =  1 −2 2 3 −1 ∼ 0 0 1 2 −2
2 −4 5 8 −4
0 0 0 0
0
⇒
x+y ∈ N(A) jne...
Vektoriavaruudet
50
x ∈ N(A)
⇔


x1 − 2x2 − x4 + 3x5 = 0
x3 + 2x4 − 2x5 = 0


0=0
  

 
 
 
−3
1
x1
2a + b − 3c
2
x2  







a
  

1
0
0









x = x3  =  −2b + 2c  = a 0 + b −2 + c  2 

x4  

0
0
1
b
x5
c
0
1
0
R1
Esimerkki 5.7 Olkoon H = {p(x) ∈ P3 |p(1) = 2p(0), 0 p(x) dx = 0}. Määrää aliavaruudelle
H kanta.
p(x) = αα1 x + α2 x2 + α3 x3
p(1) = 2p(0)
Z 1
p(x) dx = 0
⇔
−α0 + α1 + α2 + α3 = 0
⇔
0
1
1
1
α0 + α1 + α2 + α3 = 0
2
3
4
−1 1
1
1
−1 1
1
1
∼
1 1/2 1/3 1/4
0 3/2 4/3 5/4
5.4
Sarake-avaruus Col A
Merkitään myös ColA = R(A)
ColA = span{a1 , a2 , . . . , an } = {b|b = Ax jollakin x}
Esimerkki 5.8


2
4 −2 1
A = −2 −5 7 3
3
7 −8 6
N(A) = {x ∈ R4 |Ax = 0}
ColA = {y ∈ R3 |y = Ax jollakin x}
Kuva 5.2: Kuvateksti.
5.5 Lineaarikuvauksen ydin ja kuva-joukko
51
5.5
Lineaarikuvauksen ydin ja kuva-joukko
T : V → W lineaarikuvaus. T:n ydin N(T) = {x|T(x) = 0}
T:n kuvajoukko
R(T ) = {y|y = T (x) jollakin x}
N(T) ⊂ V, R(T) ⊂ W aliavaruuksia.
Esimerkki 5.9 V = P3 [0, 2], W = P4 [0, 2] ja T (f(x)) = f(x) + Df(x)
f(x) ∈ N(T)
⇔
T (f(x)) = 0
⇔
Df(x) = −f(x)
⇔
f(x) = Ce−x
f(x) ∈ N(T) ∩ P3 ⇔ f(x) = 0
y(x) ∈ R(T)
⇔
y(x) = f(x) + Df(x)
Onko R(T) = P3 [0, 2]?
5.6
Spanning teoreema
Olkoon H = span{v1 , . . . , vn }. Jos vn = α1 v1 + · · · + αn−1 vn−1 , niin H = span{v1 , . . . , vn−1 }.
Avaruuden ColA kanta


1 4 0 2 −1
3 12 1 5 5 

A = [a1 , a2 , . . . , a5 ] = 
2 8 1 3 2 
5 20 2 8 8

1
0
A ∼ B = [b1 , b2 , . . . , b5 ] = 
0
0
4
0
0
0

0 2 0
1 −1 0

0 0 1
0 0 0
Spanning teoreema ⇒ {b1 , b3 , b5 } on ColA:n kanta.
Ax = 0 ⇔ Bx = 0 ⇒ {a1 , a3 , a5 } on ColA:n kanta
Aliavaruuden span S kanta
h = span{A(s)|s ∈ R},
s
s+1
A(s) =
s+2 s+3
{A(−1), A(0), A(1), A(2)} Lineaarisesti riippumattomia?
x1 A(−1) + x2 A(0) + x3 A(1) + x4 A(2) = 0
⇔
Bx = 0
Vektoriavaruudet
52

−1
0
B=
1
2
0
1
2
3
1
2
3
4
 
−1
2
0
3
∼
4  0
0
5
0
1
2
3
1
2
4
6
 
−1
2
0
3
∼
6  0
0
9
0
1
0
0
1
2
0
0

2
3

0
0
{A(−1), A(0)} Lineaarisesti riippumattomia. A(s) = A(0) + s[A(0) − A(−1)].
Esimerkki 5.10 H = {f|f000 + 5f00 + 4f = 0}
Karakteristinen yhtälö
λ 4 + 5λ 2 + 4 = 0
⇔
(λ 2 + 1)(λ 2 + 4) = 0
λ = ±i, λ = ±2i
Yleinen ratkaisu on f(t) = a1 sint + a2 cost + a3 sin 2t + a4 cos 2t
Aliavaruuden H kanta
B = {sint, cost, sin 2t, cos 2t}
Tutki onko joukko B = {1 + t,t + t 2 ,t 2 + t 3 ,t 3 − 1} avaruuden P3 kanta?
Aliavaruuden N(A) kanta
1 1 0 2
1 0 −3 0
A=
∼
,
1 2 3 4
0 1 3 2
x ∈ N(A) ⇔ Ax = 0
  

   
x1
3s
3
0
x2  −3s + 2t 
−3 1
 
 = s +t  
x=
x3  = 

 1  0
s
x4
t
0
1
N(A):n kanta
B = {[3, −3, 1, 0]T , [0, −1, 0, 1]T }
5.7
Koordinaattijärjestelmä
V Vektoriavaruus
B = {v1 , v2 , . . . , vn } kanta
x = c1 v1 , c2 v2 , . . . , cn vn
Koordinaattivektori kannassa B
[x]B = [c1 , c2 , . . . , cn ]T
5.8 Isomorfismi
53
Esimerkki 5.11 V = {AR2×2 |AT = A}
1 0
B = {B1 , B2 , B3 }, missä B1 =
,
0 1
2 3
= 2B1 + 3B2 + B3
A=
3 6
0 1
B2 =
,
1 1
0 0
B3 =
0 1
A:n koordinaatit kannassa B: [A]B = [2, 3, 1]T
Koordinaatit R4 :ssä
B = {b1 , b2 , . . . , bn } kanta
B = {e1 , e2 , . . . , en } luonnollinen kanta
Tehtävä: määrää vektorin x koordinaatit kannassa B
c1 b1 + c2 b2 + · · · + cn bn = x
PB · [x]B = x,
5.8
missä PB = [b1 , b2 , . . . , bn ]
Isomorfismi
V,W Vektoriavaruuksia
T : V → W Lineaarikuvaus, bijektio
Sanotaan, että T on isomorfismi.
Olkoon B = {b1 , . . . , bn } kanta V :ssä. Kuvaus x → [x]B on isomorfismi V → Rn .
Esimerkki 5.12 V = {A ∈ R3×3 |AT = −A}


0 1 0
B1 = −1 0 0 ,
0 0 0
Kuvaus


0
a b
−a 0 c
−b −c 0
→


0 0 1
B2 =  0 0 0 ,
−1 0 0


0 0 0
B3 = 0 0 1
0 −1 0
 
a
b
c
on isomorfismi: V → R3
Aliavaruuksien N(A) ja ColA dimensiot

 
−3 6 −1 1 −7
1
A =  1 −2 2 3 −1 ∼  0
2 −4 5 8 −4
0
−2
0
0
2
1
0

3 −1
2 2
0 0
Vektoriavaruudet
54
2 pivotsaraketta ⇒ dim ColA = 2
3 vapaata saraketta ⇒ dimN(A) = 3
dim ColA + dimN(A) = 5 = A:n sarakkeiden lukumäärä
Yleisesti pätee, että
dim ColA + dimN(A) = n
5.9
Matriisin riviavaruus
RowA = Col(AT )
   
1
2
RowA = span{1 , 0}
0
2
1 1 0
A=
2 0 2
Rivioperaatiot ja RowA
!
Ri + c · R j
A
!
B
∼
Ri (B) = Ri (A) + c · R j (A) ∈ span{Ri (A), R j (A)}
Yleisesti pätee, että
A∼B
5.10
⇒
RowA = RowB
Matriisin aste, rank A
rankA = dim RowA

 
1 0 1
1
1 3 1 0
 
A=
0 −3 0 ∼ 0
2 3 2
0
0
3
0
0

1
0
=B
0
0
RowA = RowB = span{[1, 0, 1]T , [0, 3, 0]T }
⇒
rankA = 2
Esimerkki 5.13

1
0
A∼
0
0
3
0
0
0
1
1
0
0
0
2
0
0

1
3

1
0
⇒
rankA = 3
5.11 Kannanvaihto
55
rankA = dim RowA = dim ColA
rankA + dimN(A) = n
Säännölliset matriisit (jatkoa sivulta 32). Yhtäpitävää:
•
•
•
•
•
•
A−1 on olemassa
ColA = Rn
dim ColA = n
rankA = n
N(A) = {0}
dimN(A) = 0
Esimerkki 5.14 Rank-teoreeman sovellus
Ax = 0
A ∈ R10×12
Kuinka monta lineaarisesti riippumatonta ratkaisua vähintään
rankA ≤ 10 eli dimN(A) = n − rankA ≥ 12 − 10 = 2
A ∈ R50×51
Yhtälölle Ax = 0 on löydetty 2 lineaarisesti riippumatonta ratkaisua. Onko Ax = b ratkeava ∀b?
dimN(A) ≥ 2 eli rankA = 51 − dimN(A) ≤ 51 − 2 = 49
Ax = b ei ratkeava ∀b.
5.11
Kannanvaihto
B = {b1 , . . . , bn }, C = {c1 , . . . , cn }
Kannat V :ssä
x = x1 b1 + x2 b2 + · · · + xn bn
x = y1 c1 + y2 c2 + · · · + yn cn
Kuvaus x → [x]B = [x1 , . . . , xn ]T lineaarinen
Kuvaus x → [x]C = [y1 , . . . , yn ]T lineaarinen
Kuvaus [x]B → x → [x]C lineaarinen
Kuvauksella matriisiesitys
[x]C = M · [x]B = PC←B [x]B ,
missä M = PC←B on kannanvaihtomatriisi.
Kannanvaihtomatriisi
x = b1 = 1 · b1 + 0 · b2 + · · · + 0 · bn
⇒
[b1 ]B = [1, 0, . . . , 0]T
Vektoriavaruudet
56
x = b2 = 0 · b1 + 1 · b2 + · · · + 0 · bn
⇒
[b2 ]B = [0, 1, 0, . . . , 0]T
[b1 ]C = PC←B · [b1 ]B = PC←B · e1
[b2 ]C = PC←B · [b2 ]B = PC←B · e2
..
.
[bn ]C = PC←B · [bn ]B = PC←B · en
Saadaan
{[b1 ]C [b2 ]C · · · [bn ]C } = PC←B [e1 e2 · · · en ] = PC←B · I
PC←B = {[b1 ]C [b2 ]C · · · [bn ]C }
Esimerkki 5.15 H = span{1,t, sint,t sint}
Kaksi kantaa:
B = {1,t, sint,t sint} = {b1 , b2 , . . . , bn }
C = {1 + t,t,t + sint, (1 + t) sint,t sint − 1} = {c1 , c2 , c3 , c4 }
Olkoon x(t) = (2 + 3t) sint + t − 4. Koordinaatit kannassa B: [x(t)]B = [−4, 1, 2, 3]
Kannanvaihtomatriisi
PB←C = {[c1 ]B [c2 ]B · · · [c4 ]B } = {[1 + t]B [t + sint]B · · · [t sint − 1]B }


1 0 0 −1
1 1 0 0 

=
0 1 1 0 
0 0 1 1
−1
Koordinaatit kannassa C: [x(t)]C = PB←C
[−4, 1, 2, 3]T
Signaali-avaruus S
S = {(xn )|n = 0, ±1, ±2, . . . } = R∞
Kuva 5.3: Kuvateksti.
Signaalit u, v, w ovat lineaarisesti riippumattomia, jos
c1 u + c2 v + c3 w = 0
⇒
c1 uk + c2 vk + c3 wk = 0, ∀k
c1 = c2 = c3 = 0
⇒
c1 = c2 = c3 = 0
5.12 Differenssiyhtälö
5.12
57
Differenssiyhtälö
a0 yk+n + a1 yk+n−1 + · · · + an yk = zk , ∀k
Kuvaus (yk ) → (zk ) on lineaarikuvaus F : S → S.
Kuva 5.4: Kuvateksti.
Homogeeniyhtälö, F(yk ) = 0
a0 yk+n + · · · + an yk = 0, ∀k
Ratkaisuyrite: y = (rk )
a0 rk+n + · · · + an rk = 0
a0 rn + · · · + an−1 r + an = 0
Karakteristinen yhtälö. Juuret: r = ρ1 , ρ2 , . . . , ρn
Ratkaisut
y1 = (. . . , ρ1−2 , ρ1−1 , 1, ρ1 , ρ12 , . . . )
y2 = (. . . , ρ2−2 , ρ2−1 , 1, ρ2 , ρ22 , . . . )
..
.
yn = (. . . , ρn−2 , ρn−1 , 1, ρn , ρn2 , . . . )
Surjektio-ominaisuus
F:S→S
F(yk ) = [a0 yk+n + · · · + an yk ]k=−∞,∞ . Olkoon z = (zk ). Yhtälöllä F(yk ) = (zk ) on yksikäsitteinen
ratkaisu, kun y0 , y1 , . . . , yn−1 on määrätty.
yn = z0 − [a1 yn−1 + · · · + an y0 ]
yn+1 = z1 − [a1 yn + · · · + an y1 ]
yn+2 = z2 − [a1 yn−1 + · · · + an y2 ]
..
.
F : S → S on surjektio
Homogeeniyhtälön ratkaisuista
H = {(yk )|F(yk ) = 0}. Määritellään, että T : H → Rn ja T(yk ) = (y0 , . . . , yn−1 )T
Jos T on lineaarikuvaus ja bijektio, niin dimH = n.
Jos karakteristisen yhtälön juuret ovat erisuuret, niin ratkaisut yi = (ei )k muodostavat kannan
H:ssa.
Vektoriavaruudet
58
Ei-homogeeninen yhtälö
Esimerkki 5.16 yk+2 − 4yk+1 + 3yk = −4k
Yksittäisratkaisu on yk = k2 ja karakteristinen yhtälö on r2 − 4r + 3 = 0, josta saadaan r1 = 1 ja
r2 = 3.
Yleinen ratkaisu: (k2 ) + c1 (r1k ) + c2 (r2k )
k2 + c1 1k + c2 3k
5.13
1. Kertaluvun systeemit
A ∈ Rn×n ja xk ∈ Rn
xk+1 = Axk
Esimerkki 5.17 yk+3 − 2yk+2 − 5yk+1 + 6yk = 0
Asetetaan: xk = [yk , yk+1 , yk+2 ]T

 

yk+1
yk+1

yk+2
xk+1 = yk+2  = 
yk+3
−6yk + 5yk+1 + 2yk+2
 


0 1 0
yk
=  0 0 1 · yk+1  = A · xk
−6 5 2
yk+2
Yleisesti saadaan, että
yk+n + a1 yk+n−1 + · · · + an yk = 0, ∀k

yk

 yk+1 


xk =  .  ,
 .. 
yk+n−1
5.14

0
0
..
.
⇔
1
0
..
.
xk+1 = Axk
0
1
..
.
···


A=

−an −an−1 −an−2
0
0
..
.





−a1
Ekosysteemin kehityspolku
Lajit 1, . . . , n. Lajin i määrä vuonna k = xik ja lajivektori xk = [x1k , x2k , . . . , xnk ]T .
Lajien riippuvuus toisistaan
xi,k+1 = ai1 x1k + ai2 x2k + · · · + ain xnk

 
 
x1,k+1
a11 · · · a1n x1k
x2,k+1  
x2k 
a21 · · · a2n 




 ..  = 
 .. 


 . 
 . 
a
·
·
·
a
n1
nn
xn,k+1
xnk
⇒
xk+1 = Axk
5.14 Ekosysteemin kehityspolku
Tasapainotila: Ax = x. Sama lajiprofiili: Ax = λ x
59
6. Ominaisarvot ja ominaisvektorit
T : Rn → Rn Lineaarikuvaus
Jos T(v) = λ · v sanotaan, että v on ominaisvektori ja λ on ominaisarvo.
Kuva 6.1: Kuvateksti.
Esimerkki 6.1


3 −2 0
A = 1 0 0
0 0 1
 
2
v = 1
0

   
4
3 −2 0 2
Av = 1 0 0 1 = 2 = 2 · v
0
0 0 1 0
Matriisin ominaisarvot
Ax = λ x
(A − λ I)x = 0
A−λI
singulaarinen
det(A − λ I) = 0
Ominaisavaruus
N(λ ) = N(A − λ I) = {x|(A − λ I)x = 0}
Ominaisarvot ja ominaisvektorit
62
Esimerkki 6.2 λ = 2


4 −1 6
A = 2 1 6 ,
2 −1 8
(A − 2I)x = 0
⇔

 

4 − 2 −1
6
2 −1 6
1−2
6  = 2 1 6
A − 2I =  2
2
−1 8 − 2
2 −1 6
2x1 − x2 + 6x3 = 0
⇔
   
1/2
−3
x = s 1 +t  1 
0
0
Ominaisavaruus
N(2) = span{[1/2, 1, 0]T , [−3, 0, 1]T }
Kuva 6.2: Kuvateksti.
Kolmiomatriisi

a11 − λ
A−λI =  0
0
a12
a22 − λ
0

a13
a23 
a33 − λ
detA − λ I = (a11 − λ )(a22 − λ )(a33 − λ ) = 0
⇔
λ = a11 , λ = a22 , λ = a33
Kolmiomatriisin ominaisarvot ovat sen lävistäjäalkiot.
Säännöllisyys: A singulaarinen ⇔
• Ax = 0 jollakin x 6= 0
• Ax = 0 · x jollakin x 6= 0
• A:n (yksi) ominaisarvo on λ = 0
Ominaisvektoreiden lineaarinen riippumattomuus
λ1 , λ2 , . . . , λk eri suuria ominaisarvoja ja v1 , v2 , . . . , vk ominaisvektoreita.
v1 , . . . , vk−1 ovat lineaarisesti riippumattomia.
vk = a1 v1 + · · · + ak−1 vk−1
Avk = a1 Av1 + · · · + ak−1 Avk−1
λk vk = a1 λ1 v1 + · · · + ak−1 λk−1 vk−1
0 = a1 (λ1 − λk )v1 + · · · + ak−1 (λk−1 − λk )vk−1
⇒
a1 = a2 = · · · = ak+1 = 0
⇒
vk = 0
6.1 Ominaisvektorit ja differenssiyhtälöt
6.1
63
Ominaisvektorit ja differenssiyhtälöt
yk+3 − 2yk+2 − 5yk+1 + 6yk = 0




yk
0 1 0
xk = yk+1  ,
xk+1 =  0 0 1 xk
yk+2
−6 5 2
⇒
xk+1 = Axk
Olkoon x0 ominaisvektori Ax0 = λ x0 . Asetetaan xk = λ k x0
Axk = A(λ k x0 ) = λ k A(x0 ) = λ k λ x0 = λ k+1 x0 = xk+1
Jono xk = λ k x0 on ratkaisu!
6.2
Similaarisuus
A, B ∈ Rn×n ovat similaariset jos on olemassa matriisi P, jolle
A = PBP−1
Jos A, B ovat similaariset, niillä on samat ominaisarvot.
λ ominaisarvo ⇔
•
•
•
•
•
det(A − λ I) = 0
det(PBP−1 − λ PP−1 ) = 0
det[P(B − λ I)P−1 ] = 0
detP · det(B − λ I) · detP−1 = 0
det(B − λ I) = 0
A:lla ja A, B:llä on sama ominaispolynomi.
6.3
Diagonalisointi
A on diagonalisoituva, jos A on similaarinen lävistäjämatriisin kanssa


λ1

 −1
..
A = PDP−1 = P 
P
.
λn
Tällöin λ1 , . . . , λn ovat A:n ominaisarvot ja matriisin P = [v1 , v2 , . . . , vn ] sarakkeet ovat lineaarisesti riippumattomia ominaisvektoreita.
det(A − λ I) = det(B − λ I) = (λ1 − λ )(λ2 − λ ) · · · (λn − λ )
A = PDP−1
⇒
AP = PD

λ1

A[v1 , . . . , vn ] = [v1 , . . . , vn ] 

..


.
λn
Av1 = λ1 v1 , . . . , Avn = λn vn
Ominaisarvot ja ominaisvektorit
64
Esimerkki 6.3


1
3
3
A = −3 −5 −3
3
3
1
det(A − λ I) = −λ 3 − 3λ 2 + 4 = −(λ − 1)(λ + 2)2

 

0
3
3
1 1 0
A − 1I = −3 −6 −3 ∼ 0 1 1 ,
3
3
0
0 0 0

1
v1 = −1
1



−s − t
v1 =  s 
t
 

3
3
3
1 1 1
A + 2I = −3 −3 −3 ∼ 0 0 0 ,
3
3
3
0 0 0

dimN(A + 2I) = 2
 
−1

v2 = 1  ,
0
 
−1

v3 = 0 
1
A = PDP−1


−1 −1 −1
0 ,
P = −1 1
1
0
1


1 0
0
D = 0 −2 0 
0 0 −2
Ei-diagonalisoituva matriisi


2
4
3
A = −4 −6 −3
3
3
1
p(λ ) = −(λ − 1)(λ + 2)2
dimN(A − I) = 1 ja dimN(A + 2I) = 1
Vain kaksi ominaisvektoria ⇒ A ei ole diagonalisoitavissa.
Ominaisarvon kertaluku
det(A − λ I) = (λ − λ1 )α1 (λ − λ2 )α2 · · · (λ − λk )αk
Jos αk = 1, niin ominaisarvo λk on yksinkertainen ja dimN(A − λk I) = 1
Jos αk > 1, niin on mahdollista, että dimN(A − λk I) > 1
6.4 Lineaarikuvauksen matriisiesitys
65
Kuva 6.3: Kuvateksti.
6.4
Lineaarikuvauksen matriisiesitys
V,W vektoriavaruuksia ja T :V → W lineaarikuvaus.
B = {b1 , . . . , bn } on kanta V :ssä.
C = {c1 , . . . , cn } on kanta W :ssä.
x → Tx
x = α1 b1 + α2 b2 + · · · + αn bn
Tx = α1 Tb1 + α2 Tb2 + · · · + αn Tbn
Koordinaattivektorit
[x]B = [α1 , α2 , . . . , αn ]T
[Tx]C = α1 [Tb1 ]C + · · · + αn [Tbn ]C = {[Tb1 ]C [Tb2 ]C · · · [Tbn ]C } · [x]B
6.5
Kuvausmatriisin kaava
[Tx]C = M[x]B ,
missä M = {[Tb1 ]C [Tb2 ]C · · · [Tbn ]C }
Kuva 6.4: Kuvateksti.
Esimerkki 6.4 v = Q2
T (p(t)) = p0 (t) kanta B = {1,t,t 2 }
T (1) = 0
[T (1)]B = [0, 0, 0]
T (t) = 1
[T (t)]B = [1, 0, 0]
T (t 2 ) = 2t
[T (t 2 )]B = [0, 2, 0]
Kuvauksen matriisi


0 1 0
M = [T ]B = 0 0 2
0 0 0
Ominaisarvot ja ominaisvektorit
66
Esimerkki 6.5 P22 = {p(x, y)|2. asteen polynomi}
p(x, y) = a00 + a10 x + a01 y + a20 x2 + a02 y2 + a11 xy
Lineaarikuvaus T : P22 → P22
T (p(x, y)) =
∂2
[xyp(xy)]
∂ x∂ y
Kanta B = {1, x, y, x2 , y2 , xy}
T (1) = Dx Dy [xy] = 1
T (x) = Dx Dy [x2 y] = 2x
T (y) = Dx Dy [xy2 ] = 2y
T (x2 ) = Dx Dy [x3 y] = 3x2
T (y2 ) = Dx Dy [xy3 ] = 3y2
T (xy) = Dx Dy [x2 y2 ] = 4xy
Kuvauksen T matriisi

1
0

0
M=
0

0
0
0
2
0
0
0
0
0
0
2
0
0
0
0
0
0
3
0
0
0
0
0
0
3
0

0
0

0

0

0
4
6.6
Lineaarikuvaus ja diagonaali-esitys
T : Rn → Rn lineaarikuvaus Tx = Ax - matriisi A = T:n matriisi luonnollisen kannan E =
{e1 , e2 , . . . , en } suhteen
[T ]E = A
Oletetaan A = PDP−1 , jossa P = [b1 , . . . , bn ]. Ominaisvektorit muodostava kannan B = [b1 , b2 , . . . , bn ]
kuvauksen T matriisi kannassa.
AP = PD
⇒
A[b1 , . . . , bn ] = [b01 , . . . , bn ] · D
T (b1 ) = Ab1 = λ1 b1
⇒
[T (b1 )]B = [λ1 , 0, . . . , 0]T
[T (bn )]B = [0, . . . , 0, λn ]T


λ1


..
[T ]B = {[T (b1 )]B · · · T (bn )]B } = 
=D
.
λn
T (bn ) = Abn = λn bn
⇒
6.7 Kompleksiset tapaukset
6.7
67
Kompleksiset tapaukset
Kompleksiset vektorit

    
3−i
3
−1
x =  i  = 0 + i  1 
2 + 5i
2
5
∈ C3 = Re x + i · Im x
Re x on reaaliosa ja Im x on imaginaariosa, molemmat ∈ R3
Konjugaatti, z = α + iβ , z = α − iβ


z11 · · · z1n


M =  ...
 = ReM + i · ImM
zn1 · · · znn

z11 · · ·
 ..
M= .
z1n
zn1 · · ·
znn
λA = λ ·A


 = ReM − i · ImM
AB = A · B
Kompleksiset ominaisarvot
0 −1
A=
1 0
det(A − λ I) = λ 2 + 1,
0 −1 1
1
=i
1 0
−i
−i
Au1 = iu2
0 −1 1
1
= −i
1 0
i
i
Au2 = −iu2
λ = ±i
Periodi-ilmiö
0, 5 −0, 6
A=
0, 75 1, 1
λ = 0, 8 ± 0, 6i
Olkoon x0 = (2, 0)T . Laske x1 = Ax0 , . . . , xk = Ak x0
Konjugaattiparit
A on reaalinen matriisi ∈ Rn×n ja λ on kompleksinen ominaisarvo.
Ax = λ x
⇒
Ax = Ax = Ax = λ x = λ · x
Ominaisarvot ja ominaisvektorit
68
Kuva 6.5: Kuvateksti.
Nähdään, että λ on myös ominaisarvo.
Ominaispolynomi
A ∈ Rn×n ,
p(λ ) = det[A − λ I] = α0 (λ − λ1 )(λ − λ2 ) · · · (λ − λn )
Juuria on n kappaletta:
(λ − λi )k
Osa moninkertaisia →
Osa konjugaattipareja (λ − λi )(λ − λi )
(λ − α − iβ )(λ − α + iβ ) = (λ − α)2 + β 2
Esimerkki 6.6 Pöllölajin populaation dynamiikka
Kuva 6.6: Kuvateksti.

 


p(k + 1)
0
0
0, 33
p(k)
 q(k + 1)  = 0, 18
0
0   q(k) 
r(k + 1)
0
0, 71 0, 94
r(k)
x(k) = [p(k), q(k), r(k)]T
⇒
x(k + 1) = Ax(k)
Pöllöt ja rotat: Yksinkertaistettu populaation kasvumalli (a(k) = pöllöt ja b(k) = rotat)
(
a(k + 1) = 0, 5a(k) + 0, 4b(k)
b(k + 1) = −pa(k) + 1, 1b(k)
T
x(k) = [a(k), b(k)]
0, 5 0, 4
x(k + 1) =
x(k) = Ax(k)
−p 1, 1
Oletus: p = 1, 04
λ1 = 1, 02,
λ2 = 0, 48,
10
5
v1 =
, v2 =
13
1
6.7 Kompleksiset tapaukset
69
Alkuarvo: x0 = c1 v1 + c2 v2
xk = c1 λ1k v1 + c2 λ2k v2 = c1 (1, 02)k
k+1
xk+1 ≈= c1 (1, 02)
10
5
+ c2 (0, 58)k
13
1
10
≈ 1, 02xk
13
Populaation kehitysurat
xk+1 = Axk
Kuva 6.7: Kuvateksti.
Diagonalisointi ja koordinaatiston vaihto
xk+1 = Ax(k)
Ominaisvektorit v1 , . . . , vn
P = [v1 , . . . , vn ]
D = diag[λ1 , . . . , λn ]
Muuttujien vaihto, y(k) = P−1 x(k), x(k) = Py(k)
y(k + 1) = P−1 x(k + 1) = P−1 Ax(k) = P−1 APy(k) = Dy(k)

 


y1 (k + 1)
λ1
y1 (k)

 
  .. 
..
..

=
 . 
.
.
yn (k + 1)
λn
yn (k)
yi (k + 1) = λi yi (ki )
Pöllölajin kohtalo


0
0
0, 33
0
0 ,
A = 0, 18
0
0, 71 0, 94
λ1 = 0, 98,
λ2 = −0, 02 + 0, 21i
xk+1 = Axk
λ3 = −0, 02 − 0, 21i
Ominaisvektorit: v1 , v2 , v3
Yleinen ratkaisu
xk = c1 (λ1 )k v1 + c2 (λ2 )k v2 + c3 (λ3 )k v3 ,
|λ1 | < 1, |λ2 | = |λ3 | = 0, 0445 < 1,
xk → 0
Oletus: eloonjääminen paranee 0, 18 → 0, 3
λ1 = 1, 01,
λ2 = −0, 03 + 0, 26i,
λ3 = −0, 03 − 0, 26i
k
xk ≈ c1 (1, 01) v1
Ominaisarvot ja ominaisvektorit
70
6.8
Lineaariset systeemit
x10 = a11 x1 + . . . + a1n xn + f1
x20 = a21 x1 + . . . + a2n xn + f2
..
.
x30 = an1 x1 + . . . + ann xn + fn
Saadaan muotoon
X0 (t) = A(t)X(t) + F(t) tai lyhyesti X0 = AX + F
Autonominen lineaarinen systeemi
x0 = AX
Ratkaisuyrite on x(t) = eλt · u
λ eλt · u = Aeλt · u
eλt [Au − λ u] = 0
λi ovat ominaisarvot ja ui ovat ominaisvektorit
x(t) = a1 eλ1t · u1 + · · · + an eλnt · un
Diagonalisointi
x0 = AX
u = [u1 , u2 , . . . , un ]
D = diag[λ1 , λ2 , . . . λn ]
AU = UD ja U−1 AU = D
Muuttujanvaihto X = UY
X0 = AX
⇒
UY0 = AUY
Y0 = D · Y

y01 = λ1 y1




y0 = λ2 y2
2
..


.


 0
yn = λn yn
Kompleksiset juuret
x0 = AX
Ratkaisu: x = eλit · ui , λ = a + ib
x = eat [cos bt + i sin bt] · ui
Tulos: periodinen ratkaisu
Tapaus 1:
⇒
Y0 = U−1 AUY.
6.8 Lineaariset systeemit
71
Kuva 6.8: Kuvateksti.
Tapaus 2:
Kuva 6.9: Kuvateksti.
Kytketyt / Erilliset systeemit


x10
 .. 
 .   A1
 0  
 x  
 k =
x0  
 k+1  
 ..   0
 . 

0
A2
xn0


x1
 . 
  .. 


  xk 


 xk+1 


  .. 
 . 

xn
Osasysteemit
(
X0 = A1 X
Y0 = A2 Y
Diagonalisointi
 0 
x1
λ1
x0  
λ2
 2 
 ..  = 
. 
xn0
..
 
x1
 x2 
 
  .. 
 . 
.
λn
xn
Defektiivinen tapaus: x0 = AX. A:lla ominaisvektoreita vajaa määrä
Esimerkki 6.7
Y01 = Y1 − 2Y3
Y02 = −Y2 + Y3
Y03 = −Y3
Ominaisarvot ja ominaisvektorit
72
Ratkaisu:
Y3 = Ce−t
Y2 = (C2 + C3t)e−t
Y1 = C1 et C3 e−t
 
 
 
1
0
1
Y = C1 0 et + C2 1 e−t + C3  t  e−t
0
0
1
6.9
Rata-kuvioista
(
x10 = a11 x1 + a12 x2
x20 = a21 x2 + a21 x2
,
a11 a12
A=
,
a21 a22
ominaisarvot: λ1 , λ2
Kuva 6.10: Kuvateksti.
Kuva 6.11: Kuvateksti.
7. Ortogonaalisuus ja PNS
7.1
Sisätulo ja ortogonaalisuus
u, v ∈ Rn . Näiden sisätulo
u · v = uT · v = u1 · · ·
 
v1
.
un ·  ..  = u1 v1 + u2 v2 + · · · un vn
vn
Esimerkki 7.1 u = [2, −5, −1]T , v = [3, 2, −1]T
u · v = uT · v = 2 · 3 + (−5) · 2 + (−1)(−3)
Ominaisuuksia
•
•
•
•
u·v = v·u
(u + v) · w = u · w + v · w
(cu) · v = c(u · v)
u · u ≥ u · u = 0 vain jos u = 0
Normi
Vektorin x normi (pituus)
q
√
kxk = xT x = x12 + x22 + · · · + xn2
Yksikkövektori: kxk = 1
Vektorin normalisointi: u = x/kxk
Etäisyys
x, y ∈ Rn
d(x, y) = kx − yk
Ortogonaalisuus
⇒
kuk = 1
Ortogonaalisuus ja PNS
74
Kuva 7.1: Kuvateksti.
⇔
x, y kohtisuorat
x·y = 0
xT · y = 0
⇔
Kulma
x · y = kxk · kyk cos α
Kuva 7.2: Kuvateksti.
7.2
Ortogonaalinen joukko, Ortonormaali joukko
{v1 , v2 , . . . , vn } ∈ Rn ortogonaalinen, jos vi · v j , ∀i 6= j
Joukko on ortonormaali, jos vi · v j = 0, ∀i 6= j tai vi · vi = 1, ∀i
Esimerkki 7.2
 
3

u1 = 1 ,
1
 
−1

u2 = 2  ,
1


−1/2
u3 =  −2 
7/2
u1 · u2 = 3 · (−1) + 1 · 2 + 1 · 1 = 0 jne...
Lineaarinen riippumattomuus
c1 u1 + c2 u2 + · · · + cn un = 0
c1 u1 · ui + c2 u2 · ui + · · · + cn un · ui = 0
ci (ui · ui ) = 0
⇒
ci = 0
Ortogonaalinen kanta ja koordinaatit
{v1 , v2 , . . . , vn } ∈ Rn ortogonaalinen kanta
y = c1 v1 + c2 v2 + · · · + cn vn ,
ci =
y · vi
vi · vi
y · vi = ci vi · · · vi
7.3 Ortogonaalinen projektio
75
Ortonormaali kanta ja koordinaatit
{u1 , u2 , . . . , un } ∈ Rn ortonormaali kanta
y = c1 u1 + c2 u2 + · · · + cn un ,
7.3
⇒
ci = y · ui
Ortogonaalinen projektio
Kuva 7.3: Kuvateksti.
ŷ = αu, ŷ ⊥ (y − ŷ)
αu · (y − αu) = 0
⇒
u · y − α(u · u) = 0
⇒
α=
Projektio
Py =
y·u
u
u·u
Kuvaus y → Py on lineaarikuvaus!
Pisteen y etäisyys suorasta S
ky − ŷk = ky −
y·u
· uk
u·u
Ortogonaali komplementti
S ⊂ Rn joukko vektoreita. S:n ortogonaali komplementti
S⊥ = {y ∈ Rn |y · x = 0
∀x ∈ S}
Kuva 7.4: Kuvateksti.
S⊥ on aina aliavaruus!
y1 · x = 0
∀x ∈ S
y2 · x = 0
∀x ∈ S
(y1 + y2 ) · x = y1 · x + y2 · x = 0 ∀x ∈ S
S⊥ = (span S)⊥
u·y
u·u
Ortogonaalisuus ja PNS
76
x ⊥ y1 , y2 , . . . , yn
(α1 y1 + · · · + αn yn ) · x = 0
x ⊥ span S
Aliavaruuden ortogonaali projektio
H aliavaruus, x ∈
/ H, y ∈ H.
kx − yk = minimi
⇔
x−y ⊥ H
Kuva 7.5: Kuvateksti.
I oletus: (x − y∗ ) ⊥ H
y = y∗ + h
x − y = (x − y∗ ) + (y∗ − y) = (x − y∗) − h
Pythagoras: kx − yk2 = kx − y∗ k2 + khk2
⇒
kx − y ∗ k = minimi!
II oletus: (x − y) · h 6= 0, h ∈ H
kx − (y − th)k2 = ku + thk2 = kuk2 + 2t(u · h) + t 2 khk2
∆ = 4ac − b2 = 4[kuk2 khk2 − (u · h)2 ]
Schwazin epäyhtälö
|u · v| ≤ kuk · kvk
|u · v| = kuk · kvk vain jos u = α · v
∆ = 4ac − b2 > 0
Polynomilla p(t) = ku + thk2 on kaksi nollakohtaa. Minimi < p(0) = kx − yk
Kuva 7.6: Kuvateksti.
Projektiokuvaus
H aliavaruus x → y∗ = Px = PH x on lineaarikuvaus.
H = H ⊥⊥ , H ⊂ Rn aliavaruus
1: H ⊂ H ⊥⊥ :
x ∈ H, y ∈ H ⊥
2: x ∈
/ H, Px 6= x
⇒
x·y = 0
⇒
x ∈ H ⊥⊥
7.4 Ortogonaalipolynomit
77
Kuva 7.7: Kuvateksti.
z = x − Px ∈ H ⊥
⇒
x − z = Px ∈ H
x · z = (x − z + z) · z = (x − z) · z + z · z = kzk2 6= 0
⇒
Kuva 7.8: Kuvateksti.
S⊥⊥ span S. S ⊂ Rn joukko vektoreita.
S⊥ = (span S)⊥
S⊥⊥ = (span S)⊥⊥ = span S
7.4
Ortogonaalipolynomit
V = P3 [−1, 1], kanta {u0 , u1 , u2 , u3 }
u0 (t) = 1
u1 (t) = 2t
u2 (t) = −2 + 4t 2
u3 (t) = −12t + 8t 3
Ortonormaalisuus
ui · u j =
kui k =
Z 1
Z
−1
1
−1
ui (t)u j (t) dt = 0∀i 6= j
[ui (t)]2 dt = 1
Etsi paras approksimaatio
et ≈ α0 u0 (t) + · · · + α3 u3 (t)
Ortogonaalinen matriisi
x∈
/ H ⊥⊥
Ortogonaalisuus ja PNS
78
Kuva 7.9: Kuvateksti.
Kuva 7.10: Kuvateksti.
Matriisi U = [u1 , u2 , . . . , un ] ∈ Rn×n on ortogonaalinen, jos ui · u j = 0, ∀i 6= j ja ui · u j = 1, ∀i
Eli jos UT U = I
Ominaisuuksia
• UT U = UUT = I
• kUxk = kxk
• Ux · Uy = x · y
Ux · Uy = (Ux)T Uy = xT UT Uy = xT y = x · y
Projektiomatriisi
{u1 , u2 , . . . , u p } ortonormaali joukko. V = span{u1 , . . . , u p } ja P = Pv = projektiokuvaus
Kuva 7.11: Kuvateksti.
Py = (y · u1 ) · u1 + · · · + (y · u p ) · u p
Py = α1 u1 + · · · + α p u p ,
y − Py ⊥ V
⇒
(y − Py) · ui = 0
Py · ui = (α1 u1 + · · · + α p u p ) · ui = αi
y · ui = (y − Py + Py) · ui = (y − Py)ui + Py · ui = 0 + αi
7.5 Ortogonalisointi askel
79
Py = UUT y
Py = α1 u1 + · · · + α p u p
 
 T 
u1 y
α1
 . 


u1 · · · u p ·  ..  = U ·  ...  = UUT y
uTp y
αp
Esimerkki 7.3 v1 = [1, 2, 2]T , v2 = [0, −1, 1]T , y = [−9, 1, 6]T ja V = span{v1 , v2 }.
√
√
Normalisointi: u1 = [1/3, 2/3, 2/3]T , u2 = [0, −1/ 2, 1/ 2]T


1/3
0
√
U = u1 u2 = 2/3 −1/√ 2
2/3 1/ 2
Projektiokuvaus V :lle




1/3
0√ 1/9
2/9
2/9
1/3
2/3
2/3
√ = 2/9 17/18 −1/18
√
P = UUT = 2/3 −1/√ 2
0 1/ 2 −1/ 2
2/9 −1/18 17/18
2/3 1/ 2
7.5
Ortogonalisointi askel
Tapa 1
{u1 , u2 , . . . , uk } ortonormaali joukko, v ∈
/ span{u1 , . . . , uk }
Kuva 7.12: Kuvateksti.
v̂ = v − α1 u1 − · · · − αk uk ,
v̂ · ui = 0 ∀i
v · ui − α1 (u1 · ui ) − · · · − αk (uk · ui ) = 0,
v̂ = v − (v · u1 )u1 − · · · − (v · uk )uk ,
αi =
uk+1 =
= v · ui
v̂
kv̂k
{u1 , . . . , uk , uk+1 } ortonormaali
v·ui
ui ·ui
√
Esimerkki 7.4 u1 = 1/2[1, 1, −1, 1]T , u2 = 1/ 2[1, 0, 0, −1]T , u = [1, 2, 1, 2]T
{u1 , u2 } ortonormaali joukko. v̂ = α1 u1 − α2 u2 .
v̂ · u1 = 0
α1 = v · u1 = [1, 2, 1, 2] · 1/2[1, 1, −1, 1]T = 1/2(1 · 1 + 2 · 1 − 1 · 1 + 2 · 1) = 2
Ortogonaalisuus ja PNS
80
v̂ · u2√= 0
−1/ 2
√
√
α2 = v · u2 = [1, 2, 1, 2] · 1/ 2[1, 0, 0, −1]T = 1/ 2(1 · 1 + 2 · 0 + 1 · 0 − 2 · 1) =
√ 
  
 
 
−1 + 1/ 2
1
1
1
√   

 
2
0

 − 2 ·  1  + 1/ 2  0  = 
v̂ = 
0 
−1
1
3√ 
−1
1
2
−1/ 2
√ 

−1 + 1/ 2


1
0

√ 
u3 =
3√ 
11 − 2 
−1/ 2
√
kv̂k = 11 − 2,
Tapa 2
{u1 , u2 , . . . , uk } ortogonaalinen joukko, v ∈
/ span{u1 , . . . , uk }
Kuva 7.13: Kuvateksti.
v̂ = v − α1 u1 − · · · − αk uk ,
v̂ · ui = 0 ∀i = 1, . . . , k
v · ui − α1 (u1 · ui ) − · · · − αk (uk · ui ) = 0,
v̂ = v −
αi =
v·ui
ui ·ui
v · ui
v · ui
· ui · ui u1 − · · · −
· ui · ui uk ,
ui · ui
ui · ui
uk+1 = v̂
{u1 , . . . , uk , uk+1 } ortogonaalinen
7.6
Gram-Schmidt-prosessi
{x1 , x2 , . . . , x p } lineaarisesti riippumaton joukko
v1 = x1
v2 = x2 − α21 v1
v p = x p − α p1 v1 − · · · − α pp v p ,
αki =
xk · vi
vi · vi
Tällöin {v1 , . . . , v p } ortogonaalinen ja span{v1 , . . . , vk } = span{x1 , . . . , xk }
GS ja ortonormaali kanta
ui = vi /kvi k
⇒
{u1 , u2 , . . . , u p } ortonormaali kanta.
∀k
7.7 QR-hajotelma
7.7
81
QR-hajotelma
A ∈ Rn×n , r(A) = n
A = [x1 , x2 , . . . , xn ] sarakkeet lineaarisesti riippumattomat
Tavoite: A = Q · R, QT Q = I, R kolmiomatriisi
Gram-Schmidt:
{x1 , . . . , xn } → {u1 , . . . , un } ortonormaali span{x1 , . . . , xn } = span{u1 , . . . , un }
x1 = R11 u1
x2 = R12 u1 + R22 u2
..
.
xk = R1k u1 + R2k u2 + · · · + Rkk uk
xk = u1 u2 · · ·
 
R1k
 .. 
 . 
 
Rkk 

un 
 0 
 
 .. 
 . 
0
A = x1 · · ·
xn = u1 · · ·

R11 R12 R13 · · ·

R22 R23 · · ·


R33 · · ·
un 


Huomaa:
•
•
•
•
rA = n ⇒ R säännöllinen
A = QR
QT A = QT QR = IR = R
Voidaan olettaa, että rii > 0 ∀i
Esimerkki 7.5

1
1
A=
1
1
0
1
1
1

0
0

1
1
Gram-Schmidt
A:n sarrakeista saadaan
 
 
1
−3
1
1

 
v1 = 
1 , v2 =  1  ,
1
1


0
−2/3

v3 = 
 1/3 
1/3

R1k
R2k 

R3k 

.. 
. 
Rkk
Ortogonaalisuus ja PNS
82
Normeeraus vi → vi /kvi k
Q = u1 u2
√


1/2 −3/√ 12
0√
1/2 1/ 12 −2/ 6
√
√ 
u3 
1/2 1/ 12
1/√6 
√
1/2 1/ 12
1/ 6

1

1
R = QT A = QT = 
1
1
0
1
1
1



0
2
3/2
1

√
√
0 
= 0 3/ 12 2/ √12
1
0
0
2/ 6
1
Approksimaatio-ongelma
v1 , v2 , . . . , v p vektoreita ∈ V
H = span{v1 , v2 , . . . , v p } x ∈ V x ∈
/H
Kuva 7.14: Kuvateksti.
Tehtävä: Etsi y ∈ H, jolle ky − xk → min
Ehto: (y − x) ⊥ H
(y − x) · vk = 0 ∀k
(x − ∑ip αi vi ) · vk = 0
∀k
p
∑i=1 αi (vi · vk ) = (x · vk ) ∀k
Funktioavaruus ja sisätulo
V = C[a, b]
Sisätulo
hf, gi =
Z b
f(x)g(x) dx
a
Normi
s
p
kfk = hf, fi =
Z b
(f(x))2 dx
a
Ortonormaali esitys
u1 , u2 , . . . , un ortonormaali kanta avaruudessa W .
7.8 Yhtälöryhmän PNS-ratkaisu
x = c1 u1 + c2 u2 + · · · + cn un
⇒
83
ci = x · ui
x = (x · u1 )u1 + (x · u2 )u2 + · · · + (x · un )un = ∑n1 (x · ui )ui
Jos u1 , . . . , u p on ortonormaali joukko, niin mitä on ∑4p
1 (x · ui )ui
7.8
Yhtälöryhmän PNS-ratkaisu
⇔
Ax = b ratkeava
Jos b ∈
/ colA
⇒
b ∈ colA.
ei ratkaisua
Kuva 7.15: Kuvateksti.
Paras likimääräisratkaisu: kAx − bk → min!
H = colA = span{a1 , . . . , an }
Kuva 7.16: Kuvateksti.
Projektioteoreema
kAx − bk minimi
⇔
(Ax − b) ⊥ H
⇔
[a1 , a2 , . . . , an ]T (Ax − b) = 0
AT (Ax − b) = 0
Normaaliyhtälöt
AT (Ax − b) = 0
⇔
AT Ax = AT b
Esimerkki 7.6


x1 + 2x2 = 4
x1 + 2, 1x2 = 4


2x1 + x2 = 5, 1
Ei ratkaisua!
(Ax − b) · ai = 0 ∀i
⇔
aTi (Ax − b) = ∀i
Ortogonaalisuus ja PNS
84


1 2
1 1 2 
6
6, 1
T

A A=
· 1 2, 1 =
2 2, 1 1
6, 1 9, 41
2 1
 
4
1 1 2  
18, 2
T
· 4 =
A b=
2 2, 1 1
19, 5
5, 1
PNS-ratkaisu
6
6, 1
x1
18, 2
·
=
6, 1 9, 41
x2
19, 5
Esimerkki 7.7 PNS - monikäsitteinen ratkaisu
1
1
0
0
0
0
0
0
1
1
0
0

0
0

0

0

1

6
2
T
A A=
2
2
2
2
0
0
2
0
2
0

1
1

1
A=
1

1
1
 
−3
−1
 
0

b=
2
 
5
1
1

1

0
[AT A, AT b] ∼ 
0
0

2
0

0
2
0
1
0
0


4
−4

AT b = 
2
6

0 1
3
0 −1 −5

1 −2 −2
0 0
0
PNS ratkaisu

  
3
−1
−5  1 
  
x=
−2 + t  1 
0
1
7.9 QR-hajotelma ja PNS
7.9
85
QR-hajotelma ja PNS
A = QR

R11 R12 · · ·
 0 R21 · · ·

[a1 , a2 , . . . , an ] = [u1 , . . . , un ] ·  .
..
 ..
.
0
0 ···

R1n
R2n 

.. 
. 
Rnn
{u1 , . . . , un } ortonormaali kanta aliavaruudessa colA = span{a1 , . . . , an }. P = QQT ortogonaali
projektio aliavaruuteen H = colA
Kuva 7.17: Kuvateksti.
kAx − bk → min
⇔
Pb = Ax
⇔
QQT b = QRx
QR-hajotelma tuottaa aina PNS-ratkaisun!
7.10
PNS ja regressioanalyysi
Kuva 7.18: Kuvateksti.
Havaintopisteet: (x1 , y1 ) . . . (xn , yn )




1 x1
y1 = ρ0 + ρ1 x1


y2 = ρ0 + ρ1 x2
1 x2 


x
=
 ..

..



.

.



1 xn
yn = ρ0 + ρ1 xn
y = x·ρ
PNS-ratkaisu
xT xρ = xT y
⇒
ρ = (xT x)−1 xT y
Sisätuloavaruudet
V Vektoriavaruus (u, v) → hu, vi operaatio, jolle
⇔
x = R−1 QT b
Ortogonaalisuus ja PNS
86
•
•
•
•
hu, vi = hv, ui
hu + v, wi = hu, wi + hv, wi
hcu, vi = chu, vi
hu, ui ≥ 0 ja = 0 vain jos u = 0
Esimerkki 7.8 3 esimerkkiä:
1. V = R2 ,
α >0β >0
⇒
hu, vi = αu1 v1 + β u2 v2
2. V = Pn {t0 , . . . ,tn } ⊂ R erilliset pisteet. Asetetaan
hp, qi = p(t0 )q(t0 ) + · · · + p(tn )q(tn )
h f , gi =
3. V = C[−1, 1]
7.11
R1
−1
f (t)g(t) dt
Sisätulo, normi, ortogonaalisuus
Normi: kvk =
p
hv, vi
Etäisyys: d(u, v) = ku − vk
Ortogonaalisuus: hu, vi = 0
Schwarzin epäyhtälö: |hu, vi| ≤ kuk · kvk
Kolmioepäyhtälö: ku + vk ≤ kuk + kvk
Pythagoras: Jos hu, vi = 0, niin ku + vk2 = kuk2 + kvk2
Ortogonaalipolynomit
V = P = polynomiavaruus
Kanta: {1,t,t 2 , . . . ,t k . . . }
R
Sisätulo: hp, qi = w(t)p(t)q(t) dt
Gram-Schmidt prosessi
{r0 (t), r1 (t), . . . , ri (t), . . . }
kri k = 1,
hri (t), r j (t)i = 0 ∀i 6= j
Painotettu PNS
Havainnot: (x1 , y1 ) . . . (xn , yn )
Mallin ennuste: ŷi = f(xi )
Painotettu neliösumma: WSSE = W21 (y1 − ŷ1 )2 + · · · + W2n (yn − ŷn )2
Sisätulo: hx, yi = w21 x1 y1 + · · · + w2n xn yn
WSSE = ky − ŷk2 = kWy − wŷk2 ,
missä w = diag[w1 , . . . , wn ]
Painotettu regressio
Malli ŷ = Ax
7.12 Fourier sarjat
87
kWy − Wŷk2 = kWy − wAxk→ min
(WA)T (WAx − Wy) = 0
(WA)T WAx = (WAT )Wy
7.12
Fourier sarjat
V =⊂ [0, 2π], {1, cost, cos 2t, . . . , cos nt, sint, . . . , sin nt}
Ortogonaalinen kanta
Sisätulo: h f , gi =
R 2π
0
f (t)g(t) dx
Fourier kehitelmä
n
f (t) ≈ ∑ ak cos kt + bk sin kt = ∑ ci ui (t)
1
Kuva 7.19: Kuvateksti.
Fourier-kerroin
ci =
h f , ui i
hui , ui i
8. Symmetriset matriisit ja Neliömuodot
8.1
Symmetriset matriisit
AT = A
xT Ax = (xT Ax)T = xT AT xT T = xT Ax
xT Ax = xT Ax
xT Ax reaalinen
Au = λ u, AT = A
uT Au = uT (λ u) = λ uT u
λ reaalinen
Au = λ u, Av = µv, λ 6= µ
(λ u)T v = (Au)T v = uT AT v = uT Av = uT (µv)
⇒
λ uT v = µuT v
u ⊥ v jos λ 6= µ
8.2
Schurin hajoitelma
A on n × n matriisi, jolla n kappaletta reaalisia ominaisarvoja λ1 , . . . , λn .
Au1 = λ1 u1 , ku1 k = 1
Valitaan u2 , . . . , un siten, että U = [u1 , u2 , . . . , un ] on ortogonaalinen
 T

u1
λ1
uT  
0
 2
UT AU =  .  A u1 , . . . , un =  .
.
.
 ..
uTn
0

A1




Symmetriset matriisit ja Neliömuodot
90
A=U
λ1
A1
UT
det(A − λ I) = (λ1 − λ )det(A1 − λ I)
Matriisilla A1 on ominaisarvot λ2 , . . . , λn ! u1 u2 . . . un = P
A = PRPT
8.3
Ortogonaalinen diagonaalihajoitelma
A = PDPT ja PT P = I. Silloin AT = (PDPT )T = PTT DT PT = PDPT = A ⇒ A symmetrinen.
Oletus: AT = A ⇒ A:n ominaisarvot ovat reaaliset.
Schur: A = PRPT
AT = A
⇒
PRPT = PRT PT
⇒
R = RT = diagonaalimatriisi.
Spektraalihajoitelma
A = PDPT = λ1 u1 uT1 + λ2 u2 uT2 + · · · + λn un uTn
Spektraaliteoreema
Seuraavat ehdot yhtäpitäviä (A = Rn×n ):
•
•
•
•
8.4
A symmetrinen
A:lla hajoitelma A = PDPT , PT P = I
A:lla n kappaletta ortogonaalisia ominaisvektoreita.
Rn = V (λ1 ) ⊕V (λ2 ) ⊕ · · ·V (λn ) ortogonaalisten ominaisavaruuksien suora summa.
Neliömuodot
x = [x1 , x2 , . . . , xn ]T , A ∈ Rn×n
Q(x) = xT Ax,
(xT Ax)T = xT Ax
⇒
xT AT x = xT Ax
Q(x) = xT AT x = xT [1/2(A + AT )]x
Voidaan olettaa, että A on symmetrinen.
Esimerkki 8.1
x1 x2

 


2
5
3
x
2x
+
5x
+
3x
1
1
2
1

x3 1 0 0 x2  = x1 x2 x3 
x1
1 0 1 x3
x2 + x3
= 2x12 + 6x1 x2 + 4x2 x3 + x32

 
2 3 2 x1
= x1 x2 x3 1 0 0 x2 
2 0 1 x3
8.5 Neliömuoto ja rajoitettu optimointi
91
Kuva 8.1: Kuvateksti.
Diagonaaliesitys
Q(y) = yT Dy = λ1 y21 + λ2 y22 + · · · + λn y2n
Neliömuotojen perustyypit R2 :ssa.
Diagonalisointi ja pääakseliesitys
Q(x) = xT Ax, AT = A
Diagonaalihajoitelma: A = PDPT
⇒
Koordinaatiston vaihto: x = Py
Q(x) = xT Ax = xT PDPT x = (PT x)T DPT x = yT Dy
Q(y) = yT Dy on neliömuodon Q(x) pääakseliesitys.
Ääriarvojen olemassaolo
Q = 2y21 + 3y22 + y23
min
Q = 2y21 + 3y22 − y23
satula
Q=
8.5
−2y21 − 3y22 − y23
max
Neliömuoto ja rajoitettu optimointi
Q(x) = xT Ax, AT = A
Kysymys: xT Ax → max ehdolla xT x = 1
Esimerkki 8.2 Q(x) = 9x12 + 4x22 + 3x32
Max Q(x), kun x12 + x22 + x32 ≤ 1
Q(x) ≤ 9x12 + 9x22 + 9x32 ≤ 9
Q[1, 0, 0]T = 9 · 12 + 4 · 02 + 3 · 02 = 9
Max Q(x) = 9 = max{λ1 , λ2 , λ3 }
A:n diagonaalihajoitelma
A = PDPT , PT P = I
Q(x) = xT Ax = yT Dy,
P ortogonaalinen
⇒
y = PT x
kyk = kPT xk = kxk
Symmetriset matriisit ja Neliömuodot
92
Yhtäpitävää: yT Dy → max ehdolla kyk = 1
max{xT Ax|kxk = 1} = maxλ
8.6
Lineaarikuvauksen singulaariarvot
max{kAxk : kxk = 1}
kAxk2 = (Ax)T Ax = xT AT Ax = Q(x)
Kuva 8.2: Kuvateksti.
Neliömuodon ääriarvo
maxkAxk = maxQ(x) = λ1 ,
missä λ1 on matriisin AT A suurin ominaisarvo.
AT A:n ominaisarvot λ1 ≥ λ2 ≥ · · · ≥ λn . u1 , . . . , un ominaisvektorit, ortonormaali kanta.
kAui k2 = uTi AT Aui = uTi (λi ui ) = λi
λ1 ≥ λ2 ≥ · · · ≥ λn ≥ 0
Singulaariarvot
p
σi = λi = kAui k
Singulaarihajoitelma
A ∈ Rm×n , rank(A) = r
Tällöin σ1 ≥ σ2 ≥ · · · ≥ σn > 0

σ1

..

.


σn
A = U ∑ VT = U 

0


..

.




 T
V




0
u ortogonaalinen m × m matriisi ja v ortogonaalinen n × n matriisi.