Att automatiskt förstå vad som händer
En kort översikt av min forskning och mina kurser, samt vad de
kan användas till
Thomas Schön
Institutionen för Informationsteknologi
Uppsala Universitet
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
Forskning för framtid
18 november, 2014
Vilka vi är
Tohid Ardeshiri
Christian A. Naesseth
Manon Kok
Liang Dai
Johan Wågberg
Johan Dahlin
Andreas Svensson
Samt ett stort antal samarbetspartners världen runt.
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
Åland University of Applied Sciences
1 december, 2014
Dynamiska system finns överallt!
Några exempel på dynamiska system som vi jobbar med i vår forskning.
Skapa nya probabilistiska modeller för dynamiska system och utveckla metoder som
automatiskt kan lära sig dessa modeller från uppmätta data.
Använd dessa modeller för att automatiskt förstå och styra system.
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
Forskning för framtid
18 november, 2014
Vad vill jag att ni tar med från denna föreläsning?
1. Modeller som kan hantera och beskriva osäkerhet.
2. Vikten av återkoppling (feedback) vid beslutsfattande.
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
Forskning för framtid
18 november, 2014
Låt oss titta på ett konkret exempel
”Reglerteknik är konsten att få saker att
uppföra sig som man vill”
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
Forskning för framtid
18 november, 2014
Låt oss titta på ett konkret exempel
”Reglerteknik är konsten att få saker att
uppföra sig som man vill”
Störsignal (v)
Styrsignal (u)
(insignal)
System
Sak
Mätsignal (y)
(utsignal)
Reglerproblemet: Välj styrsignalen u (automatiskt) så att
systemet (enligt mätsignalen y) uppför sig som vi vill (enligt
referenssignalen r) trots störningar v.
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
Forskning för framtid
18 november, 2014
Låt oss titta på ett konkret exempel
Referenssignal (r)
Regulator
Styrsignal (u)
System (S)
Sak
Återkoppling
Ojämnheter i underlaget/
puttar på den
Stå upprätt, d.v.s.
90 grader bordet (r)
Hjulvinkel (u)
Vinkelhastighet (y)
https://www.youtube.com/watch?v=pp89tTDxXuI
Människokroppen är full av återkopplingar
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
Forskning för framtid
18 november, 2014
Agenda
1. Introduktion
2. Ett konkret exempel på en “inverterad pendel”
3. Ytterligare några exempel (från bilbranschen)
4. Stabilt fundament - matematik
5. Vad är en matematisk modell?
6. Att använda en matematisk modell för att resonera under osäkerhet
7. Mäta mänsklig rörelse med hjälp av en matematisk modell
1. Modeller som kan hantera och beskriva osäkerhet.
2. Vikten av återkoppling (feedback) vid beslutsfattande.
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
Forskning för framtid
18 november, 2014
Låt oss ta ytterligare några exempel
Reglerteknik är konsten att få saker (här en bil) att uppföra sig som man vill.
Reglermål: Stabilisera bilens kursvinkel.
Standardmanöver, dubbelt filbyte i 100 km/h. Regulatorn påverkar framhjulens
vinkel (aktiv styrning).
Utan regulator
Med regulator
Filmerna är använda med tillstånd från ZF Lenksysteme
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
Forskning för framtid
18 november, 2014
Låt oss ta ytterligare några exempel
Störsignal (v)
Regulator
Styrsignal (u)
System (S)
Sak
Mätsignal (y)
Återkoppling
Rattvinkel (r)
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
Hjulvinkel (u)
Kursvinkelhastighet (y)
Forskning för framtid
18 november, 2014
Autonoma bilar
Varje år dör omkring 1,2 miljoner människor i trafiken, d.v.s. ungefär 90
människor under den tid jag håller denna föreläsning.
De flesta av dessa olyckor beror på mänskliga fel.
Lag från 1 mars 2012 (Nevada, USA) som tillåter autonoma bilar, d.v.s.
maskiner som kör av sig själva.
Radar
Vanlig kamera
IR kamera
Stor potential för användandet av matematiska modeller och sensorer för
koordinering av transporter med lastbilar.
Några intressanta (skrämmande) siffror,
Andel lastbilar som körs tomma: 24%
Genomsnittlig lastkapacitet: 57%
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
Forskning för framtid
18 november, 2014
Autonoma bilar
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
Forskning för framtid
18 november, 2014
Vad vi gör i mitt team och vad vi vill göra framöver
I mitt team jobbar vi med att bygga matematiska modeller av
dynamiska system som kan förklara:
1. Det vi vet att vi vet
2. Det vi vet att vi inte vet
I framtiden hoppas jag att vi i än större grad kan automatisera
sådant som vi inte visste att vi inte visste.
Våra modeller tillåter maskiner och människor att veta vad som
händer just nu.
Denna kunskapen kan sedan användas för att automatiskt fatta
beslut om vad som ska hända härnäst.
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
Forskning för framtid
18 november, 2014
Vikten av ett stabilt fundament
Particle Gibbs with Ancestor Sampling
b
b
Allt vi gör har lineen
stabil
8), the
same expressiongrund
holds also for b i =matematik.
N . We can thus write (32) as
t+1
t+1
P(bt = i | xt , xt+1
) / wti f✓ (xt+1
| xbt t ). However, by the AS procedure (Algorithm 2,
t+1
E
h
ht (xbt t )
|
bt+1:T
xt+1:T
, bt+1:T
i
=E
"
bt+1
wti f✓ (xt+1
| xit )
ht (xit ) P
bt+1
l
l
i=1
l wt f✓ (xt+1 | xt )
N
X
|
bt+1
xt+1
, bt+1
#
b
t+1
= ⇤t (xt+1
, ht ),
Hence, since the function x
7! ⇤ (x , h ) is bounded, we can use the induction hypothEn matematisk
modell
är
en kompakt och
esis to write
(31) as
"
#
"
#
"
#
Y
Y
Y
tolkningsbar beskrivning
av
de
data
som
E
h (x ) = E ⇤ (x
,h )
h (x ) = E ⇤ (x
,h )
h (x )
"
#
"
#
finns uppmätta.
h
i Y
Y
t+1
T
s
bs
s
t
t
bt+1
t+1
s=t
t+1
t
T
t
s
bs
s
jt+1
t+1
t
s=t+1
j
s
js
s
s=t+1
T
t+1:T
= E E ht (xjt t ) | xt+1:T
, jt+1:T
T
t
T
hs (xjss ) = E
hs (xjss ) .
s=t
s=t+1
⌅
Appendix B. Proof of Proposition 1
The Monte Carlo idea (II/II)
The integral
I (g(z)) , E [g(z)] =
20(48)
Z
g(z)p (z)dz.
With M = T
Identification strategy – data augmentation
t + 1 and w(k) = wtk 1 , the distributions of interest are given by
Q
w(k) M
s=1 hs (k)
⇢(k) = P
Q
M
w(l)
l
s=1 hs (l)
Q
w(k) `s=1 hs (k)
⇢b` (k) = P
,
Q`
l w(l)
s=1 hs (l)
and
respectively. Let "s , maxk,l (hs (k)/hs (l) 1)  A exp( cs) and consider
Deal with the states by treating them as auxiliary variables to be
! M
!
`
`
M
X
Y
Y
X
Y
Y
bIN (g(z)) = 1 Â g(zi ).
estimated along with the parameters.
w(l)
hs (l)
hs (k) 
w(l)
hs (l)
hs (l)(1 + "s )
N i=1
Intuitively: Alternate between updating ✓ and x1:T .
s=1
s=1
l
s=`+1
l
s=`+1
! M
The strong law of large numbers tells us that
M
X
Y
Y
bIN (g(z)) a.s.
=
w(l)
h
(l)
(1 + "s ).
! I (g(z)),
N ! •,
s
1. Expectation Maximization (EM)
s=1
l
s=`+1
(E) Compute a conditional expectation
and the central limit theorem state that
⌘
p ⇣
Z
It follows that the KL divergence is bounded according to,
N bIN (g(z)) I (g(z))
d
⇣P
⌘1
Q(✓, ✓[k]) , log p✓ (x1:T , y1:T ) p✓[k] (x1:T | y1:T ) dx1:T .
0Q
Q`
! N (0, 1) ,
N ! •.
M
|
{z
}
sg
X
X
s=`+1 hs (k)
l w(l)
s=1 hs (l)
⇢(k)
A
DKLD (⇢kb
⇢` ) =
⇢(k) log
=
⇢(k) log @
P
Q
⇢b` (k)
w(l) M
hs (l)
AUTOMATIC CONTROL
l
s=1
k
k
Thomas Schön, DREAMS Tutorial – The particle filter
(M) Maximize Q(✓, ✓[k]) w.r.t. ✓
REGLERTEKNIK
LINKÖPINGS UNIVERSITET
UC Berkeley, February 20, 2013.
M
M
M
X
X
X
X
e c(`+1) e c(M +1)
✓[k + 1] = arg max Q(✓, ✓[k]).

⇢(k)
log(1
+
"
)

"

A
exp( cs) = A
.
s
s
✓
1 e c
is approximated by
N
k
12 / 29
s=`+1
s=`+1
s=`+1
⌅
SMC is used to approximate the JSD p✓[k] (x1:T | y1:T ).
Thomas Sch¨
on
2nd Swedish-Israeli Control Conference, Haifa, Israel, Nov. 9, 2014.
Appendix C. Details on the Experiment in Section 7.1
The parameters of the SV model (24) are ✓ = (µ, ', 2 , ⇢). For µ and ', we use the
priors proposed by Kim et al. (1998) (who consider inference in an SV model without the
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
Forskning för framtid
2179
18 november,
2014
Matematiska modeller
En matematisk modell är en kompakt och tolkningsbar beskrivning av de
data som finns uppmätta.
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
Forskning för framtid
18 november, 2014
Användandet av en matematisk modell - exempel
Mål: Att mäta mänsklig rörelse, d.v.s. beräkna position, orientering, hastighet
och acceleration för en person eller ett objekt under en viss tid.
Sensorerna vi använder:
• 3D accelerometer (acceleration)
• 3D gyroskop (vinkelhastighet)
• 3D magnetometer (magnetfältet)
a$g"
ω"
m"
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
17 sensorer monteras på kroppen
Forskning för framtid
18 november, 2014
Användandet av en matematisk modell - exempel
1. Vi använder enbart informationen från tröghetssensorerna.
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
Forskning för framtid
18 november, 2014
Användandet av en matematisk modell - exempel
2. Tröghetss. + biomekanisk modell
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
3. Tröghetss. + biomekanisk modell +
världsmodell
Forskning för framtid
18 november, 2014
Att resonera under osäkerhet - ett exempel
Mål: Beräkna position för en person som rör sig inomhus med hjälp
sensorer (tröghetssensorer, magnetometer och radio) och en karta.
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
(a) A Beebadge, carrying a number (b) A
of sensors and a IEEE 802.15.4 radio with a
chip.
port, s
Forskning för framtid
Beeba
18 november, 2014
Att resonera under osäkerhet - ett exempel
Sensorer
Accelerometer
Beräkningar
Världsmodell
2.5 Map
Position
Gyroscope
Dynamisk modell
Radio
Sensor modell
(a) An estimated trajectory at Xdin’s office, 1000 particles represented as circles,
size of a circle indicates the weight of the
particle.
(b) A scen
converged
is caused b
nator.
Figure 4.10. Output from the p
Matematiken för att lösa detta problem
är ca 20 år gammal, jag har jobbat
med den i 10 år.
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
(a) Relative
Forskning för framtid
18 november,
2014
probability
density
for parts of (
Att resonera under osäkerhet - ett exempel
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
Forskning för framtid
18 november, 2014
Att använda
en modell
ntroductory
example
(I/III) - förstå mänsklig rörelse
Aim: Motion capture, find the motion (position, orientation, velocity and acceleration) of a person
Mål: Beräkna position och orientering för en person (d.v.s. mäta mänsklig rörelse)
or object)
oversig
time.
som rör
inomhus med hjälp sensorer (tröghetssensorer och radio).
ndustrial partner: Xsens Technologies.
Sensors used:
Sensorer
Accelerometer
• 3D accelerometer (acceleration)
st)
Gyroskop
(angular velocity)
• 3D(17gyroscope
(magnetic field)
• 3D magnetometer
Magnetometer
a$g"
Sändare
Beräkningar
Världsmodell
(UWB)
ω"
Position &
orientering
Mottagare 1
..
.
Mottagare 6
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
m"
Dynamisk modell
Sensor modell
17 sensor units
are för
mounted
onto the
Forskning
framtid
18 november, 2014
body of the person.
Att använda en modell - förstå mänsklig rörelse
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
Forskning för framtid
18 november, 2014
Att använda en modell - förstå mänsklig rörelse
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
Forskning för framtid
18 november, 2014
Team - det är människor som bedriver forskning
Forskning handlar om att tänka saker som ingen annan människa
tänkt förut.
Forskning och utbildning handlar mycket om människor.
För att skapa ny kunskap är nya idéer en förutsättning.
En annan förutsättning är att idéerna sedan genomförts och realiseras
för att skapa värde.
Alltså: Det är mycket viktigt att det finns duktiga, nyfikna och
engagerade personer - team!
Data intensive modeling in dynamical systems
Thomas Schön, Uppsala University
The Royal Swedish Academy of Sciences
Stockholm, September 19, 2013
Sammanfattning
Skapa nya probabilistiska modeller för dynamiska system.
Utveckla metoder som automatiskt kan lära sig dessa modeller från uppmätta data.
Använd dessa modeller för att automatiskt förstå och styra system.
• Det finns mycket spännande forskning kvar att göra!
• Antalet tillgängliga data och sensorer ökar lavinartat.
• Den industriella nyttan av denna teknologi ökar ständigt.
• Forskningen utförs av människor.
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
Forskning för framtid
18 november, 2014
Tack för att ni lyssnade!!
Introductory example (I/III)
h(yt | xt )p(xt | y1:t 1 )
,
Aim: Motionp(y
capture,
find the
t | y1:t
1 ) motion (position, orientation, velocity and acceleration) of a person
Z over time.
(or object)
2.5 Map
f (xt | Xsens
xt 1Technologies.
)p(xt 1 | y1:t 1 )dxt 1 ,
1) =
Industrial
partner:
p(xt | y1:t ) =
p(xt | y1:t
15
Sensors
xt+1
| xused:
t ⇠ f✓ (xt+1 | xt , ut ),
accelerometer (acceleration)
y••t 3D
|
x
| xt , ut ).
t ⇠ h(angular
✓ (yt velocity)
3D gyroscope
Decay for different n
• 3D magnetometer (magnetic field)
ω"
0.8
Relative probability
a$g"
n=2, m=1
n=3, m=1
n=4, m=1
1
0.6
0.4
0.2
1. Modeller som kan hantera och beskriva osäkerhet.
2. Vikten av återkoppling (feedback) vid beslutsfattande.
0
−1.5
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
−1
−0.5
0
Position [m]
0.5
1
1.5
17 sensor units are mounted onto the
of the
person.
(a) Relativem"probability density for partsbody
of (b)
Cross
section of the relative probXdin’s office, the bright areas are rooms and ability function for a line with differthe bright lines are corridors that interconnect ent n
Sensor fusion using world models
Swarm Lab Seminar
Thomas Schön,the
users.isy.liu.se/rt/schon
Berkeley, CA
rooms
Forskning för framtid
18 november, 2014
Låt oss ta ytterligare några exempel
Industrirobotar
En robotarm är relativt vek, och oscillerar kraftigt efter förflyttningar.
För att uppnå den snabbhet och precision som behövs krävs reglerteknik.
https://www.youtube.com/watch?v=SOESSCXGhFo
Thomas Schön - user.it.uu.se/~thosc112
Att automatiskt förstå vad som händer
Forskning för framtid
18 november, 2014