Regler for udlejning af fartøjer på Gudenåen

Multimodal socialsemiotik
Meningen med det hele
Multimodal socialsemiotik – meningen med det hele
Multimodal socialsemiotik
Meningen med det hele
Multimodal socialsemiotik – meningen med det hele
Repræsentant for
multimodal forskning:
Multimodal socialsemiotik – meningen med det hele
3
4
Personligt forskningsfelt
Arbejdstitel:
bejdst te :
Multimodal socialsemiotik og levende billeder
Undersøgelsesspørgsmål:
Kan MMSS benyttes til at teoretisering,
d k i i og analyse
deskription
l
aff levende
l
d billeder?
bill d ?
Empirisk felt:
TV (reklamer, film og nyheder)  Teorien
Multimodal socialsemiotik – meningen med det hele
5
Socialsemiotik
Systemisk Funktionel Lingvistik (SFL)
Ideologikritisk
g
socialsemiotik (Hodge
g og
g Kress), feministisk
diskursanalyse (Lazar), Interaktionsanalyse (Scollon, Norris), Content
Analysis (Bell), Computer Analysis (Burford, Briggs og Eakins, Baldry og
Thibault), socialsemiotisk etnografi (Vannini), visuel kommunikation
(O’Toole, Kress og van Leeuwen), Auditiv teori (van Leeuwen),
multimodal litteracy og læringsteori (Jewit og Kress), multimodal
stilistik (Toolan,
(Toolan Nørgaard),
Nørgaard) multimodal filmteori (O
(O’Halloran
Halloran, Ego),
Ego)
multimodal teori (Kress og van Leeuwen, Lemke, Baldry og Thibault,
O’Halloran) m.m.m.
Multimodal socialsemiotik – meningen med det hele
Socialsemiotisk
kommunikationssyn
jjf. Kress & Van Leeuwen
Kommunikation er en proces, hvor et semiotisk
produkt er både artikuleret/produceret og
fortolket/konsumeret
Afsender
Semiotisk
produkt
Modtager
Semiosis
(betydningsdannelse)
Multimodal socialsemiotik – meningen med det hele
6
Socialsemiotisk
kommunikationssyn
jjf. Kress & Van Leeuwen
Al social adfærd er semiotisk
og
al semiotisk handling er social
Soc a
Social
adfærd
Semiosis
Multimodal socialsemiotik – meningen med det hele
7
Socialsemiotisk
kommunikationssyn
Sprog ses i forhold til konteksten
– betydningen af enhver ytring er betinget af
den situationelle kontekst den udspilles i og af
den generelle kulturelle kontekst
Multimodal socialsemiotik – meningen med det hele
8
9
Konteksttanken
Kontekst
Kultur
Semantik
Leksikogrammatik
Situation
Fonologi
Fonetik
Multimodal socialsemiotik – meningen med det hele
Socialsemiotisk
kommunikationssyn
Sprog ses som ressource
– et potentiale af mulige betydninger og former
hvorfra vi vælger,
vælger hvad vi vil anvende til at
skabe den ønskede betydning (instantiering)
Multimodal socialsemiotik – meningen med det hele
10
11
Ressourcetanken
Betydningspotentiale
d
l vs. Instantieret ytring
Ressourcer
Ytring
Multimodal socialsemiotik – meningen med det hele
12
Halliday
Kommunikation
k
er ikke
kk en b
beskrivelse
k
l aff
virkeligheden, men nyy virkelighed,
konstrueret ud af sproget
Sprog er multifunktionelt
– ikke blot refererende
Der er flere forskellige meninger realiseret
samtidig i kommunikationen
Multimodal socialsemiotik – meningen med det hele
Metafunktionerne
Tre former
f
for
f betydning
b d
• Ideationel betydning
– betydning som repræsentation
• Interpersonel
p
betydning
y
g
– betydning som interaktion
• Tekstuel
T k t lb
betydning
t d i
– betydning som strukturering
Multimodal socialsemiotik – meningen med det hele
14
Socialsemiotisk udvikling
Systemisk
Syste
s Funktionel
u t o e Lingvistik
g st (SFL)
(S )
Visuel Socialsemiotik
Auditiv Socialsemiotik
Div Socialsemiotik
Div.
Multimodal Socialsemiotik
Multimodal socialsemiotik – meningen med det hele
15
Visuel socialsemiotik
Billeder er semiotiske konstruktioner,
konstrueret ud fra semiotiske paradigmer =
betydningspotentiale ( = grammatik)
Multimodal socialsemiotik – meningen med det hele
Multimodal
Socialsemiotik
All kommunikation
k
k
er semiotiske
k
konstruktioner, konstrueret ud fra
semiotiske paradigmer =
betydningspotentiale ( = grammatik)
Betydningspotentialet består af alle mulige
former for instantiering
g fra alle mulige
g
modes OG deres kombinationer
Multimodal socialsemiotik – meningen med det hele
16
17
Multi-sensory integration /
Mode-integration
g
17 med det hele
Multimodal socialsemiotik – meningen
18
Multimodal socialsemiotik – meningen med det hele
19
Multi-sensory integration
McGurk
M
G k effect
ff
Most adults (98%) think they are hearing "DA" - a
so called "fused respons" - where the "D" is a result
of an audio-visual illusion. In reality you are
hearing the sound "BA", while you are seing the lip
movements "GA".
The "McGurk effect" was first described by Harry McGurk and John MacDonald in
"Hearing lips and seeing voices", Nature 264, 746-748 (1976).
Multimodal socialsemiotik – meningen med det hele
Multimodal
Socialsemiotik
Al kommunikation er multimodal
– flere samtidige kommunikationssystemer
(modes) er i spil i enhver kommunikation
– betydningen opstår i syntesen af disse
– intet mode er a priori væsentligere end et
andet
– betydningen er bestemt af den situationelle og
den kulturelle kontekst
Multimodal socialsemiotik – meningen med det hele
20
21
Ressourcetanken
Betydningspotentiale
d
l vs. Instantieret ytring
Ressourcer
Ytring
Multimodal socialsemiotik – meningen med det hele
22
Ligheder
•
•
•
•
•
Noget står
å ffor noget andet
d for
f nogen
Undersøger
g betydningsdannelse
y
g
Fokus på paradigmatiske valg
K
Kommutation
t ti
Teksten (texten) i fokus
Multimodal socialsemiotik – meningen med det hele
23
Forskelle
• T
Teoretiserer
ti
påå ett mere d
detaljeret
t lj t niveau
i
(tættere på isomorft)
• Forsøger at beskrive
b k
betydningspotentialet
b d
l
systematisk (systemisk)
• Næranalytisk / tekstnært (systematisk)
• Teksten ((texten)) er ikke et tegn,
g , den består af
tegn (segmentering)
• Alle kommunikationsformer (modes) lader sig
beskrive systematisk, og har en grammatik.
• Det har deres kombinationer også
Multimodal socialsemiotik – meningen med det hele
Eksempel på et mode:
Musik (til levende billeder)
Spillefilm:
ll f l
– Interpersonel
p
funktion
• Stemningsskabende
• Kommenterende
– Strukturerende funktion
• Intro + overgangssignal (markerende)
• Leitmotiv
– Ideationel funktion
• Diegetisk (radio, band osv.)
• TidsTid og stedsindikerende
d i dik
d
Multimodal socialsemiotik – meningen med det hele
24
Eksempel på et mode:
Musik (til levende billeder)
Nyhedsprogram:
h d
– Strukturerende funktion
• Intro
• Indholdsfortegnelse
g
• Overgangssignal
– Interpersonel funktion
• Stemningsskabende (upassende i indslag)
– Ideationel funktion
• Indslag om/med musik
Multimodal socialsemiotik – meningen med det hele
25
Eksempel på et mode:
Musik (til levende billeder)
TV-reklame
kl
(all of the above +):
– Ideationel funktion
• Repræsentere
– Interpersonel funktion
• Genkendelighed
• Tilføre værdi
– Strukturerende funktion
• Opmærksomhed
O
k
h d i forhold
f h ld til fl
flowett
• Strukturere editering (klipperytme)
Multimodal socialsemiotik – meningen med det hele
26
27
Andre eksempler
•
•
•
•
Farve (stemning, organisering, repræsentation, link)
Gaze (proces, udpegning, kontakt, link)
Gestik (proces, udpegning, kontakt, link)
Osv.
Multimodal socialsemiotik – meningen med det hele
28
Multimodal teori
• Hvert mode
d kan
k beskrives
b k
grammatiskk
• Samlingen af flere modes kan beskrives
grammatisk
• Præcise
P
i analyser,
l
som peger di
direkte
kt ned
di
teksten
Multimodal socialsemiotik – meningen med det hele
29
Undervisning ved IVK
•
•
•
•
•
•
Visuell Analyse
l
og Design (BA)
Kultur og Kommunikation (BA)
Visuelt Design (BA)
Mediating 9/11 (BA)
Visuel Analyse og Design (Tilvalg)
Multimodal Kommunikation (Master)
+ Visuel specialisering
Multimodal socialsemiotik – meningen med det hele
30
Multimodalitetskredsen
Multimodal socialsemiotik – meningen med det hele
31
Multimodalitetskredsen
www.sdu.dk/multimodality
Multimodal socialsemiotik – meningen med det hele
Multimodal socialsemiotik
Meningen imed
det hele
det hele
Multimodal socialsemiotik – meningen med det hele
Multimodal socialsemiotik
Meningen imed
det hele
det hele
Multimodal socialsemiotik – meningen med det hele