Multimodal socialsemiotik Meningen med det hele Multimodal socialsemiotik – meningen med det hele Multimodal socialsemiotik Meningen med det hele Multimodal socialsemiotik – meningen med det hele Repræsentant for multimodal forskning: Multimodal socialsemiotik – meningen med det hele 3 4 Personligt forskningsfelt Arbejdstitel: bejdst te : Multimodal socialsemiotik og levende billeder Undersøgelsesspørgsmål: Kan MMSS benyttes til at teoretisering, d k i i og analyse deskription l aff levende l d billeder? bill d ? Empirisk felt: TV (reklamer, film og nyheder) Teorien Multimodal socialsemiotik – meningen med det hele 5 Socialsemiotik Systemisk Funktionel Lingvistik (SFL) Ideologikritisk g socialsemiotik (Hodge g og g Kress), feministisk diskursanalyse (Lazar), Interaktionsanalyse (Scollon, Norris), Content Analysis (Bell), Computer Analysis (Burford, Briggs og Eakins, Baldry og Thibault), socialsemiotisk etnografi (Vannini), visuel kommunikation (O’Toole, Kress og van Leeuwen), Auditiv teori (van Leeuwen), multimodal litteracy og læringsteori (Jewit og Kress), multimodal stilistik (Toolan, (Toolan Nørgaard), Nørgaard) multimodal filmteori (O (O’Halloran Halloran, Ego), Ego) multimodal teori (Kress og van Leeuwen, Lemke, Baldry og Thibault, O’Halloran) m.m.m. Multimodal socialsemiotik – meningen med det hele Socialsemiotisk kommunikationssyn jjf. Kress & Van Leeuwen Kommunikation er en proces, hvor et semiotisk produkt er både artikuleret/produceret og fortolket/konsumeret Afsender Semiotisk produkt Modtager Semiosis (betydningsdannelse) Multimodal socialsemiotik – meningen med det hele 6 Socialsemiotisk kommunikationssyn jjf. Kress & Van Leeuwen Al social adfærd er semiotisk og al semiotisk handling er social Soc a Social adfærd Semiosis Multimodal socialsemiotik – meningen med det hele 7 Socialsemiotisk kommunikationssyn Sprog ses i forhold til konteksten – betydningen af enhver ytring er betinget af den situationelle kontekst den udspilles i og af den generelle kulturelle kontekst Multimodal socialsemiotik – meningen med det hele 8 9 Konteksttanken Kontekst Kultur Semantik Leksikogrammatik Situation Fonologi Fonetik Multimodal socialsemiotik – meningen med det hele Socialsemiotisk kommunikationssyn Sprog ses som ressource – et potentiale af mulige betydninger og former hvorfra vi vælger, vælger hvad vi vil anvende til at skabe den ønskede betydning (instantiering) Multimodal socialsemiotik – meningen med det hele 10 11 Ressourcetanken Betydningspotentiale d l vs. Instantieret ytring Ressourcer Ytring Multimodal socialsemiotik – meningen med det hele 12 Halliday Kommunikation k er ikke kk en b beskrivelse k l aff virkeligheden, men nyy virkelighed, konstrueret ud af sproget Sprog er multifunktionelt – ikke blot refererende Der er flere forskellige meninger realiseret samtidig i kommunikationen Multimodal socialsemiotik – meningen med det hele Metafunktionerne Tre former f for f betydning b d • Ideationel betydning – betydning som repræsentation • Interpersonel p betydning y g – betydning som interaktion • Tekstuel T k t lb betydning t d i – betydning som strukturering Multimodal socialsemiotik – meningen med det hele 14 Socialsemiotisk udvikling Systemisk Syste s Funktionel u t o e Lingvistik g st (SFL) (S ) Visuel Socialsemiotik Auditiv Socialsemiotik Div Socialsemiotik Div. Multimodal Socialsemiotik Multimodal socialsemiotik – meningen med det hele 15 Visuel socialsemiotik Billeder er semiotiske konstruktioner, konstrueret ud fra semiotiske paradigmer = betydningspotentiale ( = grammatik) Multimodal socialsemiotik – meningen med det hele Multimodal Socialsemiotik All kommunikation k k er semiotiske k konstruktioner, konstrueret ud fra semiotiske paradigmer = betydningspotentiale ( = grammatik) Betydningspotentialet består af alle mulige former for instantiering g fra alle mulige g modes OG deres kombinationer Multimodal socialsemiotik – meningen med det hele 16 17 Multi-sensory integration / Mode-integration g 17 med det hele Multimodal socialsemiotik – meningen 18 Multimodal socialsemiotik – meningen med det hele 19 Multi-sensory integration McGurk M G k effect ff Most adults (98%) think they are hearing "DA" - a so called "fused respons" - where the "D" is a result of an audio-visual illusion. In reality you are hearing the sound "BA", while you are seing the lip movements "GA". The "McGurk effect" was first described by Harry McGurk and John MacDonald in "Hearing lips and seeing voices", Nature 264, 746-748 (1976). Multimodal socialsemiotik – meningen med det hele Multimodal Socialsemiotik Al kommunikation er multimodal – flere samtidige kommunikationssystemer (modes) er i spil i enhver kommunikation – betydningen opstår i syntesen af disse – intet mode er a priori væsentligere end et andet – betydningen er bestemt af den situationelle og den kulturelle kontekst Multimodal socialsemiotik – meningen med det hele 20 21 Ressourcetanken Betydningspotentiale d l vs. Instantieret ytring Ressourcer Ytring Multimodal socialsemiotik – meningen med det hele 22 Ligheder • • • • • Noget står å ffor noget andet d for f nogen Undersøger g betydningsdannelse y g Fokus på paradigmatiske valg K Kommutation t ti Teksten (texten) i fokus Multimodal socialsemiotik – meningen med det hele 23 Forskelle • T Teoretiserer ti påå ett mere d detaljeret t lj t niveau i (tættere på isomorft) • Forsøger at beskrive b k betydningspotentialet b d l systematisk (systemisk) • Næranalytisk / tekstnært (systematisk) • Teksten ((texten)) er ikke et tegn, g , den består af tegn (segmentering) • Alle kommunikationsformer (modes) lader sig beskrive systematisk, og har en grammatik. • Det har deres kombinationer også Multimodal socialsemiotik – meningen med det hele Eksempel på et mode: Musik (til levende billeder) Spillefilm: ll f l – Interpersonel p funktion • Stemningsskabende • Kommenterende – Strukturerende funktion • Intro + overgangssignal (markerende) • Leitmotiv – Ideationel funktion • Diegetisk (radio, band osv.) • TidsTid og stedsindikerende d i dik d Multimodal socialsemiotik – meningen med det hele 24 Eksempel på et mode: Musik (til levende billeder) Nyhedsprogram: h d – Strukturerende funktion • Intro • Indholdsfortegnelse g • Overgangssignal – Interpersonel funktion • Stemningsskabende (upassende i indslag) – Ideationel funktion • Indslag om/med musik Multimodal socialsemiotik – meningen med det hele 25 Eksempel på et mode: Musik (til levende billeder) TV-reklame kl (all of the above +): – Ideationel funktion • Repræsentere – Interpersonel funktion • Genkendelighed • Tilføre værdi – Strukturerende funktion • Opmærksomhed O k h d i forhold f h ld til fl flowett • Strukturere editering (klipperytme) Multimodal socialsemiotik – meningen med det hele 26 27 Andre eksempler • • • • Farve (stemning, organisering, repræsentation, link) Gaze (proces, udpegning, kontakt, link) Gestik (proces, udpegning, kontakt, link) Osv. Multimodal socialsemiotik – meningen med det hele 28 Multimodal teori • Hvert mode d kan k beskrives b k grammatiskk • Samlingen af flere modes kan beskrives grammatisk • Præcise P i analyser, l som peger di direkte kt ned di teksten Multimodal socialsemiotik – meningen med det hele 29 Undervisning ved IVK • • • • • • Visuell Analyse l og Design (BA) Kultur og Kommunikation (BA) Visuelt Design (BA) Mediating 9/11 (BA) Visuel Analyse og Design (Tilvalg) Multimodal Kommunikation (Master) + Visuel specialisering Multimodal socialsemiotik – meningen med det hele 30 Multimodalitetskredsen Multimodal socialsemiotik – meningen med det hele 31 Multimodalitetskredsen www.sdu.dk/multimodality Multimodal socialsemiotik – meningen med det hele Multimodal socialsemiotik Meningen imed det hele det hele Multimodal socialsemiotik – meningen med det hele Multimodal socialsemiotik Meningen imed det hele det hele Multimodal socialsemiotik – meningen med det hele
© Copyright 2024