1. No category

Fra øre til hjerne
Tværfaglig forskning i hørelse og kognition
Jens Hjortkjær & Sébastien Santurette
Indhold
•  Hvem er vi?
•  Baggrund: cocktail party problemet
•  CAHR: auditory modelling, anvendt og klinisk forskning
–  Hidden hearing loss
–  Auditory profiling – taleforståelse
•  CHeSS: kognition og neurovidenskab
–  Opmærksomhed: det kognitive høreapparat
–  Neurovidenskab: naturlige lyde i kortex
–  Kognitiv “listening effort” og pupilometri
Hvem er vi?
Hearing Systems
DTU Elektro
Høresystemer og
Kommunikation
(HEA)
Akustisk
Teknologi
(ACT)
Vigtigste motivationer
•  I 2025 forventes mere end 100 millioner mennesker i Europa at have en
moderat til kraftig hørenedsættelse, som kræver behandling. (Shield, 2006)
•  Høretab forårsager betydelige problemer for mundtlig kommunikation i støj
og efterklang.
•  Mange mennesker har stadig store problemer (trods hjælp fra
høreapparater) i sociale situationer.
•  Dette fører til en tendens til at undgå verbal interaktion i grupper og til
social isolation.
•  Mange siger, at de kan høre talen (med forstærkning),
men ikke forstå, hvad der bliver sagt.
Baggrund: Cocktail-party problemet
Vores mål er at forstå (og løse!) “cocktail-party problemet”
Forskningsspørgsmål
•  Hvorfor er det normale auditive system så robust i vanskelige
lyttesituationer?
•  Hvad er de grundlæggende principper for menneskelige lydopfattelse
(fx adskillelse af lydobjekter)?
•  Hvad er konsekvenserne af høretab
(udover en formindsket følsomhed)?
•  Hvorfor er et svækket auditive system nogenlunde robust i enkle
lyttesituationer (uden støj) men ikke kan klare sig i komplekse lydmiljøer?
•  Hvordan kan vi rette op på dette ved at indarbejde denne viden i
høreapparater, cochlear implantater, talegenkendelse osv.?
Forskningstilgang
Analyse af tre ”lydbehandlingssystemer”:
normal, hørehæmmet, ”aided”.
For hvert system sammenligner vi resultaterne af subjektive målinger,
objektive fysiologiske målinger og beregningsmodeller.
Eksempler på forskningsmetoder
“From lab to life”
Akustisk situation
Laboratorium
Mål: At optage og gengive realistiske akustiske scenarier,
at overføre den akustiske virkelighed til laboratoriet
Anvendelser:
• 
• 
Undersøgelse af lydopfattelsen i komplekse miljøer
Udvikling og afprøvning af høreapparater og kommunikationsteknologi
Forskningshypotese
For at opnå effektiv kommunikation under ugunstige forhold, skal det
auditive system præcist afkode de akustiske signaler fra taleren.
Vigtigste stadier
af lydens
signalbehandling
En mangel i et af disse auditive repræsentationer resulterer i en forringelse af
ydeevnen af hele systemet.
To forskningscentre
startet
2003
Anvendt høreforskning
startet
2013
Grundlæggende høreforskning
Samarbejde med industrien og audiologiske klinikker
Nyere EU-støttede initiativer
Projekt
Investigating Speech Processing In Realistic Environments
Partnere: Nijmegen, Sheffield, London, York, Tampere,
Baskerlandet, Leuven, Edinburgh og private virksomheder.
Projekt
Improved Communication through Applied Hearing Research
Partnere: Bochum, Leuven, Southampton, Zürich,
og private partnere.
Projekt
Reading the world with Two!Ears
Partnere: Berlin, Bochum, Eindhoven, Paris, Sheffield, Toulouse.
Horizon 2020:
COCOHA
A cognitively controlled hearing aid – start januar 2015
Partnere: Paris, London, Zürich, DTU + Eriksholm.
Andre netværker/projekter
Erasmus Mundus: Udvekslingprogram i ”auditory cognitive neuroscience”.
Støtter samarbejde med partnere i Nordamerika.
Kognitiv
Neurovidenskab:
Samarbejde med Danish Research Centre for Magnetic
Resonance (DRCMR)
Neuroimaging metoder for at undersøge neurale mekanismer
involveret i adskillelse af lyde igennem opmærksomhed
Nye samarbejdsprojekter med Rigshospitalet, Bispebjerg og
Gentofte Hospitaler om ”auditory profiling”.
Link med klinisk audiologisk forskning
Faciliteter
Eksempler på forskningstemaer
Taleopfattelse og
taleproduktion
Fysiologiske korrelater
(EEG, otoakustiske emissioner,
fMRI, pupillometri)
Adskillelse af lydkilder
Spatial hørelse,
binaural behandling af lyd
Optagelse, reproduktion
og syntese af lyde
Karakterisering og modellering
af høretab
Cochlear implantater
Audiovisuel perception og
kognitiv neurovidenskab
Karakterisering af høretab
Højere tærskler
(Gelfand, 2001)
•  Nedsat sensitivitet, men også ændret:
–  Frekvensopløsning
–  Temporal behandling
–  Opfattelse af lydstyrke
–  Binaural funktion
–  Kognitive funktioner
–  …
Det er ikke nok at kompensere
for tab af sensitivitet via
forstærkning
Hvad betyder “normal” hørelse?
•  Høj lydeksponering -> fald i høresensitivitet
Tilbage til
normal
hørelse?
(Mills et al., 1981)
Midlertidig forhøjelse af høretærsklen
Høretærskler efter 100-dB støjeksponering:
(Kujawa and Liberman, 2009)
Midlertidig forhøjelse af høretærsklen
Tab af synaptiske forbindelser
og auditive nerveceller:
(Kujawa and Liberman, 2009)
Neural degeneration trods normale tærskler à ”Hidden hearing loss”
Karakterisering af høretab
•  Audiogrammet er ikke nok til at karakterisere høretab.
•  Hvordan kan man opdage “hidden hearing loss”?
•  Hvad skal vi genoverveje?
•  De fleste undersøgelser fokuserer på karakterisering af gennemsnitlige
resultater i den hørehæmmede befolkning.
–  Trods store individuelle forskelle!
–  Tilgang: udnytte disse forskelle til at forstå, hvordan systemet fungerer
og forbedre karakterisering af høretab (også i klinikken)
Individuelle forskelle
dårlig
Discrimination threshold (%)
Audiogrammer
Frekvensdiskrimination
vs taleforståelse
god
(Papakonstantinou et al., 2012)
dårlig
Speech reception threshold (dB)
Forhold mellem auditive funktioner
Audiogrammer
Tidsmæssig
signalbehandling
og binaural funktion
Frekvensopløsning
Taleforståelse i støj
(Strelcyk and Dau, 2009)
Hvad skal vi måle i klinikken udover audiogrammet?
Mere klinisk forskning
•  Laboratorieundersøgelser begrænsede pga.
lange forsøg samt få forsøgspersoner
•  Samarbejde med audiologiske klinikker:
–  Korte tests
–  Flere forsøgspersoner
(carlslife.ca)
•  Først studie 2014-2015 (med Rigshospitalet, Bispebjerg Hospital)
Høresensitivitet
Lydstyrke
Frekvensopløsning
Binaural funktion
Kognitiv funktion
Temporal opløsning
Taleforståelse
Oplevet handikap
Gavn af høreapparat?
Eksempel: “Listening in the dips”
Støj
Tale
Tale I støj
Fluktuerende
+
Stationær
=
Eksempel: “Listening in the dips”
Taleforståelse i støj (HINT):
dårlig
Sensorineuralt høretab
Normal hørelse
god
(Thorup, M.Sc. Thesis, 2014)
Frekvens- og tidsopløsning
•  Ny forbedret version af F-T testen (Larsby and Arlinger, 1998)
•  Hvor meget kan den enkelte udnytte frekvensmæssige og tidsmæssige
”huller” i baggrundsstøjen?
Hurtig test
Frekvens- og tidsopløsning
Masking release F-T test
•  Masking release: forskel i tærskel mellem stationær og fluktuerende støj
Masking release HINT
(Pelzer, B.Sc. Thesis, 2015)
• 
Korrelation mellem ”masking release” i
F-T test og taleforståelse i støj
• 
Hidden hearing loss?
Auditiv modellering
Måling af grundlæggende auditive funktioner
for at indhente data om forskellige problemer
Høresensitivitet
Frekvensopløsning
Lydstyrke
Temporal opløsning
Binaural funktion
Taleforståelse
Auditiv modellering
Måling af grundlæggende auditive funktioner
for at indhente data om forskellige problemer
à Tilpasning af modellen
Perifære stadier
(Epp et al., 2010):
–  Nedsat sensitivitet
–  Ringere frekvensopløsning
–  Forringet temporal behandling
–  …
Senere stadier:
–  Problemer med modulationsbehandling?
–  Suboptimal informationsbehandling?
–  …
Taleforståelsestests
Udvikling af danske sprogtests, som er mere "realistiske" end traditionelle tests og
potentielt nyttige i klinikken
I tæt samarbejde med Oticon, Widex og GN ReSound.
•  CLUE test: ”Conversational Language
Understanding Evaluation”
(Nielsen and Dau, 2009)
•  HINT: ”Danish Hearing in Noise Test”
(Nielsen and Dau, 2011)
•  DAT corpus: ”Speech material for speechon-speech masking experiments”
(Nielsen et al., 2014)
•  En test med ”nonsense” ord for at vurdere
effekter af høreapparater på taleopfattelsen
(Nielsen et al., in prep.)
Eksempler på forskningstemaer
Taleopfattelse og
taleproduktion
Fysiologiske korrelater
(EEG, otoakustiske emissioner,
fMRI, pupillometri)
Adskillelse af lydobjekter
Spatial hørelse,
binaural behandling af lyd
Optagelse, reproduktion
og syntese af lyde
Karakterisering og modellering
af høretab
Cochlear implantater
Audiovisuel perception og
kognitiv neurovidenskab
Anvendt høreforskning (CAHR)
•  Modeller af ørets og hjernens signal-behandling forudsiger taleforståelse:
Subband
filtering
Compressive
non-linearity
Envelope
extraction
Modulation
filtering
Forståelse
God
Dårlig
Høj
Støj
Lav
Kognitive faktorer? (CHeSS)
•  Bedre modeller af det auditive systems lydbehandling giver bedre
høreapparater og bedre mulighed for individuel tilpasning
•  Men hørehæmmede oplever stadig utilfredshed, særligt i støjfyldte
omgivelser – hvorfor?
Mod mere intelligente høreapparater?
?
LYD
BEARBEJDET
LYD
Cocktail party problemet:
hvor er opmærksomheden?
EEG-afkodning af opmærksomhed?
Neuralt signal
EEG-afkodning af opmærksomhed?
Neuralt signal
EEG-mål for opmærksomhed
Talelyd
1
Auditiv model.
EEG Signal
Model
G(f, n, t
T
[RR + M ]
Talelyd
2
Auditiv model.
⌧ ) = [RRT ]
1
RS
T
1
RS T
?
?
EEG-mål for opmærksomhed
Korrelation mellem EEG og talesignaler
Speech signal 1
Speech signal 2
Speech signal 1
Speech signal 2
Avg. correlation
0.25
0.2
0.15
0.1
0.05
0
1
2
Attend to speaker
Opmærksom
på taler 2
Opmærksom
på taler 1
Talelyd 1
Talelyd 2
EU-projekt COCOHA:
Cognitive Control of a Hearing Aid
Funktionel MR-scanning
DRC
M R
Funktionel MR: kontekst-afhængig
bearbejdning af lyde i kortex
Handling
slå
Materiale
glas
x
x
metal
x
træ
kaste
rasle
Funktionel MR: kontekst-afhængig
bearbejdning af lyde i kortex
•  Mønstre af kortikal aktivitet identificerer hvilken lyd-kategori lytteren
hører
•  Auditorisk kortex repræsenterer lyd-kategorier dynamisk: kun den
kategori-type som lytteren er opmærksom på repræsenteres
Relevante
kategorier
Handlinger
5
Handlinger
4
3
2
1
Irrelevante
kategorier
strike drop ra)le drop strike ra)le ra)le drop strike drop -43
0
strike ra)le pSTP contrast estimate
6
-8
L
80
R
Action task
Material task
Funktionel MR: kontekst-afhængig
bearbejdning af lyde i kortex
•  Sker der en dynamisk behandling af bestemte akkustiske parametre?
•  For materiale-genkendelse er tonehøjde-information vigtig
•  For handlings-genkendelse er temporal information vigtig
Repræsentation af tonehøjde i kortex (tonotopi)
Fo frekvens (Hz)
3100
130
Materialeopgave
Handlingsopgave
Mål af den subjektive lytteoplevelse
•  Audiogrammet forudsiger ikke altid taleforståelse i støj
•  Realistiske modeller af ørets lydbehandling giver bedre forudsigelse af
taleforståelse i støj
•  Men selv forbedrede modeller fortæller ikke noget om, hvor anstrengende
eller vanskeligt det opleves at lytte til tale i støj
•  Kognitive elementer som f.eks. den sproglige kompleksitet også udfordre
lytteren som forstærkes i støjfyldte omgivelser
•  Hvordan måler vi denne subjektive oplevelse?
en sheik går
aldrig ikke over
men kun når det
fylder nok
Undersøgelser af sammenhængen mellem
akustisk støj og sproglig kompleksitet
•  Sætnings-genkendelse med forskellige grader af kompleksitet i
forskellige niveauer af baggrunds-støj (-6/12 dB SNR):
Simpel sætning (subjekt først):
Den sjove elefant vil
sparke den stolte elg
?
Kompleks sætning (objekt først):
Den sjove elefant vil
den stolte elg sparke
•  Subjektive mål:
–  korrekt genkendelse
–  ratings af 'vanskelighed'
•  Objetive mål: pupilometri, EEG
Let
Svært
Pupilometri som mål for 'listening effort'
Gennemsnit 20 normalthørende
Normaliseret pupilstørrelse
Kompleks syntaks
Simpel syntaks
Sætning
Høj støj, høj kompleksitet
Lav støj, høj kompleksitet
Høj støj, lav kompleksitet
Lav støj, lav kompleksitet
Tid (ms)
•  Komplekse sætninger kræver mere processering, men opleves
kompleksiteten også som vanskelig eller anstrengende?
Støj og sproglig kompleksitet påvirker
lytteoplevelsen forskelligt
Taleforståelse
%
korrekt
Oplevet sværhed
Høj støj
Lav støj
100
70
70
30
30
meget
let
0
Kompleks
Simpel
Høj støj
Lav støj
meget 100
svært
0
Kompleks
Simpel
•  Komplekse sætninger kræver mere processering, men støjen er en
væsentlig faktor for hvor anstrengende det opleves
Afsluttende bemærkninger
Auditive faktorer
Kognitive faktorer
Ørets sensitivitet
Opmærksomhed
Spektro-temporal
processering
Anstrengelse
Taleforståelse
God
Dårlig
Høj
Støj
Lav