Sub-symbolisk kognition & Konnektionism Kognitionsvetenskaplig Introduktionskurs Mats Andrén, [email protected] 1 Konnektionism • Neutrala nät baseras på en (förenklad) modell av hur hjärnan fungerar. • …till skillnad från fysiska symbolsystemhypotesen som snarare är baserad på hur datorer fungerar (manipulation av symboler baserat på en uppsättning formella regler). • NN är fortfarande en typ av informationsprocessande, men annorlunda mot fysiska symbolsystemhypotesen (t.ex. “Language of Thought”). 2 Language of Thought (LOT) 3 Symbol Grounding problem • Kinesiska rummet illustrerar ett vidare problem – gapet mellan formell bearbetning av symboler och genuin tanke och förståelse • Hur får ord/symboler sin mening? • • Orden “i våra huvuden” har uppenbarligen någon form av koppling till världen. Men.. De kan inte ursprungligen få sin mening genom “beräkning”/“computation” så som t.ex. att kolla upp deras mening i ett “mentalt lexikon” eftersom man inte kan kolla upp betydelse i ett (enspråkigt) lexikon i ett språk man inte redan förstår. Vi har kört fast.. 4 Möjliga vägar • Kognition är inte informationsbearbetning • Kognition är icke-symbolisk informationsbearbetning. 5 Skillnader. Neutrala nätverk är… • Parallella snarare än seriella — inget “centrum”. • Överkurs: Men.. På ett djupare plan kan varje dator simulera vilken annan dator som helst, dvs en seriell datorarkitektur kan simulera en parallell datorarkitektur och vice versa, dvs principiellt fortfarande samma grundläggande typ av “computation”. • De “regler” som styr nätverkens funktion har inget att göra med det specifika innehåll som processas. • Inlärt funktionssätt (“empiriskt”) snarare än inbyggt (“rationalistiskt”), och kan förändras över tid. • Ingen tydlig åtskillnad mellan informationslagring och informationsbearbetning — representationer av begrepp i NN motsvaras inte nödvändigtvis av en uppräkningsbar mängd “representationer”, utan kan ibland vara av mycket mer öppen och associativ natur. 6 Neuroner 7 Perceptroner 8 Nätverk av perceptroner • Utdatalager — länkar mellan det gömda lagret och utdatalagret. • Lager med gömda noder — länkar mellan indatalagret och det gömda lagret. • Indatalager 9 Perceptroners uppgång och fall • 1943 McCullough & Pitt — datorer som artificiella neurala nätverk. Försökte förstå hur celler kan “beräkna”. • 1949 Hebb — Oövervakad inlärning,“neurons that fire together, wire together” • 1958 Rosenblatt — Övervakad inlärning, perceptroner kan lära sig godtyckligt linjärt separerbara problem (förenklat: problem som innehåller ett “men”). • 1969 Minsky & Papert — Nätverk med flera lager kan beräkna alla möjliga funktioner, men det finns inga inlärningsstrategier för sådana nät… 10 Återuppståndelse • 1986 McLelland & Rummelhart — Lära nätverk med flera lager noder genom en viss typ av algoritm: Gradient back propagation. 11 Inlärning i neurala nätverk • Gradient back propagation innebär att de “ansvariga” länkarna justeras genom uppdatering av länkarna “baklänges”, lager för lager. 12 Skillnader mellan neutrala nätverk och hjärnor • Det finns inga biologiska evidens för att något i stil med back propagation-algoritmen är vad som händer i hjärnan. • Den mänskliga hjärnans lärande är inte “supervised” på det sätt som de flesta neutrala nät är. Det vill säga, hjärnan klarar att lära sig utan att få någon explicit extern information om huruvida den t.ex. kategoriserar någonting “rätt” eller “fel”. 13 Överkurs: “Information”..? • Själva begreppet “information” tål också att reflekteras över. Vad ligger egentligen för underliggande antaganden inbakade i själva begreppet? • I dagliga termer kanske vi tänker på information som t.ex. en text eller ettor och nollor i en dator, dvs något som redan har processats, och kanske rent av något “symboliskt” i sig. • Att någonting är “information” betyder att det finns “mening” i det, men kan det finnas mening i något innan någon har “processat” det? • Alternativ: Det som bearbetas är inte i sig “information”. Information är snarare slutresultatet av den kognitiva processen. 14 Invarians • …men för all del, för att någon kognition överhuvudtaget ska vara möjlig så måste det ju finnas någonting att ta fasta på, något regelbundet (invariant) och detekterbart. • • Detta kan förstås kallas för “information”, dvs vad man menar med information är delvis en definitionsfråga. MEN.. Detta betyder inte att input behöver vara statiskt på något ytligt sätt — det behöver inte finnas någon central definierande egenskap utan det invarianta kan baseras just på en sammanvägning av faktorer där ingen enskild faktor är grundläggande eller enskilt avgörande. 15 “Intuition” • Medan Language of Thought oftast förutsätter en sorts klarhet i den input som processas så kan neutrala nät hantera mycket mer diffusa och “brusiga” former av input. Exempelproblem: • Identifiera händer i videofiler — computer vision. • Skydd mot spam-robotar på internet — det som kan vara lätt för en människa att läsa kan vara mycket svårt för en dator. • Algoritmer för robothandel på börsen. • Språkinlärning — t.ex. problematiken med att lära sig regelbundna och oregelbundna verb. (Se kap 9.1) 16 DeepDream - a code example for visualizing Neural Networks • Google använder neurala nät för sin bildigenkänningsfunktion. • Nyligen har man öppnat upp den här funktionen så att man kan använda sig av den själv och experimentera med den, och det finns en del intressanta och belysande exempel. • http://googleresearch.blogspot.se/2015/07/ deepdream-code-example-for-visualizing.html 17 Att låta nätverket “drömma” • Att vända på steken: Istället för att mata in en bild på t.ex. en banan och få den klassificerad som “en banan” så har de vänt på det hela, för att visualisera vad som pågår, och kör t.ex. nätverket baklänges så att man matar in “banan” och får ut en bild genererad av nätverket. • “Fantasi”, “visualiseringsförmåga”, “drömmar”. 18 19 20 21 22 23 24 25 Ett videoexempel (sök själva på “inceptionism” eller “deepdream” på youtube) 26 Slutligen… • Konnektionism kan ses som ett av flera exempel på en hel familj av “subsymboliska” approacher till kognition. Exempelvis finns det många grundläggande likheter mellan neurala nät och något som kallas för “Dynamical Systems Theory” (se kapitel 13.2). • För vissa syften fungerar neurala nätverk väl. Men de kan också vara oförutsägbara, så för andra syften kan det vara bättre med mer hårdkodade typer av styrprogram. • • Tillämpningar: “Realistiskt” (likna människan) vs “ingenjörsmässigt” • Det finns olika typer av ANN, en del mer biologiskt trovärdiga än andra => Kursen Kognitiv modellering i åk3 Nästa gång lämnar vi artificiell intelligens och då ska jag istället prata om kroppens roll för tänkande och kognition samt barns utveckling och lärande. 27
© Copyright 2024