Brain-like Combination of Feedforward and Recurrent Network Components Achieves Prototype Extraction and Robust Pattern Recognition

↓ Direkt till sidans innehåll
↓ Direkt till sidans sekundära innehåll (sidomenyn)

Sökning: onr:"swepub:oai:DiVA.org:kth-329366" > Brain-like Combinat...

1 av 1
Föregående post
Nästa post
Till träfflistan

Ravichandran, Naresh BalajiKTH,Beräkningsvetenskap och beräkningsteknik (CST),Computational Cognitive Brain Science Group (författare)

Brain-like Combination of Feedforward and Recurrent Network Components Achieves Prototype Extraction and Robust Pattern Recognition

Artikel/kapitelEngelska2023

Förlag, utgivningsår, omfång ...

2023-03-10
Cham :Springer Nature,2023
printrdacarrier

Nummerbeteckningar

LIBRIS-ID:oai:DiVA.org:kth-329366
https://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-329366URI
https://doi.org/10.1007/978-3-031-25891-6_37DOI
https://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-326225URI

Kompletterande språkuppgifter

Språk:engelska
Sammanfattning på:engelska

Ingår i deldatabas

SwePubSwePub

Klassifikation

Ämneskategori:ref swepub-contenttype
Ämneskategori:kon swepub-publicationtype

Anmärkningar

QC 20230621
QC 20230503
Associative memory has been a prominent candidate for the computation performed by the massively recurrent neocortical networks. Attractor networks implementing associative memory have offered mechanistic explanation for many cognitive phenomena. However, attractor memory models are typically trained using orthogonal or random patterns to avoid interference between memories, which makes them unfeasible for naturally occurring complex correlated stimuli like images. We approach this problem by combining a recurrent attractor network with a feedforward network that learns distributed representations using an unsupervised Hebbian-Bayesian learning rule. The resulting network model incorporates many known biological properties: unsupervised learning, Hebbian plasticity, sparse distributed activations, sparse connectivity, columnar and laminar cortical architecture, etc. We evaluate the synergistic effects of the feedforward and recurrent network components in complex pattern recognition tasks on the MNIST handwritten digits dataset. We demonstrate that the recurrent attractor component implements associative memory when trained on the feedforward-driven internal (hidden) representations. The associative memory is also shown to perform prototype extraction from the training data and make the representations robust to severely distorted input. We argue that several aspects of the proposed integration of feedforward and recurrent computations are particularly attractive from a machine learning perspective.

Ämnesord och genrebeteckningar

NATURVETENSKAP Matematik Beräkningsmatematik hsv//swe
NATURAL SCIENCES Mathematics Computational Mathematics hsv//eng
TEKNIK OCH TEKNOLOGIER Elektroteknik och elektronik Datorsystem hsv//swe
ENGINEERING AND TECHNOLOGY Electrical Engineering, Electronic Engineering, Information Engineering Computer Systems hsv//eng
Attractor
Associative memory
Unsupervised learning
Hebbian learning
Recurrent networks
Feedforward networks
Brain-like computing
Datalogi

Biuppslag (personer, institutioner, konferenser, titlar ...)

Lansner, Anders,Professor,1949-KTH,Beräkningsvetenskap och beräkningsteknik (CST),Stockholm Univ, Dept Math, Stockholm, Sweden.,Computational Cognitive Brain Science Group(Swepub:kth)u12s8cr8 (författare)
Herman, Pawel,1979-KTH,Beräkningsvetenskap och beräkningsteknik (CST),Computational Cognitive Brain Science Group(Swepub:kth)u19pqm1e (författare)
KTHBeräkningsvetenskap och beräkningsteknik (CST) (creator_code:org_t)

Sammanhörande titlar

Ingår i:Lecture Notes in Computer ScienceCham : Springer Nature, s. 488-501

Internetlänk

Till lärosätets databas

1 av 1
Föregående post
Nästa post
Till träfflistan

Hitta mer i SwePub

Av författaren/redakt...: Ravichandran, Na ...; Lansner, Anders, ...; Herman, Pawel, 1 ...

Om ämnet

NATURVETENSKAP: NATURVETENSKAP; och Matematik; och Beräkningsmatema ...

TEKNIK OCH TEKNOLOGIER: TEKNIK OCH TEKNO ...; och Elektroteknik oc ...; och Datorsystem

Artiklar i publikationen: Lecture Notes in ...

Av lärosätet: Kungliga Tekniska Högskolan

Sök utanför SwePub

Sök vidare i:: Google; Google Book Search; Google Scholar

Kungliga biblioteket hanterar dina personuppgifter i enlighet med EU:s dataskyddsförordning (2018), GDPR. Läs mer om hur det funkar här.
Så här hanterar KB dina uppgifter vid användning av denna tjänst.

LIBRIS.kb.se