Reinforcement learning in a spiking neural model of striatum plasticity

↓ Direkt till sidans innehåll
↓ Direkt till sidans sekundära innehåll (sidomenyn)

Sökning: L773:0925 2312 OR L773:1872 8286 > (2020-2024) > Reinforcement learn...

González-Redondo, ÁlvaroResearch Centre for Information and Communications Technologies (CITIC-UGR), University of Granada, Calle Periodista Rafael Gómez Montero 2, E18071 Granada, Spain (författare)

Reinforcement learning in a spiking neural model of striatum plasticity

Artikel/kapitelEngelska2023

Förlag, utgivningsår, omfång ...

Elsevier BV,2023
printrdacarrier

Nummerbeteckningar

LIBRIS-ID:oai:DiVA.org:kth-331435
https://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-331435URI
https://doi.org/10.1016/j.neucom.2023.126377DOI

Kompletterande språkuppgifter

Språk:engelska
Sammanfattning på:engelska

Ingår i deldatabas

SwePubSwePub

Klassifikation

Ämneskategori:ref swepub-contenttype
Ämneskategori:art swepub-publicationtype

Anmärkningar

QC 20230710
The basal ganglia (BG), and more specifically the striatum, have long been proposed to play an essential role in action-selection based on a reinforcement learning (RL) paradigm. However, some recent findings, such as striatal spike-timing-dependent plasticity (STDP) or striatal lateral connectivity, require further research and modelling as their respective roles are still not well understood. Theoretical models of spiking neurons with homeostatic mechanisms, lateral connectivity, and reward-modulated STDP have demonstrated a remarkable capability to learn sensorial patterns that statistically correlate with a rewarding signal. In this article, we implement a functional and biologically inspired network model of the striatum, where learning is based on a previously proposed learning rule called spike-timing-dependent eligibility (STDE), which captures important experimental features in the striatum. The proposed computational model can recognize complex input patterns and consistently choose rewarded actions to respond to such sensorial inputs. Moreover, we assess the role different neuronal and network features, such as homeostatic mechanisms and lateral inhibitory connections, play in action-selection with the proposed model. The homeostatic mechanisms make learning more robust (in terms of suitable parameters) and facilitate recovery after rewarding policy swapping, while lateral inhibitory connections are important when multiple input patterns are associated with the same rewarded action. Finally, according to our simulations, the optimal delay between the action and the dopaminergic feedback is obtained around 300 ms, as demonstrated in previous studies of RL and in biological studies.

Ämnesord och genrebeteckningar

MEDICIN OCH HÄLSOVETENSKAP Medicinska och farmaceutiska grundvetenskaper Neurovetenskaper hsv//swe
MEDICAL AND HEALTH SCIENCES Basic Medicine Neurosciences hsv//eng
NATURVETENSKAP Data- och informationsvetenskap Bioinformatik hsv//swe
NATURAL SCIENCES Computer and Information Sciences Bioinformatics hsv//eng
Dopamine
Eligibility trace
Reinforcement learning
Spike-timing-dependent plasticity
Spiking neural network
Striatum

Biuppslag (personer, institutioner, konferenser, titlar ...)

Garrido, JesúsResearch Centre for Information and Communications Technologies (CITIC-UGR), University of Granada, Calle Periodista Rafael Gómez Montero 2, E18071 Granada, Spain (författare)
Naveros Arrabal, FranciscoResearch Centre for Information and Communications Technologies (CITIC-UGR), University of Granada, Calle Periodista Rafael Gómez Montero 2, E18071 Granada, Spain (författare)
Hellgren Kotaleski, JeanetteKTH,Beräkningsvetenskap och beräkningsteknik (CST)(Swepub:kth)u13pnwqn (författare)
Grillner, StenDepartment of Neuroscience, Karolinska Institute, Stockholm SE-17165, Sweden (författare)
Ros, EduardoResearch Centre for Information and Communications Technologies (CITIC-UGR), University of Granada, Calle Periodista Rafael Gómez Montero 2, E18071 Granada, Spain (författare)
Research Centre for Information and Communications Technologies (CITIC-UGR), University of Granada, Calle Periodista Rafael Gómez Montero 2, E18071 Granada, SpainBeräkningsvetenskap och beräkningsteknik (CST) (creator_code:org_t)

Sammanhörande titlar

Ingår i:Neurocomputing: Elsevier BV5480925-23121872-8286

Internetlänk

Hitta via bibliotek

Neurocomputing (Sök värdpublikationen i LIBRIS)

Till lärosätets databas

Hitta mer i SwePub

Av författaren/redakt...: González-Redondo ...; Garrido, Jesús; Naveros Arrabal, ...; Hellgren Kotales ...; Grillner, Sten; Ros, Eduardo

Om ämnet

MEDICIN OCH HÄLSOVETENSKAP: MEDICIN OCH HÄLS ...; och Medicinska och f ...; och Neurovetenskaper

NATURVETENSKAP: NATURVETENSKAP; och Data och informa ...; och Bioinformatik

Artiklar i publikationen: Neurocomputing

Av lärosätet: Kungliga Tekniska Högskolan

Sök utanför SwePub

Sök vidare i:: Google; Google Book Search; Google Scholar

Kungliga biblioteket hanterar dina personuppgifter i enlighet med EU:s dataskyddsförordning (2018), GDPR. Läs mer om hur det funkar här.
Så här hanterar KB dina uppgifter vid användning av denna tjänst.

LIBRIS.kb.se