Sequence learning in the Bayesian Confidence Propagation Neural Network

• This thesis examines sequence learning in the Bayesian Confidence PropagationNeural Network (BCPNN). The methodology utilized throughout this work is com-putational and analytical in nature and the contributions here presented can beunderstood along the following four major themes: 1) this work starts by revisitingthe properties of the BCPNN as an attractor neural network and then provides anovel formalization of some of those properties. First, a bayesian theoretical frame-work for the lower bounds in the BCPNN. Second, a differential formulation ofthe BCPNN plasticity rule that highlights its relationship to similar rules in thelearning literature. Third, closed form analytical results for the BCPNN trainingprocess. 2) After that, this work describes how the addition of an adaptation processto the BCPNN enables its sequence recall capabilities. The specific mechanisms ofsequence learning are then studied in detail as well as the properties of sequencerecall such as the persistence time (how long does the network last in a specific stateduring sequence recall) and its robustness to noise. 3) This work also shows howthe BCPNN can be enhanced with memory traces of the activity (z-traces) to pro-vide the network with disambiguation capabilities. 4) Finally, this works provides acomputational study to quantify the number of the sequences that the BCPNN canstore successfully. Alongside these central themes, results concerning robustness,stability and the relationship between the learned patterns and the input statisticsare presented in either computational or analytical form. The thesis concludes witha discussion of the sequence learning capabilities of the BCPNN in the context of thewider literature and describes both his advantages and disadvantages with respectto other attractor neural networks.

• Denna avhandling undersöker sekvensinlärning hos en Bayesian Confidence Propagation Neural Network (BCPNN) modell. Arbetsmetodologin inkluderar simulering och analys och bidragen kan beskrivas utgående från följande fyra teman: 1) Arbetet inleds med en återblick på BCPNN-modellen som ett attraktorneuronnät och beskriver en ny formalisering  av några av dess egenskaper såsom en Bayesiansk analys av modellens s k epsilonbegränsing, en differensformulering av BCPNNs plasticitetsregel som betonar dess relation till andra liknande regler i litteraturen, samt en matematisk analys av BCPNNs träningsprocess. 2) Dessutom beskriver detta arbete hur tillförandet av en adaptationsprocess till BCPNN möjliggör återkallande av lagrade sekvenser. Mekanismerna specifika för sekvensinlärning studeras i detalj liksom egenskaperna hos sekvensåterkallandet såsom hur länge nätverket uppehåller sig i en specifik del av sekvensen, samt dessa processers brustålighet. 3) Detta arbete visar också hur BCPNN-inlärningen kan kompletteras med minnesspår av tidigare aktivitet, s k Z-traces, vilket ger nätverket förmåga att särskilja överlappande sekvenser. 4) Slutligen tillhandahålls en simuleringsstudie som kvantifierar hur många sekvenser BCPNN framgångsrikt kan lagra. I anslutning till dessa centrala teman presenteras också resultat rörande robusthet, stabilitet och relation mellan inlärda mönster och inputstatistik, både utifrån simulering och i analytisk form. Avhandlingen avslutas med en diskussion av sekvensinlärningsförmågan hos BCPNN i belysning av litteraturen på området och en beskrivning av för- och nackdelar hos BCPNN jämfört med andra attraktorneuronnät.

Ämnesord

NATURVETENSKAP  -- Data- och informationsvetenskap -- Datavetenskap (hsv//swe)

NATURAL SCIENCES  -- Computer and Information Sciences -- Computer Sciences (hsv//eng)

Nyckelord

bayesian

learning

neural networks

sequences

Computer Science

Datalogi

Publikations- och innehållstyp

vet (ämneskategori)

dok (ämneskategori)