Numerical algorithms for high dimensional integration with application to machine learning and molecular dynamics

• This thesis contains results on high dimensional integration with two papers, paper I and paper II, presenting applications in machine learning and two papers, paper III and paper IV, presenting applications to molecular dynamics.In paper I we present algorithms based on a Metropolis test for training shallow neural networks with trigonometric activation functions. Numerical experiments are performed on both synthetic and real data. The trigonometric activation function gives access to the Fourier transform and its inverse transform. The algorithms gives equidistributed amplitudes.In paper II we derive smaller generalization error for deep residual neural networks compared to shallow ones. An algorithm that builds the residual neural network layer by layer based on an algorithm from paper I is presented both as a stand alone algorithm as well as a pre-step for a global optimizer like Stochastic gradient descent or Adam. Numerical test are performed with promising results.In paper III we make use of the semiclassical Weyl law to show that canonical quantum observables can be approximated by molecular dynamics with an error rate proportional to the electron-nuclei mass ratio. Numerical experiments are presented that confirms the expected theoretical result.In paper IV we consider canonical ensembles of molecular systems. We propose four numerical algorithms for efficient computation of the canonical ensemble molecular dynamics observables. The four algorithms can each be efficient in different situations. For example in low temperatures we can make use of the fact that the lowest electron energy levels contributes most to the observable. The work is an extension of the results in paper III.

• Den här avhandlingen innehåller resultat inom högdimensionell integration med två rapporter, rapport I och rapport II, som presenterarapplikationer inom maskininlärning och två rapporter, rapport III ochrapport IV, som presenterar applikationer inom molekyldynamik.I rapport I presenterar vi algoritmer baserade på ett Metropolistest för träning av grunda neurala nätverk med trigonometriska aktiveringsfunktioner. Numeriska experiment utförs på både syntetiskoch riktig data. Den trigonometriska aktiveringsfunktionen ger tillgångtill Fouriertransformen och dess inverstransform. Algoritmerna ger likafördelade amplituder.I rapport II härleds mindre generaliseringsfel för djupa residualnäti jämförelse med grunda. En algoritm som bygger residualnät lagerför lager baserat på en algoritm från rapport I presenteras både somen fristående algoritm såväl som ett försteg till en global optimerareså som Stochastic gradient descent eller Adam. Numeriska test utförsmed lovande resultat.I rapport III använder vi Weyls semiklassiska lag för att visa att kanoniska kvantobservabler kan approximeras med molekyldynamik medett fel som är proportionellt mot massförhållandet mellan elektroneroch atomkärnor. Numeriska experiment presenteras som bekräftar detförväntade teoretiska resultatet.I rapport IV betraktar vi kanoniska ensembler av molekylära system. Vi föreslår fyra numeriska algoritmer för effektiv beräkning avmolekyldynamikobservabler i den kanonisk ensemblen. De fyra algoritmerna kan var och en vara effektiva i olika situationer. Till exempel vidlåga temperaturer kan vi använda det faktum att de lägsta elektronenerginivåerna bidrar mest till observablerna. Arbetet är en utvidgningav resultaten i rapport III.

Ämnesord

NATURVETENSKAP  -- Matematik -- Beräkningsmatematik (hsv//swe)

NATURAL SCIENCES  -- Mathematics -- Computational Mathematics (hsv//eng)

Nyckelord

Numerical Analysis

Numerisk analys

Publikations- och innehållstyp

vet (ämneskategori)

dok (ämneskategori)