Neural Network Ensembles and Combinatorial Optimization with Applications in Medicine

• Artificial neural network (ANN) and combinatorial optimization algorithms are developed, and applied to the medical domain. A novel method for training an ensemble of ANN is presented, based on random weight updates alternated with replication of networks with low error. The evolution of the ensemble is explored, with particular emphasis on its diversity and internal correlation. The performance is tested on three datasets, and found comparable to a Bayesian algorithm and better than a Bagging ensemble. Hermite decomposition of ECGs is performed, and the coefficients are used as inputs to ANNs for predicting myocardial infarction, with good results. A case-based method for explaining the operation of the ANN is presented, based on perturbing a small number of inputs in a limited interval so as to maximize the change in output. A cost function for maximizing this change while satisfying the constraints is defined in a Potts spin formulation. After optimization using mean field annealing, a perturbed ECG is reconstructed from the perturbed Hermite coefficients. The perturbed ECG leads are found to match those deemed critical by a human expert in half of the cases. The question of what inputs features to use when training ANNs to interpret myocardial perfusion SPECT images is also studied. It is concluded that using additional clinical data as ANN input does not improve the predictive performance. A novel approach for multiple structure alignment of proteins is presented, based on fuzzy pairwise alignments of each protein to a virtual consensus chain. These alignments are alternated with translations and rotations of the proteins onto the consensus structure, and with updating the consensus chain. The pairwise alignments use mean-field annealing of fuzzy alignment variables, based on a cost expressed in terms of distances between aligned atoms and of gaps. Our approach is tested against a set of protein families from the HOMSTRAD database, and against another algorithm based on Monte Carlo, with good results.

• Popular Abstract in Swedish Inom medicin, och inom många andra tillämpningar, är uppgiften ofta att utifrån en serie observationer ge ett jakande eller nekande svar på en viss fråga. Exempelvis måste en läkare avgöra om en patient med bröstsmärtor lider av akut hjärtinfarkt eller inte. Artificiella neurala nätverk är en sorts datorprogram som själv förmår "lära" sig att svara på sådana frågor. Nätverket består av en mängd sammankopplade noder som skickar signaler mellan varandra. Ju mer signal en nod får in, desto mer skickar den ut. Vissa noders aktivitetsgrad sätts till det värde som ges av indata, medan en speciell utdata-nod svarar mot det svar nätverket ger; andra noder bidrar till beräkningen men är gömda och syns inte utåt. "Inlärningen" sker genom att kopplingarnas styrkor sätts på ett sådant sätt, att när nätverket matas med indata från en uppsättning träningsexempel så ska nätverkets utdata-nod så ofta som möjligt hamna i ett tillstånd som motsvarar det önskade svaret. Syftet är att nätverket efter inlärningen ska kunna ge ett rätt svar när det matas med indata som det inte sett förut, så att det exempelvis kan användas som beslutsstöd för en läkare som ställer diagnos. Denna avhandling presenterar bland annat en ny metod för träningen av en ensemble (grupp) av artificiella neurala nätverk. Tanken är att om man väger samman svaren från flera neurala nätverk så ska man få ett mer tillförlitligt svar än om man använder ett enda nätverk. För att detta ska fungera måste nätverken ge delvis olika svar samtidigt som varje nätverk överlag måste vara förhållandevis exakt, och dessa aspekter studeras ingående i texten. Det är inte självklart vilka indata som ska användas till nätverket, och vid bildbehandling måste man komprimera informationen på något sätt eftersom nätverket blir för stort och tungrott annars. Vi prövade ett nytt sätt att extrahera information ur EKG:n för att träna neurala nätverk, nämligen att approximera slagen i EKG:t som en summa av särskilda vågor kallade Hermite-funktioner. Koefficienterna i denna summa används sedan som indata till nätverket. Detta visade sig fungera bra, och detta sätt att komprimera EKG:n har dessutom fördelen att man kan rekonstruera EKG:t ur den den komprimerade informationen. Detta utnyttjades genom att vi studerade frågan "hur ska vi ändra några indata lite grann, för att nätverket ska byta åsikt om ett sjukt hjärta och istället säga att det är friskt?" Utifrån svaret på denna fråga konstruerades ett modifierat EKG, och dess skillnader mot det ursprungliga EKG:t lyftes fram. Genom att titta på dessa skillnader kan en läkare få information om vilka avsnitt av EKG:t som nätverket tyckte var viktigast när det gav sitt svar. I en besläktad tillämpning studerades vilka indata som ska användas när nätverket ska tolka SPECT-bilder av hjärtat. Slutsatsen blev att nätverket inte vinner någonting på att få tillgång till ytterligare klinisk information, såsom patientens puls. Till sist studerades frågan hur man kan matcha en grupp proteiner mot varandra, för att se hur lika deras struktur är. Här användes inte neurala nätverk, utan "mean field annealing", en metod för kombinatorisk optimering som också användes när vi studerade frågan hur man ska ändra några indata för att få nätverket att byta åsikt om ett hjärta. Varje protein matchades mot en virtuell konsensus-struktur, vilken fungerade som ett slags medelvärde av alla proteiner. Dessa matchningar av proteinernas delar varvades med justeringar av proteinernas läge, varje gång följt av att en ny konsensus-struktur räknades fram. Prestandan hos samtliga våra nya algoritmer jämfördes med prestandan hos existerande algoritmer, med överlag goda resultat.

Ämnesord

NATURVETENSKAP  -- Biologi -- Biofysik (hsv//swe)

NATURAL SCIENCES  -- Biological Sciences -- Biophysics (hsv//eng)

Nyckelord

numerisk analys

machine learning

artificial neural networks

ensemble methods

feature extraction

ECG

combinatorial optimization

mean field annealing

Computer science

numerical analysis

systems

Datalogi

control

system

kontroll

Artificial intelligens

Artificiell intelligens

Fysicumarkivet A:2003:Haraldsson

Publikations- och innehållstyp

dok (ämneskategori)

vet (ämneskategori)