Scalable Analysis of Large Datasets in Life Sciences

• We are experiencing a deluge of data in all fields of scientific and business research, particularly in the life sciences, due to the development of better instrumentation and the rapid advancements that have occurred in information technology in recent times. There are major challenges when it comes to handling such large amounts of data. These range from the practicalities of managing these large volumes of data, to understanding the meaning and practical implications of the data.In this thesis, I present parallel methods to efficiently manage, process, analyse and visualize large sets of data from several life sciences fields at a rapid rate, while building and utilizing various machine learning techniques in a novel way. Most of the work is centred on applying the latest Big Data Analytics frameworks for creating efficient virtual screening strategies while working with large datasets. Virtual screening is a method in cheminformatics used for Drug discovery by searching large libraries of molecule structures. I also present a method for the analysis of large Electroencephalography data in real time. Electroencephalography is one of the main techniques used to measure the brain electrical activity.First, I evaluate the suitability of Spark, a parallel framework for large datasets, for performing parallel ligand-based virtual screening. As a case study, I classify molecular library using prebuilt classification models to filter out the active molecules. I also demonstrate a strategy to create cloud-ready pipelines for structure-based virtual screening. The major advantages of this strategy are increased productivity and high throughput. In this work, I show that Spark can be applied to virtual screening, and that it is, in general, an appropriate solution for large-scale parallel pipelining. Moreover, I illustrate how Big Data analytics are valuable in working with life sciences datasets.Secondly, I present a method to further reduce the overall time of the structured-based virtual screening strategy using machine learning and a conformal-prediction-based iterative modelling strategy. The idea is to only dock those molecules that have a better than average chance of being an inhibitor when searching for molecules that could potentially be used as drugs. Using machine learning models from this work, I built a web service to predict the target profile of multiple compounds against ready-made models for a list of targets where 3D structures are available. These target predictions can be used to understand off-target effects, for example in the early stages of drug discovery projects.Thirdly, I present a method to detect seizures in long term Electroencephalography readings - this method works in real time taking the ongoing readings in as live data streams. The method involves tackling the challenges of real-time decision-making, storing large datasets in memory and updating the prediction model with newly produced data at a rapid rate. The resulting algorithm not only classifies seizures in real time, it also learns the threshold in real time. I also present a new feature "top-k amplitude measure" for classifying which parts of the data correspond to seizures. Furthermore, this feature helps to reduce the amount of data that needs to be processed in the subsequent steps.

• Vi upplever just nu en flodvåg av data inom både vetenskaplig forskning och färetagsdriven utveckling. Detta gäller framfärallt inom livsvetenskap på grund av utveckling av bättre instrument och framsteg inom informationsteknologin under de senaste åren. Det finns dock betydande utmaningar med hanteringen av sådana datamängder som sträcker sig från praktisk hantering av de stora datavolymerna till färståelse av betydelsen och de praktiska implikationerna av dessa data.I den här avhandlingen presenterar jag metoder fär att snabbt och effektivt hantera, behandla, analysera och visualisera stora biovetenskapliga datamängder. Stärre delen av arbetet är fokuserat på att tillämpa de senaste Big Data ramverken fär att på så sätt skapa effektiva verktyg fär virtuell screening, vilket är en metod som används fär att säka igenom stora mängder kemiska strukturer fär läkemedelsutvecklings. Vidare presenterar jag en metod fär analys av stora mängder elektroencefalografidata (EEG) i realtid, vilken är en av de huvudsakliga metoderna fär att mäta elektrisk hjärnaktivitet.Färst utvärderar jag lämpligheten att med Spark (ett parallellt ramverk fär stora datamängder) genomfära parallell ligand-baserad virtuell screening. Jag applicerar metoden fär att klassificera samlingar med molekyler med hjälp av färtränade modeller fär att selektera de aktiva molekylerna. Jag demonstrerar även en strategi fär att skapa molnanpassade fläden fär strukturbaserad virtuell screening. Den huvudsakliga färdelen med den här strategin är äkad produktivitet och häg hastighet i analysen. I det här arbetet visar jag att Spark kan användas fär virtuell screening och att det även i allmänhet är en lämplig läsning fär parallell analys av stora mängder data. Dessutom visar jag genom ett exempel att Big Data analys kan vara värdefull vid arbete med biovetenskapliga data.I den andra delen av mitt arbete presenterar jag en metod som ytterligare minskar tiden fär den strukturbaserade virtuella screening genom användning av maskininlärning och en iterativ modelleringsstrategi baserad på Conformal Prediction. Syftet är att endast docka de molekyler som har en hägre sannolikhet att binda till ett målprotein, vid säkning efter molekyler som potentiellt kan användas som läkemedelskandidater. Med användning av maskininlärningsmodellerna från detta arbete har jag byggt en webbtjänst fär att färutsäga en profil av en molekyls olika interaktioner med olika målprotein. Dessa prediktioner kan användas fär att indikera sekundära interaktioner i tidiga skeden av läkemedelsutvecklingen.I den tredje delen presenterar jag metoder fär att detektera anfall med långtidsEEG - den här metoden fungerar i realtid genom att ta pågående mätningar som datasträmmar. Metoden mäter utmaningarna med att fatta beslut i realtid att lagra stora mängder data i datorns minne och uppdatera färutsägelsemodellen ny data som produceras i snabb takt. Den resulterande algoritmen klassificerar inte bara anfall i realtid, den lär sig också gränsvärdet i realtid. Jag presenterar också ett nytt mått, “topp-k amplitudmått” fär att klassificera vilka delar of data som motsvarar anfall. Utäver detta hjälper måttet till att minska mängden data som behäver behandlas i efterfäljande steg.

Ämnesord

NATURVETENSKAP  -- Data- och informationsvetenskap -- Datavetenskap (hsv//swe)

NATURAL SCIENCES  -- Computer and Information Sciences -- Computer Sciences (hsv//eng)

Nyckelord

Big Data

Apache Spark

Virtual Screening

EEG

Cloud Computing

Life Sciences

Machine Learning

Computer Science

Datalogi

Publikations- och innehållstyp

vet (ämneskategori)

dok (ämneskategori)