SwePub
Sök i LIBRIS databas

  Utökad sökning

WFRF:(Wählby Carolina 1974 )
 

Sökning: WFRF:(Wählby Carolina 1974 ) > (2020-2024) > Rapid development o...

LIBRIS Formathandbok  (Information om MARC21)
FältnamnIndikatorerMetadata
00006873naa a2200565 4500
001oai:DiVA.org:uu-439701
003SwePub
008210409s2021 | |||||||||||000 ||eng|
009oai:DiVA.org:mau-66098
0247 a https://urn.kb.se/resolve?urn=urn:nbn:se:uu:diva-4397012 URI
0247 a https://doi.org/10.1093/gigascience/giab0182 DOI
0247 a https://urn.kb.se/resolve?urn=urn:nbn:se:mau:diva-660982 URI
040 a (SwePub)uud (SwePub)mau
041 a engb eng
042 9 SwePub
072 7a ref2 swepub-contenttype
072 7a art2 swepub-publicationtype
1001 a Blamey, Benu Uppsala universitet,Avdelningen för beräkningsvetenskap,Tillämpad beräkningsvetenskap,Department of Information Technology, Uppsala University, Lägerhyddsvägen 2, 75237 Uppsala, Sweden4 aut0 (Swepub:mau)ao6425
2451 0a Rapid development of cloud-native intelligent data pipelines for scientific data streams using the HASTE Toolkit
264 c 2021-03-19
264 1b Oxford University Press,c 2021
338 a electronic2 rdacarrier
500 a Spjuth and Hellander shared senior authorship
520 a BACKGROUND: Large streamed datasets, characteristic of life science applications, are often resource-intensive to process, transport and store. We propose a pipeline model, a design pattern for scientific pipelines, where an incoming stream of scientific data is organized into a tiered or ordered "data hierarchy". We introduce the HASTE Toolkit, a proof-of-concept cloud-native software toolkit based on this pipeline model, to partition and prioritize data streams to optimize use of limited computing resources.FINDINGS: In our pipeline model, an "interestingness function" assigns an interestingness score to data objects in the stream, inducing a data hierarchy. From this score, a "policy" guides decisions on how to prioritize computational resource use for a given object. The HASTE Toolkit is a collection of tools to adopt this approach. We evaluate with 2 microscopy imaging case studies. The first is a high content screening experiment, where images are analyzed in an on-premise container cloud to prioritize storage and subsequent computation. The second considers edge processing of images for upload into the public cloud for real-time control of a transmission electron microscope.CONCLUSIONS: Through our evaluation, we created smart data pipelines capable of effective use of storage, compute, and network resources, enabling more efficient data-intensive experiments. We note a beneficial separation between scientific concerns of data priority, and the implementation of this behaviour for different resources in different deployment contexts. The toolkit allows intelligent prioritization to be `bolted on' to new and existing systems - and is intended for use with a range of technologies in different deployment scenarios.
650 7a NATURVETENSKAPx Data- och informationsvetenskapx Datavetenskap0 (SwePub)102012 hsv//swe
650 7a NATURAL SCIENCESx Computer and Information Sciencesx Computer Sciences0 (SwePub)102012 hsv//eng
653 a HASTE
653 a image analysis
653 a interestingness functions
653 a stream processing
653 a tiered storage
653 a Datavetenskap
653 a Computer Science
7001 a Toor, Salmanu Uppsala universitet,Tillämpad beräkningsvetenskap,Avdelningen för beräkningsvetenskap,Department of Information Technology, Uppsala University, Lägerhyddsvägen 2, 75237 Uppsala, Sweden4 aut0 (Swepub:uu)salto690
7001 a Dahlö, Martinu Uppsala universitet,Science for Life Laboratory, SciLifeLab,Institutionen för farmaceutisk biovetenskap,Ola Spjuth,Department of Pharmaceutical Biosciences, Uppsala University, Husargatan 3, 75237, Uppsala, Sweden;Science for Life Laboratory, Uppsala University, Husargatan 3, 75237 Uppsala, Sweden4 aut0 (Swepub:uu)marda709
7001 a Wieslander, Håkanu Uppsala universitet,Avdelningen för visuell information och interaktion,Bildanalys och människa-datorinteraktion,Department of Information Technology, Uppsala University, Lägerhyddsvägen 2, 75237 Uppsala, Sweden4 aut0 (Swepub:uu)hakwi402
7001 a Harrison, Philip J.u Uppsala universitet,Institutionen för farmaceutisk biovetenskap,Science for Life Laboratory, SciLifeLab,Spjuth,Department of Pharmaceutical Biosciences, Uppsala University, Husargatan 3, 75237, Uppsala, Sweden;Science for Life Laboratory, Uppsala University, Husargatan 3, 75237 Uppsala, Sweden4 aut0 (Swepub:uu)phiha876
7001 a Sintorn, Ida-Maria,d 1976-u Uppsala universitet,Bildanalys och människa-datorinteraktion,Avdelningen för visuell information och interaktion,Science for Life Laboratory, SciLifeLab,Department of Information Technology, Uppsala University, Lägerhyddsvägen 2, 75237 Uppsala, Sweden;Science for Life Laboratory, Uppsala University, Husargatan 3, 75237 Uppsala, Sweden;Vironova AB, Gävlegatan 22, 11330 Stockholm, Sweden4 aut0 (Swepub:uu)idsin102
7001 a Sabirsh, Alanu Advanced Drug Delivery, Pharmaceutical Sciences, R&D, AstraZeneca, Pepparedsleden 1, 43183 Mölndal, Sweden4 aut
7001 a Wählby, Carolina,c professor,d 1974-u Uppsala universitet,Bildanalys och människa-datorinteraktion,Science for Life Laboratory, SciLifeLab,Avdelningen för visuell information och interaktion,Department of Information Technology, Uppsala University, Lägerhyddsvägen 2, 75237 Uppsala, Sweden;Science for Life Laboratory, Uppsala University, Husargatan 3, 75237 Uppsala, Sweden4 aut0 (Swepub:uu)cli05194
7001 a Spjuth, Ola,c Professor,d 1977-u Uppsala universitet,Institutionen för farmaceutisk biovetenskap,Science for Life Laboratory, SciLifeLab,Spjuth,Department of Pharmaceutical Biosciences, Uppsala University, Husargatan 3, 75237, Uppsala, Sweden;Science for Life Laboratory, Uppsala University, Husargatan 3, 75237 Uppsala, Sweden4 aut0 (Swepub:uu)olspj499
7001 a Hellander, Andreasu Uppsala universitet,Avdelningen för beräkningsvetenskap,Tillämpad beräkningsvetenskap,Department of Information Technology, Uppsala University, Lägerhyddsvägen 2, 75237 Uppsala, Sweden4 aut0 (Swepub:uu)andhe896
7102 a Uppsala universitetb Avdelningen för beräkningsvetenskap4 org
7730 t GigaScienced : Oxford University Pressg 10:3, s. 1-14q 10:3<1-14x 2047-217X
8564 u https://doi.org/10.1093/gigascience/giab018y Fulltext
8564 u https://uu.diva-portal.org/smash/get/diva2:1542938/FULLTEXT01.pdfx primaryx Raw objecty fulltext:print
8564 u https://academic.oup.com/gigascience/article-pdf/10/3/giab018/36644703/giab018.pdf
8564 8u https://urn.kb.se/resolve?urn=urn:nbn:se:uu:diva-439701
8564 8u https://doi.org/10.1093/gigascience/giab018
8564 8u https://urn.kb.se/resolve?urn=urn:nbn:se:mau:diva-66098

Hitta via bibliotek

Till lärosätets databas

Kungliga biblioteket hanterar dina personuppgifter i enlighet med EU:s dataskyddsförordning (2018), GDPR. Läs mer om hur det funkar här.
Så här hanterar KB dina uppgifter vid användning av denna tjänst.

 
pil uppåt Stäng

Kopiera och spara länken för att återkomma till aktuell vy