DQSOps: Data Quality Scoring Operations Framework for Data-Driven Applications

↓ Direkt till sidans innehåll
↓ Direkt till sidans sekundära innehåll (sidomenyn)

Sökning: id:"swepub:oai:DiVA.org:kau-95940" > DQSOps :

1 av 1
Föregående post
Nästa post
Till träfflistan

Bayram, FirasKarlstads universitet,Institutionen för matematik och datavetenskap (from 2013) (författare)

DQSOps : Data Quality Scoring Operations Framework for Data-Driven Applications

Artikel/kapitelEngelska2023

Förlag, utgivningsår, omfång ...

Association for Computing Machinery (ACM),2023
electronicrdacarrier

Nummerbeteckningar

LIBRIS-ID:oai:DiVA.org:kau-95940
https://urn.kb.se/resolve?urn=urn:nbn:se:kau:diva-95940URI
https://doi.org/10.1145/3593434.3593445DOI

Kompletterande språkuppgifter

Språk:engelska
Sammanfattning på:engelska

Ingår i deldatabas

SwePubSwePub

Klassifikation

Ämneskategori:ref swepub-contenttype
Ämneskategori:kon swepub-publicationtype

Anmärkningar

Data quality assessment has become a prominent component in the successful execution of complex data-driven artificial intelligence (AI) software systems. In practice, real-world applications generate huge volumes of data at speeds. These data streams require analysis and preprocessing before being permanently stored or used in a learning task. Therefore, significant attention has been paid to the systematic management and construction of high-quality datasets. Nevertheless, managing voluminous and high-velocity data streams is usually performed manually (i.e. offline), making it an impractical strategy in production environments. To address this challenge, DataOps has emerged to achieve life-cycle automation of data processes using DevOps principles. However, determining the data quality based on a fitness scale constitutes a complex task within the framework of DataOps. This paper presents a novel Data Quality Scoring Operations (DQSOps) framework that yields a quality score for production data in DataOps workflows. The framework incorporates two scoring approaches, an ML prediction-based approach that predicts the data quality score and a standard-based approach that periodically produces the ground-truth scores based on assessing several data quality dimensions. We deploy the DQSOps framework in a real-world industrial use case. The results show that DQSOps achieves significant computational speedup rates compared to the conventional approach of data quality scoring while maintaining high prediction performance.

Ämnesord och genrebeteckningar

NATURVETENSKAP Data- och informationsvetenskap Programvaruteknik hsv//swe
NATURAL SCIENCES Computer and Information Sciences Software Engineering hsv//eng
NATURVETENSKAP Data- och informationsvetenskap Datavetenskap hsv//swe
NATURAL SCIENCES Computer and Information Sciences Computer Sciences hsv//eng
TEKNIK OCH TEKNOLOGIER Elektroteknik och elektronik Datorsystem hsv//swe
ENGINEERING AND TECHNOLOGY Electrical Engineering, Electronic Engineering, Information Engineering Computer Systems hsv//eng
Data reduction
Quality control
Automated data
Automated data scoring
Data assessment
Data quality; Data quality dimensions
Data stream
Data-driven applications
Dataops
Mutation testing
Real-world
Life cycle
Computer Science
Datavetenskap

Biuppslag (personer, institutioner, konferenser, titlar ...)

Ahmed, Bestoun S.,1982-Karlstads universitet,Institutionen för matematik och datavetenskap (from 2013)(Swepub:kau)bestalbe (författare)
Hallin, ErikUddeholms AB, Sweden (författare)
Engman, AntonUddeholms AB, Sweden (författare)
Karlstads universitetInstitutionen för matematik och datavetenskap (from 2013) (creator_code:org_t)

Sammanhörande titlar

Ingår i:EASE '23: Proceedings of the 27<sup>th</sup> International Conference on Evaluation and Assessment in Software Engineering: Association for Computing Machinery (ACM), s. 32-419798400700446

Internetlänk

Hitta via bibliotek

EASE '23: Proceedings of the 27<sup>th</sup> International Conference on Evaluat... (Sök värdpublikationen i LIBRIS)

Till lärosätets databas

1 av 1
Föregående post
Nästa post
Till träfflistan

Hitta mer i SwePub

Av författaren/redakt...: Bayram, Firas; Ahmed, Bestoun S ...; Hallin, Erik; Engman, Anton

Om ämnet

NATURVETENSKAP: NATURVETENSKAP; och Data och informa ...; och Programvarutekni ...

NATURVETENSKAP: NATURVETENSKAP; och Data och informa ...; och Datavetenskap

TEKNIK OCH TEKNOLOGIER: TEKNIK OCH TEKNO ...; och Elektroteknik oc ...; och Datorsystem

Artiklar i publikationen: EASE '23: Procee ...

Av lärosätet: Karlstads universitet

Sök utanför SwePub

Sök vidare i:: Google; Google Book Search; Google Scholar

Kungliga biblioteket hanterar dina personuppgifter i enlighet med EU:s dataskyddsförordning (2018), GDPR. Läs mer om hur det funkar här.
Så här hanterar KB dina uppgifter vid användning av denna tjänst.

LIBRIS.kb.se