Cutty: Aggregate Sharing for User-Defined Windows

↓ Direkt till sidans innehåll
↓ Direkt till sidans sekundära innehåll (sidomenyn)

Sökning: onr:"swepub:oai:DiVA.org:kth-198942" > Cutty :

1 av 1
Föregående post
Nästa post
Till träfflistan

Carbone, ParisKTH,Programvaruteknik och Datorsystem, SCS (författare)

Cutty : Aggregate Sharing for User-Defined Windows

Artikel/kapitelEngelska2016

Förlag, utgivningsår, omfång ...

2016-10-24
New York, NY, USA :Association for Computing Machinery (ACM),2016
printrdacarrier

Nummerbeteckningar

LIBRIS-ID:oai:DiVA.org:kth-198942
https://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-198942URI
https://doi.org/10.1145/2983323.2983807DOI

Kompletterande språkuppgifter

Språk:engelska
Sammanfattning på:engelska

Ingår i deldatabas

SwePubSwePub

Klassifikation

Ämneskategori:ref swepub-contenttype
Ämneskategori:kon swepub-publicationtype

Anmärkningar

QC 20170130
Aggregation queries on data streams are evaluated over evolving and often overlapping logical views called windows. While the aggregation of periodic windows were extensively studied in the past through the use of aggregate sharing techniques such as Panes and Pairs, little to no work has been put in optimizing the aggregation of very common, non-periodic windows. Typical examples of non-periodic windows are punctuations and sessions which can implement complex business logic and are often expressed as user-defined operators on platforms such as Google Dataflow or Apache Storm. The aggregation of such non-periodic or user-defined windows either falls back to expensive, best-effort aggregate sharing methods, or is not optimized at all.In this paper we present a technique to perform efficient aggregate sharing for data stream windows, which are declared as user-defined functions (UDFs) and can contain arbitrary business logic. To this end, we first introduce the concept of User-Defined Windows (UDWs), a simple, UDF-based programming abstraction that allows users to programmatically define custom windows. We then define semantics for UDWs, based on which we design Cutty, a low-cost aggregate sharing technique. Cutty improves and outperforms the state of the art for aggregate sharing on single and multiple queries. Moreover, it enables aggregate sharing for a broad class of non-periodic UDWs. We implemented our techniques on Apache Flink, an open source stream processing system, and performed experiments demonstrating orders of magnitude of reduction in aggregation costs compared to the state of the art.

Ämnesord och genrebeteckningar

NATURVETENSKAP Data- och informationsvetenskap Datavetenskap hsv//swe
NATURAL SCIENCES Computer and Information Sciences Computer Sciences hsv//eng
Computer circuits
Computer programming
Data communication systems
Knowledge management
Open source software
Open systems
Semantics
Computer Science
Datalogi

Biuppslag (personer, institutioner, konferenser, titlar ...)

Traub, Jonas (författare)
Katsifodimo, Asterios (författare)
Haridi, Seif,1953-KTH,Programvaruteknik och Datorsystem, SCS(Swepub:kth)u1j6y2uf (författare)
Mark, Volker (författare)
KTHProgramvaruteknik och Datorsystem, SCS (creator_code:org_t)

Sammanhörande titlar

Ingår i:Proceedings of the 25th ACM International on Conference on Information and Knowledge ManagementNew York, NY, USA : Association for Computing Machinery (ACM), s. 1201-12109781450340731

Internetlänk

Hitta via bibliotek

Proceedings of the 25th ACM International on Conference on Information and Knowl... (Sök värdpublikationen i LIBRIS)

Till lärosätets databas

1 av 1
Föregående post
Nästa post
Till träfflistan

Hitta mer i SwePub

Av författaren/redakt...: Carbone, Paris; Traub, Jonas; Katsifodimo, Ast ...; Haridi, Seif, 19 ...; Mark, Volker

Om ämnet

NATURVETENSKAP: NATURVETENSKAP; och Data och informa ...; och Datavetenskap

Artiklar i publikationen: Proceedings of t ...

Av lärosätet: Kungliga Tekniska Högskolan

Sök utanför SwePub

Sök vidare i:: Google; Google Book Search; Google Scholar

Kungliga biblioteket hanterar dina personuppgifter i enlighet med EU:s dataskyddsförordning (2018), GDPR. Läs mer om hur det funkar här.
Så här hanterar KB dina uppgifter vid användning av denna tjänst.

LIBRIS.kb.se