State Management in Apache Flink: Consistent Stateful Distributed Stream Processing

↓ Direkt till sidans innehåll
↓ Direkt till sidans sekundära innehåll (sidomenyn)

Sökning: WFRF:(Tzoumas Kostas) > (2017) > State Management in...

1 av 1
Föregående post
Nästa post
Till träfflistan

Carbone, ParisKTH,Programvaruteknik och Datorsystem, SCS (författare)

State Management in Apache Flink : Consistent Stateful Distributed Stream Processing

Artikel/kapitelEngelska2017

Förlag, utgivningsår, omfång ...

2017-08
ACM Digital Library,2017
printrdacarrier

Nummerbeteckningar

LIBRIS-ID:oai:DiVA.org:kth-220133
https://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-220133URI
https://doi.org/10.14778/3137765.3137777DOI

Kompletterande språkuppgifter

Språk:engelska
Sammanfattning på:engelska

Ingår i deldatabas

SwePubSwePub

Klassifikation

Ämneskategori:ref swepub-contenttype
Ämneskategori:art swepub-publicationtype

Anmärkningar

QC 20211026
Stream processors are emerging in industry as an apparatus that drives analytical but also mission critical services handling the core of persistent application logic. Thus, apart from scalability and low-latency, a rising system need is first-class support for application state together with strong consistency guarantees, and adaptivity to cluster reconfigurations, software patches and partial failures. Although prior systems research has addressed some of these specific problems, the practical challenge lies on how such guarantees can be materialized in a transparent, non-intrusive manner that relieves the user from unnecessary constraints. Such needs served as the main design principles of state management in Apache Flink, an open source, scalable stream processor.We present Flink’s core pipelined, in-flight mechanism which guarantees the creation of lightweight, consistent, distributed snapshots of application state, progressively, without impacting continuous execution. Consistent snapshots cover all needs for system reconfiguration, fault tolerance and version management through coarse grained rollback recovery. Application state is declared explicitly to the system, allowing efficient partitioning and transparent commits to persistent storage. We further present Flink’s backend implementations and mechanisms for high availability, external state queries and output commit. Finally, we demonstrate how these mechanisms behave in practice with metrics and large deployment insights exhibiting the low performance trade-offs of our approach and the general benefits of exploiting asynchrony in continuous, yet sustainable system deployments.

Ämnesord och genrebeteckningar

TEKNIK OCH TEKNOLOGIER Elektroteknik och elektronik Datorsystem hsv//swe
ENGINEERING AND TECHNOLOGY Electrical Engineering, Electronic Engineering, Information Engineering Computer Systems hsv//eng
stream processing
data management
computer systems
databases
data processing
data science
big data
Datalogi
Computer Science

Biuppslag (personer, institutioner, konferenser, titlar ...)

Ewen, Stephandata Artisans (författare)
Fóra, GyulaKing Digital Entertainment Limited (författare)
Haridi, Seif,1953-KTH,Programvaruteknik och Datorsystem, SCS(Swepub:kth)u1j6y2uf (författare)
Richter, Stefandata Artisans (författare)
Tzoumas, Kostasdata Artisans (författare)
KTHProgramvaruteknik och Datorsystem, SCS (creator_code:org_t)

Sammanhörande titlar

Ingår i:Proceedings of the VLDB Endowment: ACM Digital Library10, s. 1718-17292150-8097

Internetlänk

Hitta via bibliotek

Proceedings of the VLDB Endowment (Sök värdpublikationen i LIBRIS)

Till lärosätets databas

1 av 1
Föregående post
Nästa post
Till träfflistan

Hitta mer i SwePub

Av författaren/redakt...: Carbone, Paris; Ewen, Stephan; Fóra, Gyula; Haridi, Seif, 19 ...; Richter, Stefan; Tzoumas, Kostas

Om ämnet

TEKNIK OCH TEKNOLOGIER: TEKNIK OCH TEKNO ...; och Elektroteknik oc ...; och Datorsystem

Artiklar i publikationen: Proceedings of t ...

Av lärosätet: Kungliga Tekniska Högskolan

Sök utanför SwePub

Sök vidare i:: Google; Google Book Search; Google Scholar

Kungliga biblioteket hanterar dina personuppgifter i enlighet med EU:s dataskyddsförordning (2018), GDPR. Läs mer om hur det funkar här.
Så här hanterar KB dina uppgifter vid användning av denna tjänst.

LIBRIS.kb.se