RAVAS: interference-aware model selection and resource allocation for live edge video analytics

Rahmanian, AliUmeå universitet,Institutionen för datavetenskap,Umeå University (författare)

Numerous edge applications that rely on video analytics demand precise, low-latency processing of multiple video streams from cameras. When these cameras are mobile, such as when mounted on a car or a robot, the processing load on the shared edge GPU can vary considerably. Provisioning the edge with GPUs for the worst-case load can be expensive and, for many applications, not feasible. In this paper, we introduce RAVAS, a Real-time Adaptive stream Video Analytics System that enables efficient edge GPU sharing for processing streams from various mobile cameras. RAVAS uses Q-Learning to choose between a set of Deep Neural Network (DNN) models with varying accuracy and processing requirements based on the current GPU utilization and workload. RAVAS employs an innovative resource allocation strategy to mitigate interference during concurrent GPU execution. Compared to state-of-the-art approaches, our results show that RAVAS incurs 57% less compute overhead, achieves 41% improvement in latency, and 43% savings in total GPU usage for a single video stream. Processing multiple concurrent video streams results in up to 99% and 40% reductions in latency and overall GPU usage, respectively, while meeting the accuracy constraints.

Ali-Eldin Hassan, Ahmed,1985Chalmers University of Technology, Gothenburg, Sweden,Chalmers tekniska högskola(Swepub:cth)ahmhass (författare)
Kostentinos Tesfatsion, SelomeEricsson Research, Stockholm, Sweden,Telefonaktiebolaget L M Ericsson,Ericsson (författare)
Skubic, BjörnEricsson Research, Stockholm, Sweden,Telefonaktiebolaget L M Ericsson,Ericsson (författare)
Gustafsson, HaraldEricsson Research, Ericsson AB, Lund, Sweden,Telefonaktiebolaget L M Ericsson,Ericsson (författare)
Shenoy, PrashantUniversity of Massachusetts, Massachusetts, USA (författare)
Elmroth, ErikUmeå universitet,Institutionen för datavetenskap,Umeå University(Swepub:umu)erel0001 (författare)
Umeå universitetInstitutionen för datavetenskap (creator_code:org_t)

Ingår i:2023 IEEE/ACM Symposium on Edge Computing (SEC): Institute of Electrical and Electronics Engineers (IEEE), s. 27-39, s. 27-399798400701238
Ingår i:Proceedings - 2023 IEEE/ACM Symposium on Edge Computing, SEC 2023: Institute of Electrical and Electronics Engineers (IEEE), s. 27-39, s. 27-39

Av författaren/redakt...: Rahmanian, Ali; Ali-Eldin Hassan ...; Kostentinos Tesf ...; Skubic, Björn; Gustafsson, Hara ...; Shenoy, Prashant; visa fler...; Elmroth, Erik; visa färre...

Om ämnet

TEKNIK OCH TEKNOLOGIER: TEKNIK OCH TEKNO ...; och Elektroteknik oc ...; och Datorsystem

TEKNIK OCH TEKNOLOGIER: TEKNIK OCH TEKNO ...; och Elektroteknik oc ...; och Kommunikationssy ...

Kungliga biblioteket hanterar dina personuppgifter i enlighet med EU:s dataskyddsförordning (2018), GDPR. Läs mer om hur det funkar här.
Så här hanterar KB dina uppgifter vid användning av denna tjänst.