Mobile Network Operator Collaboration using Deep Reinforcement Learning

• Fifth Generation Mobile Networks (5G) are designed to offer connectivity services for new types of applications that not only address the needs of private individuals, but also those of enterprise customers. Network requirements of such applications often transcend the capabilities of a single Mobile Network Operator (MNO). In such cases, the ability of MNOs to collaborate in order to provide connectivity services is essential. Existing methods for establishing collaborations between MNOs are reactive in nature and are set up using a Business Support System (BSS) that involves human decision-making. In contrast, this dissertation presents a proactive approach, which, in addition to automating collaboration establishment, uses machine learning to predict future requirements for connectivity services, and dynamically optimizes resource allocation through selection of collaborating MNOs.The analysis begins by investigating the possibility for mobile networks to support the requirements of mission-critical enterprise applications. With assistance from an automotive industry partner, a remote vehicle driving application (teleoperation) was selected and the network's requirements were quantified in terms of throughput and latency. Existing Quality of Service (QoS) mechanisms in an already-deployed mobile network were used to set up the corresponding policies, and then the performance of the connectivity service was evaluated. The evaluation is conducted within the coverage area of a single radio base station and considered a single vehicle communicating with a remote driving station. The results show that it is possible even for the current generation of mobile networks to support this type of mission-critical application.Following this quantitative assessment, wider deployments of the teleoperation application were considered, when the application's network requirements could not always be served by a single MNO. This dissertation uses deep Reinforcement Learning (RL), to build models that predict future network requirements and proactively suggest an MNO collaboration that fulfills these requirements. Experiments are conducted using two different approaches. First, a single-agent approach, wherein decisions for collaborations are provided by the model of an MNO-independent agent. In this case, all MNO share the same fairness-based policy of willingness to collaborate as long as they equally split connectivity service provisioning with their counterparts. Second, a multi-agent approach, wherein every MNO has its own agent following its own policy enforcing the terms to collaborate with other MNO. Both approaches are compared against the current state of predetermined collaboration structures or reactive collaboration approaches based on current - and unpredicted - connectivity service(s). The proposed approach is shown to provide up to a two-fold improvement in connectivity service requirement coverage over the state of art. Another benefit is resource optimization, as MNOs' capabilities  are better matched to connectivity service requirements. This resource optimization can contribute to a more sustainable growth of mobile network expansion. Finally, democratization of collaborations allows for new revenue streams for smaller MNO which do not have the capacity or resources to establish collaborations in the traditional way. Although a teleoperation application and MNO mobile networks are used for the evaluation, the method and findings are expected to be applicable to a broader range of applications across different types of wireless networks.

• Femte generationens mobila nätverk (5G) är utformade för att tillhandahålla nätverkstjänster för nya typer av applikationer som ska tillgodose behoven hos både privatpersoner och företagskunder. De krav på nätverkstjänster som sådana applikationer ställer överskrider ofta kapaciteten hos en enda mobilnätoperatör (MNO). Det blir då avgörande att flera MNO:er har förmågan att samarbeta för att tillsammans uppfylla de krav som ställs. Befintliga metoder för att etablera samarbeten mellan MNO:er är reaktiva till sin natur och ställs in med hjälp av ett business support system (BSS) som involverar mänskligt beslutsfattande. I denna avhandling presenteras ett proaktivt tillvägagångssätt, vilket för att möjliggöra automatisering av samarbeten, dessutom använder maskininlärning för att förutsäga applikationers framtida krav och optimerar resursallokeringen dynamiskt genom urval av samarbetsvilliga MNO:er. Analysen inleds med att undersöka möjligheten för mobilnät att leva upp till de krav som ställts av tillämpningen. I vårt fall valdes som tillämpning, i samarbete med en partner i bilindustrin, en fjärrstyrningsapplikation för fordon. Kraven på nätverket kvantifierades i termer av genomströmning (eng. throughput) och latens. Befintliga quality of service (QoS)-mekanismer i ett redan existerande mobilt nätverk användes för att ställa in motsvarande policyer, varpå nätverksstjänsten prestandan utvärderades. Utvärderingen genomförs inom den geografiska räckvidden för en enstaka radiobasstation och beaktar ett enstaka fordon som kommuniceras med, och fjärrstyrs från, en avlägset belägen kommandocentral. Resultaten visar att det är möjligt att implementera den här sortens verksamhetskritiska applikationer även i nuvarande generationens mobila 5G-nät.Efter denna kvantitativa bedömning, genomfördes en mer omfattande studie där nätverkskraven inte kunde garanteras med bara en enstaka MNO. I avhandlingen används djup reinforcement learning (RL), för att bygga modeller som förutser applikationers framtida nätverkskrav och föreslår proaktivt MNO-samarbeten som uppfyller dessa. Experiment genomfördes med två olika tillvägagångssätt. Först ett tillvägagångssätt där beslut om samarbeten tillhandahålls av en MNO-oberoende agent. I detta fall använder alla MNO:er samma policy för rättvist samarbete, förutsatt att de delar upp tillhandahållandet av anslutningstjänster mellan varandra. För det andra fallet används en multi-agent-strategi, där varje MNO har sin egen agent som följer en egen policy för när de ska samarbeta med andra MNO:er. Båda metoderna jämförs med en metod baserad på förutbestämda samarbetsstrukturer samt med en reaktiv samarbetsmetod baserad på aktuella nätverkskrav. Vårt föreslagna tillvägagångssätt visar sig ge en tvåfaldig förbättring i prestanda jämfört med andra tillgängliga metoder, med avseende på QoS. En annan fördel är resursoptimering, eftersom flera MNO:er möjliggör bättre anpassning av nätverkstjänster. Denna resursoptimering kan i sin tur bidra till en mer hållbar tillväxt av mobilnät. Slutligen möjliggör denna demokratisering av samarbeten nya intäktsströmmar för mindre MNO:er som saknar kapacitet eller resurser för att etablera samarbeten på traditionella sätt. Även om en teleoperationsapplikation och Third Generation Partnership Project (3GPP)-mobilnätverk används i utvärderingen förväntas den presenterade metoden och resultaten kunna tillämpas på ett bredare spektrum av applikationer i olika typer av trådlösa nätverk.

Ämnesord

TEKNIK OCH TEKNOLOGIER  -- Maskinteknik (hsv//swe)

ENGINEERING AND TECHNOLOGY  -- Mechanical Engineering (hsv//eng)

Nyckelord

Machine Design

Maskinkonstruktion

Publikations- och innehållstyp

vet (ämneskategori)

dok (ämneskategori)