Computational Approaches to Interaction-Shaping Robotics

• The goal of this thesis is to develop computational approaches generating autonomous social robot behaviors that can interact with multiple people and dynamically adapt to shape their interactions. Positive interactions between people impact their well-being and are essential to a fulfilled and healthy life. In this thesis, we coin the term Interaction-Shaping Robotics (ISR) as the study of robots that shape interactions between other agents, e.g., people, and capture previous efforts from the Human-Robot Interaction (HRI) community and emphasize the potential positive or negative, intended or unintended effects of these robots. Previous efforts have explored phenomena that indicate interaction-shaping capabilities of social robots, however, how to de-velop autonomous social robots that can adapt to positively shape interactions between people based on perceived human-human dynamics remains largely unexplored. In this thesis, we contribute to the technical advancement of social interaction-shaping robots by developing heuristics and machine learning methods and demonstrating their effectiveness in studies with real users. We focus on shaping behaviors, i.e., balancing people’s participation in interactions to foster inclusion among newly-arrived and already present children in a music game and support adult second language learners and native speakers in a language game. Especially when leveraging learning techniques, an effective interaction-shaping robot needs to act socially appropriately. We design heuristics that are appropriate by design and establish the feasibility of autonomy for interaction-shaping robots through minimal perception of group dynamics and simple behavior rules. Allowing for learning behaviors for more complex interactions, we provide a formal definition of the problem of interaction-shaping and show that using imitation learning (IL) or offline reinforcement learning (RL) based on previously collected HRI data is feasible without compromising the interaction. To meet the challenge of acting appropriately, we explore techniques applied prior to deployment when learning offline from data and shielding - a technique from the safe RL community - to eventually allow for learning during deployment in interaction. Overall, this thesis demonstrates the feasibility and promise of computational methods for autonomous interaction-shaping robots and demonstrates that these methods generate effective and appropriate robot behavior when balancing participation to ensure the inclusion of all human group members.

• Målet med denna avhandling är att utveckla beräkningsbaserade meto-der för att generera autonoma sociala robotbeteenden som kan interagera med flera människor och dynamiskt anpassa sig för att forma deras interak-tioner. Positiva interaktioner mellan människor påverkar deras välbefinnande och är avgörande för ett meningsfullt och hälsosamt liv. I denna avhandling myntar vi termen "Interaction-Shaping Robotics"(ISR) som studerandet av robotar som formar interaktioner mellan andra aktörer, t.ex. människor, och sammanställer tidigare studier inom människ-robot-interaktion (eng. Human-Robot Interaction, HRI) samt betonar den potentiella positiva eller negativa, avsiktliga eller oavsiktliga, inverkan av dessa robotar. Tidigare studier har utforskat fenomen som indikerar på interaktionsformande förmågor hos sociala robotar, men utvecklandet av autonoma sociala robotar som kan anpassa sig för att positivt forma interaktioner mellan människor baserat på observerad människa-till-människa dynamik är fortfarande till stor del outforskat. I denna avhandling bidrar vi till den tekniska utvecklingen av sociala interaktionsformande robotar genom att utveckla heuristiker och maskininlärningsmetoder och demonstrera deras effektivitet i studier med användare. Vi fokuserar på att forma beteenden, d.v.s. balansera människors deltagande i interaktioner för att främja inkludering bland nyanlända och redan närvarande barn i ett musikspel och stödja vuxna andraspråksinlärare och modersmålstalare i ett språkspel. Särskilt när man utnyttjar maskininlärningsmetoder, behöver en effektiv interaktionsformande robot agera socialt korrekt. Vi designar heuristiker som är lämpliga by design” och fastställer genomförbarheten av autonomi för interaktionsformande robotar genom minimal perception av gruppdynamik och enkla beteenderegler. Genom att tillåta inlärning av beteenden för mer komplexa interaktioner, tillhandahåller vi en formell definition av problemet av interaktionsformande och visar att användning av imitationsinlärning (eng. imitation learning, IL) off-line förstärkningsinlärning (eng. reinforcement learning, RL), baserat på tidigare insamlad HRI-data är genomförbart utan att kompromissa med interaktionen. För att möta utmaningen att agera korrekt, utforskar vi tekniker som tillämpas innan implementering när man lär sig off-line från data och ”shielding” - en teknik inom säker RL - för att så småningom möjliggöra inlärning under implementering vid interaktion. Sammanfattningsvis visar denna avhandling genomförbarheten och utsikten av beräkningsbaserade metoder för autonoma interaktionsformande robotar och demonstrerar att dessa metoder genererar effektiva och lämpliga robotbeteenden när de balanserar deltagande för att säkerställa inkludering av alla mänskliga gruppmedlemmar.

Ämnesord

NATURVETENSKAP  -- Data- och informationsvetenskap -- Datorseende och robotik (hsv//swe)

NATURAL SCIENCES  -- Computer and Information Sciences -- Computer Vision and Robotics (hsv//eng)

Nyckelord

Human-robot interaction

social robotics

behavior generation

multiparty interaction

human-human dynamics

machine learning

Datalogi

Computer Science

Publikations- och innehållstyp

vet (ämneskategori)

dok (ämneskategori)