| 1. |
|
|
| 2. |
- Aigner, Wolfgang, et al.
(författare)
-
Workshop on Audio-Visual Analytics
- 2022
-
Ingår i: PROCEEDINGS OF THE WORKING CONFERENCE ON ADVANCED VISUAL INTERFACES AVI 2022. - New York, NY, USA : ASSOC COMPUTING MACHINERY. - 9781450397193
-
Konferensbidrag (refereegranskat)abstract
- In their daily lives, people use more than one sense to perceive and interpret their environment. Likewise, audio-visual interfaces can support human data analysts better than interfaces relying on just one sense. While the research communities of sonification and visualization have both carried out extensive research on the auditory and visual representation of data, comparatively little is known about their systematic and complementary combination for data analysis. After two workshops at Audio Mostly 2021 and IEEE VIS, this 3rd workshop on audio-visual analytics continues building a community of researchers interested in combining visualization and sonification.
|
|
| 3. |
- Diapoulis, Georgios, 1981
(författare)
-
Expression in Live Coding: Gestural Interaction for Machine Musicianship
- 2023
-
Doktorsavhandling (övrigt vetenskapligt/konstnärligt)abstract
- This thesis is centered on the performance practice of musical live coding, which can be described as on-the-fly decision-making for computer music performance and blurs the lines between programming languages and computer interfaces. I specifically focus on live coding as a human activity based on serial skilled actions, and I discuss how we can interact gesturally with interfaces that are modified dynamically. I develop a system to address how to live code using continuous gestural interactions, and examine an unusual strategy of information processing which centers on a bottom-up approach. I then present a theoretical account of sensorimotor control in live coding, which examines pre-reflective processes during performance. Two more theoretical contributions address bodily gestures in various performance systems by presenting a conceptual framework, and an additional study presents a conceptual tool for developing agent-based systems in live coding. Observations of performance practices and systems are employed throughout the thesis to examine how different practitioners may use the systems, and what conceptual abstractions can be inferred. The question of how to facilitate creativity is discussed from both a theoretical and a practical perspective, touching on how the resultant newly produced knowledge may be transferred to practitioners. A particular focus is on live performance, visualization, and both human and machine listening. The thesis findings present (i) visual and conceptual representations of live coding validated by cognitive mechanisms and cognitive paradigms, (ii) extensive reflections on practice and systemic modes of knowing, (iii) technical contributions for building of performance systems and performance structural analysis and (iv) theoretical accounts that contribute to the live coding literature. This work address both human modalities – audition, motor skills – and system modalities – notation, and the presence of software agents. I present a conception of various kinds of interactivity variations , a term used to designate various manners of gestural interaction that may arise in performance systems. I argue that musical live coding should incorporate radical experimentation with craft practices, pointing to a future practice wherein risk becomes clearly apparent in our gestural expressions.
|
|
| 4. |
- Frid, Emma, 1988-, et al.
(författare)
-
Perceptual Evaluation of Blended Sonification of Mechanical Robot Sounds Produced by Emotionally Expressive Gestures : Augmenting Consequential Sounds to Improve Non-verbal Robot Communication
- 2021
-
Ingår i: International Journal of Social Robotics. - : Springer Nature. - 1875-4791 .- 1875-4805.
-
Tidskriftsartikel (refereegranskat)abstract
- This paper presents two experiments focusing on perception of mechanical sounds produced by expressive robot movement and blended sonifications thereof. In the first experiment, 31 participants evaluated emotions conveyed by robot sounds through free-form text descriptions. The sounds were inherently produced by the movements of a NAO robot and were not specifically designed for communicative purposes. Results suggested no strong coupling between the emotional expression of gestures and how sounds inherent to these movements were perceived by listeners; joyful gestures did not necessarily result in joyful sounds. A word that reoccurred in text descriptions of all sounds, regardless of the nature of the expressive gesture, was “stress”. In the second experiment, blended sonification was used to enhance and further clarify the emotional expression of the robot sounds evaluated in the first experiment. Analysis of quantitative ratings of 30 participants revealed that the blended sonification successfully contributed to enhancement of the emotional message for sound models designed to convey frustration and joy. Our findings suggest that blended sonification guided by perceptual research on emotion in speech and music can successfully improve communication of emotions through robot sounds in auditory-only conditions.
|
|
| 5. |
- Larsson, Clara, et al.
(författare)
-
Visualizing Invisible Environmental Data in VR: Development and Implementation of Design Concepts for Communicating Urban Air Quality in a Virtual City Model
- 2023
-
Ingår i: Communications in Computer and Information Science Volume 1819 CCIS, Pages 253 - 267. - : Springer. - 1865-0929 .- 1865-0937. ; , s. 253-267
-
Konferensbidrag (refereegranskat)abstract
- As cities continue to grow, the desire to combine densification with sustainability and greenery may present a challenge to air quality, resulting from reduced ventilation caused by dense buildings and vegetation. To support the careful urban planning required, effective and interactive tools that can visualize and communicate information about air quality to stakeholders are essential. In a transdisciplinary research project aiming to explore such visualizations a prototype pedagogical virtual reality tool was developed, allowing users to explore the impact of aspects of the built environment upon urban air quality. The tool was evaluated with adolescents in upper secondary school through interviews and observations, as well as with the general public through a questionnaire study. This paper provides insights, potential solutions, and initial assessments relevant to data visualization in 3D and immersive analytics in urban planning and stakeholder communication. Identified challenges include difficulties with color association and data distinguishability, and as well as tool complexity relating to the many features requested by experts involved in a transdisciplinary project.
|
|
| 6. |
- Löwstedt, Martin, 1982, et al.
(författare)
-
Digitaliseringsdrivna värden och affärsmodeller i samhällsbyggnadssektorns ekosystem: En detaljerad framtidsspaning
- 2022
-
Rapport (övrigt vetenskapligt/konstnärligt)abstract
- I denna slutrapport avrapporteras det strategiska projektet Digitaliseringsdrivna värden och affärsmodeller i samhällsbyggnadssektorns ekosystem: En detaljerad framtidsspaning. Studiens utgångspunkt är att det saknats insikter kring hur digitala tekniker kan komma att förändra värdeskapande och affärslogiker i samhällsbyggnadssektorn. Syftet med studien är därmed att via ett ekosystemsperspektiv kartlägga hur värde kopplat till digitalisering skapas idag av aktörerna i samhällsbyggnadssektorns traditionella värdekedja och utifrån det identifiera, diskutera och katalysera framtida omställningar av digitaliseringsdrivna värden och affärsmodeller genom en detaljerad framtidsspaning. Totalt har 46 företag och organisationer bidragit till studien med sina perspektiv, antingen via intervjuer, referensgruppsmöte, och/eller deltagande i scenarioworkshop. Fokus i datainsamlingen är att ta fram detaljerade framtidsspaningar kring digital transformation i samhällsbyggnadssektorn. Olika digitala tekniker förväntas spela en mycket mer central roll och generera ett förändrat värdeskapande. Därmed förändras även ekosystemet i sin sammansättning och interaktionsmönster. Studien identifierar tre aktörskategorier med olika affärsmodellslogiker inom ramen för digital transformation. ’Samhällsbyggarnas’ affärsmodellslogiker bygger på att digitala verktyg främst används för att förbättra befintliga processer med tekniknyttan i fokus. ’Digitaliserarnas’ affärsmodellslogiker är grundade i digitalisering och erbjuder digitala lösningar för att effektivisera och förbättra ‘samhällsbyggarnas’ befintliga processer. Här är tekniknyttan därmed lika med affärsnytta, inte minst genom den handpåläggning och de tjänster som krävs för att anpassa de digitala verktygen efter specifika behov. ’Game Changers’ affärsmodellslogiker är också grundade i digitalisering, men här är det värdet av data som översätts till ny affärsnytta via data-drivna affärsmodeller. Datagenererande interface (framför allt kunddata men potentiellt vilken data som helst) är den största tillgången som i sin tur möjliggör nya kundinteraktioner och erbjudanden i kontaktytorna mellan delprocesserna design, produktion och användning. Studiens samlade resultat pekar på två övergripande (och överlappande) framtidsscenarion för digital transformation: ’IT-baserad processintegration’ och ’Data som affärsvärde’. Gemensamt för dessa scenarios är att en omsättning av samhällsbyggandets enorma mängder data skapar helt nya möjligheter: signifikant effektivare processer, ny integration av processer samt nya erbjudanden. Sammantaget skapas helt nya affärsvärden och intäktsströmmar. Det nya värdeskapandet genereras i de kontaktytor som finns mellan delprocesserna design, produktion och användning samt i nya leverantör- och kundinterfaces. Även fast det fysiska byggobjektet alltid kommer vara den grundläggande produkten för samhällsbyggnadssektorn, så pekar studiens resultat på att ekosystemets totala värde kommer omdistribueras från produktionen av det fysiska byggobjektet till nya typer av värdeströmmar kopplade till samhällsbyggandets data. Detta komma leda till att befintliga roller förändras och nya roller och positioner uppstår, vilket i sin tur skapar en mer omfattande transformation av samhällsbyggnadssektorns ekosystem. Studiens resultat kan sammanfattas i åtta slutsatser formulerade som framtidsspaningar kring digital transformation i samhällsbyggnadssektorns ekosystem: • I framtiden karaktäriseras nya framgångsrika affärsmodellslogiker av förmågan att samla och extrahera värde av data både för att effektivisera processer samt skapa nya erbjudanden och affärer. • I framtiden har digitala verktyg möjliggjort en helt ’sömlös’ processintegration mellan design, produktion och användning så att helt nya logiker för organisering av samhällsbyggandet uppstår. • I framtiden kommer en stor del av värdeskapandet genererat av fysiska produkter och byggnadsobjekt omdistribueras till värdet av data kopplat till dessa. • I framtiden kommer de mest radikala förändringarna uppstå i de dynamiska flödena där ’data’ förädlas till värde, snarare än de sekventiella flödena där ’brädor’ förädlas till byggobjekt. • I framtiden kommer en stor del av leverantör/utförarekundinteraktioner ske via data-drivna plattformar som skapar helt nya kopplingar, relationer och konstellationer, både inom samhällsbyggnadssektorns ekosystem och till andra ekosystem. • I framtiden kommer dagens generalistroller inom design, produktion och användning försvinna och ersättas av: i) vertikal integration med design, produktion och användande in-house samt ii) en extrem nischad specialisering för att kunna applicera specifika kunskaper och erfarenheter för att komplettera de digital verktygens förmågor. • I framtiden kommer ’Samhällsbyggarna’ möta hård konkurrens från aktörer som agerar enligt ’Game Changers’-logiken, som via en ny typ av ledarskap utmanar gamla sanningar om samhällsbyggnadssektorns strukturella och kulturella hinder för förändring generellt och digital transformation specifikt. • I framtiden kommer relationsbyggande att ha en avgörande betydelse om de befintliga ’Samhällsbyggarna’ ska kunna tillskansa sig de förmågor som krävs för att skapa konkurrenskraft med avseende på det enorma värdet som finns i data.
|
|
| 7. |
- Magnusson, Charlotte
(författare)
-
Augmented reality face recognition for musical interaction
- 2022
-
Konferensbidrag (refereegranskat)abstract
- This paper reports on early work in a project devoted to the exploration of music, musical quality, interaction design and sensory stimulation for persons with multiple and/or severe impairments. The text focuses on the explorative work done on using face tracking and face recognition for musical interaction. The current design and the design process so far is described. Further developments are outlined.
|
|
| 8. |
- Misdariis, N., et al.
(författare)
-
Sound experts’ perspectives on astronomy sonification projects
- 2022
-
Ingår i: Nature Astronomy. - : Springer Nature. - 2397-3366. ; 6:11, s. 1249-1255
-
Tidskriftsartikel (refereegranskat)abstract
- The Audible Universe project aims to create dialogue between two scientific domains investigating two distinct research objects: stars and sound. It has been instantiated within a collaborative workshop that began to mutually acculturate the two communities, by sharing and transmitting respective knowledge, skills and practices. One main outcome of this exchange was a global view on the astronomical data sonification paradigm for observing the diversity of tools, uses and users (including visually impaired people), but also the current limitations and potential methods of improvement. From this viewpoint, here we present basic elements gathered and contextualized by sound experts in their respective fields (sound perception/cognition, sound design, psychoacoustics, experimental psychology), to anchor sonification for astronomy in a more well informed, methodological and creative process.
|
|
| 9. |
- Misdariis, Nicolas, et al.
(författare)
-
The Audible Universe Workshop: an Interdisciplinary Approach to the Design and Evaluation of Tools for Astronomical Data Sonification
- 2023
-
Konferensbidrag (refereegranskat)abstract
- Even if images of astrophysical objects are used by professional astronomers for research and by the public for outreach, we are all basically blind to the Universe. Challenging the idea that we should always use visualisations, there has been a growing interest in converting astronomical phenomena into sound, motivated by: making astronomy more accessible to people who are blind or visually impaired (BVI); creating more engaging educational resources, and enabling a deeper understanding of complex astronomical data. The Audible Universe (AU) workshop focuses on consolidating what has been done in the field so far and identifying the areas where most effort is required to make progress over the coming years. The second edition of the AU workshop (AU2) took place in 2022, and brought together 50 experts, among whom astronomers interested in sonification, sound designers, experts in sound perception and educators. This community started a multi-disciplinary discussion about how to properly design and evaluate sonification tools. In this methodological and position paper, we present and discuss the main activities of the AU2 workshop, with a particular focus on activities concerned with the development of collaborative design processes, and the implementation of methods for evaluation. While this workshop was dedicated to fostering exchanges between the sonification community and astronomers, the structure and the methods used within the workshop are transferable to other application areas, and a contribution to the effort to develop interdisciplinary strategies for the development of the field of sonification.
|
|
| 10. |
- Nordin, Jesper, 1971-
(kompositör, creator_code:msd_t, creator_code:sds_t, creator_code:cre_t)
-
Dream : a live, online performance set in a virtual midsummer forest
- 2021
-
Konstnärligt arbete (mjukvara/multimedium) (refereegranskat)abstract
- The plotA dreamlike journey into a forest: a story of transformation. Inspired by Shakespeare’s iconic play, A Midsummer Night’s Dream.Puck invites you on a magical journey between dusk and dawn. With a cloud of fireflies lighting the way, you explore the forest and encounter four sprites, Moth, Peaseblossom, Cobweb and Mustardseed. But storm clouds gather on the horizon, threatening destruction.Dream features a symphonic score based on recordings by the Philharmonia Orchestra, conducted by Principal Conductor & Artistic Advisor Esa-Pekka Salonen. The recordings are expanded by music created in real time by the movements of the performers. This living, dynamic soundtrack adapts and interacts with the narrative and the pre-recorded orchestral tracks.
|
|
