Adapting to increased automation in the aviation industry through performance measurement and training : Barriers and potential

• The increased use of automation has affected the work on the flight deck. The Single European Sky ATM Research (SESAR), deployed with the purpose to increase the European ATM system performance, identifies automation as a key enabler to increase future system performance. The aviation system is a complex large socio-technical system. The system is affected by internal and external stressors at all system levels. At a work process level of this system, the flight deck represents a Joint Cognitive System. When accidents or incidents do occur, the importance to look beyond the label of flight crew error to understand what happened is widely recognized. As flight safety improves, there are fewer incidents and accidents to learn from, which increases the importance to look at normal operations data for improvement.The flight crew training environment is increasingly relying on collected data about an individual airline’s flight operational environment and performance. Through airlines’ performance measurement system, a large amount of performance data is collected. However, this data is not in a format immediately useful for studies of neither complex socio-technical, nor joint cognitive systems. In addition, regulatory, financial, and other constraints limit airlines’ use of collected data as well as how they perform training.The purpose of this research is to increase knowledge about how training content and learning opportunities for flight crew relates to airline performance monitoring and measurement processes, given a highly automated dynamic environment. Against this background, barriers and potential for improvements to support the flight crew for the operation of the highly automated aircraft are identified.This research has been conducted using a mixed method approach for collecting and analyzing data. The overall research approach is conducted in an applied research tradition. The empirical data in this thesis are primarily based on two research projects, HILAS and Brantare, both with explicit goals of knowledge generation and learning among participating organizations. The results are based on the following methods: 1) System analysis using Rasmussen’s model for a socio-technical system involved in risk management as the framework, to describe the aviation system, primarily with a perspective from the flight crew and their automated work environment, 2) Interviews of pilots, 3) Workshops with groups of pilots and safety office staff, 4) Implementation attempt of a proposed method how to use data and 5) Collection of flight operational data.Based on Rasmussen’s model of a dynamic socio-technical system, the aviation system of interest ranges from “A single European Sky” to regulators, national legislation to flight operations, training, and the work on flight deck as well as political and financial pressures on the airline. The conclusions drawn from this comprehensive scope is reliant on the author’s domain knowledge acquired from some 30 years of experience in the aviation industry.Several barriers against the use of performance data for knowledge and learning improvements are identified. The airline monitoring systems are not ideal for specifically measuring automation related problems and flight crew – automation interactions. Due to the already high flight safety levels, new performance measurement processes and activities are neither prioritized, invested in nor explored. When a proposed data-use method was attempted to be implemented it showed difficulties in finding causalities and relationships between available airline parameters. With unclear causality between various parameters recorded and actual outcomes, it is difficult for airlines to use data available as a source for confident training design. This is also the case for the selection of Safety Performance Indicators, that often are outcome based at a high level. More cross-system integration may render the current measurement systems insufficient to understand difficulties and possibilities in the greater aviation system.Potential for improvement related to the use of data, knowledge and learning are also identified. Flight crew show a high acceptability towards a proposed learning concept based on normal flight data. A greater emphasis of using indicators showing airline adaptability and flexibility is proposed. Also, moving from a scheduled training activity mindset to a wider learning and knowledge management and sharing concept is suggested as a cost-efficient way forward. Increased utilization of normal operational flight data should be used for this purpose and have potential to contribute to both efficiency and safety in aviation.This thesis contributes to airline performance measurement and flight crew training knowledge. Results from this research is valuable in other highly automated safety critical domains with a high acceptance of performance being measured and analyzed.

• Den ökade automatiseringen har påverkat piloternas arbete i flygplanets cockpit. Den gemensamma europeiska flygtrafik-forskningen, som i stor utsträckning sker inom ramen för Single European Sky ATM research, SESAR, syftar till att utveckla det europeiska flygtrafiksystemet. SESAR har identifierat automation som en viktig faktor för förbättrad prestanda. Flygsystemet kan ses som ett komplext stort sociotekniskt system. Detta system påverkas och belastas av interna och externa faktorer på alla systemnivåer. På arbetsprocessnivå kan arbetet på flight deck ses som ett Joint Cognitive System. När olyckor eller incidenter trots allt inträffar är det idag vedertaget att se till systemet som en helhet för att kunna förstå vad som hänt i stället för att skuldbelägga individer. Samtidigt, när flygsäkerheten förbättras blir det färre incidenter och olyckor att dra lärdom av vilket ökar vikten av att förlita sig på data från dagliga, normala operationer för att förbättra verksamheten vidare.Piloters utbildningsmiljö förlitar sig alltmer på information och insamlade data om enskilda flygbolags specifika operativa miljö. Genom flygbolagens system för prestandamätning samlar de in stora mängder data om deras verksamhet. Dessa data är emellertid inte i ett format som är användbart för traditionella studier av stora, komplexa socio-tekniska system, eller för studier av ett Joint Cognitive System. Dessutom styr regelverk, ekonomi och andra begränsningar flygbolagens användning av uppgifter som samlas in, vilket påverkar hur utbildning kan utföras.Syftet med denna forskning är att öka kunskap om hur utbildningsinnehåll och inlärningsmöjligheter för piloter relaterar till flygbolagets system för prestandamätning, givet den mycket automatiserade dynamiska miljö piloter befinner sig i. Mot denna bakgrund undersöks i denna avhandling hinder och möjligheter för systemförbättringar för att stödja piloter i driften av de automatiserade flygplanen.Inom ramen för avhandlingens empiriska studier har olika forskningsmetoder använts: 1) Systemanalys med Rasmussens modell för ett sociotekniskt system involverat i riskhantering som ramverk, för att beskriva luftfartssystemet, främst med ett perspektiv från piloter och deras automatiserade arbetsmiljö, 2) Intervjuer av piloter, 3) Workshops med grupper av piloter och säkerhetskontorspersonal, 4) Implementeringsarbete av en föreslagen metod för hantering av data och 5) Insamling av flygoperativa data. De empiriska uppgifterna i denna avhandling baseras främst på två forskningsprojekt, HILAS och Brantare, båda med tydliga mål för kunskapsgenerering och lärande bland deltagande organisationer.Med Rasmussens ramverk för sociotekniska system som modell, ges en omfattande beskrivning av komplexiteten inom luftfartsindustrin. Denna beskrivning sträcker sig från det Europeiska projektet Single European Sky, tillsynsmyndigheter, nationell lagstiftning till flygoperationer, utbildning och till arbetet på flight deck. Även politiska och ekonomiska påtryckningar på flygbolaget berörs. De empiriska uppgifterna tolkas mot författarens 30-åriga domänkunskap inom flygbranschen.Flera hinder för systemutveckling identifierades. De existerande mät- och övervakningssystemen är inte idealiska för att specifikt mäta automatiserings­relaterade problem, inklusive interaktion mellan piloter och de automatiserade systemen. På grund av de redan höga flygsäkerhetsnivåerna kan investeringar i och kartläggning av nya processer för t.ex. prestandamätning ges låg prioritet. Resultatet av implementeringsarbetet med en föreslagen ny metodik angående ett flygbolags datahantering visade på svårigheter att hitta orsak och samband mellan tillgängliga parametrar. Med oklart orsakssamband mellan olika registrerade parametrar och faktiska resultat är det svårt för flygbolagen att använda tillgängliga data som en användbar källa för design av återkommande utbildningsaktiviteter. Denna begränsning gäller även indikatorer för säkerhetsprestanda, som ofta är resultatbaserade på en hög nivå. Mer integration mellan olika delar av luftfartssystemet kan göra att de nuvarande mätsystemen blir otillräckliga för att förstå svårigheter och möjligheter i det större luftfartssystemet.Potential och möjligheter för förbättringar identifieras också. Piloter visade stor acceptans gentemot ett föreslaget inlärningskoncept baserat på data från normala flygningar. Ett större fokus på att använda indikatorer som visar flygbolags anpassningsförmåga och flexibilitet föreslås. Samtidigt föreslås att flytta fokus från en rigid schemalagd träningsstruktur till ett bredare koncept för inlärning och kunskapshantering. På olika sätt kan normala operativa flygdata användas för detta ändamål.Denna avhandling bidrar med kunskap inom området prestandamätning, hantering av flygdata och utbildning av piloter. Denna kunskap bör vara värdefull även inom andra högautomatiserade säkerhetskritiska områden där det finns en hög acceptans för att prestationer, och tillhörande resultat, mäts och analyseras.

Ämnesord

TEKNIK OCH TEKNOLOGIER  -- Maskinteknik -- Produktionsteknik, arbetsvetenskap och ergonomi (hsv//swe)

ENGINEERING AND TECHNOLOGY  -- Mechanical Engineering -- Production Engineering, Human Work Science and Ergonomics (hsv//eng)

Nyckelord

Industrial work science

Industriell arbetsvetenskap

Publikations- och innehållstyp

vet (ämneskategori)

dok (ämneskategori)