Metrics and Evaluations of Time Series Explanations: An Application in Affect Computing

↓ Direkt till sidans innehåll
↓ Direkt till sidans sekundära innehåll (sidomenyn)

Sökning: id:"swepub:oai:DiVA.org:oru-98271" > Metrics and Evaluat...

1 av 1
Föregående post
Nästa post
Till träfflistan

Fouladgar, NazaninUmeå universitet,Institutionen för datavetenskap (författare)

Metrics and Evaluations of Time Series Explanations : An Application in Affect Computing

Artikel/kapitelEngelska2022

Förlag, utgivningsår, omfång ...

IEEE,2022
printrdacarrier

Nummerbeteckningar

LIBRIS-ID:oai:DiVA.org:oru-98271
https://urn.kb.se/resolve?urn=urn:nbn:se:oru:diva-98271URI
https://doi.org/10.1109/ACCESS.2022.3155115DOI
https://urn.kb.se/resolve?urn=urn:nbn:se:umu:diva-192976URI

Kompletterande språkuppgifter

Språk:engelska
Sammanfattning på:engelska

Ingår i deldatabas

SwePubSwePub

Klassifikation

Ämneskategori:ref swepub-contenttype
Ämneskategori:art swepub-publicationtype

Anmärkningar

Funding agency:Umeå University
Explainable artificial intelligence (XAI) has shed light on enormous applications by clarifying why neural models make specific decisions. However, it remains challenging to measure how sensitive XAI solutions are to the explanations of neural models. Although different evaluation metrics have been proposed to measure sensitivity, the main focus has been on the visual and textual data. There is insufficient attention devoted to the sensitivity metrics tailored for time series data. In this paper, we formulate several metrics, including max short-term sensitivity (MSS), max long-term sensitivity (MLS), average short-term sensitivity (ASS) and average long-term sensitivity (ALS), that target the sensitivity of XAI models with respect to the generated and real time series. Our hypothesis is that for close series with the same labels, we obtain similar explanations. We evaluate three XAI models, LIME, integrated gradient (IG), and SmoothGrad (SG), on CN-Waterfall, a deep convolutional network. This network is a highly accurate time series classifier in affect computing. Our experiments rely on data-, metric- and XAI hyperparameter- related settings on the WESAD and MAHNOB-HCI datasets. The results reveal that (i) IG and LIME provide a lower sensitivity scale than SG in all the metrics and settings, potentially due to the lower scale of important scores generated by IG and LIME, (ii) the XAI models show higher sensitivities for a smaller window of data, (iii) the sensitivities of XAI models fluctuate when the network parameters and data properties change, and (iv) the XAI models provide unstable sensitivities under different settings of hyperparameters.

Ämnesord och genrebeteckningar

NATURVETENSKAP Data- och informationsvetenskap Datavetenskap hsv//swe
NATURAL SCIENCES Computer and Information Sciences Computer Sciences hsv//eng
Measurement
Sensitivity
Data models
Time series analysis
Predictive models
Perturbation methods
Computational modeling
Explainable AI
metrics
time series data
deep convolutional neural network

Biuppslag (personer, institutioner, konferenser, titlar ...)

Alirezaie, Marjan,1980-Örebro universitet,Institutionen för naturvetenskap och teknik,Centre for Applied Autonomous Sensor Systems (AASS), Örebro, Sweden(Swepub:oru)mjae (författare)
Främling, Kary,1965-Umeå universitet,Institutionen för datavetenskap,Aalto University, School of Science and Technology, Finland(Swepub:umu)kafr0071 (författare)
Umeå universitetInstitutionen för datavetenskap (creator_code:org_t)

Sammanhörande titlar

Ingår i:IEEE Access: IEEE10, s. 23995-240092169-3536

Internetlänk

Hitta via bibliotek

IEEE Access (Sök värdpublikationen i LIBRIS)

Till lärosätets databas

1 av 1
Föregående post
Nästa post
Till träfflistan

Hitta mer i SwePub

Av författaren/redakt...: Fouladgar, Nazan ...; Alirezaie, Marja ...; Främling, Kary, ...

Om ämnet

NATURVETENSKAP: NATURVETENSKAP; och Data och informa ...; och Datavetenskap

Artiklar i publikationen: IEEE Access

Av lärosätet: Örebro universitet; Umeå universitet

Sök utanför SwePub

Sök vidare i:: Google; Google Book Search; Google Scholar

Kungliga biblioteket hanterar dina personuppgifter i enlighet med EU:s dataskyddsförordning (2018), GDPR. Läs mer om hur det funkar här.
Så här hanterar KB dina uppgifter vid användning av denna tjänst.

LIBRIS.kb.se