Sökning: onr:"swepub:oai:DiVA.org:mdh-64446" >
Evaluating the Robu...
-
Lindén, JoakimMälardalens universitet,Inbyggda system,Mälardalen University, Västerås, Sweden; Saab AB, Linköping, Sweden
(författare)
Evaluating the Robustness of ML Models to Out-of-Distribution Data Through Similarity Analysis
- Artikel/kapitelEngelska2023
Förlag, utgivningsår, omfång ...
-
Springer Science and Business Media Deutschland GmbH,2023
-
printrdacarrier
Nummerbeteckningar
-
LIBRIS-ID:oai:DiVA.org:mdh-64446
-
https://urn.kb.se/resolve?urn=urn:nbn:se:mdh:diva-64446URI
-
https://doi.org/10.1007/978-3-031-42941-5_30DOI
-
https://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-337818URI
Kompletterande språkuppgifter
-
Språk:engelska
-
Sammanfattning på:engelska
Ingår i deldatabas
Klassifikation
-
Ämneskategori:ref swepub-contenttype
-
Ämneskategori:kon swepub-publicationtype
Anmärkningar
-
Part of ISBN 9783031429408QC 20231009
-
In Machine Learning systems, several factors impact the performance of a trained model. The most important ones include model architecture, the amount of training time, the dataset size and diversity. We present a method for analyzing datasets from a use-case scenario perspective, detecting and quantifying out-of-distribution (OOD) data on dataset level. Our main contribution is the novel use of similarity metrics for the evaluation of the robustness of a model by introducing relative Fréchet Inception Distance (FID) and relative Kernel Inception Distance (KID) measures. These relative measures are relative to a baseline in-distribution dataset and are used to estimate how the model will perform on OOD data (i.e. estimate the model accuracy drop). We find a correlation between our proposed relative FID/relative KID measure and the drop in Average Precision (AP) accuracy on unseen data.
Ämnesord och genrebeteckningar
Biuppslag (personer, institutioner, konferenser, titlar ...)
-
Forsberg, HåkanMälardalens universitet,Inbyggda system,Mälardalen University, Västerås, Sweden(Swepub:mdh)hfg04
(författare)
-
Daneshtalab, MasoudMälardalens universitet,Inbyggda system,Mälardalen University, Västerås, Sweden(Swepub:mdh)mdb01
(författare)
-
Söderquist, IngemarKTH,Elektronik och inbyggda system,Saab AB, Linköping, Sweden(Swepub:kth)u1w4cndu
(författare)
-
Mälardalens universitetInbyggda system
(creator_code:org_t)
Sammanhörande titlar
-
Ingår i:Commun. Comput. Info. Sci.: Springer Science and Business Media Deutschland GmbH, s. 348-359, s. 348-3599783031429408
-
Ingår i:New Trends in Database and Information Systems: Springer Science and Business Media Deutschland GmbH, s. 348-359, s. 348-359
Internetlänk
Hitta via bibliotek
Till lärosätets databas