Is image-to-image translation the panacea for multimodal image registration?: A comparative study

↓ Direkt till sidans innehåll
↓ Direkt till sidans sekundära innehåll (sidomenyn)

Sökning: id:"swepub:oai:DiVA.org:uu-490949" > Is image-to-image t...

1 av 1
Föregående post
Nästa post
Till träfflistan

Lu, JiahaoUppsala universitet,Bildanalys och människa-datorinteraktion,IMAGE Section, Department of Computer Science, University of Copenhagen, Copenhagen, Denmark,MIDA Group (författare)

Is image-to-image translation the panacea for multimodal image registration? : A comparative study

Artikel/kapitelEngelska2022

Förlag, utgivningsår, omfång ...

2022-11-28
Public Library of Science (PLoS),2022
electronicrdacarrier

Nummerbeteckningar

LIBRIS-ID:oai:DiVA.org:uu-490949
https://urn.kb.se/resolve?urn=urn:nbn:se:uu:diva-490949URI
https://doi.org/10.1371/journal.pone.0276196DOI

Kompletterande språkuppgifter

Språk:engelska
Sammanfattning på:engelska

Ingår i deldatabas

SwePubSwePub

Klassifikation

Ämneskategori:ref swepub-contenttype
Ämneskategori:art swepub-publicationtype

Anmärkningar

Despite current advancement in the field of biomedical image processing, propelled by the deep learning revolution, multimodal image registration, due to its several challenges, is still often performed manually by specialists. The recent success of image-to-image (I2I) translation in computer vision applications and its growing use in biomedical areas provide a tempting possibility of transforming the multimodal registration problem into a, potentially easier, monomodal one. We conduct an empirical study of the applicability of modern I2I translation methods for the task of rigid registration of multimodal biomedical and medical 2D and 3D images. We compare the performance of four Generative Adversarial Network (GAN)-based I2I translation methods and one contrastive representation learning method, subsequently combined with two representative monomodal registration methods, to judge the effectiveness of modality translation for multimodal image registration. We evaluate these method combinations on four publicly available multimodal (2D and 3D) datasets and compare with the performance of registration achieved by several well-known approaches acting directly on multimodal image data. Our results suggest that, although I2I translation may be helpful when the modalities to register are clearly correlated, registration of modalities which express distinctly different properties of the sample are not well handled by the I2I translation approach. The evaluated representation learning method, which aims to find abstract image-like representations of the information shared between the modalities, manages better, and so does the Mutual Information maximisation approach, acting directly on the original multimodal images. We share our complete experimental setup as open-source (https://github.com/MIDA-group/MultiRegEval), including method implementations, evaluation code, and all datasets, for further reproducing and benchmarking.

Ämnesord och genrebeteckningar

Biuppslag (personer, institutioner, konferenser, titlar ...)

Öfverstedt, JohanUppsala universitet,Bildanalys och människa-datorinteraktion,MIDA Group(Swepub:uu)johof680 (författare)
Lindblad, JoakimUppsala universitet,Bildanalys och människa-datorinteraktion,MIDA Group(Swepub:uu)joali534 (författare)
Sladoje, NatašaUppsala universitet,Bildanalys och människa-datorinteraktion,MIDA Group(Swepub:uu)namat934 (författare)
Uppsala universitetBildanalys och människa-datorinteraktion (creator_code:org_t)

Sammanhörande titlar

Ingår i:PLOS ONE: Public Library of Science (PLoS)17:111932-6203

Internetlänk

Hitta via bibliotek

PLOS ONE (Sök värdpublikationen i LIBRIS)

Till lärosätets databas

1 av 1
Föregående post
Nästa post
Till träfflistan

Hitta mer i SwePub

Av författaren/redakt...: Lu, Jiahao; Öfverstedt, Joha ...; Lindblad, Joakim; Sladoje, Nataša

Om ämnet

TEKNIK OCH TEKNOLOGIER: TEKNIK OCH TEKNO ...; och Medicinteknik; och Medicinsk bildbe ...

NATURVETENSKAP: NATURVETENSKAP; och Data och informa ...; och Datorseende och ...

Artiklar i publikationen: PLOS ONE

Av lärosätet: Uppsala universitet

Sök utanför SwePub

Sök vidare i:: Google; Google Book Search; Google Scholar

Kungliga biblioteket hanterar dina personuppgifter i enlighet med EU:s dataskyddsförordning (2018), GDPR. Läs mer om hur det funkar här.
Så här hanterar KB dina uppgifter vid användning av denna tjänst.

LIBRIS.kb.se