Transferring Knowledge from Vision to Language: How to Achieve it and how to Measure it?

Tyck till om SwePub Sök här!

Norlund, Tobias,1991Chalmers tekniska högskola,Chalmers University of Technology (författare)

Large language models are known to suffer from the hallucination problem in that they are prone to output statements that are false or inconsistent, indicating a lack of knowledge. A proposed solution to this is to provide the model with additional data modalities that complements the knowledge obtained through text. We investigate the use of visual data to complement the knowledge of large language models by proposing a method for evaluating visual knowledge transfer to text for uni- or multimodal language models. The method is based on two steps, 1) a novel task querying for knowledge of memory colors, i.e. typical colors of well-known objects, and 2) filtering of model training data to clearly separate knowledge contributions. Additionally, we introduce a model architecture that involves a visual imagination step and evaluate it with our proposed method. We find that our method can successfully be used to measure visual knowledge transfer capabilities in models and that our novel model architecture shows promising results for leveraging multimodal knowledge in a unimodal setting.

Hagström, Lovisa,1995Chalmers tekniska högskola,Chalmers University of Technology(Swepub:cth)lovhag (författare)
Johansson, Richard,1975Gothenburg University,Göteborgs universitet,Institutionen för data- och informationsteknik, datavetenskap (GU),Department of Computer Science and Engineering, Computing Science (GU),University of Gothenburg(Swepub:cth)richajo (författare)
Chalmers tekniska högskolaInstitutionen för data- och informationsteknik, datavetenskap (GU) (creator_code:org_t)

Ingår i:Proceedings of the Fourth BlackboxNLP Workshop on Analyzing and Interpreting Neural Networks for NLP, pp. 149-162, Punta Cana, Dominican Republic: Association for Computational Linguistics

Av författaren/redakt...: Norlund, Tobias, ...; Hagström, Lovisa ...; Johansson, Richa ...

Om ämnet

NATURVETENSKAP: NATURVETENSKAP; och Data och informa ...; och Språkteknologi

NATURVETENSKAP: NATURVETENSKAP; och Data och informa ...; och Datorseende och ...

NATURVETENSKAP: NATURVETENSKAP; och Data och informa ...; och Annan data och i ...

NATURVETENSKAP: NATURVETENSKAP; och Data och informa ...; och Systemvetenskap ...

Kungliga biblioteket hanterar dina personuppgifter i enlighet med EU:s dataskyddsförordning (2018), GDPR. Läs mer om hur det funkar här.
Så här hanterar KB dina uppgifter vid användning av denna tjänst.