Sökning: onr:"swepub:oai:DiVA.org:ltu-96959" >
GEMv2: Multilingual...
GEMv2: Multilingual NLG Benchmarking in a Single Line of Code
-
- Gehrmann, Sebastian (författare)
- Google Research
-
- Bhattacharjee, Abhik (författare)
- Bangladesh University of Engineering and Technology, Bangladesh
-
- Mahendiran, Abinaya (författare)
- Mphasis NEXT Labs
-
visa fler...
-
- Wang, Alex (författare)
- New York University, USA
-
- Papangelis, Alexandros (författare)
- Amazon Alexa AI
-
- Madaan, Aman (författare)
- Carnegie Mellon University, USA
-
- McMillan-Major, Angelina (författare)
- Hugging Face
-
- Shvets, Anna (författare)
- Fablab in Paris by Inetum, France
-
- Upadhyay, Ashish (författare)
- Robert Gordon University, Scotland
-
- Bohnet, Bernd (författare)
- Google Research
-
- Yao, Bingsheng (författare)
- Rensselaer Polytechnic Institute, USA
-
- Wilie, Bryan (författare)
- The Hong Kong University of Science and Technology, Hong Kong
-
- Bhagavatula, Chandra (författare)
- Allen Institute for AI, USA
-
- You, Chaobin (författare)
- Tianjin University, China
-
- Thomson, Craig (författare)
- University of Aberdeen, Scotland
-
- Garbacea, Cristina (författare)
- University of Michigan, USA
-
- Wang, Dakuo (författare)
- MIT-IBM Watson AI Lab, USA; Northeastern University
-
- Deutsch, Daniel (författare)
- University of Pennsylvania, USA
-
- Xiong, Deyi (författare)
- Tianjin University, China
-
- Jin, Di (författare)
- Amazon Alexa AI
-
- Gkatzia, Dimitra (författare)
- Edinburgh Napier University, Scotland
-
- Radev, Dragomir (författare)
- Yale University, USA
-
- Clark, Elizabeth (författare)
- Google Research
-
- Durmus, Esin (författare)
- Stanford University, USA
-
- Ladhak, Faisal (författare)
- Columbia University, USA
-
- Ginter, Filip (författare)
- University of Turku, Finland
-
- Winata, Genta Indra (författare)
- The Hong Kong University of Science and Technology, Hong Kong
-
- Strobelt, Hendrik (författare)
- IBM Research, USA; MIT-IBM Watson AI Lab, USA
-
- Hayashi, Hiroaki (författare)
- Carnegie Mellon University, USA; Salesforce Research, USA
-
- Novikova, Jekaterina (författare)
- Winterlight Labs, Canada
-
- Kanerva, Jenna (författare)
- University of Turku, Finland
-
- Chim, Jenny (författare)
- Queen Mary University of London, UK
-
- Zhou, Jiawei (författare)
- Harvard University, USA
-
- Clive, Jordan (författare)
- Chattermill, UK
-
- Maynez, Joshua (författare)
- Google Research
-
- Sedoc, João (författare)
- New York University, USA
-
- Juraska, Juraj (författare)
- University of California, Santa Cruz, USA
-
- Dhole, Kaustubh (författare)
- Emory University, USA
-
- Chandu, Khyathi Raghavi (författare)
- Meta AI
-
- Perez-Beltrachini, Laura (författare)
- University of Edinburgh, Scotland
-
- Ribeiro, Leonardo F.R. (författare)
- Technical University of Darmstadt, Germany
-
- Tunstall, Lewis (författare)
- Hugging Face
-
- Zhang, Li (författare)
- University of Pennsylvania, USA
-
- Pushkarna, Mahima (författare)
- Google Research
-
- Creutz, Mathias (författare)
- University of Helsinki, Finland
-
- White, Michael (författare)
- The Ohio State University, USA
-
- Kale, Mihir Sanjay (författare)
- Google Research
-
- Eddine, Moussa Kamal (författare)
- École Polytechnique, France
-
- Daheim, Nico (författare)
- RWTH Aachen University, Germany
-
- Subramani, Nishant (författare)
- Allen Institute for AI, USA; Masakhane
-
- Dusek, Ondrej (författare)
- Charles University, Czech Republic
-
- Liang, Paul Pu (författare)
- Carnegie Mellon University, USA
-
- Ammanamanchi, Pawan Sasanka (författare)
- IIIT Hyderabad, India
-
- Zhu, Qi (författare)
- Tsinghua University, China
-
- Puduppully, Ratish (författare)
- University of Edinburgh, Scotland
-
- Kriz, Reno (författare)
- Johns Hopkins University, USA
-
- Shahriyar, Rifat (författare)
- Bangladesh University of Engineering and Technology, Bangladesh
-
- Cardenas, Ronald (författare)
- University of Edinburgh, Scotland
-
- Mahamood, Saad (författare)
- trivago N.V.
-
- Osei, Salomey (författare)
- Masakhane
-
- Cahyawijaya, Samuel (författare)
- HKUST
-
- Štajner, Sanja (författare)
- Pompeu Fabra University, Spain
-
- Montella, Sebastien (författare)
- Orange Labs
-
- Jolly, Shailza (författare)
- TU Kaiserslautern, Germany
-
- Mille, Simon (författare)
- Pompeu Fabra University, Spain
-
- Hasan, Tahmid (författare)
- Bangladesh University of Engineering and Technology, Bangladesh
-
- Shen, Tianhao (författare)
- Tianjin University, China
-
- Adewumi, Tosin (författare)
- Luleå tekniska universitet,EISLAB
-
- Raunak, Vikas (författare)
- Microsoft
-
- Raheja, Vipul (författare)
- Grammarly
-
- Nikolaev, Vitaly (författare)
- Google Research
-
- Tsai, Vivian (författare)
- Google Research
-
- Jernite, Yacine (författare)
- Hugging Face
-
- Xu, Ying (författare)
- University of Michigan, USA
-
- Sang, Yisi (författare)
- Syracuse University, USA
-
- Liu, Yixin (författare)
- Yale University, USA
-
- Hou, Yufang (författare)
- IBM Research
-
visa färre...
-
(creator_code:org_t)
- Association for Computational Linguistics (ACL), 2022
- 2022
- Engelska.
-
Ingår i: Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing: System Demonstrations. - : Association for Computational Linguistics (ACL). ; , s. 266-281
- Relaterad länk:
-
https://doi.org/10.1...
-
visa fler...
-
https://urn.kb.se/re...
-
https://doi.org/10.1...
-
visa färre...
Abstract
Ämnesord
Stäng
- Evaluations in machine learning rarely use the latest metrics, datasets, or human evaluation in favor of remaining compatible with prior work. The compatibility, often facilitated through leaderboards, thus leads to outdated but standardized evaluation practices. We pose that the standardization is taking place in the wrong spot. Evaluation infrastructure should enable researchers to use the latest methods and what should be standardized instead is how to incorporate these new evaluation advances.We introduce GEMv2, the new version of the Generation, Evaluation, and Metrics Benchmark which uses a modular infrastructure for dataset, model, and metric developers to benefit from each other’s work. GEMv2 supports 40 documented datasets in 51 languages, ongoing online evaluation for all datasets, and our interactive tools make it easier to add new datasets to the living benchmark.
Ämnesord
- NATURVETENSKAP -- Data- och informationsvetenskap -- Datavetenskap (hsv//swe)
- NATURAL SCIENCES -- Computer and Information Sciences -- Computer Sciences (hsv//eng)
Nyckelord
- Maskininlärning
- Machine Learning
Publikations- och innehållstyp
- ref (ämneskategori)
- kon (ämneskategori)
- Av författaren/redakt...
-
Gehrmann, Sebast ...
-
Bhattacharjee, A ...
-
Mahendiran, Abin ...
-
Wang, Alex
-
Papangelis, Alex ...
-
Madaan, Aman
-
visa fler...
-
McMillan-Major, ...
-
Shvets, Anna
-
Upadhyay, Ashish
-
Bohnet, Bernd
-
Yao, Bingsheng
-
Wilie, Bryan
-
Bhagavatula, Cha ...
-
You, Chaobin
-
Thomson, Craig
-
Garbacea, Cristi ...
-
Wang, Dakuo
-
Deutsch, Daniel
-
Xiong, Deyi
-
Jin, Di
-
Gkatzia, Dimitra
-
Radev, Dragomir
-
Clark, Elizabeth
-
Durmus, Esin
-
Ladhak, Faisal
-
Ginter, Filip
-
Winata, Genta In ...
-
Strobelt, Hendri ...
-
Hayashi, Hiroaki
-
Novikova, Jekate ...
-
Kanerva, Jenna
-
Chim, Jenny
-
Zhou, Jiawei
-
Clive, Jordan
-
Maynez, Joshua
-
Sedoc, João
-
Juraska, Juraj
-
Dhole, Kaustubh
-
Chandu, Khyathi ...
-
Perez-Beltrachin ...
-
Ribeiro, Leonard ...
-
Tunstall, Lewis
-
Zhang, Li
-
Pushkarna, Mahim ...
-
Creutz, Mathias
-
White, Michael
-
Kale, Mihir Sanj ...
-
Eddine, Moussa K ...
-
Daheim, Nico
-
Subramani, Nisha ...
-
Dusek, Ondrej
-
Liang, Paul Pu
-
Ammanamanchi, Pa ...
-
Zhu, Qi
-
Puduppully, Rati ...
-
Kriz, Reno
-
Shahriyar, Rifat
-
Cardenas, Ronald
-
Mahamood, Saad
-
Osei, Salomey
-
Cahyawijaya, Sam ...
-
Štajner, Sanja
-
Montella, Sebast ...
-
Jolly, Shailza
-
Mille, Simon
-
Hasan, Tahmid
-
Shen, Tianhao
-
Adewumi, Tosin
-
Raunak, Vikas
-
Raheja, Vipul
-
Nikolaev, Vitaly
-
Tsai, Vivian
-
Jernite, Yacine
-
Xu, Ying
-
Sang, Yisi
-
Liu, Yixin
-
Hou, Yufang
-
visa färre...
- Om ämnet
-
- NATURVETENSKAP
-
NATURVETENSKAP
-
och Data och informa ...
-
och Datavetenskap
- Artiklar i publikationen
- Proceedings of t ...
- Av lärosätet
-
Luleå tekniska universitet