id:"swepub:oai:gup.ub.gu.se/246765"
Sökning: id:"swepub:oai:gup.ub.gu.se/246765" > Automatic Detection...
- 1 av 1
- Föregående post
- Nästa post
- Till träfflistan
Automatic Detection of Arabicized Berber and Arabic Varieties
-
- Adouane, Wafia, 1985 (författare)
- Gothenburg University,Göteborgs universitet,Institutionen för filosofi, lingvistik och vetenskapsteori,Department of Philosophy, Linguistics and Theory of Science
- Semmar, Nasredine (författare)
-
- Johansson, Richard, 1975 (författare)
- Gothenburg University,Göteborgs universitet,Institutionen för data- och informationsteknik (GU),Department of Computer Science and Engineering (GU)
- visa fler...
- Bobicev, Victoria (författare)
- visa färre...
- (creator_code:org_t)
- 2016
- 2016
- Engelska.
- Ingår i: Proceedings of the Third Workshop on NLP for Similar Languages, Varieties and Dialects; 63–72; December 12; Osaka, Japan.
- Konferensbidrag (refereegranskat)
Abstract
Ämnesord
Stäng
- Automatic Language Identification (ALI) is the detection of the natural language of an input text by a machine. It is the first necessary step to do any language-dependent natural language processing task. Various methods have been successfully applied to a wide range of languages, and the state-of-the-art automatic language identifiers are mainly based on character n-gram models trained on huge corpora. However, there are many languages which are not yet automatically processed, for instance minority and informal languages. Many of these languages are only spoken and do not exist in a written format. Social media platforms and new technologies have facilitated the emergence of written format for these spoken languages based on pronunciation. The latter are not well represented on the Web, commonly referred to as under-resourced languages, and the current available ALI tools fail to properly recognize them. In this paper, we revisit the problem of ALI with the focus on Arabicized Berber and dialectal Arabic short texts. We introduce new resources and evaluate the existing methods. The results show that machine learning models combined with lexicons are well suited for detecting Arabicized Berber and different Arabic varieties and distinguishing between them, giving a macro-average F-score of 92.94%.
Ämnesord
- NATURVETENSKAP -- Data- och informationsvetenskap -- Språkteknologi (hsv//swe)
- NATURAL SCIENCES -- Computer and Information Sciences -- Language Technology (hsv//eng)
- HUMANIORA -- Språk och litteratur -- Studier av enskilda språk (hsv//swe)
- HUMANITIES -- Languages and Literature -- Specific Languages (hsv//eng)
Nyckelord
- natural language processing
- machine learning
- language classification
- Arabic
- Berber
- dialects
Publikations- och innehållstyp
- ref (ämneskategori)
- kon (ämneskategori)
Till lärosätets databas
- 1 av 1
- Föregående post
- Nästa post
- Till träfflistan
Hitta mer i SwePub
- Av författaren/redakt...
- Adouane, Wafia, ...
- Semmar, Nasredin ...
- Johansson, Richa ...
- Bobicev, Victori ...
- Om ämnet
-
- NATURVETENSKAP
- NATURVETENSKAP
- och Data och informa ...
- och Språkteknologi
-
- HUMANIORA
- HUMANIORA
- och Språk och litter ...
- och Studier av enski ...
- Artiklar i publikationen
- Proceedings of t ...
- Av lärosätet
- Göteborgs universitet
Sök utanför SwePub
- Sök vidare i:
- Google Book Search
- Google Scholar
Kungliga biblioteket hanterar dina personuppgifter i enlighet med EU:s dataskyddsförordning (2018), GDPR. Läs mer om hur det funkar här.
Så här hanterar KB dina uppgifter vid användning av denna tjänst.
- Copyright © LIBRIS - Nationella bibliotekssystem
- LIBRIS.kb.se
