Redigerer Dependensparsing (avsnitt)

== ''Shared Task'' ==
CoNLL er en årlig konferanse for maskinell naturlig språklæring<ref>[http://www.conll.org «The SIGNLL Conference on Computational Natural Language Learning»]</ref>, som hvert år har en oppgave der flere deltakere tar for seg en relevant oppgave, eller ''Shared Task''. Dependensparsing har vært tema flere ganger.

=== ''2006: Multi-Lingual Dependency Parsing'' ===

Oppgaven som markerte den tiende CoNLL-konferansen (CoNNL-X) innførte conllx-formatet som en standardisert representasjon av en trebank som kunne brukes på tvers av (naturlige) språk. Trebanker for 13 ulike språk ble konstruert, og deltakerne fikk i oppgave å trene dependensparsingmodeller for disse språkene. Disse modellene ble deretter evaluert etter to målestokker: hvor stor andel av dependensrelasjonene som ble funnet og markert med riktig «tagg» (LAS, labeled attachment score) og tilsvarende uten hensyn til om taggen var riktig (UAS, unlabeled attachment score). McDonald et al. oppnådde best resultat med gjennomsnittlige poengsummer på henholdsvis 80,3 og 86,6 på tvers av språk. Et av funnene Buchholz og Marsi trakk frem var at datasettene for noen språk var jevnt over enklere enn andre å få høy poengsum på, da en slik tendens ble funnet på tvers av deltakerne. De var imidlertid avventende med å bruke dette til å påstå at noen språk var enklere enn andre.<ref>Buchholz, Sabine og Marsi, Erwin: [https://dl.acm.org/citation.cfm?id=1596305 «CoNLL-X shared task on Multilingual Dependency Parsing»]</ref>

=== ''2007: Dependency Parsing: Multilingual & Domain Adaptation'' ===

I 2007 ble oppgaven fra året før, utvikling av en parser som skal fungere på tvers av språk, videreført med et nytt utvalg av språk. Samtidig ble en sideoppgave innført der en parser for engelsk skulle videreutvikles til å fungere på et nytt felt, eller domene.<ref name="CoNLL 2007 Shared Task">Nivre et al.: [http://www.aclweb.org/anthology/D07-1096 «The CoNLL 2007 Shared Task on Dependency Parsing»]</ref>

De flerspråklige parserne ble i denne oppgaven evaluert på et utvalg av språk som skulle representere en større grad av [[Språktypologi|typologisk]] variasjon. På disse språkene fikk Nilsson best resultat for LAS (80,32) og Nakagawa best resultat for UAS (86,55). Når man ser på de fire språkene som overlappet med 2006-oppgaven ble resultatet for to språk forbedret og ett språk forverret, mens det siste stod på sted hvil. Her turte Nivre et al. å konkludere med at språk med mye morfologi ga konsekvent lavere resultater enn språk med lite morfologi.<ref name="CoNLL 2007 Shared Task" />

Domenetilpasningsoppgaven gikk ut på å tilpasse en parser som var trent på nyheter til å fungere på tekster i det kjemiske domenene samt [[CHILDES]]-korpuset, som består av transkriberte tekster av barn som lærer sitt førstespråk. Vinnersystemet fra Sagae og Tsuji oppnådde for de kjemiske tekstene en LAS på 81,06, sammenlignet med 89,01 for den flerspråklige oppgaven, mens CHILDES-korpuset jevnt over ga dårlige resultater for alle deltakerne. Det ble konkludert med at det hovedsakelige problemet lå i konverteringen fra parsernes annoteringsformat til formatet som ble brukt i oppgaven.<ref name="CoNLL 2007 Shared Task" />

=== ''2017: Multilingual Parsing from Raw Text to Universal Dependencies'' ===

Med oppgaven i 2017 hadde man et helt nytt utgangspunkt takket være Universal Dependencies, som ga et treningsmateriale bestående av trebanker for over 50 språk med konsekvent annotering på tvers av språk. Zeman et al. rapporterte at Stanford var i stand til å oppnå et gjennomsnittlig LAS-resultat på 81,77 for 55 trebanker som dekket over 40 språk, med det forbehold at dette resultatet ikke kunne sammenlignes direkte med tidligere resultater.<ref>Zeman et al.: [http://universaldependencies.org/conll17/proceedings/pdf/K17-3001.pdf «CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies»]</ref>