Seminarium Zespołu Inżynierii Lingwistycznej w Instytucie Podstaw Informatyki Polskiej Akademii Nauk odbywa się średnio co 2 tygodnie, zwykle w poniedziałki o godz. 10:15 (obecnie online – prosimy o korzystanie z linku przy tytule wystąpienia) i ma charakter otwarty. Poszczególne referaty ogłaszane są na Polskiej Liście Językoznawczej oraz na stronie Lingwistyka komputerowa na Facebooku. Nagrania wystąpień dostępne są na kanale YouTube.

5 października 2020

Piotr Rybak, Robert Mroczkowski, Janusz Tracz (Allegro), Ireneusz Gawlik (Allegro / AGH)

Przegląd modeli BERT dla języka polskiego  

W ciągu ostatnich lat seria modeli opartych o architekturę BERT istotnie poprawiła skuteczność modeli dla wielu zadań przetwarzania języka naturalnego. Podczas wystąpienia pokrótce opowiemy, jak działa BERT oraz kilka jego wariantów. Następnie skupimy się na modelach dostępnych dla języka polskiego oraz ich skuteczności w rankingu KLEJ. Na koniec opowiemy o nowym modelu opracowanym wspólnie przez IPI PAN i Allegro.

2 listopada 2020

Inez Okulska (NASK)

Ile treści jest w semantyce, czyli jak bardzo można przekształcać wektory typu word2vec, by nie stracić jakości uczenia  

Wprowadzenie wektorowej reprezentacji słów, zawierającej wagi wyrazów kontekstowych i centralnych, obliczone w wyniku mapowania gigantycznych korpusów danego języka, a nie kodujące jedynie ręcznie wybrane, lingwistyczne cechy słów, okazały się dla badań NLP przełomowe. Po pierwszym zachwycie wprawdzie nastąpił okres rewizji i poszukiwania ulepszeń - przede wszystkim poszerzania kontekstu, obsługi homonimów itp. Niemniej jednak klasyczne zanurzenia wciąż znajdują zastosowanie w wielu zadaniach - choćby klasyfikacji treści - i w wielu przypadkach wyniki, które dają, nadal są wystarczająco dobre. Co właściwe kodują? Czy zawierają elementy redundantne? Czy informacje w nich zawarte poddają się przekształceniom lub redukcji w sposób wciąż zachowujący oryginalny „sens”. Czym jest tu sens? Jak bardzo można wektory te deformować i jak to się ma do metod szyfrowania? W swoim wystąpieniu przedstawię rozważania na ten temat, ilustrowane wynikami kolejnych „tortur” wektorów (word2vec i glove) i ich skuteczności w zadaniu klasyfikacji tekstów, których treść musi pozostać zamaskowana dla ludzkiego oka.

16 listopada 2020

Agnieszka Chmiel (Uniwersytet im. Adama Mickiewicza w Poznaniu), Danijel Korzinek (Polsko-Japońska Akademia Technik Komputerowych)

PINC (Polish Interpreting Corpus): jak korpus może pomóc w badaniach nad procesem tłumaczenia symultanicznego  

PINC to pierwszy polski korpus tłumaczenia symultanicznego oparty na polsko-angielskich i angielsko-polskich tłumaczeniach w Parlamencie Europejskim. Wykorzystanie autentycznych danych tłumaczeniowych umożliwia poszukiwanie odpowiedzi na wiele pytań dotyczących procesu tłumaczenia symultanicznego. Dzięki analizie opóźnienia czasowego tłumaczenia w stosunku do oryginału można zbadać mechanizmy aktywacji i inhibicji w przetwarzaniu leksykalnym tłumacza. Dane na temat płynności wypowiedzi i pauz umożliwiają wyciąganie wniosków o obciążeniu kognitywnym. W prezentacji przedstawimy sposób przetwarzania danych w korpusie (m.in. identyfikację głosów tłumaczy) i główne wyzwania, takie jak analiza języka, analiza zależnościowa i wiązanie dwujęzyczne. Pokażemy, w jaki sposób zastosowanie poszczególnych danych może pomóc w zrozumieniu tego, na czym polega proces tłumaczenia, a nawet tego, co dzieje się w umyśle tłumacza.

30 listopada 2020

Findings of ACL: EMNLP 2020: sesja polska

Łukasz Borchmann et al. (Applica.ai)

Contract Discovery: Dataset and a Few-Shot Semantic Retrieval Challenge with Competitive Baselines (Wyszukiwanie fragmentu tekstu prawnego na podstawie kilku przykładów, czyli o zbiorze Contract Discovery oraz referencyjnych wynikach)   

Problem Contract Discovery dotyczy ustalania czy w dokumencie znajduje się dana klauzula lub ekstrakcją określanego typu klauzul, na potrzeby dalszej analizy, takiej jak ocena ryzyka. Ponieważ nie istniał publicznie dostępny zbiór, pozwalający na ewaluacje rozwiązań identyfikujących fragmenty niestrukturyzowanego tekstu prawnego, podjęliśmy się jego stworzenia. W ramach zaproponowanego wyzwania, zakłada się, że poszukiwany fragment może być dowolnym podciągiem dokumentu, tzn. nie musi stanowić kompletnej jednostki tekstu prawnego, takiej jak paragraf, punkt czy podpunkt. Ponadto, od proponowanych systemów oczekuje się bazowania na kilku przykładach analogicznych klauzul z innych dokumentów. Przy tak postawionym problemie, pretrenowane, uniwersalne enkodery zdań okazują się zawodzić, w przeciwieństwie do rozwiązań bazujących na modelach języka.

Piotr Szymański (Politechnika Wrocławska), Piotr Żelasko (Johns Hopkins University)

WER we are and WER we think we are   

Przetwarzanie mowy w języku naturalnym wymaga dostępności wysokiej jakości transkryptów. W niniejszym artykule wyrażamy nasz sceptycyzm wobec ostatnich doniesień o bardzo niskich wskaźnikach błędu słów (WER) osiąganych przez nowoczesne systemy automatycznego rozpoznawania mowy (ASR) na podstawie zbiorów danych porównawczych. Przedstawiamy kilka problemów związanych z popularnymi benchmarkami i porównujemy trzy nowoczesne komercyjne systemy ASR na wewnętrznym zbiorze rzeczywistych spontanicznych rozmów ludzkich i publicznym zbiorze HUB'05. Pokazujemy, że wyniki WER są znacznie wyższe niż najlepiej raportowane wyniki. Sformułowaliśmy zestaw wytycznych, które mogą pomóc w tworzeniu rzeczywistych, wielodomenowych zbiorów danych z wysokiej jakości anotacjami do szkolenia i testowania solidnych systemów ASR.

17 grudnia 2020

Piotr Przybyła (Instytut Podstaw Informatyki PAN)

Upraszczanie tekstu przez podmiany wielowyrazowe  

Wystąpienie będzie poświęcone zadaniu upraszczania tekstu przez podmiany wielowyrazowe, w którym zdanie w języku naturalnym modyfikuje się dla zwiększenia zrozumiałości poprzez zastępowanie jego fragmentów prostszymi odpowiednikami. W odróżnieniu od wcześniejszych prac, w tym sformułowaniu zarówno fragment zastępujący i zastępowany mogą mieć dowolną długość. Dla analizy tego zadania zbudowaliśmy korpus (MWLS1), składający się z 1462 zdań z 7059 podmianami zgromadzonymi poprzez crowdsourcing. Przedstawię także algorytm w sposób automatyczny generujący takie podmiany (Plainifier), wykorzystując specjalnie przygotowany model językowy, oraz rezultaty ewaluacji jego jakości. Wyniki badań zostały opublikowane w pracy Multi-word Lexical Simplification na konferencji COLING 2020.

18 stycznia 2021

Norbert Ryciak, Maciej Chrabąszcz, Maciej Bartoszuk (Sages)

Klasyfikacja wniosków patentowych   

W prezentacji przedstawione zostanie rozwiązanie zadania klasyfikacji wniosków patentowych, które zajęło drugie miejsce w konkursie GovTech. Omówiona zostanie specyfikacja problemu i zaproponowane rozwiązanie. W szczególności przedstawiona zostanie autorska metoda reprezentacji tekstów, oparta na interpretacji dokumentu jako „chmura embeddingów”.

1 lutego 2021

Adam Jatowt (Uniwersytet Leopolda i Franciszka w Innsbrucku)

Automatyczne odpowiadanie na pytania i znajdowanie analogicznych słów w archiwach artykułów prasowych  

Archiwa artykułów prasowych oferują ogromną wartość dla naszego społeczeństwa, pomagając użytkownikom poznać szczegóły wydarzeń, które miały miejsce w przeszłości. Obecnie dostęp do tych zbiorów jest utrudniony dla przeciętnego użytkownika ze względu na dużą ilość zgromadzonych dokumentów i konieczność posiadania specjalistycznej wiedzy z historii. Podczas prezentacji pokażemy model automatycznego odpowiadania na pytania na podstawie archiwalnych zbiorów artykułów prasowych, z modułem dedykowanym do znajdowania artykułów przy użyciu informacji czasowych. W drugiej części referatu omówimy metody na odnajdywanie i objaśnianie „czasowych analogów” – wyrazów z przeszłości, które są analogiczne do wyrazów obecnych (np. walkman jako czasowy analog iPada).

15 lutego 2021

Aleksandra Nabożny (Polsko-Japońska Akademia Technik Komputerowych)

Metoda optymalizacji pracy eksperta przy anotowaniu niewiarygodnych treści medycznych]  

Automatyczna klasyfikacja niewiarygodnych treści medycznych jest zadaniem niezwykle trudnym. Ekspercka ocena jest bowiem obarczona dużym skrzywieniem interpretacyjnym, które jest zależne od indywidualnych doświadczeń klinicznych danego lekarza. Ponadto, prosta ocena faktograficzna okazuje się niewystarczająca do określenia wiarygodności tego typu treści. Podczas seminarium przedstawię efekty moich i zespołu wysiłków w kierunku optymalizacji procesu anotacji. Zaproponowaliśmy metodę szeregowania zdań, dzięki której zdania o niższej wiarygodności z większym prawdopodobieństwem zostaną umieszczone na początku kolejki do oceny. Przedstawię również nasze propozycje rozszerzenia instrukcji dla anotatorów, mającej na celu zwiększenie spójności ocen. Na koniec zaproszę do dyskusji na temat potencjalnych kierunków badań w celu wykrywania szkodliwych narracji w tzw. fake newsach medycznych.

9 marca 2021 (UWAGA: seminarium łączone z instytutowym, odbędzie się wyjątkowo we wtorek o 12:00)

Aleksander Wawer (Instytut Podstaw Informatyki PAN), Izabela Chojnicka (Wydział Psychologii UW), Justyna Sarzyńska-Wawer (Instytut Psychologii PAN)

Uczenie maszynowe w wykrywaniu schizofrenii i autyzmu na podstawie wypowiedzi tekstowych  

Diagnostyka zaburzeń psychicznych na podstawie danych tekstowych to nowy obszar zastosowań dla przetwarzania języka naturalnego, a w szczególności metod uczenia maszynowego i głębokiego uczenia. Omówimy serię eksperymentów wykonanych na polskojęzycznych danych tekstowych dotyczących zaburzeń ze spektrum autyzmu i schizofrenii. Wystąpienie rozpoczniemy od analizy obydwu zaburzeń oraz przedstawienia narzędzi diagnostycznych: TLC i ADOS-2, wraz z charakterystyką zebranych danych. Przedstawimy efekty zastosowania metod słownikowych, mierzących takie wymiary jak poziom abstrakcji językowej oraz wydźwięk. Następnie przejdziemy do prób automatycznego diagnozowania obydwu zaburzeń. Porównamy skuteczność: (1) tradycyjnych narzędzi diagnostycznych TLC i ADOS-2, (2) metod uczenia maszynowego i głębokiego uczenia zastosowanych do danych zgromadzonych przez te narzędzia oraz (3) psychiatrów. Omówimy skuteczność najprostszych metod typu bag-of-words, metod słownikowych, a także głębokich sieci neuronowych. Przedstawimy eksperymenty z transfer learning, a także uczeniem w scenariuszach zero-shot i few-shot, dedykowanych sytuacjom o małej liczebności danych, co jest typowym problemem w warunkach klinicznych. Psychiatria to jedna z nielicznych dziedzin medycyny, w których diagnoza większości zaburzeń opiera się na subiektywnej ocenie psychiatry. Nasze prace są krokiem w kierunku wprowadzenia zautomatyzowanych i obiektywnych narzędzi wspomagających diagnostykę.

15 marca 2021

Filip Graliński (1Applica.ai / Uniwersytet Adama Mickiewicza)

Kleister (pełny tytuł podamy wkrótce)  

Streszczenie wystąpienia podamy już wkrótce.

Zapraszamy także do zapoznania się z archiwum seminariów z lat 2000–2015 oraz listą wystąpień z lat 2015–2020.