5 października 2020 |
Piotr Rybak, Robert Mroczkowski, Janusz Tracz (Allegro), Ireneusz Gawlik (Allegro / AGH) |
W ciągu ostatnich lat seria modeli opartych o architekturę BERT istotnie poprawiła skuteczność modeli dla wielu zadań przetwarzania języka naturalnego. Podczas wystąpienia pokrótce opowiemy, jak działa BERT oraz kilka jego wariantów. Następnie skupimy się na modelach dostępnych dla języka polskiego oraz ich skuteczności w rankingu KLEJ. Na koniec opowiemy o nowym modelu opracowanym wspólnie przez IPI PAN i Allegro. |
2 listopada 2020 |
Inez Okulska (NASK) |
Wprowadzenie wektorowej reprezentacji słów, zawierającej wagi wyrazów kontekstowych i centralnych, obliczone w wyniku mapowania gigantycznych korpusów danego języka, a nie kodujące jedynie ręcznie wybrane, lingwistyczne cechy słów, okazały się dla badań NLP przełomowe. Po pierwszym zachwycie wprawdzie nastąpił okres rewizji i poszukiwania ulepszeń - przede wszystkim poszerzania kontekstu, obsługi homonimów itp. Niemniej jednak klasyczne zanurzenia wciąż znajdują zastosowanie w wielu zadaniach - choćby klasyfikacji treści - i w wielu przypadkach wyniki, które dają, nadal są wystarczająco dobre. Co właściwe kodują? Czy zawierają elementy redundantne? Czy informacje w nich zawarte poddają się przekształceniom lub redukcji w sposób wciąż zachowujący oryginalny „sens”. Czym jest tu sens? Jak bardzo można wektory te deformować i jak to się ma do metod szyfrowania? W swoim wystąpieniu przedstawię rozważania na ten temat, ilustrowane wynikami kolejnych „tortur” wektorów (word2vec i glove) i ich skuteczności w zadaniu klasyfikacji tekstów, których treść musi pozostać zamaskowana dla ludzkiego oka. |
16 listopada 2020 |
Agnieszka Chmiel (Uniwersytet im. Adama Mickiewicza w Poznaniu), Danijel Korzinek (Polsko-Japońska Akademia Technik Komputerowych) |
PINC to pierwszy polski korpus tłumaczenia symultanicznego oparty na polsko-angielskich i angielsko-polskich tłumaczeniach w Parlamencie Europejskim. Wykorzystanie autentycznych danych tłumaczeniowych umożliwia poszukiwanie odpowiedzi na wiele pytań dotyczących procesu tłumaczenia symultanicznego. Dzięki analizie opóźnienia czasowego tłumaczenia w stosunku do oryginału można zbadać mechanizmy aktywacji i inhibicji w przetwarzaniu leksykalnym tłumacza. Dane na temat płynności wypowiedzi i pauz umożliwiają wyciąganie wniosków o obciążeniu kognitywnym. W prezentacji przedstawimy sposób przetwarzania danych w korpusie (m.in. identyfikację głosów tłumaczy) i główne wyzwania, takie jak analiza języka, analiza zależnościowa i wiązanie dwujęzyczne. Pokażemy, w jaki sposób zastosowanie poszczególnych danych może pomóc w zrozumieniu tego, na czym polega proces tłumaczenia, a nawet tego, co dzieje się w umyśle tłumacza. |
30 listopada 2020 |
Findings of ACL: EMNLP 2020: sesja polska |
Łukasz Borchmann et al. (Applica.ai) |
|
Problem Contract Discovery dotyczy ustalania czy w dokumencie znajduje się dana klauzula lub ekstrakcją określanego typu klauzul, na potrzeby dalszej analizy, takiej jak ocena ryzyka. Ponieważ nie istniał publicznie dostępny zbiór, pozwalający na ewaluacje rozwiązań identyfikujących fragmenty niestrukturyzowanego tekstu prawnego, podjęliśmy się jego stworzenia. W ramach zaproponowanego wyzwania, zakłada się, że poszukiwany fragment może być dowolnym podciągiem dokumentu, tzn. nie musi stanowić kompletnej jednostki tekstu prawnego, takiej jak paragraf, punkt czy podpunkt. Ponadto, od proponowanych systemów oczekuje się bazowania na kilku przykładach analogicznych klauzul z innych dokumentów. Przy tak postawionym problemie, pretrenowane, uniwersalne enkodery zdań okazują się zawodzić, w przeciwieństwie do rozwiązań bazujących na modelach języka. |
Piotr Szymański (Politechnika Wrocławska), Piotr Żelasko (Johns Hopkins University) |
Przetwarzanie mowy w języku naturalnym wymaga dostępności wysokiej jakości transkryptów. W niniejszym artykule wyrażamy nasz sceptycyzm wobec ostatnich doniesień o bardzo niskich wskaźnikach błędu słów (WER) osiąganych przez nowoczesne systemy automatycznego rozpoznawania mowy (ASR) na podstawie zbiorów danych porównawczych. Przedstawiamy kilka problemów związanych z popularnymi benchmarkami i porównujemy trzy nowoczesne komercyjne systemy ASR na wewnętrznym zbiorze rzeczywistych spontanicznych rozmów ludzkich i publicznym zbiorze HUB'05. Pokazujemy, że wyniki WER są znacznie wyższe niż najlepiej raportowane wyniki. Sformułowaliśmy zestaw wytycznych, które mogą pomóc w tworzeniu rzeczywistych, wielodomenowych zbiorów danych z wysokiej jakości anotacjami do szkolenia i testowania solidnych systemów ASR. |
17 grudnia 2020 |
Piotr Przybyła (Instytut Podstaw Informatyki PAN) |
Wystąpienie będzie poświęcone zadaniu upraszczania tekstu przez podmiany wielowyrazowe, w którym zdanie w języku naturalnym modyfikuje się dla zwiększenia zrozumiałości poprzez zastępowanie jego fragmentów prostszymi odpowiednikami. W odróżnieniu od wcześniejszych prac, w tym sformułowaniu zarówno fragment zastępujący i zastępowany mogą mieć dowolną długość. Dla analizy tego zadania zbudowaliśmy korpus (MWLS1), składający się z 1462 zdań z 7059 podmianami zgromadzonymi poprzez crowdsourcing. Przedstawię także algorytm w sposób automatyczny generujący takie podmiany (Plainifier), wykorzystując specjalnie przygotowany model językowy, oraz rezultaty ewaluacji jego jakości. Wyniki badań zostały opublikowane w pracy Multi-word Lexical Simplification na konferencji COLING 2020. |
18 stycznia 2021 |
Norbert Ryciak, Maciej Chrabąszcz, Maciej Bartoszuk (Sages) |
W prezentacji przedstawione zostanie rozwiązanie zadania klasyfikacji wniosków patentowych, które zajęło drugie miejsce w konkursie GovTech. Omówiona zostanie specyfikacja problemu i zaproponowane rozwiązanie. W szczególności przedstawiona zostanie autorska metoda reprezentacji tekstów, oparta na interpretacji dokumentu jako „chmura embeddingów”. |
1 lutego 2021 |
Adam Jatowt (Uniwersytet Leopolda i Franciszka w Innsbrucku) |
Archiwa artykułów prasowych oferują ogromną wartość dla naszego społeczeństwa, pomagając użytkownikom poznać szczegóły wydarzeń, które miały miejsce w przeszłości. Obecnie dostęp do tych zbiorów jest utrudniony dla przeciętnego użytkownika ze względu na dużą ilość zgromadzonych dokumentów i konieczność posiadania specjalistycznej wiedzy z historii. Podczas prezentacji pokażemy model automatycznego odpowiadania na pytania na podstawie archiwalnych zbiorów artykułów prasowych, z modułem dedykowanym do znajdowania artykułów przy użyciu informacji czasowych. W drugiej części referatu omówimy metody na odnajdywanie i objaśnianie „czasowych analogów” – wyrazów z przeszłości, które są analogiczne do wyrazów obecnych (np. walkman jako czasowy analog iPada). |
15 lutego 2021 |
Aleksandra Nabożny (Polsko-Japońska Akademia Technik Komputerowych) |
|
Automatyczna klasyfikacja niewiarygodnych treści medycznych jest zadaniem niezwykle trudnym. Ekspercka ocena jest bowiem obarczona dużym skrzywieniem interpretacyjnym, które jest zależne od indywidualnych doświadczeń klinicznych danego lekarza. Ponadto, prosta ocena faktograficzna okazuje się niewystarczająca do określenia wiarygodności tego typu treści. Podczas seminarium przedstawię efekty moich i zespołu wysiłków w kierunku optymalizacji procesu anotacji. Zaproponowaliśmy metodę szeregowania zdań, dzięki której zdania o niższej wiarygodności z większym prawdopodobieństwem zostaną umieszczone na początku kolejki do oceny. Przedstawię również nasze propozycje rozszerzenia instrukcji dla anotatorów, mającej na celu zwiększenie spójności ocen. Na koniec zaproszę do dyskusji na temat potencjalnych kierunków badań w celu wykrywania szkodliwych narracji w tzw. fake newsach medycznych. |
9 marca 2021 (seminarium łączone z instytutowym) |
Aleksander Wawer (Instytut Podstaw Informatyki PAN), Izabela Chojnicka (Wydział Psychologii UW), Justyna Sarzyńska-Wawer (Instytut Psychologii PAN) |
|
Diagnostyka zaburzeń psychicznych na podstawie danych tekstowych to nowy obszar zastosowań dla przetwarzania języka naturalnego, a w szczególności metod uczenia maszynowego i głębokiego uczenia. Omówimy serię eksperymentów wykonanych na polskojęzycznych danych tekstowych dotyczących zaburzeń ze spektrum autyzmu i schizofrenii. Wystąpienie rozpoczniemy od analizy obydwu zaburzeń oraz przedstawienia narzędzi diagnostycznych: TLC i ADOS-2, wraz z charakterystyką zebranych danych. Przedstawimy efekty zastosowania metod słownikowych, mierzących takie wymiary jak poziom abstrakcji językowej oraz wydźwięk. Następnie przejdziemy do prób automatycznego diagnozowania obydwu zaburzeń. Porównamy skuteczność: (1) tradycyjnych narzędzi diagnostycznych TLC i ADOS-2, (2) metod uczenia maszynowego i głębokiego uczenia zastosowanych do danych zgromadzonych przez te narzędzia oraz (3) psychiatrów. Omówimy skuteczność najprostszych metod typu bag-of-words, metod słownikowych, a także głębokich sieci neuronowych. Przedstawimy eksperymenty z transfer learning, a także uczeniem w scenariuszach zero-shot i few-shot, dedykowanych sytuacjom o małej liczebności danych, co jest typowym problemem w warunkach klinicznych. Psychiatria to jedna z nielicznych dziedzin medycyny, w których diagnoza większości zaburzeń opiera się na subiektywnej ocenie psychiatry. Nasze prace są krokiem w kierunku wprowadzenia zautomatyzowanych i obiektywnych narzędzi wspomagających diagnostykę. |
15 marca 2021 |
Filip Graliński, Agnieszka Kaliska (Applica.ai / Uniwersytet Adama Mickiewicza), Tomasz Stanisławek, Anna Wróblewska (Applica.ai / Politechnika Warszawska), Dawid Lipiński, Bartosz Topolski (Applica.ai), Paulina Rosalska (Applica.ai / Uniwersytet Mikołaja Kopernika), Przemysław Biecek (Politechnika Warszawska / Samsung R&D Polska) |
|
Wystąpienie będzie poświęcone dwóm nowych zbiorom danych z zakresu ekstrakcji informacji z dokumentów PDF: Kleister NDA i Kleister Charity. W zbiorach tych znalazły się zarówno dokumenty born-digital, jak i dokumenty skanowane; w obu przypadkach są to długie dokumenty w języku angielskim o charakterze formalnym. W tych wyzwaniach, system NLP ma za zadanie znaleźć lub wywnioskować informacje różnego typu posiłkując się zarówno cechami tekstowymi, jak i strukturalnymi. |
12 kwietnia 2021 |
Marek Kubis (Uniwersytet Adama Mickiewicza) |
|
W wystąpieniu przedstawię wyniki dotyczące ilościowej analizy sieci postaci indukowanych z polskich powieści. Korpus zbudowany na potrzeby prezentowanych badań składa się z XIX- i XX-wiecznych tekstów dostępnych w domenie publicznej. Omówię sposób przygotowania korpusu oraz procedurę ekstrakcji sieci. Przedstawię obserwacje dotyczące własności strukturalnych indukowanych sieci oraz skonfrontuję je z wynikami, które uzyskano dla powieści anglojęzycznych. Porównam sieci pozyskane z tekstów XIX-wiecznych z sieciami powieści XX-wiecznych. |
7 czerwca 2021 |
Maciej Ogrodniczuk, Michał Rudolf (Instytut Podstaw Informatyki PAN) |
Marta Kołczyńska (Instytut Studiów Politycznych PAN) |
W pierwszej części wystąpienia opowiemy o finansowanym przez CLARIN-ERIC projekcie ParlaMint, którego celem jest stworzenie wielojęzycznego porównywalnego korpusu danych parlamentarnych na podstawie narodowych korpusów stenogramów. Druga część wystąpienia będzie poświęcona pracom grupy badawczej, która wykorzystała dane korpusu ParlaMint w zadaniu analizy debat parlamentarnych podczas hackathonu Helsinki Digital Humanities Hackathon #DHH21. |