parusproj/parus repository overview

⁠О конвейере PaRuS_pipe

Лингвистический конвейер PaRuS_pipe решает задачи:

• определения границ слов⁠ (или токенизации),
• определения границ предложений⁠ (также известной как SBD⁠),
• морфологического анализа,
• синтаксического анализа

для текстов на русском языке.

PaRuS_pipe представляет собой гибрид конвейеров Шарова-Нивре⁠ и UDPipe⁠. Дополнительные модули устраняют ряд недостатков упомянутых конвейеров, которые были обнаружены на практике. Кроме того, для повышения качества лемматизации⁠ (т.е. определения нормальных форм слов) в PaRuS_pipe интегрирован словарный морфологический анализ на базе наработок проекта АОТ⁠. В нотационном отношении в PaRuS_pipe приняты следующие решения:

• в токенизации: дефисные композиты (светло-серый, слуга-азиат) представляются одним токеном (в UDPipe они дробятся на составляющие);
• в морфологическом анализе: используется нотация MULTEXT-East (ru)⁠ (как в конвейере Шарова-Нивре);
• в синтаксическом анализе: строится дерево зависимостей в нотации СинТагРус⁠ (как в конвейере Шарова-Нивре).

Подробнее об устройстве и характеристиках конвейера читайте в следующей заметке⁠.

⁠Как пользоваться docker-контейнером

При запуске docker-контейнера появляется командная строка (bash). Пример запуска анализа текста:
echo "Ёжики живу́т в этом «лесу» с незапамятных времён." | ./parse_one 001
Результат будет отображён в консоли.

Для обработки файлов удобнее поступить следующим образом:

1. Создать каталоги в хостовой файловой системе /home/{username}/parus_texts и /home/{username}/parus_results. Поместить в parus_texts подлежащие анализу текстовые файлы в кодировке utf-8 (например, text.txt).
2. Добавить право на запись в parus_results всем пользователям: chmod o+w /home/{username}/parus_results
3. Запустить контейнер с подключением каталога хостовой файловой системы: docker run -it -v /home/{username}/parus_texts:/opt/parus/texts -v /home/{username}/parus_results:/opt/parus/results parusproj/parus
4. Запустить обработку файла ./parse_one 001 <texts/text.txt >results/text.out или всех файлов в каталоге с текстами ./parse_dir 001 texts results
5. По окончании обработки завершить работу docker-контейнера. Обработанные файлы останутся в /home/{username}/parus_results