Sign inSign up

mrapacz/toki

By mrapacz

•Updated over 7 years ago

a dockerized version of the toki tokenizer

Image
0

193

mrapacz/toki repository overview

⁠A dockerized version of the toki tokenizer.

⁠The original project can be found over here: http://nlp.pwr.wroc.pl/redmine/projects/toki/wiki⁠

⁠Setup

By default the server will run on port 5000:

docker run --name toki -d -p 5000:5000 mrapacz/toki

⁠Usage

Example usage, the default format is "\$orth\n":

$ curl -XPOST "http://127.0.0.1:5000/" -H 'Content-Type: application/json' --data '{"text": "Litwo, Ojczyzno moja! ty jesteś jak zdrowie;Ile cię trzeba cenić, ten tylko się dowie,Kto cię stracił. "}'
Litwo
,
Ojczyzno
moja
!
ty
jesteś
jak
zdrowie
;
Ile
cię
trzeba
cenić
,
ten
tylko
się
dowie
,
Kto
cię
stracił
.

You can also specify the format. Note that you will need to escape the backslash character:

$ curl -XPOST "http://127.0.0.1:5000/" -H 'Content-Type: application/json' --data '{"text": "Litwo, Ojczyzno moja! ty jesteś jak zdrowie;Ile cię trzeba cenić, ten tylko się dowie,Kto cię stracił. ", "format": "\\$orth;"}'
Litwo;,;Ojczyzno;moja;!;ty;jesteś;jak;zdrowie;;;Ile;cię;trzeba;cenić;,;ten;tylko;się;dowie;,;Kto;cię;stracił;.;%

Tag summary

Content type

Image

Digest

Size

663.5 MB

Last updated

over 7 years ago

docker pull mrapacz/toki