Public | Automated Build

Last pushed: 8 months ago
Short Description
基于ubuntu的python2环境,用于部署文本分析项目
Full Description

Dockerfile

基于ubuntu的python2环境,用于部署文本分析项目

客户工具使用手册:

  1. 系统环境:Linux/mac系统,python2。
  2. 数据格式:csv文件格式,按照unit0_test.csv与unit1.csv格式,三个字段:id,kind,content。
  3. 使用前要求:将启动文件,执行文件与数据文件放到同一个目录下,切换到该目录下。
  4. 测试数据正确率,命令行例子:

    docker run -it --rm --name text-an -v "$PWD":/var/www/demo-12345 -w /var/www/demo-12345 ibbd/ubuntu python setup.pyo -f test -i unit0_test.csv -m model_first
    

    说明:-f 为函数标识符,test代表测试;-i为测试输入文件标识符,unit0_test.csv为输入文件;-m为测试模型标识符,model_first表示模型名称。

  5. 分类数据,命令行例子:

    docker run -it --rm --name text-an -v "$PWD":/var/www/demo-12345 -w /var/www/demo-12345 ibbd/ubuntu  python setup.pyo -f classify -i unit1.csv -m model_first -o unit1_classify.csv
    

    说明:-f 为函数标识符,classify代表分类;-i为分类输入文件标识符,unit0_test.csv为输入文件;-m为分类模型标识符,model_first表示模型名称;-o为输出文件标识符,unit1.csv为输出文件。

Dockerfile_poi

分布式爬虫的部署环境,主要安装了scrapy,scrapy-redis等python包

部署

docker pull ibbd/ubuntu:scrapy 
nohup  docker run -it --rm --name text-an -v "$PWD":/var/www/crawler -w /var/www/crawler ibbd/ubuntu:scrapy  scrapy crawl poi -a priority=1  >> /var/www/crawler/poigd.log 2>&1  &
Docker Pull Command
Owner
ibbd
Source Repository