jobrest/gather-platform repository overview

http://localhost:28080/spider⁠

ssh: username: root password: root

本镜像仅供内部测试，采用ubuntu 16.04 集成 ES\Java JDK 8\Tomcat 8； 请勿用于正式使用环境，由此带来的风险由使用者自己承担；

======================================================

Gather Platform 数据抓取平台是一套基于Webmagic内核的,具有Web任务配置和任务管理界面的数据采集与搜索平台.具有以下功能 根据配置的模板进行数据采集 在不配置采集模板的情况下自动检测网页正文,自动抽取文章发布时间 动态字段抽取与静态字段植入 已抓取数据的管理,包括:搜索,增删改查,按照新的数据模板重新抽取数据 对采集的数据进行NLP处理,包括:抽取关键词,抽取摘要,抽取实体词 含有相关文章推荐，文章中人物、地点之间的关联关系分析