suvorinov/scrapyd repository overview

⁠scrapyd

Scrapyd⁠ — это сервис для развертывания и запуска Scrapy⁠-проектов. Позволяет вам развертывать(загрузить) ваши проекты и управлять ими с помощью JSON API

Этот образ основан debian:bookworm, предустановлены следующие пакеты:

• scrapy⁠
• scrapyd⁠
• scrapy-playwright⁠
• dateparser⁠
• price-parser⁠

Также предустановлен chromium и все зависимости

⁠docker-compose.yml

services:

  scrapyd:
    image: suvorinov/scrapyd
    container_name: scrapyd
    env_file:
      - .env
    ports:
      - "6800:6800"
    volumes:
      - ${HOME}/var/www/assets:/root/var/www/assets  
      - ${HOME}/.cache/scrapyd:/var/lib/scrapyd
      - /usr/local/lib/python3.11/dist-packages
    restart: unless-stopped

⁠Запустить сервис

Следующая команда запустит scrapyd:

docker compose up -d

⁠Включить аутентификацию

Установите username и password в scrapyd.conf (перед запуском).

После развертывания scrapyd сервис доступен http://your-ip:6800.