显示抓的内容随时查看日志,分析数据,ScrapydWeb正式版是一个用于Scrapyd集群管理的web应用,可以在软件上添加多个地址进行抓取,蜘蛛可以在软件上收集网络信息,ScrapydWeb电脑版所有的收集服务都显示在软件上,可以在软件上添加新的Scrapydserver项目进行分析,实现集群管理模式,方便抓取多个web项目。
功能
适用所有ScrapydJSONAPI
归类,过滤和选择随便数量的固定点
只需点一下几下就可以在多节点上运行命令
特色
按时操作适用于蜘蛛程序。
坚持数据库查询中的工作信息。
备份数据适用于Statsjson文件,避免Scrapyd删除初始日志文件。
优势
在工作、日志和新项目网页页面上引进新的UI。
将从服务器同歩网页页面勾选框加上到布署项目和运作Spider网页页面。
将简述重新命名为网络服务器
点评
Scrapydweb分析和可视化Scrapy日志,方便您管理Scrapyd集群。
特别说明
按时操作适用于蜘蛛程序,避免Scrapyd删除初始日志文件。