纯净、安全、绿色的下载网站

首页|软件分类|下载排行|最新软件|IT学院

当前位置:首页IT学院IT技术

scrapy spiders多爬虫运行 python scrapy项目下spiders内多个爬虫同时运行的实现

行者刘6   2021-04-21 我要评论
想了解python scrapy项目下spiders内多个爬虫同时运行的实现的相关内容吗,行者刘6在本文为您仔细讲解scrapy spiders多爬虫运行的相关知识和一些Code实例,欢迎阅读和指正,我们先划重点:scrapy,spiders多爬虫运行,scrapy,spiders多爬虫,下面大家一起来学习吧。

一般创建了scrapy文件夹后,可能需要写多个爬虫,如果想让它们同时运行而不是顺次运行的话,得怎么做?

a、在spiders目录的同级目录下创建一个commands目录,并在该目录中创建一个crawlall.py,将scrapy源代码里的commands文件夹里的crawl.py源码复制过来,只修改run()方法即可!

import os
from scrapy.commands import ScrapyCommand
from scrapy.utils.conf import arglist_to_dict
from scrapy.utils.python import without_none_values
from scrapy.exceptions import UsageError
 
class Command(ScrapyCommand):
    requires_project = True
    def syntax(self):
        return "[options] <spider>"
    def short_desc(self):
        return "Run all spider"
    def add_options(self, parser):
        ScrapyCommand.add_options(self, parser)
        parser.add_option("-a", dest="spargs", action="append", default=[], metavar="NAME=VALUE",
                          help="set spider argument (may be repeated)")
        parser.add_option("-o", "--output", metavar="FILE",
                          help="dump scraped items into FILE (use - for stdout)")
        parser.add_option("-t", "--output-format", metavar="FORMAT",
                          help="format to use for dumping items with -o")
 
    def process_options(self, args, opts):
        ScrapyCommand.process_options(self, args, opts)
        try:
            opts.spargs = arglist_to_dict(opts.spargs)
        except ValueError:
            raise UsageError("Invalid -a value, use -a NAME=VALUE", print_help=False)
        if opts.output:
            if opts.output == '-':
                self.settings.set('FEED_URI', 'stdout:', priority='cmdline')
            else:
                self.settings.set('FEED_URI', opts.output, priority='cmdline')
            feed_exporters = without_none_values(
                self.settings.getwithbase('FEED_EXPORTERS'))
            valid_output_formats = feed_exporters.keys()
            if not opts.output_format:
                opts.output_format = os.path.splitext(opts.output)[1].replace(".", "")
            if opts.output_format not in valid_output_formats:
                raise UsageError("Unrecognized output format '%s', set one"
                                 " using the '-t' switch or as a file extension"
                                 " from the supported list %s" % (opts.output_format,
                                                                  tuple(valid_output_formats)))
            self.settings.set('FEED_FORMAT', opts.output_format, priority='cmdline')
 
    def run(self, args, opts):
        #获取爬虫列表
        spd_loader_list=self.crawler_process.spider_loader.list()#获取所有的爬虫文件。
        print(spd_loader_list)
        #遍历各爬虫
        for spname in spd_loader_list or args:
            self.crawler_process.crawl(spname, **opts.spargs)
            print ('此时启动的爬虫为:'+spname)
        self.crawler_process.start()

b、还得在里面加个_init_.py文件

c、到这里还没完,settings.py配置文件还需要加一条。

  COMMANDS_MODULE = ‘项目名称.目录名称' 

COMMANDS_MODULE = 'ds1.commands'

d、最后启动crawlall即可!

    当然,安全起见,可以先在命令行中进入该项目所在目录,并输入scrapy -h,可以查看是否有命令crawlall 。如果有,那就成功了,可以启动了

我是写了个启动文件,放在第一级即可

要不直接在命令台cmd里输入 scrapy crawlall 就行了

##注意的是,爬虫好像是2个同时运行,而且运行时是交叉的?

还有settings里的文件,只针对其中一个?


相关文章

猜您喜欢

  • Java执行groovy脚本 详解Java执行groovy脚本的两种方式

    想了解详解Java执行groovy脚本的两种方式的相关内容吗,蒲公英不是梦在本文为您仔细讲解Java执行groovy脚本的相关知识和一些Code实例,欢迎阅读和指正,我们先划重点:Java执行groovy脚本,Java,groovy脚本,下面大家一起来学习吧。..
  • .Net程序内存泄漏解析

    一、概要大约在今年三月份的时分忽然被紧急调到另外一个项目组处理线上内存走漏问题。经过两周的玩命奋战终于处理了..

网友评论

Copyright 2020 www.iunios.com 【OS下载站】 版权所有 软件发布

声明:所有软件和文章来自软件开发商或者作者 如有异议 请与本站联系 点此查看联系方式