Skip to content

关于scrapy-redis能够说的在详细写 #1

@kakaok

Description

@kakaok

最近遇到scrapy分布式处理的问题,不知道改如何处理,master中的url如何产生,slave中爬去到的url如何存入master中,在实际的spider中,RedisSpider RedisMixin 如何与scrapy中的spider做好协调(如何使用scrapy-redis中的spider) 希望能得到您的帮助

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions