turpure / ur_crawler

a distrubuted crawler based on celery and redis

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

多任务布局参考链接

celery 原理和架构

Celery是一个自带电池的基于Python开发的分布式异步消息任务队列,它非常易于使用。通过它可以轻松的实现任务的异步处理, 如果你的业务场景中需要用到异步任务,就可以考虑使用Celery Celery主要适用于俩大场景:异步和定时。

celery 源码阅读

1.celery在Windows下无法调试,可以安装wsl远程调试。 2. celery 其实在windows下是可以调试的,可用指定模块的方式实现。

celery 启动过程

先启动流水线,然后分发产品(任务)到流水线上。(像小时候的打麦机) avatar

celery 问题

  • 各个独立的模块是如何串联起来的?
  • 一个任务的声明周期是怎么的?
  • 任务的状态是如何变化的?
  • 任务的事件是如何产生和发送的?
  • 归根结底还是遵照代码基本法,通过消息传递,数据共享,循环,判断来实现事件的发送。 每个模块先拆开独立看,再合起来看,就弄懂他运行原理了。

About

a distrubuted crawler based on celery and redis


Languages

Language:Python 100.0%