将拉勾中爬下来的所有数据都存入数据库。
arjenzhou opened this issue · comments
想要将拉勾中爬下来的所有数据都存入数据库应该使用哪条命令？
# 启动定时任务分发器
env/bin/celery_beat
是定期启动所有爬虫吗？
提个新需求：提取某一种职业要求
对某一个行业职位要求的标签提取，能计算出每年对某一种职位的的标签的变迁
- 长期霸版的为基础技能标签
- 近2年新增的标签
Title的类型的分布，比如同样的产品经理，又分了前端、后端、B端、C端、商业、增长等，输出一个title的分布
- 分析出产品经理的通用职能需求
- 每一种产品经理的偏向性技术要求标签
现在没有时间~~~
yilan <notifications@github.com> 于2019年3月4日周一 下午9:22写道：
… 提个新需求：提取某一种职业要求
对某一个行业职位要求的标签提取，能计算出每年对某一种职位的的标签的变迁
1. 长期霸版的为基础技能标签
2. 近2年新增的标签
Title的类型的分布，比如同样的产品经理，又分了前端、后端、B端、C端、商业、增长等，输出一个title的分布
1. 分析出产品经理的通用职能需求
2. 每一种产品经理的偏向性技术要求标签
—
You are receiving this because you modified the open/close state.
Reply to this email directly, view it on GitHub
<#14 (comment)>,
or mute the thread
<https://github.com/notifications/unsubscribe-auth/AM2tHLf9a3HSAk6JX1NUl7Kn2xt9XkVCks5vTR4tgaJpZM4aUCDd>
.
是的 这个是celery的定时任务 还需要开worker配合
Yang Zhou <notifications@github.com> 于2019年1月26日周六 下午2:58写道：
… 想要将拉勾中爬下来的所有数据都存入数据库应该使用哪条命令？
# 启动定时任务分发器
env/bin/celery_beat
是定期启动所有爬虫吗？
—
You are receiving this because you are subscribed to this thread.
Reply to this email directly, view it on GitHub
<#14>, or mute the thread
<https://github.com/notifications/unsubscribe-auth/AM2tHECvS63wR_OXfWM8nqe2bHOFT9oaks5vG_yggaJpZM4aUCDd>
.