crawlab-team / crawlab

Distributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台,支持任何语言和框架

Home Page:https://www.crawlab.cn

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

不同爬虫项目之间的Python环境进行隔离

ma-pony opened this issue · comments

请描述该需求尝试解决的问题
不同爬虫项目使用不同依赖Python版本或者其他依赖包版本时,总是被迫将所有的爬虫项目版本进行统一升级,当爬虫项目增多之后,工作量会越来越大。

请描述您认为可行的解决方案
使用虚拟环境进行隔离,使用poetry和pyenv等等现成的虚拟环境库

考虑过的替代方案
使用docker进行隔离,将项目代码和依赖打包到docker中,使用docker运行

刷到你了,pony

基于 conda 的环境管理 是不错的选择