mengsixing / cdfang-spider

📊 成都房协网数据分析,喜欢请点 star!

Home Page:https://cdfangyuan.cn

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

意见反馈

mengsixing opened this issue · comments

👏👏 欢迎大家提出宝贵的意见 👏👏

价格爬爬就好了

@gouyuwang 这个已经在考虑中了哈,由于目前房协网是没有显示价格的,只能从第三方网站上爬取,现在正在思考怎么更优雅的整合这两个数据,🤔🤔。

爬虫代码在本repository吗?

@lefter 是的,在这个目录下: src/nodeuii/utils/spiderHelper.ts

@lefter 是的,在这个目录下: src/nodeuii/utils/spiderHelper.ts

我的意思是爬内容的代码,应该是用python写的脚本吧?node也能做爬虫吗?

@lefter 项目中的爬虫的确是用 node 写的。而且能做爬虫的不是只有 python 而已,php、java、node 等都可以。只要是能够发起 http 请求,接收 http 响应,就可以用来做爬虫,甚至直接写 shell + curl 都行。

cdfangxie 有价格吧?只是在 pdf 里。可能不是很方便解析。

cdfangxie 有价格吧?只是在 pdf 里。可能不是很方便解析。

@lambdaq 谢谢提醒,读取解析 pdf 目前没找到合适的库,后面应该会爬取摇号助手里的价格😏😏

我跑起来本地开发环境有两个地方的代码因为路径原因导致的报错,一个是koa-static那里
我改成app.use(serve(path.join(__dirname+'../../dist/client')));后才可以正常显示http://localhost:8080/404.html页面,
还有一处是// 支持 browserRouter那里,也要改成上面那种写法才能正常访问http://localhost:8080/2018,
我本机的操作系统是window,请问作者用的mac吗,这个问题和运行环境的操作系统有关吗

@guojintao32 你好,我这边确实是用的 mac,后面我用 windows 试试,估计和操作系统的路径 path
有关,可以尝试找一下具体问题,深挖学习一下,💪。

项目的ts有生效吗,因为没看到有用到ts-loader,ts在这里感觉没有起到作用

你好,项目中使用 babel 编译 ts,和 tsc 编译 ts 文件是一个道理。这里使用 babel 是为了统一项目的编译器。 @DavidWong9785

为啥要封装一个init方法 https://github.com/lmjben/cdfang-spider/blob/master/src/nodeuii/controllers/index.ts#L66-L68 ?我或许会直接在入口 app.use(router.routes()) 感觉这样更利于抽成脚手架模板或者封成包做成0配置

为啥要封装一个init方法 https://github.com/lmjben/cdfang-spider/blob/master/src/nodeuii/controllers/index.ts#L66-L68 ?我或许会直接在入口 app.use(router.routes()) 感觉这样更利于抽成脚手架模板或者封成包做成0配置

@GengPeng951 你好,这段代码 app.use(router.routes()) 其实是 koa-router 提供的,而 koa-router 又是作为服务器端的路由存在,所以将这段代码放在 controller 中,便于将所有路由相关的代码集合在一起,保持入口文件的整洁。