uglock / Stockcrawler

A crawler project for get stock information.

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

Yo!stock

这是一个国内股票爬虫程序,利用新浪股票数据接口,和证券之星分类市场爬取国内证券市场的股票信息。

完成基本的股票信息爬取,存储,和数据处理,每个模块完成相应的内容,并写了完整的Tk界面。 程序使用python3.5,mysql5.6数据库。

使用到beautifulsoup、pymysql、pandas等第三方库。

功能分为六部分,mysqlstockui.py为界面程序(也是主程序),其它五个分别为五个小程序模块,最后import到ui界面程序中完成全部程序。

其它几个程序分别为:ui、getstockvalue、getallrank、selectinsql、getallstock、pandasuse下面将分别介绍各模块功能和实现方法。

主程序main.py

界面ui.py

功能简介:是用python内置的tkinter编写的界面,用来调用其它程序函数,并将各返回值传入UI界面上显示出来。

在线获取股票信息getstockvalue.py

功能简介:程序getstockvalue.py实现功能是在用户输入股票代码后,自动相应的新浪股票信息链接,并在线爬取新浪股票的股票实时信息和股票的日线K线图,股票数据作为返回值返回,股票K线图下载到根目录

在线获取股票榜单getallrank.py

功能简介:程序getallrank.py实现功能是通过证券之星网站,爬取网站上在线的股票榜单,并格式化数据后返回,每个函数对应一个股票市场,运用到BeautifulSoup的库,用标签去解析网页源码,比用正则表达式更加简练方便

爬取全部股票并存入数据库getallstock.py

功能简介:程序getallstock.py实现功能是爬取证券之星网站上的股票市场上的股票数据,解析好格式并存入mysql数据库,数据表单依据用户操作系统日期动态创建,可实现不断刷新股票信息功能,当日股票数据可反复更新,全部股票按照A股、B股、中小板、存在当日三个不同表单中,为后面自定义查询做好分类工作

数据库查询股票数据selectinsql.py

功能简介:程序selectinsql.py实现功能是从任意历史数据库中查询股票信息,可以满足用户去查询历史上某一天的股票价格信息,输入一个日期,和一个股票代码,程序会从mysql里找到当日三个市场表单进行查询,如果没有当日数据库,返回提示,如果没有对应股票信息,返回提示,查询到股票信息,返回格式化好的股票信息

用户自定义排序pandasuse.py

功能简介:程序pandasuse.py实现功能是从任意历史数据库中获取当日股票市场的所有股票信息,进行自定义排序。用到了第三方库pandas,第一步通过判断用户输入的历史日期,将指定日期数据从mysql中取出传入给pandas,第二步将数据库的char型数据整改成float型,第三步,然后根据传入参数对关键数据进行排序,最后将数据以表单形式返回

最后,欢迎各路小伙伴一起来改进代码~

About

A crawler project for get stock information.


Languages

Language:Python 100.0%