lovejun277 / craw_stock

因审计专业同学需要对上市公司的利润表中数据进行分析,因此帮忙写了爬虫然后用K-means简单分析了一下

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

起因

因一个审计专业同学需要对上市公司的利润表中数据进行分析,因此帮忙写了爬虫然后用K-means简单分析了一下,找出可疑公司

爬虫部分

爬虫部分一共爬取了两个网站的数据,因为第一个网站的数据,爬取的第一个网站是同花顺,爬虫代码在selenium_com.py文件中,用mongodb数据库存储

第二个网站是东方财富网,代码在craw_dfcfw.py中,保存方式为CSV文件,保存在dataset文件夹下

详细过程有空补充

聚类部分

因为审计专业的要求和计算机不太一样,他们这个方法的要求是先通过K-means算法进行聚类,然后把聚类结果里面的小簇(就是只有几个数据的那种)中的数据给删除掉,因为这种数据说明该公司的财务数据存在疑点,而他的论文正是要找出这些可疑的公司和数据,然后将这些可疑点给删除,再次进行聚类(论文中称之为迭代式聚类),反复多次,直到没有小簇出现,以此来达到筛选出存在审计疑点的公司

细节待补充

About

因审计专业同学需要对上市公司的利润表中数据进行分析,因此帮忙写了爬虫然后用K-means简单分析了一下


Languages

Language:Jupyter Notebook 97.5%Language:Python 2.5%