主要数据分析技术：Spark、Hadoop家族（HDFS、Yarn）、Zookeeper、Hive 主要使用语言：Java（简易算法）、Python（深度学习算法）、Scala（Spark数据分析） 项目前端架构：Spring Boot搭建微服务
项目描述：在证券市场中，存在着巨大的不确定性，但是经过长期比对和验证，很多股票走势会重复之前的走势，然而散户往往对证券市场的基本因素有先天的缺陷，就是知识不够专，也不够全，信息渠道窄。针对这一类人群的情况，我们开发了一套证券分析与统计系统，它是建立在对过往数据追溯的基础上形成的一种可推测性的理论，从而为这些投资客户带来全面的信息和投资参考。
1.数据爬取分析 数据爬取阶段用 Python的re库+BeautifulSoup库+requests来编写爬虫程序。 其中需要从新浪财经、腾讯财经知名的财经网站中，爬取全面的个股数据、每个省份下的证券信息、每个行业的证券信息等，一共1000万多条数据。 2.数据处理分析 鉴于本命题数据量巨大的前提，我们利用Hadoop整合集群、分布式文件系统等成熟技术，将广域/局域网中数量巨大、类型各异的存储设施通过应用软件整合协调起来共同工作，以一个整体的形式对外提供数据存储和数据分析的服务。 3.数据处理（清洗） 爬取的数据存在许多不可用的脏数据，我们需要根据一步步的清洗抽取出可用的数据。在清洗数据方面选用的是Scala语言。 4. SparkSQL分析数据 将清洗成功的数据存入HDFS后，使用DataFrameAPI完成统计及计算操作，再将统计结果存入MySQL数据库（此处MySQL数据库只是存储分析出来的少量数据，为前端可视化做准备，海量非结构化数据依然存储在HDFS分布式文件系统）。关于具体需求如何分析我们会在后续详细设计说明书中详细说明。 5.前端可视化 UI部分：应用百度开源的ECharts图表展示爬取的结果，并且应用bootstrap框架对不同规格的网页进行适配。不仅使显示效果炫酷有冲击力，而且当屏幕规格不标准时，能够保持合适的布局。 数据交互：选用微服务架构SpringBoot和后端数据库动态交互，实时显示数据库的变化 。