实现数据采集 采集目标网站图虫 https://tuchong.com/tags/{输入搜索内容} 列如 https://tuchong.com/tags/少女 实现后端启动线程去爬取
爬取过程 ----发送搜索请求----分析返回数据-----读取url链接-----分析网页------抓取标题------图片url-----主题-----标签------作者 数据抓取已经完成 添加到springboot 数据查询(目前就只有根据标签查 后面会添加全部查询) 前端搜索 如果返回为空 就将搜索关键字添加到爬取关键字任务(完成)
前端控制爬取关键字(想用websocket实现) 想法：结合rides 给rides添加关键字(完成)
2020年6月20日13:22:34 今天任务把前端显示优化
2020年6月20日15:41:20 开始集成redis(redis实现了查看正在爬取的关键字)
2020年6月20日17:41:03 添加了redis 将正在抓取关键字加入了redis 用redis实现
问题： es问题查询的时候数据重复
2020年6月20日20:13:51 想法：实现用户登录 ---添加收藏或者喜欢功能、添加浏览记录 数据库选用mysql
2020年6月22日10:12:52 今天实现登录功能 使用微服务实现 2020年6月22日10:40:41 集成 mybatis 集成 mysql
2020年6月22日17:37:56 实现单点登录