mrbcy / TempTableManage

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

TempTableManage

数据组临时表自动清理系统。前端使用Vue.js来实现,基于https://github.com/lin-xin/vue-manage-system。后端准备使用json-server。然后真正的定时清理使用Oozie调度Pyspark来实现。然后再实现一个钉钉的机器人,实现删除之前提醒。

前端进展

前端部分的功能列表如下:

  • 用户登录
  • 权限控制
  • 用户管理
    • 用户列表
    • 用户添加
    • 用户修改
    • 用户擅长
  • 临时表管理
    • 临时表列表
    • 临时表添加
    • 临时表编辑
    • 临时表删除

定时清理进展

定时清理部分的功能列表如下:

  • 读取后端Json文件
  • 查询当前所有的临时表列表
  • 通过正则筛选出应该被删除的临时表列表
  • 正式删除
  • 通过正则筛选出被保留的临时表并推送给钉钉机器人
  • 配置Oozie

最后再出一份部署文档和重启集群时启动系统的脚本

About


Languages

Language:Vue 59.4%Language:JavaScript 26.3%Language:Python 7.3%Language:CSS 6.7%Language:HTML 0.4%