atomiechen / ContextDataProcessing

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

情境数据处理

监听上传

src/watching_upload.py:监听文件夹,将内部文件上传并实时上传新建的文件

  • 指定-c config.yml来读取程序设置

使用Docker运行:首先修改docker-compose.yml里挂载的数据路径,然后在src/config.yml里配置要监听的数据文件夹,最后在根目录运行

docker-compose up -d

Elasticsearch & Kibana 配置

参见:Elasticsearch & Kibana 配置

Elasticdump使用

进入elasticdump文件夹,需要配置:

  • config_auth中配置ES用户名和密码(从config_auth_template拷贝);
  • command.sh中配置index及其他elasticdump参数。

两种运行方法:

  • 如果已经装好elasticdump,可以在指定输出文件名后运行command.sh脚本

    ./command.sh <输出文件名>
  • 如果使用docker方法,可以在指定输出文件名后运行run_docker_elasticdump.sh脚本

    ./run_docker_elasticdump.sh <输出文件名>

Jupyter-GPU Docker配置

参见:Jupyter-GPU Docker配置

About


Languages

Language:Python 73.8%Language:Shell 19.5%Language:Dockerfile 6.7%