livehl / stackexchange_mnbvc

stackexchange_mnbvc

stackexchange 数据清理项目

这是MNBVC项目的一部分，负责清理stackexchange的数据为AI框架可以直接使用的数据格式。 stackexchange会定期将自己旗下的站点数据导出到互联网。本项目用于解析导出的数据至json格式。由于其巨大的xml文件python处理不了,因此使用java体系进行处理。

特性

1. 支持超大xml解析。

2. 整站解析。

3. 按大小拆分成品文件。

4. 效率高，速度快。

使用方法

1. 下载完整数据包 https://archive.org/details/stackexchange
2. 修改allSitemain方法中的路径
3. 添加 jvm参数 -DentityExpansionLimit=0 -DtotalEntitySizeLimit=0 -Djdk.xml.totalEntitySizeLimit=0 -Djdk.xml.totalEntitySizeLimit=0
4. 执行 allSite

注意事项

1. 通过种子下载文件即可。下载回来的文件不需要解压。

2. 生成的文件500M一个，以自然行切分(不会丢失数据)。