信息检索大作业
大作业内容
目标：定向采集不少于4个中文社会新闻网站或频道，实现这些网站新闻信息的自动爬取、抽取、索引和检索。
- 具体要求： ：
- 新闻网页数目不少于5万页，新闻信息能在一天之内更新。
- 支持关键词检索及通配符检索。
- 能按相关度、时间、热度(需要自己定义)等属性对检索结果进行排序。
- 具备查询自动补齐、相关搜索推荐、snippet生成等功能。
- 每条检索结果下面可以对相似新闻进行查找。
- 首页中列举当前最热的社会新闻。
- 参考实现：百度主页的推荐页面（热点新闻）+百度资讯搜索。 相关技术：文本处理、特征提取、索引、排序和打分、评价。
实验流程
- 文档模型 ： BM25模型
文件说明
运行IREngine.py启动应用。首次运行请先依次运行IREngine\IREngine\spider 下的1_init_indexes.py,2_init_term_index.py,3_gen2gram.py文件将生成的索引文件复制到IREngine\index_file目录即可。
- 依赖支持： ：
- flask
- jieba
- apscheduler
- pickle