大作业项目是使用歌词搜索歌词。
数据
- 用 scrapy 爬取网易云音乐的歌词
采用的技术有：
- word2vec+TFIDF，使用Word2Vec得到词语的表示，然后使用TFIDF作为词语的权重组合得到歌词文档的向量表示。详细的文档说明参见 word2vec+TFIDF.md
- tf-idf + LSA/SVD/PCA
- WMD，来自这篇论文From word Embeddings To Document Distances
相关的文件：
-
Chinese_Word2Vec：来自 http://www.cnblogs.com/Darwin2000/p/5786984.html。 使用中文维基百科训练出来的词向量。文件地址：$titan /data/lindayong/Chinese_Word2Vec
-
lyrics.json_processed：lyrics_json 包含 76333 首歌，经过处理后，剩下 17063 首中文歌。预处理代码地址：db_project/models/word2vec+tfidf/preprocessed_json.py 处理后的数据存放在： $titan /data/lindayong/lyrics.json_processed。
目录结构说明
- /dataset 存放网易云音乐的数据。
- /models 存放项目的模型，每个模型都有一个单独的子目录。