alibaba / x-deeplearning

An industrial deep learning framework for high-dimension sparse data

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

TDM 旧模型 新增训练数据(有新的item加入)时,应该如何初始化树文件

zhangyuhanjc opened this issue · comments

有个问题想请教
现在我已经有了0-15天训练数据训练出的模型,我想在上次训练的基础上在训练16-30天的数据(会有不少新的item加入),这时userbehavoir_tree.pb 和 leaf.id 文件中只有老的item id 节点,我应该如何加入新的item呀,
如果使用tree_init.py ,我理解之前的模型就会失效 因为node节点变化太大了 node_emb就得完全重新学
如果使用tree_cluster.py, 新加入的item又没有embedding用来聚类

同问,对于这样end to end的retrieval模型,对于item侧频繁进行增删的情况,要怎么处理

这类情况,可以根据具体的业务需求来做不同的定制化处理。比如,可以先将新的item插入到原有tree结构的叶子层,用新的data训练之后再根据embedding聚类等过程完成树结构调整