请问麻雀算法怎么用于超参数寻优?
PinkneyWu opened this issue · comments
请问麻雀算法怎么用于超参数寻优?
可以同时优化连续变量和离散变量吗,比如batch_size和learning_rate
个人认为不太能直接同时优化连续变量和离散变量,不过可以考虑用连续变量来表示离散变量。比如设定batch_size_pre为连续变量,通过取整取模的方式映射到batch_size,对优化得到的batch_size_pre进行同样的处理即可得到优化后的batch_size
在第一次迭代开始之前,初始化中已找过最好和最差值;在非第一次迭代中,其上一次迭代结束时,也寻找了最好和最差值;所以效果和原论文中应该是一样的。