课程7
讲述了三种不同的 BCGD 块坐标梯度下降法 block coordinate gradient descent 首先是BCGD with Gauss-Southwell Rule 参考:https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CJFD&dbname=CJFD8589&filename=GXKZ198502004&uniplatform=NZKPT&v=kAy_09s4xduVf2tCPLg1XCMMO5-eeeZIHGpwk-YnmbfxKz9bzI7rCnCh0pPeu7UL 对于稀疏结果的优化问题,Gauss-Southwell坐标轴选择是非常有效率的。
然后是随机块坐标轴梯度下降法
本来是随机选取坐标轴的,现在为了improve the rate,可以改进步长:步长更大些7P21;还可以改变选取坐标轴规则,不是等概率随机选择的,而是由更大莱布尼兹常数的坐标轴更容