jjzjj

机器学习 拜占庭容错方法: Bulyan

论文链接:http://proceedings.mlr.press/v80/mhamdi18a/mhamdi18a.pdfSGD存在问题数据并行的SGD梯度聚合是所有梯度的线性组合,即:\(F(G_1,...,G_n)=\sum_{i=1}^n\lambda_iG_i\)因此一个恶意的节点可以让全局模型朝着自己想的方向偏移(\(G_n\)为恶意节点的梯度):\(G_n=\dfrac{1}{\lambda_n}(U-\sum_{i=1}^{N-1}\lambda_iG_i)\)如图所示:由此,我们需要新的梯度聚合规则(GAR)\((\alpha,f)\)-ByzatineResilientGAR

机器学习 拜占庭容错方法: Bulyan

论文链接:http://proceedings.mlr.press/v80/mhamdi18a/mhamdi18a.pdfSGD存在问题数据并行的SGD梯度聚合是所有梯度的线性组合,即:\(F(G_1,...,G_n)=\sum_{i=1}^n\lambda_iG_i\)因此一个恶意的节点可以让全局模型朝着自己想的方向偏移(\(G_n\)为恶意节点的梯度):\(G_n=\dfrac{1}{\lambda_n}(U-\sum_{i=1}^{N-1}\lambda_iG_i)\)如图所示:由此,我们需要新的梯度聚合规则(GAR)\((\alpha,f)\)-ByzatineResilientGAR