ML岗位面试:上海某科技公司算法岗位(偏AI算法,国企)技术面试之BN层的认知、BP的推导、GD优化的几种改进等

ML岗位面试:上海某科技公司算法岗位(偏AI算法,国企)技术面试之BN层的认知、BP的推导、GD优化的几种改进等

 

导读:关于神经网络,问的比较深,因为博主做过总结,所以用自己的语言和案例解释的,回答的还算比较全吧。

 

 

BN层的认知

参考博主以前写的文章
BN层结构详解—解决反向传播过程中的【梯度消失】与【梯度爆炸】
BN层(批量标准化)采用的理由—旧解释:解决内部协变量偏移
BN层(批量标准化)采用的理由—新解释: BN层优化更加平滑

 

 

 

BP的推导

DL之BP:神经网络算法简介之BP算法简介(链式法则/计算图解释)、案例应用之详细攻略
DL之DNN之BP:神经网络算法简介之BP算法/GD算法之不需要额外任何文字,只需要八张图讲清楚BP类神经网络的工作原理

 

 

GD优化的几种改进

参考博主以前写的文章
DL之DNN优化技术:GD、SGD、Momentum、NAG、Ada系列、RMSProp各种代码实现之详细攻略
DL之DNN优化技术:神经网络算法简介之GD/SGD算法(BP的梯度下降算法)的简介、理解、代码实现、SGD缺点及改进(Momentum/NAG/Ada系列/RMSProp)之详细攻略

1、Momentum(根据历史梯度进行加强)—动量有助于在正确方向上加速梯度,从而越过沟壑
2、NAG—下山过程中,根据对下一步要到达的点的预测,来自适应调整速度
3、Adagrad—对不同的参数(频繁/非频繁特征相关的参数)调整不同的学习率
4、Adadelta—Adagrad的改进版+引入时间窗(衰减因子)—解决Adagrad的学习率急剧下降
5、RMSProp—自适应学习率方法—解决Adagrad的学习率急剧下降
6、Adam—计算每个参数的自适应学习率的方法+本质上是带动量项的RMSprop

 

 

 

 

 

 

 

 

 

 

一个处女座的程序猿 CSDN认证博客专家 华为杯研电赛一等 华为研数模一等奖 国内外AI竞十
人工智能硕博生,目前兼职国内外多家头部人工智能公司的AI技术顾问。拥有十多项发明专利(6项)和软件著作权(9项),多个国家级证书(2个国三级、3个国四级),先后获得国内外“人工智能算法”竞赛(包括国家级、省市级等,一等奖5项、二等奖4项、三等奖2项)相关证书十多个,以上均以第一作者身份,并拥有省市校级个人荣誉证书十多项。正在撰写《人工智算法最新实战》一书,目前已37万字。
已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 代码科技 设计师:Amelia_0503 返回首页
实付 29.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值