推广 热搜: 行业  设备    系统  参数  经纪    教师  机械  中国 

【面试】AI常见的面试问题

   日期:2025-01-03     作者:knnd9    caijiyuan   评论:0    移动:http://sjzytwl.xhstdz.com/mobile/news/12923.html
核心提示:https://zhuanlan.zhihu.com/p/381413759 https://zhuanlan.zhihu.com/p/429901476CV面试(上)CV面试(下)https://mp.weixin.qq.co

  • https://zhuanlan.zhihu.com/p/381413759
  • https://zhuanlan.zhihu.com/p/429901476

  • CV面试(上)

  • CV面试(下)

  • https://mp.weixin.qq.com/s/ZShTaNDAMv6H6hLY9ncNTQ

  • https://zhuanlan.zhihu.com/p/82105066

  • https://github.com/andrewekhalel/MLQuestions

常用顺序
1.卷积 -> 激活 -> 池化
2.卷积 -> 池化 -> 激活
如果使用最大池化,两种顺序的结果是一样的。
如果使用平均池化,建议采用第1种顺序,即卷积 -> 激活 -> 池化。
结论
先激活,保留的有效特征(不为零的值)更多
先平均池化,会有更多的特征值变为0,不利于网络学习
上述结论,是因为使用的激活函数是ReLU,如果使用其他激活函数,如PReLU,先池化还是先激 活,两者都不会造成梯度消失。此情形下,应当优先选择先池化,再激活,以减少激活时的计算量。
3.卷积 -> BN->激活
4.卷积 -> BN->Dropout->激活
BN的作用:用于重新调整数据分布,解决传播过程中的梯度问题。
BN训练步骤
1)求解每个训练批次数据的均值。
2)求解每个训练批次数据的方差。
3)使用求得均值和方差对该批次数据做标准化处理,获得0-1分布。
4)尺度变换和偏移:使用标准化之后的x乘γ(尺度因子)调整数值,再加β(平移因子)增加偏移从而得到输出值y。引入尺度因子和平移因子解决标准化后x基本被限制在正态分布下,导致网络表达能力下降问题。
5)训练时采用一个批次中的样本的均值和标准差进行BN操作。但使用训练阶段所有批次记录的均值和方差的期望值作为预测阶段的BN均值和方差。
6)实际应用中,采用类似momentum动量法中使用的滑动平均进行计算测试时的均值和方差。
BN层优缺点
优点
1)梯度传递计算更顺畅,较少出现神经元饱和。
2)设置较大的学习率加快训练速度。
3)对模型参数的初始化方式和取值不敏感,稳固网络学习,提高模型训练精度。
4)具有一定正则效果。
缺点
1)在网络层次深的模型中会减缓训练速度。
2)训练批次建议16以上。

  • 网络训练根据损失曲线进行策略调整
    https://blog.csdn.net/yeler082/article/details/90273353
本文地址:http://sjzytwl.xhstdz.com/news/12923.html    物流园资讯网 http://sjzytwl.xhstdz.com/ , 查看更多

特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。

 
 
更多>同类最新文章
0相关评论

文章列表
相关文章
最新动态
推荐图文
最新文章
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号