• 13988888888
  • youweb@qq.com
  • 广东省广州市番禺经济开发区
  • 定制化设计一站式临时空间解决方案

  • 高端产品行业领先进口生产线

  • 核心技术装配式移动建筑系统

公司新闻
   主页 > 公司新闻

无梯度优化(derivative-free optmization)

作者:佚名  发布时间:2024-05-20 19:08  浏览:

大脑在学习过程中应该没有计算梯度,所以有些研究者认为基于梯度的优化不是人工智能的核心技术,甚至基于梯度的优化限制了深度学习的潜力,比如Hinton提出的胶囊网络(Capsule network)主要目的是超越反向传播,不依赖梯度去学习。反驳的理由之一是鸟不懂空气动力学,依旧可以飞;人类理解了空气动力学,创造了比鸟更快的飞机。人脑在学习过程中可能没有计算“梯度”,但计算机与大脑处理信息的方式本身就不同,两者各有优劣,可能基于梯度的算法更适合计算机。况且,也有不依赖梯度的算法。

本系列主要介绍不依赖梯度的优化算法。所谓无梯度优化就是在优化过程中不计算目标函数 的梯度,只利用目标函数的值去优化目标函数。不过只要给定可微的目标函数,能写出数学表达式,利用自动微分,求梯度在理论上是可行的。

先列一下网上的资料,有空好好研究一下:

thales.cheme.cmu.edu/dfpangea.stanford.edu/~ecgerad.ca/Sebastien.Le.Dblog.csdn.net/fangqingaDerivative Free Optimization梯度下降法是万能的模型训练算法吗?非凸优化(Non-convex optimization)领域有什么起到基石作用,极其重要的论文呢?neos-guide.org/content/

返回

平台注册入口