无梯度优化（derivative-free optmization）

大脑在学习过程中应该没有计算梯度，所以有些研究者认为基于梯度的优化不是人工智能的核心技术，甚至基于梯度的优化限制了深度学习的潜力，比如Hinton提出的胶囊网络(Capsule network)主要目的是超越反向传播，不依赖梯度去学习。反驳的理由之一是鸟不懂空气动力学，依旧可以飞；人类理解了空气动力学，创造了比鸟更快的飞机。人脑在学习过程中可能没有计算“梯度”，但计算机与大脑处理信息的方式本身就不同，两者各有优劣，可能基于梯度的算法更适合计算机。况且，也有不依赖梯度的算法。

本系列主要介绍不依赖梯度的优化算法。所谓无梯度优化就是在优化过程中不计算目标函数 的梯度，只利用目标函数的值去优化目标函数。不过只要给定可微的目标函数，能写出数学表达式，利用自动微分，求梯度在理论上是可行的。

先列一下网上的资料，有空好好研究一下：