外行虚心请教-AI的迭代是什么？为什么很重要？

我一外行，求通俗一点的解释。多谢大侠！ 什么是AI迭代？迭代速度意味着什么？极端例子会是什么？

我一外行，求通俗一点的解释。多谢大侠！ 什么是AI迭代？迭代速度意味着什么？极端例子会是什么？
cassie2008 发表于 2023-02-04 16:10

迭代是指 iteration 吗？
通常每个iteration都是在算gradient，这是BP算法 (back propagation)的核心。最终目的是拟合出一个multivariable的函数来描述 training data 里面 input 和 output 的关系。简单例子比如给出一些插值点，用最小二乘法（LSE）来找一条曲线来拟合这些点，这个LSE就是gradient descent用的loss function之一。
iteration 需要的次数受learning rate的影响，通常3e-4是公认的 Adam algo 的 optimal learning rate。
看看这个解释：https://www.jeremyjordan.me/nn-learning-rate/
选好模型和参数后（比如中间那个），从一个随机初始状态到局部最小极值需要迭代的步数大致就定了。这样不同的模型/参数/算法 就有优劣可比。

每次迭代，就是优胜劣汰。就好像长颈鹿，迭代几十次长脖子就出来了。

迭代速度太重要了。迭代慢点的话，鹿就被迭代快的豹子吃掉了，玩完了。

迭代就是近似，不是每个问题都像1+1=2