search = 尝试找到一个满足所有约束的可行点（并且为了优化，比目前找到的更好的点），通常只使用函数值。

局部搜索：通过在相邻点之间搜索来改进可行点（或与可行性度量的距离）。

随机搜索：使用非确定性标准进行搜索以选择试验点。

这与是否给出优化标准无关。特别是，在“搜索和优化中没有免费的午餐”中，搜索是指寻找可行性，而优化是指寻找最优性。

一般来说，对于优化问题，搜索和优化是等价的。但是，它们的含义会影响该术语的使用。

优化方法=解决优化问题的方法，通常（但不一定）使用梯度（或次梯度甚至Hessian）信息。

能够使用梯度极大地提高了优化方法的效率。在这种情况下（即，已知梯度）仅在“线搜索”组合中使用术语搜索，这意味着沿着所选方向搜索更好的点。

“搜索”和“优化”在术语上的区别在于搜索是指找到一个$x^\ast$所以对于给定的$g(x)$我们有$g(x^\ast)=0$，即我们搜索一个根。在优化中，我们希望找到一个$x^\ast$以便$f(x) \rightarrow \textrm{min!}$. 至少如果$f$是平滑的，那么找到这个最小值通常会转化为寻找根的问题$g(x)=\nabla f(x)$. 换句话说，术语“搜索”来自一个更一般的问题，但对于优化问题，处理优化的事情通常会简化为处理搜索的事情。