所用时间:180分钟
代码量(行):0
了解到的知识点:
1.无约束问题方法求解
无约束问题的核心求解方法分为解析法和数值迭代法,前者直接求导找最优解,后者通过逐步迭代逼近最优解
解析法仅适用于目标函数可微且能通过导数方程求解的场景,核心是利用 “极值点导数为 0” 的原理,对目标函数求梯度(一阶导数),令梯度等于 0,解方程组得到候选点,再通过Hessian 矩阵(二阶导数)判断是否为最优解
数值迭代法一阶方法如梯度下降法(沿梯度反方向更新变量,适合大规模数据),二阶方法如牛顿法(利用 Hessian 矩阵修正搜索方向,收敛速度远快于梯度下降,但需计算和存储 Hessian 矩阵)