本文仅供学习使用
本文参考：
B站：DR_CAN

本章将讨论基于贝尔曼最优化理论的动态规划方法以及线性二次型调节器。动态规划是一种针对最优控制问题的优化方法,它将问题分解为一系列子问题,并使用递归的方式求解这些子问题,最终得到最优解。本章将首先介绍动态规划的基本原理和贝尔曼最优化理论的核心概念,然后讨论如何使用数值方法求解动态规划问题。

在讨论动态规划方法的同时,本章还将专注于线性系统和使用二次型作为性能指标的最优控制问题。我们将介绍连续型以及离散型系统解析解的求解方法,通过计算系统的状态反馈增益矩阵,实现对系统性能的优化控制。同时,本章也会详细讨论如何实现非零参考点控制,即轨迹追踪控制。最后,将以无人机高度控制作为案例详细说明线性二次型调节器的构建与使用。

本章的学习目标包括:

• 理解动态规划的概念。
• 掌握动态规划的数值求解方法。
• 掌握线性二次型调节器的控制方法,学习线性二次型调节器的设计原理和应用方法,包括离散形式和连续形式的线性二次型调节器。
• 掌握轨迹追踪问题的控制方法,学习如何通过矩阵变换将轨迹追踪控制问题转换为调节控制问题,并了解不同参数对控制表现的影响。

动态规划(dynamic programming)的名字里面有一个 programming,虽然在这里并非指编程(而是指规划),但是可以从编程的思路来理解它。此方法是建立在理查德·贝尔曼(Richard Bellman)于20世纪50年代提出的最优化理论的基础上的,并应用于多个领域,包括航空工程和经济学等。贝尔曼最优化理论的英文原文是这样描述的:

An optimal policy has the property that whatever the initial state and initial decisionare, the remaining decisions must constitute an optimal policy with regard to the stateresulting from the first decision.
这段话主要包含两个重要部分:第一,不管初始状态是什么,也不管初始控制决策是什么;第二,剩余的决策一定要符合最优策略。

动态规划就是贝尔曼最优化控制的一个方法。下面通过一个最短路径的例子来直观地讲解动态规划。

图中的起点是A点,目的地是C点,在A、C两点之间在一个正方形的障碍物。线段上的数字表示距离,目标是找到一条从起点出发到终点的短路径。

从A点到C点有两条最短路径,分别为路径一A-B-D-E-C(1+2+1+2=6)和路径二 A-B-F-G-C(1+2+1+2=6)。由贝尔曼最优化理论可知,从这两条最短径的任意一点出发,后续的路径都是最优的。例如初始点的位置在D点,从D点到C点的最优路径必然与路径一的后半段重合,即D-E-C(1+2=3),而不会是一条新的路径,如D-E-G-C(1+1+2=4)。同理,如果初始位置在F点,则它到C点的最优路径必定与路径二的后半段重合,即F-G-C(1+2=3)。

如果由于某种原因,从A点出发后走到了H点,那么此刻的最优路径就是A-B-H-E-C(1+5+2+2=10),它也与路径一中的最后一段E-C重合。虽然A-B-H-E-C并不是全局的最优解,但是当初始位置在点时,这条路径便是当前初始位置条件下的最优解。

贝尔曼最优化理论充分体现了“动态”的概念,动态规划是面向未来的。这意味着不论前面的选择是否为最优,在以当下时刻为初始状态时,后续的决策一定都是最优的决策最优路径在最后的阶段总会“殊途同归”

本节将通过一个例子深入分析并详细讲解如何将动态规划的理念运用在控制问题中并且使用数值求解的方法得到最优控制解。

考虑无人机高度控制案例,动态方程为:

其中:表示高度；表示速度。假设无人机的质量为,重力加速度为,可得无人机的加速度:

为了简化分析,在本节中设本系统的输入为:

在本例中,作为标量处理,即无人机的加速度