第6章 学习控制 -迭代学习控制 智能控制基础目录6.1 迭代学习控制6.2 增强学习26.1.1 迭代学习控制的基本思想6.1.2 线性时变系统的迭代学习控制6.1.3 一类非线性动态系统的迭代学习控制6.1.4 多关节机械手的迭代学习控制6.1.5 迭代学习控制面临的挑战6.1 迭代学习控制36.1.1 基本思想 v迭代学习(Iterative learning)的基本思想在于 总结人类学习的方法，即通过多次的训练， 从经验中学会某种技能 v迭代学习控制是智能控制中具有严格数学描 述的一个分支它以极为简单的学习算法， 在给定的时间区间上实现未知被控对象以任 意精度跟踪某一给定的期望轨迹的控制问题 4特点v控制器在运行过程中不需要辨识系统的参数 ，属于基于品质的自学习控制 v这种控制方法特别适用于具有重复运行的场 合它的研究对诸如机器人那样有着非线性 、强耦合、难以建模又需要高精度轨迹控制 的场合是非常有意义的 56.1.1 迭代学习控制的基本思想6.1.2 线性时变系统的迭代学习控制6.1.3 一类非线性动态系统的迭代学习控制6.1.4 多关节机械手的迭代学习控制6.1.5 迭代学习控制面临的挑战6.1 迭代学习控制66.1.2线性时变系统的迭代学习控制 考虑DC伺服驱动控制的速度控制系统。
7数学模型v假设电枢电感足够小，而且忽略机械摩擦 则系统可以简化为一阶系统ny(t)、v(t)分别表示电机角速度和输入控制电压 ；nK - 力矩系数nTm- 电机的时间常数 8求解v简化模型na=(1+AB/K)/Tm; nb=A/KTmv求解得：9迭代学习的引入v假设期望速度特性 足够光滑，可以由 离散数据来拟合 v 则初始控制的系统误差为v根据v则下一次校正后的输出控制电压可取： 10迭代过程11收敛性分析v对于所有的k，取 ；12其中可见，前述条件下，迭代学习的过程是收敛的 13参数的替换v对于参数b预先不知道的情况 ，可以用另一 近似值γ来代替 只要γ满足以下不等式 ：迭代学习公式仍是收敛的 v具体证明请见定理6-114线性时变系统的一般情况 v系统模型v解为状态转移矩阵 15迭代学习公式其中 是一个给定的矩阵函数 16定理6-1：收敛性定理17证明 v定义一矢量范数 v则有： 18v两边同乘e-λt，并取λ范数可得： 19v其中v可知，所以，总可以选择较大的λ ，使得：v从而保证了时， 20状态空间表示 如果矩阵B，C是定常、BC是可逆的， 只需满足以下条件：即可满足迭代学习的收敛性。
216.1.1 迭代学习控制的基本思想6.1.2 线性时变系统的迭代学习控制6.1.3 一类非线性动态系统的迭代学习控制6.1.4 多关节机械手的迭代学习控制6.1.5 迭代学习控制面临的挑战6.1 迭代学习控制221. 问题的提出 v考虑一个二阶非线性动力学系统v可化为一阶微分方程组 v简记为： 23v假设xd(t),t∈[0,T]是系统的一个状态矢量，且 属于R2n有界闭合子集W则控制的问题就是 寻找分段连续的控制输入uj(t)序列,使得系统 的状态xj(t)跟随xd(t)，其跟随误差小于某一给 定的精度ε，即其中j表示第j次迭代 24被控系统进行控制的条件v系统的运行条件如采样频率、初始的控制结 构是固定的； v系统不确定性时，在时间[0,T]内是重复作业 的； v函数f(·)、g(·)满足Lipshitz连续； vg(x(t),t)在t∈[0,T]内是齐次和正定函数25v函数f(·)、g(·)满足Lipshitz连续，即：其中β(t)、α(t)为有界的正函数，｜·｜表示欧几 里德范数，‖·‖定义为： Lipshitz连续 26vg(x(t),t)在t∈[0,T]内是齐次和正定函数，即 满足： 00, b≥λ2 ，μ>v, v=a+(2+1/a)(βm+αm|ud|m ）32精度分析v定理(6-3)表明了系统的最大跟踪误差 与的大小 成正比。
因此只要控制序列 在整个时间 域［0，T］内收敛于，则系统的跟踪误 差可以达到任意精度v这样，系统的轨迹跟踪控制问题就归结为寻 求在时间域［0，T］上一致收敛于 的前 馈输入控制序列的问题了 33梯度法v定义指标函数v应用梯度法我们得到第j次迭代计算的公 式：vη的取值范围必须满足00(2-η)db-1-(r0+2a/λ1)=l2>0 37其中 p=min(al1,l2)；q=(βm+αmu0)/λ1 则新的迭代学习策略是收敛的，即： 其中 目标函数定义为： 38v定理6-5：如果状态误差取：xd(t)-xj+1(t) 学习规则改为： 则 a,b,d的取值满足下列不等式： (2+η)db-1-2r0=l1>0(2+η)db-1-(r0+2a/1)=l2>0 系统收敛另一种迭代方法的收敛性39迭代学习控制的特点v不需要精确的模型参数，只要一些模型的极 限参数； v对周期性的系统扰动完全可以通过迭代学习 来克服，对随机扰动也有较强的抑制能力 v学习控制的结构相当简单，学习的信息只须 利用线性反馈控制量 v学习算法的收敛条件非常简单，具有有界的 不确定性 406.1.1 迭代学习控制的基本思想6.1.2 线性时变系统的迭代学习控制6.1.3 一类非线性动态系统的迭代学习控制6.1.4 多关节机械手的迭代学习控制6.1.5 迭代学习控制面临的挑战6.1 迭代学习控制416.1.4多关节机械手的迭代学习控制 v固定负载下的机器人迭代学习控制 v负载经常变化下的机器人轨迹跟踪的迭代学 习控制方法 42机械手动力学方程 vD(q)： 惯量矩阵； v ： 非线性哥氏力和向心力； v G(q)： 重力项； v τa ：不确定力矩项（包括磨擦力矩等）； v τ ： 各关节的输入力矩。
43状态方程v取44迭代学习策略4510次迭代学习控制效果期望轨迹曲线实际系统响应第一关节4610次迭代学习控制效果期望轨迹曲线实际系统响应第二关节4710次迭代学习控制效果期望轨迹曲线实际系统响应第三关节48负载经常变化下的机器人迭代学习控制 v一种基于知识库的改进迭代学习算法 v改进迭代学习算法的目的在于如何尽快地得 到准确的前馈补偿力矩τd，当负载发生变化 时，它的基本思想是利用一组已知的、按一 定规则排列的、与τd相关的数据库，并通过 推理机制来求得当前负载m下准确的前馈补 偿力矩τd(m)v能经过一个周期的运行达到高精度跟踪控制 的目的 496.1.1 迭代学习控制的基本思想6.1.2 线性时变系统的迭代学习控制6.1.3 一类非线性动态系统的迭代学习控制6.1.4 多关节机械手的迭代学习控制6.1.5 迭代学习控制面临的挑战6.1 迭代学习控制506.1.5 迭代学习控制面临的挑战v向一般系统的推广问题； v学习收敛的速率问题； v要求初始状态在期望轨迹上； v如果期望轨迹发生变化，学习必须重新进行 。