0%

拉普拉斯变换

傅里叶变换推广为拉普拉斯变换

  • 基底信号从推广成
    • 其中为复平面上的值
    • 为纯虚数拉普拉斯变换退化为傅里叶变换
  • 拉普拉斯变换定义
    • 定义初衷
      • 时不满足绝对可积条件,此时原信号不存在傅里叶变换
    • 正变换
      • 乘以衰减因子再傅里叶变换(令
    • 逆变换
      • 做逆傅里叶变换,
      • 可以看出逆变换的积分路径是复平面的一条直线
  • 符号表示
  • 物理意义
    • 信号可以分解成的线性组合
    • 是复频率,是复频谱

单边拉普拉斯变换

对于因果系统,单边拉普拉斯变换更方便,本节后续主要考虑单边的拉普拉斯变换

阅读全文 »

连续时间LTI系统的频率响应

  • 虚指数信号通过连续系统的零状态响应
    • 在第三章引言中推导过
  • 任意非周期信号通过连续系统的零状态响应
    • 假设表示系统输入到输出的映射
    • 通过傅里叶变换把任意时域信号分解为虚指数信号的线性组合表示
    • 又因为
    • 所以
      • ,是输出信号的频谱
  • 连续系统的频率响应
    • 原理:系统把频谱为的输入改变成频谱为的响应
    • 的幅度和相位称作幅度响应相位响应
    • 求解方法
      • 冲激响应的频谱,即
      • 信号通过系统后的频谱变化,即
  • 系统零状态响应两种求解方法的联系
    • 时域卷积积分方法
    • 频域分析法
    • 本质是傅里叶变换的时域卷积定理

无失真系统与理想低通滤波器

  • 无失真传输系统
    • 输入信号为,则输出信号为
      • 是常数,是输入信号通过系统后的延迟时间
    • 时域特性
    • 频域特性
      • 幅度响应,在整个频率范围内是,带宽无穷大
      • 相位响应,在整个频率范围内与成正比
  • 滤波器
    • 能使信号一部分频率通过,另一部分频率通过很少的系统
  • 理想低通滤波器
      • 的波形是取样函数,有失真,因为理想低通滤波器是带限系统
      • 增加理想低通截频的主瓣宽度减小,极限情况变成冲激函数
      • 的区间存在输出,说明理想低通滤波器是非因果系统,物理上不可实现

信号的重建

阅读全文 »

向量与矩阵的范数

  • 赋范空间
    • 上的一个线性空间。若的函数满足下列性质,则是赋范空间
      • 正定性:
      • 齐次性:
      • 三角不等式:
    • 是向量的向量范数
  • 常见向量范数
      • 最大范数、范数、范数
      • 和范数、范数、范数
      • 欧几里得范数、范数
      • Holder范数、范数、范数
  • 常见矩阵的向量范数(把矩阵看作向量)
      • Frobenius范数、范数
      • 极大列和范数
      • 极大行和范数
  • 使用向量范数构造向量范数
    • 上的向量范数,𝕞𝕟是列满秩矩阵,则上的向量范数
  • 范数的等价性
    • 有限维线性空间上任意两种范数等价的充要条件有
      • 存在常数,使得对于
      • 存在正的常数,使得对于
    • 有限或无限维线性空间上任意两种范数等价的充要条件有
      • 对于中任意向量序列,两个范数有相同的敛散性,即
    • 有限维线性空间的任意两种向量范数是等价的
    • 任意两种矩阵范数均等价(具体参考下面矩阵范数的相关理论)
  • 范数的连续性
    • 有限维线性空间的向量范数是向量坐标的连续函数
  • 矩阵范数
    • 上的一个非负实函数和向量范数,且
      • 则称上的矩阵范数
    • 矩阵的范数、范数、范数改记为
  • 矩阵范数和向量范数的相容
    • ,有
      • 上每种向量范数都存在上相容的矩阵范数
      • 上每种矩阵范数都存在上相容的向量范数
  • 由向量范数诱导的矩阵范数
    • 诱导理解为构造、表示、定义
  • 复数域矩阵范数的下界
    • 𝕟𝕟的任意一种矩阵范数,则
  • 线性变换的范数
    • ,定义
      • 该范数和中的向量范数相容
      • ,则改向量范数是矩阵范数,满足次乘性
  • 线性变换的连续性
    • 。对于任意,使得中任意满足的向量,都有,则连续
    • 有限维赋范线性空间的线性变换是连续的

矩阵序列和矩阵级数

  • 向量序列的极限
    • 按范数收敛
      • 维赋范线性空间,的一个向量序列,是常序列。若,则向量序列在意义下收敛,极限为
      • 记作
    • 按坐标收敛
      • 维向量的序列收敛序列的向量的每个坐标构成的数列(共个)都收敛
    • 矩阵按范数收敛和按坐标收敛是等价的
      • 的矩阵序列,的任意向量范数,则
  • 矩阵序列极限的四则运算法则
    • ,则
      • ,其中为可逆阵
    • ,则对于中任意范数有界
    • ,且存在,则
  • 矩阵的幂收敛
    • 定义
      • 矩阵幂收敛指的是矩阵序列收敛
    • 相关定理或结论
      • 若两矩阵相似,则两矩阵有着相同的幂收敛性
      • 矩阵和其Jordan标准形有着相同的幂收敛性
      • 设矩阵,则矩阵幂收敛的任一特征值满足,且时对角线为的Jordan块都是一阶的
      • 矩阵幂收敛(即序列收敛
      • 若矩阵的某个矩阵范数小于,则矩阵幂收敛,可逆且
  • 矩阵的级数
    • 定义:若矩阵序列收敛于,则称矩阵级数收敛于
      • 记为
      • 否则称发散
    • 矩阵级数相关性质
      • 收敛,则
      • ,则
  • 矩阵幂级数的收敛问题
    • 引理:Jordan块的幂级数
      • 是对角线为阶Jordan块,是收敛半径为的幂级数,则当,矩阵幂级数收敛
      • 此时
    • Lagrange-Sylvester定理
      • 是收敛半径为的幂级数,矩阵,其中,则矩阵幂级数收敛
      • 此时

矩阵函数的导数和积分

阅读全文 »

注:本章讨论的矩阵默认是复数矩阵

正规矩阵

  • 正规矩阵
    • 可以进行酉对角化的矩阵
      • 存在酉矩阵,使得是对角矩阵
  • 正规矩阵判断相关定理
    • 矩阵是正规矩阵
      • 注:若矩阵既是正规矩阵又是三角矩阵,则矩阵是对角矩阵
    • 矩阵是正规矩阵个两两正交的单位特征向量
      • 正规矩阵属于不同特征值的特征向量互相正交
  • 正规矩阵的相关特性
    • 设复矩阵的特征值为
      • Schur不等式
      • 是正规矩阵
  • 实正规矩阵相关定义和定理
    • Schur型
    • 阶实矩阵,则是正规矩阵存在正交矩阵,使得
      • 其中是一阶实矩阵或Schur型
  • 实矩阵相关结论(设阶实矩阵)
    • 是对称矩阵存在正交矩阵,使得是对角矩阵
    • 是反对称矩阵存在正交矩阵,使得
      • 其中
      • 反对称矩阵的非零特征值是纯虚数
    • 是正交矩阵存在正交矩阵,使得
      • 其中是二阶Givens旋转矩阵
      • 正交矩阵的特征值的模均为
  • 复矩阵相关结论(设阶复矩阵)
    • 是Hermite矩阵存在酉矩阵,使得是实对角矩阵
    • 是反Hermite矩阵存在酉矩阵,使得是纯虚数对角矩阵
    • 是酉矩阵存在酉矩阵,使得是对角元素的模均为的对角矩阵
      • 从而酉矩阵的特征值的模均为
    • Hermite矩阵B正定的所有顺序主子式均大于

正规矩阵的谱分解

  • 正规矩阵的谱分解或特征值分解
    • 是正规矩阵,则存在酉矩阵,使得
    • 若把上述分解的零特征值项去掉,再把系数相同的项合并,则公式变为
      • 其中的互不相同的特征值
    • 几何意义
      • ,其中彼此正交
      • 平面的正交分解
  • 单纯矩阵
    • 阶可对角化矩阵,存在可逆矩阵使得
      • 也有类似于正规矩阵的谱分解,详见下面的谱分解定理
  • 谱分解定理
    • 是单纯矩阵,的谱为,其中的重数是,则存在唯一的一组阶方阵满足下述条件,这些矩阵称为矩阵的谱分解的成分矩阵或主幂等矩阵
    • 对比正规矩阵
      • 单纯矩阵的谱分解不一定有,故中的各不一定正交
    • 推论
      • 设单纯矩阵的谱分解为,则,故对于任意多项式
阅读全文 »

Lagrange 对偶函数

  • 标准形式优化问题
      • 最优值设为
  • 问题的Lagrange函数
      • 称为对应约束的Lagrange乘子,称为对偶变量或问题的Lagrange乘子向量
  • Lagrange对偶函数
      • 若关于无下界,则对偶函数值取
      • 优化该函数是容易的,因为这是一个凹函数,且没有约束条件
  • 最优值的下界
    • 是原问题的可行点,则对偶函数构成了原问题最优值的下界
      • 注:后面的强对偶性成立条件可以理解为要求上述不等号都取等
  • 对偶范数
  • Lagrange对偶函数和共轭函数
    • 共轭函数为
    • 设优化问题形式为
    • 对偶函数为

Lagrange对偶问题

  • 标准形式对偶问题
      • 极大化的目标函数是凹函数,约束集合是凸集,所以Lagrange对偶问题是凸优化问题
    • 该对偶问题的任务是寻找原问题最优值的最紧下界
      • 设对偶问题最优值是
  • 弱对偶性
  • 最优对偶间隙 -
  • 强对偶性
    • 凸问题通常有强对偶性
  • 规范约束准则
    • 保证凸问题的强对偶性的条件
      • 比如Slater条件
    • Slater条件
      • 存在,使得
      • 当满足Slater条件,凸问题的强对偶性成立
    • 改进的Slaster条件
      • 存在,使得
      • 当满足改进的Slater条件,且是仿射的,凸问题的强对偶性成立

KKT最优性条件

阅读全文 »

优化问题

  • 标准形式(默认是极小化问题)
  • 相关术语
    • 优化变量
    • 目标函数(费用函数)
      • 如果是极大化问题,目标函数称为效用或满意度,而不是费用
    • 不等式约束
    • 不等式约束函数
    • 等式约束
    • 等式约束函数
    • 无约束问题
    • 优化问题的定义域
    • 可行点
      • 定义域中满足约束条件的点
    • 可行问题
      • 至少存在一个可行点的问题
    • 可行集(约束集)
      • 所有可行点的集合
    • 最优值
    • 不可行问题
    • 无下界问题
      • 存在可行解的数列满足,此时
    • 最优点(最优解)
      • 满足
    • 最优集
      • 所有最优解的集合
    • 可解问题
      • 存在最优解的问题,此时称最优值可得、可达
    • -次优解
      • 满足的可行解
    • -次优集
      • 所有-次优解的集合
    • 局部最优解
      • 是局部最优解,若存在,使得下面条件成立(两个条件是一个意思)
      • 是关于的优化问题的解
    • 起作用约束
      • 可行且,则称处起作用
      • 可行且,则称处不起作用
    • 冗余约束
      • 去掉该约束不改变可行集
    • 可行性问题
      • 目标函数设置为常数(一般是设置成零)
      • 当可行集非空,最优解是零,否则是
      • 写作
  • 等价问题
    • 非正式定义
      • 若得到一个问题的解,能快速得到另一个问题的解,反之亦然,则两个问题等价
    • 等价变换(这里不细展开,在凸优化等价问题中再讨论)
      • 变量代换
      • 目标函数变换
      • 约束变换变换
      • 松弛变量引入
      • 上境图问题形式

凸优化问题

  • 标准形式(默认是极小化问题)
      • 是凸函数
      • 等式约束是仿射的,可以写成矩阵形式
  • 拟凸优化问题
    • 是拟凸的而非凸的,其他条件不变,则问题是拟凸优化问题
  • 凸优化问题相关性质
    • 凸优化问题的定义域是凸集
    • 凸优化问题的可行集是凸集
      • 所以凸优化问题是在凸集上优化凸函数
    • 凸优化问题的任意局部最优解是全局最优解
  • 可微函数的最优性条件
    • 一般凸优化问题(目标函数可微)
      • 此时对于所有有,
      • 可行集
      • 是最优解,当且仅当,且
    • 无约束凸优化问题
      • 是最优解,当且仅当
    • 只含等式约束凸优化问题
      • 等式约束设为
      • 是最优解,当且仅当,且存在,使得
      • 上面条件也可以理解为,具体来说,考虑到任意两个可行解满足,故要求垂直
    • 非负象限的凸优化问题
      • 设约束为,即
      • 是最优解,当且仅当
  • 等价的凸问题
    • 消除等式约束
      • 求解的特解,和的零空间矩阵
      • 通过换元得到如下关于的不包含等式的等价凸优化问题
    • 引入等式约束
      • 当目标函数或约束函数有形式,通过换元得到等价的凸优化问题,此时引入了等式约束
    • 松弛变量
      • 当约束函数有仿射形式,引入松弛变量,得到等式,并引入不等式
    • 上境图形式
    • 优化部分变量
      • 考虑到(其中),故下面两个优化问题等价
      • 注:设

线性规划问题

阅读全文 »

注:本章讨论的矩阵默认是复数矩阵

Schur三角化定理

  • Schur(酉)三角化定理
    • ,则存在酉矩阵,使得
      • 是一个上三角矩阵
  • 分块对角化引理
    • 引理:设上的任意上三角矩阵,。设,则是和主对角线相同的上三角矩阵
      • ,可取适当的使得
    • 证明:
      • 的第行的倍加到第
      • 的第列的倍加到第
      • 所以不改变对角线,且还是上三角矩阵
  • 分块Schur三角化定理
    • 阶复矩阵的特征多项式
      • 其中
      • 则存在可逆矩阵使得是特征值均为阶上三角矩阵
  • Cayley-Hamilton定理
    • 定理:设矩阵的特征多项式为,则
    • 证明
      • 考虑到,若阶严格上三角矩阵则
      • 所以的第个块矩阵,从而整个乘积是
    • 意义
      • 该定理表明次幂可由较低次幂线性组合给出,这提供了计算高次幂的降幂算法
      • 从线性空间的角度可以理解为,
  • Sylvester降幂公式(特征多项式的降阶公式)
    • ,则
    • 可以理解为,的非零特征值相同,只差特征值
  • 最小多项式相关定义
    • 零化多项式
      • 阶矩阵,是多项式
      • ,则的零化多项式
    • 最小多项式
      • 的次数最低的首一零化多项式是的最小多项式
      • 记为
  • 最小多项式相关性质
    • 最小多项式存在且唯一
    • 特征多项式就是零化多项式,故最小多项式的次数不超过的阶数
    • 最小多项式,的任意零化多项式,则,特别的,
      • 证明:考虑到,则,又次数低于,故,从而
    • 是任意方阵,的最小多项式,设,则特征值
      • 左推右:是特征值,设是该特征值的特征向量,则,从而
      • 右推左:说明是最小多项式的零点,也是特征多项式的零点,故为特征值
    • 分块对角矩阵的最小多项式等于各子块最小多项式的最小公倍式,特征多项式等于各子块特征多项式的乘积
    • 相似矩阵具有相同的最小多项式
  • 最小多项式和矩阵对角化
    • 矩阵可对角化的充要条件
      • 的最小多项式没有重根
    • 必要性
      • 考虑到相似矩阵具有相同最小多项式
      • 因为相似对角化后的矩阵的最小多项式没有重根,所以的最小多项式也没有重根
    • 充分性
      • 教材使用数学归纳法证明,此处略
    • 推论
      • 设方阵无重因式,若,考虑到,则也无重因式,从而可以对角化
  • 线性变换的特征值和特征向量
    • 是有限维线性空间,在某组基下的矩阵
      • 的特征值、特征值重数、可对角化条件和完全相同

Jordan标准形

  • 阶幂零Jordan块
    • 也叫阶幂零块,或阶标准幂零矩阵
  • 的性质
      • 是第个元素为,其余元素为的标准列向量
      • 规定为向量
  • 幂零矩阵的Jordan标准形定理
    • 定理:设阶严格上三角复矩阵,则存在可逆矩阵和正整数,使得
      • 称为幂零Jordan矩阵,是矩阵的Jordan标准形(唯一)
    • 推论:设是两个阶幂零矩阵,则相似
  • -Jordan块
  • 一般矩阵的Jordan标准形定理
    • 定理:设阶复矩阵,则存在可逆矩阵和正整数,使得
      • 称为Jordan矩阵,是矩阵的Jordan标准形(唯一)
      • 注:各可能相同
    • 推论:方阵可以对角化的Jordan标准形是对角矩阵
  • 最大Jordan块
    • 是严格上三角矩阵,则其Jordan标准形的Jordan块的阶数的最大值等于其幂零指数
  • 广义特征向量
    • 的非零解
      • 广义特征向量和零向量构成的子空间,即广义特征子空间或根子空间
  • 计算Jordan标准形的定理
    • 阶严格上三角矩阵的Jordan标准形的幂零指数为的零度为阶Jordan块的个数为,则
      • 中Jordan块的个数等于的零度(解空间的维度)
    • 阶矩阵的Jordan标准形的一个特征值,记的最小多项式中的重数为的零度是中对角线元素为阶Jordan块的个数为,则
      • 关于的Jordan块的最大阶数
      • 中对角线为的Jordan块的个数等于
阅读全文 »

基本性质和例子

定义

  • 函数是凸的
    • 是凸集
    • ,有
  • 函数是严格凸的
    • 是凸集
    • ,有
  • 函数是凹的
    • 是凸的
  • 函数是严格凹的
    • 是严格凸的

拓展值延申

  • 定义凸函数的拓展值延申
  • 作用
    • 简化定义域的描述
  • 原定义域的计算
阅读全文 »

引言

  • 线性映射
    • 满足性质
      • 可加性
      • 齐次性
    • 又叫线性变换
      • 本章重点研究的是矩阵和线性变换之间的联系

子空间:直和与空间分解

  • 子空间相关定义
    • 子空间
      • 是一个线性空间,的一个非空子集。如果本身关于的向量加法与数乘作成一个线性空间,则称的一个线性子空间
    • 零子空间
      • 只包含原点的子空间
    • 平凡子空间
      • 零子空间和原线性空间本身
    • 真子空间
      • 不是平凡子空间的子空间
  • 子空间判别法
    • 是线性空间的一个非空子集。则是子空间的等价条件是
      • 子空间一定包含零向量,即一定过原点
  • 子空间的性质
    • 传递性
      • 的子空间,的子空间,则的子空间
    • 任意多个(可以无限)子空间交集仍是子空间
      • 称为子空间的交,并且是含于这些子空间的最大子空间
  • 子空间的和
      • 两个子空间的和是包含两个子空间的最小子空间
  • 张成子空间
    • 是线性空间,,则的包含的最小子空间
      • 的生成元集
      • 是由生成(或张成)的子空间
  • 维数定理
    • 是线性空间,的两个子空间,则
    • 直和
      • 记为
  • 直和的判定(下面各命题等价)
    • 是直和的
    • 对任意,分解式唯一,即唯一
  • 多个子空间直和的判定
    • 是直和的
    • 任意的分解式唯一
  • 补子空间
    • 是线性空间,的一个子空间,则存在子空间,使得
      • 的补子空间
      • 补子空间一般不唯一
  • 矩阵的四个子空间
    • 的零化空间
      • 的解空间
    • 的列空间(像空间,值域)
      • 列向量生成的子空间
      • 维数等于矩阵的秩
    • 的行空间
      • 行向量生成的子空间
      • 行空间的向量仍看作列向量
      • 维数等于矩阵的秩
    • 的左零化空间
      • 的解空间

矩阵与线性变换

阅读全文 »