【知识总结】z变换与离散时间系统的z域分析 发表于 2023-10-10 更新于 2023-10-18 分类于 信号与系统 阅读次数: 评论数: z变换与反变换 z变换定义 双边z变换 单边z变换 是复变量,上同 对于因果信号,单边z变换和双边z变换相等,否则不等 z变换与傅里叶变换 令 当,序列z变换就是傅里叶变换 阅读全文 »
【知识总结】拉普拉斯变换与连续时间系统复频域分析 发表于 2023-09-30 更新于 2023-10-18 分类于 信号与系统 阅读次数: 评论数: 拉普拉斯变换 傅里叶变换推广为拉普拉斯变换 基底信号从推广成 其中为复平面上的值 当为纯虚数拉普拉斯变换退化为傅里叶变换 拉普拉斯变换定义 定义初衷 时不满足绝对可积条件,此时原信号不存在傅里叶变换 正变换 把乘以衰减因子再傅里叶变换(令) 逆变换 对做逆傅里叶变换, 故 可以看出逆变换的积分路径是复平面的一条直线 符号表示 物理意义 信号可以分解成的线性组合 是复频率,是复频谱 单边拉普拉斯变换 对于因果系统,单边拉普拉斯变换更方便,本节后续主要考虑单边的拉普拉斯变换 阅读全文 »
【知识总结】 系统的频域分析 发表于 2023-09-15 更新于 2023-10-07 分类于 信号与系统 阅读次数: 评论数: 连续时间LTI系统的频率响应 虚指数信号通过连续系统的零状态响应 在第三章引言中推导过 任意非周期信号通过连续系统的零状态响应 假设表示系统输入到输出的映射 通过傅里叶变换把任意时域信号分解为虚指数信号的线性组合表示 又因为 所以 记,是输出信号的频谱 连续系统的频率响应 原理:系统把频谱为的输入改变成频谱为的响应 的幅度和相位称作幅度响应和相位响应 求解方法 冲激响应的频谱,即 信号通过系统后的频谱变化,即 系统零状态响应两种求解方法的联系 时域卷积积分方法 频域分析法 本质是傅里叶变换的时域卷积定理 无失真系统与理想低通滤波器 无失真传输系统 输入信号为,则输出信号为 是常数,是输入信号通过系统后的延迟时间 时域特性 频域特性 幅度响应,在整个频率范围内是,带宽无穷大 相位响应,在整个频率范围内与成正比 滤波器 能使信号一部分频率通过,另一部分频率通过很少的系统 理想低通滤波器 的波形是取样函数,有失真,因为理想低通滤波器是带限系统 增加理想低通截频,的主瓣宽度减小,极限情况变成冲激函数 在的区间存在输出,说明理想低通滤波器是非因果系统,物理上不可实现 信号的重建 阅读全文 »
【知识总结】 矩阵函数及其微积分 发表于 2022-12-10 更新于 2022-12-22 分类于 矩阵理论 阅读次数: 评论数: 向量与矩阵的范数 赋范空间 设或,是上的一个线性空间。若的函数满足下列性质,则是赋范空间 正定性:且 齐次性:有 三角不等式:有 是向量的向量范数 常见向量范数 最大范数、范数、范数 和范数、范数、范数 欧几里得范数、范数 Holder范数、范数、范数 常见矩阵的向量范数(把矩阵看作向量) Frobenius范数、范数 极大列和范数 极大行和范数 使用向量范数构造向量范数 设是上的向量范数,𝕞𝕟是列满秩矩阵,则是上的向量范数 范数的等价性 有限维线性空间上任意两种范数等价的充要条件有 存在常数,使得对于有 存在正的常数,使得对于有 有限或无限维线性空间上任意两种范数等价的充要条件有 对于中任意向量序列和,两个范数有相同的敛散性,即 有限维线性空间的任意两种向量范数是等价的 任意两种矩阵范数均等价(具体参考下面矩阵范数的相关理论) 范数的连续性 有限维线性空间的向量范数是向量坐标的连续函数 矩阵范数 若是上的一个非负实函数和向量范数,且有 则称是上的矩阵范数 矩阵的范数、范数、范数改记为 矩阵范数和向量范数的相容 ,有 上每种向量范数都存在上相容的矩阵范数 上每种矩阵范数都存在上相容的向量范数 由向量范数诱导的矩阵范数 诱导理解为构造、表示、定义 复数域矩阵范数的下界 ,为𝕟𝕟的任意一种矩阵范数,则 线性变换的范数 设,定义 该范数和中的向量范数相容 若,则改向量范数是矩阵范数,满足次乘性 线性变换的连续性 设。对于任意,使得中任意满足的向量,都有,则连续 有限维赋范线性空间的线性变换是连续的 矩阵序列和矩阵级数 向量序列的极限 按范数收敛 设是维赋范线性空间,是的一个向量序列,是常序列。若,则向量序列在意义下收敛,极限为 记作 按坐标收敛 维向量的序列收敛序列的向量的每个坐标构成的数列(共个)都收敛 矩阵按范数收敛和按坐标收敛是等价的 是的矩阵序列,是的任意向量范数,则 矩阵序列极限的四则运算法则 若,则 ,其中为可逆阵 若,则对于中任意范数,有界 若,且及存在,则 矩阵的幂收敛 定义 矩阵幂收敛指的是矩阵序列收敛 相关定理或结论 若两矩阵相似,则两矩阵有着相同的幂收敛性 矩阵和其Jordan标准形有着相同的幂收敛性 设矩阵,则矩阵幂收敛的任一特征值满足,且时对角线为的Jordan块都是一阶的 矩阵幂收敛(即)序列收敛 若矩阵的某个矩阵范数小于,则矩阵幂收敛,可逆且 矩阵的级数 定义:若矩阵序列收敛于,则称矩阵级数收敛于 记为 否则称发散 矩阵级数相关性质 若收敛,则 若,则, 矩阵幂级数的收敛问题 引理:Jordan块的幂级数 设是对角线为的阶Jordan块,是收敛半径为的幂级数,则当,矩阵幂级数收敛 此时 Lagrange-Sylvester定理 设是收敛半径为的幂级数,矩阵,其中,,,,则矩阵幂级数收敛 此时 矩阵函数的导数和积分 阅读全文 »
【知识总结】 正规矩阵与矩阵的分解 发表于 2022-11-18 更新于 2022-12-02 分类于 矩阵理论 阅读次数: 评论数: 注:本章讨论的矩阵默认是复数矩阵 正规矩阵 正规矩阵 可以进行酉对角化的矩阵 存在酉矩阵,使得是对角矩阵 正规矩阵判断相关定理 矩阵是正规矩阵 注:若矩阵既是正规矩阵又是三角矩阵,则矩阵是对角矩阵 矩阵是正规矩阵有个两两正交的单位特征向量 正规矩阵属于不同特征值的特征向量互相正交 正规矩阵的相关特性 设复矩阵的特征值为 Schur不等式 是正规矩阵 实正规矩阵相关定义和定理 Schur型 设是阶实矩阵,则是正规矩阵存在正交矩阵,使得 其中是一阶实矩阵或Schur型 实矩阵相关结论(设是阶实矩阵) 是对称矩阵存在正交矩阵,使得是对角矩阵 是反对称矩阵存在正交矩阵,使得 其中 反对称矩阵的非零特征值是纯虚数 是正交矩阵存在正交矩阵,使得 其中是二阶Givens旋转矩阵 正交矩阵的特征值的模均为 复矩阵相关结论(设是阶复矩阵) 是Hermite矩阵存在酉矩阵,使得是实对角矩阵 是反Hermite矩阵存在酉矩阵,使得是纯虚数对角矩阵 是酉矩阵存在酉矩阵,使得是对角元素的模均为的对角矩阵 从而酉矩阵的特征值的模均为 Hermite矩阵B正定的所有顺序主子式均大于 正规矩阵的谱分解 正规矩阵的谱分解或特征值分解 设是正规矩阵,则存在酉矩阵,使得 若把上述分解的零特征值项去掉,再把系数相同的项合并,则公式变为 其中是的互不相同的特征值 几何意义 ,其中彼此正交 平面的正交分解 单纯矩阵 阶可对角化矩阵,存在可逆矩阵使得 也有类似于正规矩阵的谱分解,详见下面的谱分解定理 谱分解定理 设是单纯矩阵,的谱为,其中的重数是,则存在唯一的一组个阶方阵满足下述条件,这些矩阵称为矩阵的谱分解的成分矩阵或主幂等矩阵 对比正规矩阵 单纯矩阵的谱分解不一定有,故中的各不一定正交 推论 设单纯矩阵的谱分解为,则,故对于任意多项式有 阅读全文 »
【知识总结】 对偶 发表于 2022-11-08 更新于 2022-11-10 分类于 最优化方法 阅读次数: 评论数: Lagrange 对偶函数 标准形式优化问题 最优值设为 问题的Lagrange函数 称为对应约束的Lagrange乘子,称为对偶变量或问题的Lagrange乘子向量 Lagrange对偶函数 若关于无下界,则对偶函数值取 优化该函数是容易的,因为这是一个凹函数,且没有约束条件 最优值的下界 设是原问题的可行点,则对偶函数构成了原问题最优值的下界 对有 注:后面的强对偶性成立条件可以理解为要求上述不等号都取等 对偶范数 Lagrange对偶函数和共轭函数 共轭函数为 设优化问题形式为 对偶函数为 Lagrange对偶问题 标准形式对偶问题 极大化的目标函数是凹函数,约束集合是凸集,所以Lagrange对偶问题是凸优化问题 该对偶问题的任务是寻找原问题最优值的最紧下界 设对偶问题最优值是 弱对偶性 最优对偶间隙 - 强对偶性 凸问题通常有强对偶性 规范约束准则 保证凸问题的强对偶性的条件 比如Slater条件 Slater条件 存在,使得 当满足Slater条件,凸问题的强对偶性成立 改进的Slaster条件 存在,使得 当满足改进的Slater条件,且是仿射的,凸问题的强对偶性成立 KKT最优性条件 阅读全文 »
【知识总结】 凸优化问题 发表于 2022-11-03 更新于 2022-11-08 分类于 最优化方法 阅读次数: 评论数: 优化问题 标准形式(默认是极小化问题) 相关术语 优化变量 目标函数(费用函数) 如果是极大化问题,目标函数称为效用或满意度,而不是费用 不等式约束 不等式约束函数 等式约束 等式约束函数 无约束问题 优化问题的定义域 可行点 定义域中满足约束条件的点 可行问题 至少存在一个可行点的问题 可行集(约束集) 所有可行点的集合 最优值 不可行问题 无下界问题 存在可行解的数列满足,此时 最优点(最优解) 满足的 最优集 所有最优解的集合 可解问题 存在最优解的问题,此时称最优值可得、可达 -次优解 满足的可行解 -次优集 所有-次优解的集合 局部最优解 称是局部最优解,若存在,使得下面条件成立(两个条件是一个意思) 是关于的优化问题的解 起作用约束 若可行且,则称在处起作用 若可行且,则称在处不起作用 冗余约束 去掉该约束不改变可行集 可行性问题 目标函数设置为常数(一般是设置成零) 当可行集非空,最优解是零,否则是 写作 等价问题 非正式定义 若得到一个问题的解,能快速得到另一个问题的解,反之亦然,则两个问题等价 等价变换(这里不细展开,在凸优化等价问题中再讨论) 变量代换 目标函数变换 约束变换变换 松弛变量引入 上境图问题形式 凸优化问题 标准形式(默认是极小化问题) 注 是凸函数 等式约束是仿射的,可以写成矩阵形式 拟凸优化问题 若是拟凸的而非凸的,其他条件不变,则问题是拟凸优化问题 凸优化问题相关性质 凸优化问题的定义域是凸集 凸优化问题的可行集是凸集 所以凸优化问题是在凸集上优化凸函数 凸优化问题的任意局部最优解是全局最优解 可微函数的最优性条件 一般凸优化问题(目标函数可微) 此时对于所有有, 可行集 是最优解,当且仅当,且 无约束凸优化问题 是最优解,当且仅当 只含等式约束凸优化问题 等式约束设为 是最优解,当且仅当,且存在,使得 上面条件也可以理解为或,具体来说,考虑到任意两个可行解满足,故要求和垂直 非负象限的凸优化问题 设约束为,即 是最优解,当且仅当 等价的凸问题 消除等式约束 求解的特解,和的零空间矩阵 通过换元得到如下关于的不包含等式的等价凸优化问题 引入等式约束 当目标函数或约束函数有形式,通过换元得到等价的凸优化问题,此时引入了等式约束 松弛变量 当约束函数有仿射形式,引入松弛变量,得到等式,并引入不等式 上境图形式 优化部分变量 考虑到(其中),故下面两个优化问题等价 注:设 线性规划问题 阅读全文 »
【知识总结】 特征值与矩阵的Jordan标准形 发表于 2022-11-02 更新于 2022-11-18 分类于 矩阵理论 阅读次数: 评论数: 注:本章讨论的矩阵默认是复数矩阵 Schur三角化定理 Schur(酉)三角化定理 设,则存在酉矩阵,使得 是一个上三角矩阵 分块对角化引理 引理:设是上的任意上三角矩阵,。设,则是和主对角线相同的上三角矩阵 若,可取适当的使得 证明: 把的第行的倍加到第行 把的第列的倍加到第列 所以不改变对角线,且还是上三角矩阵 分块Schur三角化定理 设阶复矩阵的特征多项式 其中 则存在可逆矩阵使得,是特征值均为的阶上三角矩阵 Cayley-Hamilton定理 定理:设矩阵的特征多项式为,则 证明 设 考虑到,若是阶严格上三角矩阵则 所以的第个块是阶矩阵,从而整个乘积是 意义 该定理表明的次幂可由较低次幂线性组合给出,这提供了计算高次幂的降幂算法 从线性空间的角度可以理解为, Sylvester降幂公式(特征多项式的降阶公式) 设,则 可以理解为,和的非零特征值相同,只差个特征值 最小多项式相关定义 零化多项式 是阶矩阵,是多项式 若,则是的零化多项式 最小多项式 的次数最低的首一零化多项式是的最小多项式 记为或 最小多项式相关性质 最小多项式存在且唯一 特征多项式就是零化多项式,故最小多项式的次数不超过的阶数 设是最小多项式,是的任意零化多项式,则,特别的, 证明:考虑到,则,又次数低于,故,从而 是任意方阵,是的最小多项式,设,则是特征值 左推右:是特征值,设是该特征值的特征向量,则,从而 右推左:说明是最小多项式的零点,也是特征多项式的零点,故为特征值 分块对角矩阵的最小多项式等于各子块最小多项式的最小公倍式,特征多项式等于各子块特征多项式的乘积 相似矩阵具有相同的最小多项式 最小多项式和矩阵对角化 矩阵可对角化的充要条件 的最小多项式没有重根 必要性 考虑到相似矩阵具有相同最小多项式 因为相似对角化后的矩阵的最小多项式没有重根,所以的最小多项式也没有重根 充分性 教材使用数学归纳法证明,此处略 推论 设方阵,无重因式,若,考虑到,则也无重因式,从而可以对角化 线性变换的特征值和特征向量 设是有限维线性空间,,是在某组基下的矩阵 则的特征值、特征值重数、可对角化条件和完全相同 Jordan标准形 阶幂零Jordan块 也叫阶幂零块,或阶标准幂零矩阵 的性质 是第个元素为,其余元素为的标准列向量 规定为向量 幂零矩阵的Jordan标准形定理 定理:设是阶严格上三角复矩阵,则存在可逆矩阵和正整数,,使得 称为幂零Jordan矩阵,是矩阵的Jordan标准形(唯一) 推论:设和是两个阶幂零矩阵,则和相似 阶-Jordan块 一般矩阵的Jordan标准形定理 定理:设是阶复矩阵,则存在可逆矩阵和正整数,,使得 称为Jordan矩阵,是矩阵的Jordan标准形(唯一) 注:各可能相同 推论:方阵可以对角化的Jordan标准形是对角矩阵 最大Jordan块 设是严格上三角矩阵,则其Jordan标准形的Jordan块的阶数的最大值等于其幂零指数 广义特征向量 的非零解 广义特征向量和零向量构成的子空间,即广义特征子空间或根子空间 计算Jordan标准形的定理 设阶严格上三角矩阵的Jordan标准形,的幂零指数为,的零度为,中阶Jordan块的个数为,则 中Jordan块的个数等于的零度(解空间的维度) 设阶矩阵的Jordan标准形,为的一个特征值,记的最小多项式中的重数为,的零度是,中对角线元素为的阶Jordan块的个数为,则 关于的Jordan块的最大阶数 中对角线为的Jordan块的个数等于 阅读全文 »
【知识总结】 凸函数 发表于 2022-10-17 更新于 2022-11-03 分类于 最优化方法 阅读次数: 评论数: 基本性质和例子 定义 函数是凸的 是凸集 和,有 函数是严格凸的 是凸集 和,有 函数是凹的 是凸的 函数是严格凹的 是严格凸的 拓展值延申 定义凸函数的拓展值延申 作用 简化定义域的描述 原定义域的计算 阅读全文 »
【知识总结】 矩阵与线性变换 发表于 2022-10-11 更新于 2023-01-11 分类于 矩阵理论 阅读次数: 评论数: 引言 线性映射 满足性质 可加性 齐次性 又叫线性变换 本章重点研究的是矩阵和线性变换之间的联系 子空间:直和与空间分解 子空间相关定义 子空间 设是一个线性空间,是的一个非空子集。如果本身关于的向量加法与数乘作成一个线性空间,则称是的一个线性子空间 零子空间 只包含原点的子空间 平凡子空间 零子空间和原线性空间本身 真子空间 不是平凡子空间的子空间 子空间判别法 设是线性空间的一个非空子集。则是子空间的等价条件是 有 子空间一定包含零向量,即一定过原点 子空间的性质 传递性 是的子空间,是的子空间,则是的子空间 任意多个(可以无限)子空间交集仍是子空间 称为子空间的交,并且是含于这些子空间的最大子空间 子空间的和 两个子空间的和是包含两个子空间的最小子空间 张成子空间 设是线性空间,,则是的包含的最小子空间 是的生成元集 是由生成(或张成)的子空间 维数定理 设是线性空间,与是的两个子空间,则 直和 当,记为 直和的判定(下面各命题等价) 是直和的 对任意,分解式唯一,即唯一 若则 多个子空间直和的判定 是直和的 任意的分解式唯一 补子空间 设是线性空间,是的一个子空间,则存在子空间,使得 是的补子空间 补子空间一般不唯一 矩阵的四个子空间 的零化空间 的解空间 的列空间(像空间,值域) 列向量生成的子空间 维数等于矩阵的秩 的行空间 行向量生成的子空间 行空间的向量仍看作列向量 维数等于矩阵的秩 的左零化空间 的解空间 矩阵与线性变换 阅读全文 »