0%

【知识总结】 凸函数

基本性质和例子

定义

  • 函数是凸的
    • 是凸集
    • ,有
  • 函数是严格凸的
    • 是凸集
    • ,有
  • 函数是凹的
    • 是凸的
  • 函数是严格凹的
    • 是严格凸的

拓展值延申

  • 定义凸函数的拓展值延申
  • 作用
    • 简化定义域的描述
  • 原定义域的计算

一阶条件

  • 可微,即在开集内处处存在
    • 是凸函数是凸集且,下式成立
    • 是严格凸函数是凸集且,下式成立

二阶条件

  • 二阶可微,即对于开集内任意一点,它的Hessian矩阵或二阶导数存在
    • 是凸函数的充要条件是
      • 其Hessian矩阵半正定
    • 是严格凸函数的充分不必要条件是

例子

  • 线性函数和仿射函数
    • 既是凸函数,又是凹函数
  • 指数函数
    • 对任意上是凸的
  • 幂函数
    • 上是凸的
    • 上是凹的
  • 绝对值幂函数
    • 时,函数上凸函数
  • 对数函数
    • 上是凹函数
  • 负熵
    • 在其定义域上是凸函数
    • 定义域是,当,定义函数值为
  • 范数
    • 上均为凸函数
  • 最大值函数
    • 上是凸的
  • 二次-线性分式
    • 在定义域上是凸函数
  • 指数和的对数
    • 上是凸函数
  • 几何平均
    • 在定义域上凹函数
  • 对数-行列式
    • 在定义域上是凹函数

凸性的证明

  • 验证定义的不等式
  • 验证海森矩阵半正定
  • 验证函数转换到与定义域相交直线上后的单变量函数的凸性

下水平集

  • 定义
    • -下水平集是
  • 性质
    • 凸函数的下水平集是凸集
    • 凹函数的上水平集是凸集
  • 凸集的判断
    • 若某集合可以描述为凸函数的下水平集或凹函数的上水平集,则是凸集

上境图

  • 函数的图像
  • 函数的上境图
  • 凸集和凸函数的联系
    • 一个函数是凸函数,当且仅当其上境图是凸集
    • 一个函数是凹函数,当且仅当其亚图是凸集

Jensen不等式及其拓展

  • 琴生不等式
    • 凸函数满足
  • 拓展至凸组合
    • 是凸函数,,则
    • 可拓展至无穷项的和
  • 拓展至积分
    • ,则相应积分存在时,下式成立
  • 拓展至期望
    • 是随机变量,事件的概率是是凸函数,则相应期望存在时,有下式成立

不等式

  • 琴生不等式和凸性构成不等式理论的基础,可以得到很多著名不等式
    • 比如利用的凸性和Jensen不等式,取可知

保凸运算

  • 非负加权求和
    • 凸函数的集合是凸锥:凸函数的非负加权求和仍是凸函数
      • 是凸函数,且,则是凸函数
  • 复合仿射映射
    • ,定义
      • 是凸(凹)函数则是凸(凹)函数
  • 逐点最大和逐点上确界
    • 是凸函数,则逐点最大函数是凸函数
    • 关于是凸的,则逐点上确界关于是凸的
    • 逐点上确界提供了建立函数凸性的方法
      • 将函数表示为一族仿射函数的逐点上确界,则该函数是凸函数
      • 几乎所有的凸函数都可以表示成一族仿射函数的逐点上确界
  • 复合
    • 对复合函数进行二次微分,使用凸性的二阶条件进行判断
    • 若定义域不是整个时要用到凸函数的拓展值延申
  • 最小化
    • 关于是凸函数,是非空凸集,则逐点取下界关于是凸的
  • 透视函数
    • ,定义的透视函数
      • 是凸(凹)函数,则是凸(凹)函数

共轭函数

  • 定义
    • ,定义函数
      • 上有上界
      • 考虑到是一系列的凸函数的逐点上确界,所以无论是不是关于的凸函数,都有是关于的凸函数
      • 是凸函数,则的下标可以去掉,因为凸函数可以拓展值延申
  • 性质
    • Fenchel不等式
    • 共轭的共轭
      • 如果是闭的(是闭集)凸函数,则
    • 可微函数
      • 可微函数的共轭成为Legendre变换,一般函数的共轭称为Fenchel共轭
      • 是可微的凸函数,定义域,则取最大值
    • 伸缩变换
    • 复合仿射变换
      • 非奇异,,则函数的共轭函数为
    • 独立函数的和
      • 是凸函数,则

拟凸函数

  • 定义
    • 函数是拟凸函数(单峰函数)
      • 定义域及所有下水平集都是凸集
    • 函数是拟凹函数
      • 定义域及所有上水平集都是凸集
      • 是拟凸
    • 函数是拟线性函数
      • 定义域及所有水平集都是凸集
      • 拟线性函数既是拟凸又是拟凹
  • 性质
    • 拟凸函数的Jensen不等式
      • 函数是拟凸函数是凸集,且对于,有
    • 可微函数拟凸的一阶条件
      • 一阶可微
      • 函数是拟凸的充要条件是是凸集,且
    • 可微函数拟凸的二阶条件
      • 二阶可微
      • 函数是拟凸函数的充要条件是
      • 对于定义在上的拟凸函数,上述条件简化为

广义不等式的凸性

  • 广义不等式的单调性(设是一个正常锥,相应广义不等式为
    • -非减
    • -增
    • -非增
    • -减
  • 广义不等式的凸性(设是一个正常锥,相应广义不等式为
    • -凸
    • 是严格-凸