Note/ 动力系统不确定性的演化

不确定性增长率 -> 熵的时间演化

Liang, X. Entropy Evolution and Uncertainty Estimation with Dynamical Systems. Entropy 16, 3605–3634 (2014).

估计大气/海洋不确定性的方法（估计pdf）是耗时且容易出错的

给出熵演化的规律，这样可以找到什么情况下可以避免估计pdf

概念

绝对熵： $H=-\int \rho \ln \rho \mathrm d x$ 对state var积分

相对熵 （KL散度，信息增益）$D=\int \rho \ln \dfrac \rho q \mathrm d x$ 是相对于参考态q的演化情况（定义上和H的符号相反）

熵的演化

对于确定性的动力系统：绝对熵的演化精确地等于系统向量场的散度；相对熵则是守恒的

即：$\dfrac{\mathrm dH}{\mathrm d t} = \mathrm E (\nabla \cdot F)$；$\dfrac{\mathrm dD}{\mathrm d t} = 0$

F是什么？是vector形式的方程，是state vector的函数。根据Liouville equation $\dfrac{\partial \rho}{\partial t}+\nabla \cdot (\rho F) = 0$

引入随机性后：密度演化由Fokker–Planck equation 表示；

$\dfrac{\mathrm dH}{\mathrm d t}$会加上一项非负的；$\dfrac{\mathrm dD}{\mathrm d t}$为非正的（注意HD的演化符号是相反的）

研究密度演化的两种方法：Liouville方程、集合预测

试验

Lorenz系统中，$\dfrac{\mathrm dH}{\mathrm d t} = -(\alpha + 1+ \beta)=\mathrm {const}$，意味着绝对熵会一直下降。而用离散熵计算时，是没法达到负值的，因此无法估计到这种性质。

通过bin技术计算的离散熵，和本文计算的微分熵，只有在到达0之前的时间中是相关的

QG试验：剪切初始条件

画出了数值模拟中H的演化；发现引入随机性并不总是导致熵增，意味着随机性不意味着系统总是在失去可预测性。

可能表明随机噪声促成了一种自组织？

Fisher Information: 
衡量观测所得的随机变量X携带的关于未知参数θ的信息量
对数似然对θ求偏导

LEG

（Local entropy generation）系统的内在不确定性的增长,不借助集合预测，快速评估不确定性（熵）

Liang-2011-Uncertainty generation in deterministic flows

定义状态空间单个分量（可以是某个局地量）而言的边际熵,可以求出边际熵的演化方程