指数分布族
1. 定义
指数分布族不是专指一种分布，而是一系列符合特征的分布的统称。常用的诸如正态分布，伯努利分布，指数分布，泊松分布，gamma分布都属于指数分布族。
其中：
- b(y) - underlying measure
- T(y) - sufficient statistic
- A(\(\theta\)) - log normalizer
通常情况下T(y) = y, A, b, T, \(\eta\)给定的不同，就能得到不同的y的分布
其中的变量y和参数\(\theta\)只在\(T(y)\eta(\theta)\)中有联系，T(y)和\(\eta(\theta)\)都是向量形式
2. 伯努利分布
伯努利分布的概率密度函数为：
对应指数分布族的概率密度函数可以发现：
- \(b(y) = 1\)
- \(\eta(\theta) = log\frac{\theta}{1 - \theta}\)
- \(T(y) = y\)
- \(A(\theta) = -log(1 - \theta) = log(1 + e^{\eta(\theta)})\)
3. 高斯分布
对于均值为\(\mu\)，方差为\(\sigma\)的高斯分布的概率密度函数为：
对应指数分布族的概率密度函数可以发现:
- \(b(y) = \frac{1}{\sqrt{2\pi}}\)
- \(\eta(\sigma) = [\frac{\mu}{\sigma^2}, -\frac{1}{2\sigma^2}]\)
- \(T(y) = [y, y^2]\)
- \(A(\sigma) = \frac{\mu^2}{2\sigma^2} + log\sigma\)
4. 其他指数分布
还有许多其他分布属于指数分布族，如：
- 多项式分布（multinomial），用来对多元分类问题进行建模；
- 泊松分布（Poisson），用来对计数过程进行建模，如网站的访客数量、商店的顾客数量等；
- 伽马分布（gamma）和指数分布（exponential），用来对时间间隔进行建模，如等车时间等；
- β分布（beta）和Dirichlet分布（Dirichlet），用于概率分布；
- Wishart分布（Wishart），用于协方差矩阵分布。
广义线性模型(GLM)
之前一直知道线性回归，逻辑回归都属于glm，其中线性回归假设服从高斯分布，逻辑回归假设服从伯努利分布，但是为什么要这样并不是非常清楚。
1. 三个假设
- 在给定自变量x和参数\(\theta\)的情况下，因变量y服从指数分布族
- 给定x，最终目的是求出T(y)的期望E[T(y)|x]
- 自然参数\(\eta\)可以表示为自变量x的线性关系，即\(\eta = \theta^T x\)
广义线性模型通过拟合y的条件均值/期望(在x和参数\(\theta\)给定的情况下)，并假设y符合指数分布族中的某种分布，从而扩展了标准线性模型
2. 高斯分布
对于高斯分布，y的均值为参数\(\mu\)
根据上面的推导，\(y = \mu = \eta = \theta^T x\)(假设\(\sigma = 1\))
这就和线性回归对于y作高斯分布的假设相呼应，这里的link function是y=x为identity function
3. 伯努利分布
对于伯努利分布，y的均值为\(\phi\)，就是指数分布族下的唯一参数
根据上面的推导，\(\eta = log\frac{\phi}{1 - \phi} = \theta^T x\)推导出\(y = \phi = \frac{1}{1 + e^{-\eta}} = \frac{1}{1 + e^{-\theta^T x}}\)
这也就是逻辑回归的表达式，对应与逻辑回归下y作伯努利分布的假设，此时的link function为\(y = log \frac{x}{1 - x}\)，就是大名鼎鼎的logit函数了。
4. GLM建模过程
总结一下GLM的建模过程。
- 根据问题在指数分布族中选择一种分布作为对y的假设
- 计算该分布下的\(\eta\)，实际上\(\eta = \eta(w^T)\)，其中\(w^T\)为该分布的真实参数，而\(\eta\)只是以\(w^T\)为参数的一个link function
- 计算该分布的期望，将其用\(\eta\)表示，例如上面伯努利分布时的\(y=\phi = \frac{1}{1+e^{-\eta}}\)
- 根据GLM的假设替换\(\eta = \theta^T x\)即得到GLM模型
将这些知识都串联起来，就能更好的理解不同回归模型下的前提假设及其link function的选择了。