前言

最小二乘法在统计学的地位不必多言。本文的目的是全面地讲解最小二乘法,打好机器学习的基础。本文主要内容是最小二乘法的思想及在线性回归问题中的应用。后面的系列文章会继续讲解最小二乘的正则化。
至于非线性最小二乘和广义线性模型,如果以后有时间会进行整理。

不熟悉极大似然法的读者可以阅读我的另一篇文章《十分钟学习极大似然估计

updata 2019/6/13:添加了对线性回归问题的矩阵定义和简要介绍,修改了少量句子,修正了公式中的少量错误。

核心思想

最小二乘法是勒让德( A. M. Legendre)于1805年在其著作《计算慧星轨道的新方法》中提出的。它的主要思想就是求解未知参数,使得理论值与观测值之差(即误差,或者说残差)的平方和达到最小:
\[E = \mathop \sum \limits_{i = 1}^n e_i^2 = \mathop \sum \limits_{i = 1}^n {\left( {{y_i} – \hat y} \right)^2}\]
观测值\(y_i\)就是我们的多组样本,理论值\(\hat y\)就是我们的假设拟合函数。目标函数也就是在机器… Read the rest

前言

参数估计是机器学习里面的一个重要主题,而极大似然估计是最传统、使用最广泛的估计方法之一。

本文主要介绍了极大似然估计,简单说明了其和矩估计、贝叶斯估计的异同,其他估计(如MAP)并不涉及。

为什么要用极大似然估计

对于一系列观察数据,我们常常可以找到一个具体分布来描述,但不清楚分布的参数。这时候我们就需要用极大似然估计来求解这个分布的参数。换句话说,极大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。

极大似然估计概述

下面结合一个例子介绍极大似然估计法的思想和方法:

设一个袋子中有黑、白两种球,摸到白球的概率为p,现在要估计p的值。
我们令总体X为
\[
X = \left.
\begin{cases}
0,\quad 从袋中取得一白球,\\
1,\quad 从袋中取得一黑球.\\
\end{cases}
\right.
\]
则X服从01分布\(B(1,p)\)。

我们先进行有放回地摸球10次,其结果可用随机变量\(x_i\)表示,则\(x_1,x_2,⋯,x_10\)是… Read the rest

前言

本文简述了离散型分布,阐明了泊松分布的来源,推导出泊松分布的公式,列举了泊松分布常用的情况,总结了泊松分布相关数值。

离散型分布概述

离散型分布包括几何分布、超几何分布、二项分布和泊松分布。其中二项分布和泊松分布最重要。

伯努利试验

对于一个试验(事件),如果重复发生的概率是独立地(上一次的结果不影响这次),那么它是独立试验。特别地,如果这个试验只存在两种结果,则称其为伯努利试验。

随机变量

对于有现实世界意义的数,我们根据意义的不同,将其划分为不同的类,而对于同一类的数,都使用同一个随机变量来称呼。比如,x年x月x日下雨量,我们就可以使用“随机变量X”来称呼;x年x月x日下雨可能性,我们就用“随机变量Y”来称呼。

需要明确的是:

  • 随机变量是一类有相同意义的数,而不是某个数
  • 当使用随机变量作为一个数时,我们需要指定这个随机变量。比如“2017年1月25日下雨量”在数学上才是一个具体的值。
  • 随机变量不一定能用除一一映射以外的方式拟合

几何分布

对于重复n次的伯努利试验,我们可以计算“首次为1是出现在第K次试验”:\({P_k} = p{q^{(k – 1)}}\)
如果一个… Read the rest