概率论与数理统计 (Spring 2023)/Weierstrass Approximation Theorem

魏尔施特拉斯逼近定理（Weierstrass Approximation Theorem）陈述了：闭区间上的连续函数总可以用多项式一致逼近。

魏尔施特拉斯逼近定理

设$f:[a,b]\to \mathbb{R}$为定义在实数区间$[a,b]$上的连续实值函数。对每个$ϵ>0$，存在一个多项式 $p$ 使得对于 $[a,b]$ 中所有 $x$，均有 $|p(x)-f(x)|\le ϵ$，即 $\underset{x\in [a,b]}{sup}\parallel f(x)-p(x)\parallel \le ϵ$

Proof. 不失一般性地，可以仅考虑区间$[a,b]=[0,1]$。因为对于定义在一般的实数区间$[a,b]$上的任意函数$f$，可通过变量变换$t\mapsto a+(b-a)t$将其转化为定义在$[0,1]$上的新函数$g(t)=f(a+(b-a)t)$，这并不会改变函数的连续性以及是否为多项式。 因此，可假设连续函数$f:[0,1]\to \mathbb{R}$。令$n$为足够大的正整数，取值待定。 对于任意 $x\in [0,1]$，令 $Y_x\sim \text{Bin}(n,x)$ 为以$n,x$为参数的二项分布随机变量。 将多项式 $p$ 定义如下。对每个 $x\in [0,1]$，令： $p(x)=\mathbb{E}\left[f\left(\frac{Y_x}{n}\right)\right]=\sum _{k=0}^{n}f\left(\frac{k}{n}\right)Pr(Y_x=k)=\sum _{k=0}^{n}f\left(\frac{k}{n}\right)(\genfrac{}{}{0ex}{}{n}{k})x^k(1-x{)}^{n-k}$. 容易看出，这是一个关于变量 $x\in [0,1]$ 的（$n$次齐次）多项式。 根据一致连续性定理(海涅-康托尔定理)，紧空间 $[0,1]$ 上的连续函数 $f$ 必然也是一致连续的。即，对任意 $ϵ>0$，总存在 ${\delta }_{ϵ}>0$，使得对于 $[0,1]$ 中任意满足 $|x-y|\le {\delta }_{ϵ}$ 的 $x,y$，都有 $|f(x)-f(y)|\le \frac{ϵ}{2}$。 不妨定下任意的$ϵ>0$，以及一致连续性定理因此保证的 ${\delta }_{ϵ}>0$。 定下任意的 $x\in [0,1]$。我们希望验证 $|p(x)-f(x)|\le ϵ$。 根据 $p$ 的定义，有： $\begin{array}{rl}|p(x)-f(x)|=& |\mathbb{E}\left[f\left(\frac{Y_x}{n}\right)\right]-f(x)|\\ =& \left|\mathbb{E}[f\left(\frac{Y_x}{n}\right)-f(x)]\right|& & \text{(期望的线性)}\\ \le & \mathbb{E}\left[|f\left(\frac{Y_x}{n}\right)-f(x)|\right]& & \text{(琴生不等式)}\\ =& \mathbb{E}[|f\left(\frac{Y_x}{n}\right)-f(x)|||\frac{Y_x}{n}-x|\le {\delta }_{ϵ}]\cdot Pr[|\frac{Y_x}{n}-x|\le {\delta }_{ϵ}]\\ & +\mathbb{E}[|f\left(\frac{Y_x}{n}\right)-f(x)|||\frac{Y_x}{n}-x|>{\delta }_{ϵ}]\cdot Pr[|\frac{Y_x}{n}-x|>{\delta }_{ϵ}]& & \text{(全期望法则)}\\ \le & \frac{ϵ}{2}+2\parallel f{\parallel }_{\mathrm{\infty }}\cdot Pr[|\frac{Y_x}{n}-x|>{\delta }_{ϵ}]& & (\star )\end{array}$ 上述最后一个不等式 $(\star )$ 成立是因为根据一致连续性，条件 $|\frac{Y_x}{n}-x|\le {\delta }_{ϵ}$ 保证了 $|f\left(\frac{Y_x}{n}\right)-f(x)|\le \frac{ϵ}{2}$，因此 $\mathbb{E}[|f\left(\frac{Y_x}{n}\right)-f(x)|||\frac{Y_x}{n}-x|\le {\delta }_{ϵ}]\le \frac{ϵ}{2}$ 另一方面，如下的上界始终成立 $|f\left(Y_x/n\right)-f(x)|\le \underset{y\in [0,1]}{sup}|f(y)-f(x)|\le \underset{y\in [0,1]}{sup}|f(y)|=2\parallel f{\parallel }_{\mathrm{\infty }}$，因此 $\mathbb{E}[|f\left(\frac{Y_x}{n}\right)-f(x)|||\frac{Y_x}{n}-x|\le {\delta }_{ϵ}]\le 2\parallel f{\parallel }_{\mathrm{\infty }}$. 由切比雪夫不等式可得： $\begin{array}{rlrl}Pr[|\frac{Y_x}{n}-x|>{\delta }_{ϵ}]& =Pr[|Y_x-\mathbb{E}[Y_x]|>n{\delta }_{ϵ}]& & (\mathbb{E}[Y_x]=nx)\\ & \le \frac{\mathbf{V}\mathbf{a}\mathbf{r}[Y_x]}{n^2{\delta }_{ϵ}^2}& & \text{(切比雪夫不等式)}\\ & \le \frac{nx(1-x)}{n^2{\delta }_{ϵ}^2}& & (\mathbf{V}\mathbf{a}\mathbf{r}[Y_x]=nx(1-x))\\ & \le \frac{1}{4n{\delta }_{ϵ}^2}.\end{array}$ 因此可以选择正整数 $n\ge \frac{\parallel f{\parallel }_{\mathrm{\infty }}}{ϵ{\delta }_{ϵ}^2}$。如此选取的 $n$ 可保证 $Pr[|\frac{Y_x}{n}-x|>{\delta }_{ϵ}]\le \frac{1}{4n{\delta }_{ϵ}^2}\le \frac{ϵ}{4\parallel f{\parallel }_{\mathrm{\infty }}}$ 于是 $(\star )$式总有如下上界 $|p(x)-f(x)|\le \frac{ϵ}{2}+2\parallel f{\parallel }_{\mathrm{\infty }}\cdot \frac{ϵ}{4\parallel f{\parallel }_{\mathrm{\infty }}}\le ϵ$ $◻$