1. Loss Runction and Risk 1.1. 三种类型的问题 对于一个已经训练好的监督学习模型 $h(\cdot)$ ，以及一组给定的数据 $(x_i,y_i),i=1,...,n$ ，我们该如何评估这个模型的性能？ * 模型 $h(\cdot)$：我们给它一个输入，它会给我们一个预测输出。 * 数据 $(x_i,y_i)$：这是我们拥有的“标准答案”数据集，其中： * $x_i\in\mathcal{R}^d$ 代表第 $i$ 个样本的输入特征 。它是一个 $d$ 维的向量，也就是说，每个样本都由 $d$ 个数值特征来描述。…
1. Variational Inference 1.1. 基本思想 首先，贝叶斯定理（Bayes' Theorem）的SOP如下： $$p(\theta|y)=\frac{p(y|\theta)p(\theta)}{\int p(y|\theta)p(\theta)d\theta}=\frac{p(y|\theta)p(\theta)}{p(y)}$$ $p(y)=\int p(y|\theta)p(\theta)d\theta$ 这个分母被称为“证据” (Evidence)…
统计推断 (Statistical Inference) 基本定义 * 统计推断的核心是从已有的数值数据（样本）出发，对那些我们无法直接观测到的量（总体）做出结论。- 这个过程通常包含两个主要步骤： 1. 选择统计模型: 首先，针对产生数据的过程，选择一个合适的统计模型。 2. 从模型推断: 然后，基于这个模型进行演绎，得出结论或“命题”。 统计推断得出的结论有多种形式，常见的包括： * 点估计 (Point estimate): 用样本统计量（如样本均值$\overline{X}$）来估计未知的总体参数（如总体均值 $μ$） 。 * 区间估计 (Interval estimate): 例如置信区间，即给出一个参数可能存在的范围。 * 假设检验的结论: 对关于总体的某个假设（如 $H_0 :μ≤μ0$ ）做出拒绝或不能拒绝的判断 。 * 聚类或分类结果: 将数据点进行分组（…