相关笔记

Slide 1 — Simple Linear Regression Overview （第1页——简单线性回归概览）

Knowledge Points（知识点）

1. Simple Linear Regression Model（简单线性回归模型）
2. Least Squares Method（最小二乘法）
3. Coefficient of Determination R²（决定系数 R²）

---

🔹Knowledge Point 1 — Simple Linear Regression Model（简单线性回归模型）

Explanation（解释）
A simple linear regression model describes the relationship between one independent variable x and one dependent variable y.
简单线性回归模型描述一个自变量 x 与一个因变量 y 之间的线性关系。

The population model is:
$y={\beta }_0+{\beta }_{1}x+\epsilon$ 总体模型形式如上，其中 ε 表示误差。

Example（例子）
A firm studies whether advertising expenditure (x) affects sales (y).
企业研究广告费用 (x) 是否影响销售额 (y)。

Extension（拓展）
If the model includes more predictor variables, it becomes a multiple regression model.
若加入多个解释变量，则可扩展为多元回归模型。

Image/Data Analysis（图表分析）
图示展示了总体模型与样本数据之间的关系：

• 样本点 (xᵢ, yᵢ) 分布于平面；
• 目标是估计 β₀ 与 β₁，使直线最符合数据趋势。

---

🔹Knowledge Point 2 — Least Squares Method（最小二乘法）

Explanation（解释）
Least squares estimates choose b₀, b₁ to minimize the total squared prediction error.
最小二乘法通过最小化预测误差平方和求得 b₀、b₁。

Example（例子）
企业利用广告费与销售数据，选择最佳拟合直线，以降低整体误差。

Extension（拓展）
Least squares is also the foundation for ANOVA, GLM 等广泛统计模型。

Image/Data Analysis（图表分析）
误差 eᵢ = yᵢ − ŷᵢ 以竖线表示；最小二乘使 Σeᵢ² 最小。

---

🔹Knowledge Point 3 — Coefficient of Determination R²（决定系数 R²）

Explanation（解释）
R² measures the proportion of variation in y explained by x.
R² 衡量 y 的变异中有多少能由 x 解释。

Example（例子）
若 R² = 0.85，代表 85% 的销售额变动可由广告费用解释。

Extension（拓展）
R² 不能判断因果关系，亦会随解释变量增加而增大。

---

Summary（总结）
Simple linear regression explains how x predicts y, using least squares to estimate b₀、b₁，并通过 R² 衡量拟合效果。
简单线性回归通过最小二乘法建立预测模型，并用 R² 衡量模型解释能力。

---

Slide 2 — Regression Model Structure （第2页——回归模型结构）

Knowledge Points（知识点）

1. Population Regression Model vs Estimated Regression Equation（总体模型 vs 估计模型）
2. Parameters β₀, β₁ vs Estimates b₀, b₁（参数与估计量的区别）
3. Role of Sample Data（样本数据在回归中的作用）

---

🔹Knowledge Point 1 — Population vs Estimated Regression（总体模型 vs 估计模型）

Explanation（解释）
Population model uses true parameters β₀, β₁; estimated regression uses sample estimates b₀, b₁.
总体模型包含真实参数 β₀、β₁；估计模型使用样本估计量 b₀、b₁。

Example（例子）
总体关系可能是“广告费越高销售越高”；样本通过数据估计出具体的斜率 b₁。

Extension（拓展）
参数无法直接观测，只能用样本估计并进行推断（如 t test）。

Image/Data Analysis（图表分析）
图示显示：

• 上方展示总体模型 y = β₀ + β₁x + ε；
• 右方展示样本数据 (x₁, y₁)…(xₙ, yₙ)；
• 下方展示估计模型 ŷ = b₀ + b₁x。

---

🔹Knowledge Point 2 — β₀, β₁ vs b₀, b₁（参数与估计量）

Explanation（解释）
β₀, β₁ 描述总体规律；b₀, b₁ 是用样本计算出来的估计值。
β₀ 表示截距，β₁ 表示斜率。

Example（例子）
样本计算出：b₀ = 80, b₁ = 5 → 每增加 1 千美元广告费，销售额约增加 5 单位。

Extension（拓展）
估计值受样本大小、变异程度影响，因此存在不确定性。

---

🔹Knowledge Point 3 — Sample Data in Regression（样本的作用）

Explanation（解释）
回归分析完全依赖样本数据去估计未知的 β₀、β₁。

Example（例子）
收集公司过去12个月的广告费与销售额即可执行简单回归。

Extension（拓展）
样本质量影响模型效果，如异常点（outliers）会扭曲斜率。

---

Summary（总结）
总体模型不可直接观测，需利用样本数据估计 b₀、b₁，并建立 ŷ = b₀ + b₁x 的预测方程。
回归的核心在于从样本中推断总体关系。

---

Slide 3 — Least Squares & Parameter Estimation （第3页——最小二乘与参数估计）

Knowledge Points（知识点）

1. Least Squares Objective Function（最小二乘目标函数）
2. Estimation Formulas for b₁ and b₀（b₁、b₀ 的估计公式）
3. Interpretation of Slope and Intercept（斜率与截距的含义）

---

🔹Knowledge Point 1 — Least Squares Objective（最小二乘目标）

Explanation（解释）
Least squares minimizes:
$\min \sum (y_i-{\hat{y}}_i{)}^2$ 目标是使预测值 ŷᵢ 与实际 yᵢ 的误差平方和最小。

Example（例子）
企业希望找一条最佳拟合线，使整体预测误差最低。

Extension（拓展）
此方法具有解析解（closed-form solution），且具有最佳线性无偏估计性质（BLUE）。

Image/Data Analysis（图表分析）
图中展示误差 eᵢ 作为点到拟合线的垂直距离。最优回归线使这些距离平方和最小。

---

🔹Knowledge Point 2 — Estimation Formulas（估计公式）

Explanation（解释）
斜率与截距计算如下：
$b_1=\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sum (x_i-\bar{x}{)}^2}$ $b_0=\bar{y}-b_1\bar{x}$

Example（例子）
若 x、y 数据均值为 (5, 110)，计算 b₁ 后即可求 b₀。

Extension（拓展）
b₁ 同时反映协方差方向：

• 若 b₁ > 0：正相关
• 若 b₁ < 0：负相关

Image/Data Analysis（图表分析）
分子表示 x、y 偏离均值的共同变动；分母表示 x 的总变异。

---

🔹Knowledge Point 3 — Interpretation（解释 b₀ 与 b₁ 含义）

Explanation（解释）
b₁ 表示 x 每增加 1 单位，y 预测增加 b₁ 单位。
b₀ 表示当 x = 0 时预测的 y 值（可能无实际意义）。

Example（例子）
若 b₁ = 4，则广告费每提高 1000 美元，销售额预测提升 4 单位。

Extension（拓展）
斜率是经济与商业分析中最关键的解释量，有助于决策（如投资回报）。

---

Summary（总结）
最小二乘法通过 b₀、b₁ 的公式估计最佳回归线，并解释变量间的线性关系。
最小二乘估计提供回归分析的核心计算基础。

---

Slide 4 — Regression Example: TV Ads & Car Sales （第4页——回归示例：广告次数与汽车销量）

Knowledge Points（知识点）

1. Business Background of the Regression Example（回归示例的商业背景）
2. Sample Data for Regression（回归样本数据）
3. Means of x and y（x 与 y 的均值）

---

🔹Knowledge Point 1 — Business Background（商业背景）

Explanation（解释） Reese Auto Dealership uses TV advertisements to increase sales. Regression evaluates how strongly sales respond to ads. Reese 汽车经销商通过电视广告提升销量，回归分析用于评估广告对销量的影响力度。

Example（例子） 公司希望了解“若增加广告数量，销量是否会随之增加？”

Extension（拓展） 该分析可用于预算制定、ROI 分析、广告投放策略优化。

---

🔹Knowledge Point 2 — Sample Data（样本数据）

Explanation（解释） 数据包含广告次数（x）与销量（y），用于计算回归系数。

Example（例子）

Number of TV Ads (x)	Cars Sold (y)
1	14
3	24
2	18
1	17
3	27

Extension（拓展） 类似数据结构可用于多元回归分析（加入更多解释变量）。

Image/Data Analysis（图表分析） 表格显示广告次数增加时销量普遍上升，体现正向关系趋势。

---

🔹Knowledge Point 3 — Means（均值）

Explanation（解释） 均值用于计算偏差 (xᵢ − x̄) 与 (yᵢ − ȳ)，是最小二乘法的基础。

Example（例子） Σx = 10 → x̄ = 2
Σy = 100 → ȳ = 20

Extension（拓展） 均值用于绘制回归线中心点 (x̄, ȳ)。

---

Summary（总结） 本页提供回归分析的数据基础，并确认广告与销量间的正向关系。

Slide 5 — Least Squares Method: Computing b₁ and b₀ （第5页——最小二乘法：计算 b₁ 与 b₀）

Knowledge Points（知识点）

1. Formula and Interpretation of b₁（斜率 b₁ 的公式与含义）
2. Formula and Interpretation of b₀（截距 b₀ 的公式与含义）
3. Estimated Regression Equation（估计回归方程）

---

🔹Knowledge Point 1 — Computing b₁（斜率）

Explanation（解释） 斜率 b₁ 衡量 x 每增加 1 单位，y 的平均变化量。 $b_1=\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sum (x_i-\bar{x}{)}^2}$

Example（例子） 分子 = 20
分母 = 4
$b_1=5$

Extension（拓展） b₁ 的符号决定关系方向：

• b₁ > 0 → 正相关
• b₁ < 0 → 负相关

Image/Data Analysis（图表分析） 散点图呈上升趋势，与 b₁ = 5 的结果一致。

---

🔹Knowledge Point 2 — Computing b₀（截距）

Explanation（解释） 截距表示当 x = 0 时预测的 y 值（可能无实际意义）。 $b_0=\bar{y}-b_1\bar{x}$

Example（例子） $b_0=20-5(2)=10$

Extension（拓展） 商业情境下 b₀ 通常仅具数学意义，实际解释较弱。

---

🔹Knowledge Point 3 — Regression Equation（回归方程）

Explanation（解释） 回归方程整合 b₀ 与 b₁： $\hat{y}=10+5x$

Example（例子） 若投放 3 条广告： ŷ = 10 + 5(3) = 25 辆

Extension（拓展） 预测未来销售趋势、制定广告投入计划常使用该模型。

Image/Data Analysis（图表分析） 拟合线与散点贴近，说明模型拟合良好。

---

Summary（总结） 最小二乘法得到 ŷ = 10 + 5x，广告次数与销量呈显著正向关系。

Slide 6 — Variance Decomposition & R² （第6页——变异分解与决定系数 R²）

Knowledge Points（知识点）

1. Total variance SST（总变异）
2. Variance decomposition SSR + SSE（系统变异与误差变异）
3. Coefficient of Determination R²（决定系数）

---

🔹Knowledge Point 1 — SST（总变异）

Explanation（解释） SST 代表 y 相对均值的总波动量。 $SST=\sum (y_i-\bar{y}{)}^2$

Example（例子） SST 表示数据的整体不确定性。

Extension（拓展） 越大的 SST 意味着模型的解释任务越困难。

---

🔹Knowledge Point 2 — SST = SSR + SSE（变异分解）

Explanation（解释） 回归模型将总变异拆解为：

• SSR：模型解释的变异
• SSE：未解释的误差
  $\sum (y_i-\bar{y}{)}^2=\sum ({\hat{y}}_i-\bar{y}{)}^2+\sum (y_i-{\hat{y}}_i{)}^2$

Example（例子） SSR 越大表示模型越有效；SSE 越小说明误差越低。

Extension（拓展） 最小化 SSE 是最小二乘法的核心目标。

Image/Data Analysis（图表分析） 公式展示了“总变异 = 解释变异 + 误差”。

---

🔹Knowledge Point 3 — R²（决定系数）

Explanation（解释） R² 衡量模型能解释多少比例的变异。 $R^2=\frac{SSR}{SST}$

Example（例子） 本例中： $R^2=0.8772$ 说明模型解释了 87.72% 的销量波动。

Extension（拓展） 高 R² 表示拟合度好，但与因果无直接关系。

---

Summary（总结） SST 被分为 SSR 与 SSE，R² 衡量解释比例，本例 R² 非常高。

Slide 7 — Final Results: Regression, R², and Correlation r （第7页——最终结果：回归线、R² 与相关系数 r）

Knowledge Points（知识点）

1. Final Regression Equation（最终回归方程）
2. Coefficient of Determination R²（决定系数）
3. Correlation Coefficient r（相关系数）

---

🔹Knowledge Point 1 — Regression Equation（回归线）

Explanation（解释） 最终回归方程： $\hat{y}=10+5x$

Example（例子） x = 3 → ŷ = 25

Extension（拓展） 可用于预测未来销售、制定广告预算。

Image/Data Analysis（图表分析） 拟合线与散点高度一致，显示线性关系强。

---

🔹Knowledge Point 2 — Coefficient of Determination（R²）

Explanation（解释） 决定系数衡量模型解释能力。 $R^2=0.8772$

Example（例子） 说明广告能解释约 88% 的销量变动。

Extension（拓展） 在商业数据中如此高的 R² 代表变量关系非常紧密。

---

🔹Knowledge Point 3 — Correlation r（相关系数）

Explanation（解释） 相关系数 r 与 R² 关系如下： $r_{xy}=(\text{sign of }{b}_1)\sqrt{R^2}$

Example（例子） 斜率 b₁ > 0 →
$r=+\sqrt{0.8772}=0.9366$

Extension（拓展） r 越接近 ±1，线性关系越强。

Image/Data Analysis（图表分析） r = 0.9366 表示广告与销量呈极强正相关。

---

Summary（总结） 本例最终得到：ŷ = 10 + 5x，R² = 0.8772，r = 0.9366，广告对销量具有强线性影响。

---

Slide 8 — Regression Example: R² and Correlation r （第8页——回归示例：决定系数与相关系数）

Knowledge Points（知识点）

1. Estimated Regression Equation（估计回归方程）
2. Coefficient of Determination R²（决定系数）
3. Correlation Coefficient r_xy（相关系数 r）

---

🔹Knowledge Point 1 — Estimated Regression Equation（估计回归方程）

Explanation（解释） 基于样本计算得到的最小二乘回归线如下： $\hat{y}=10+5x$ 此方程表示广告每增加 1 次，汽车销量平均增加 5 辆。

Example（例子） 若投放 3 条电视广告： ŷ = 10 + 5(3) = 25 辆。

Extension（拓展） 该模型可用于预测不同广告投入下的预期销量。

Image/Data Analysis（图表分析） PPT 中绿色框内的公式展示了回归方程，右侧数据表显示样本的 (x, y) 组合。

---

🔹Knowledge Point 2 — Coefficient of Determination R²（决定系数）

Explanation（解释） 决定系数衡量模型解释 y 变异的比例： $R^2=0.8772$

Example（例子） R² = 0.8772 表示回归模型解释了约 87.72% 的销量波动。

Extension（拓展） R² 越接近 1，模型解释力越强；但高 R² 并不代表因果关系。

Image/Data Analysis（图表分析） 蓝色框 “R² = 0.8772” 展示了强拟合度。

---

🔹Knowledge Point 3 — Correlation Coefficient r_xy（相关系数 r）

Explanation（解释） 相关系数与 R² 的关系如下： $r_{xy}=(\text{sign of }{b}_1)\sqrt{R^2}$

因为 b₁ = 5 > 0，故取正号： $r_{xy}=+\sqrt{0.8772}=0.9366$

Example（例子） r ≈ 0.94 表示广告次数与销量之间的线性关系极强。

Extension（拓展） r 衡量线性强度，而非因果性；若加入更多变量，关系可能改变。

Image/Data Analysis（图表分析） PPT 显示绿色框内的公式，右侧蓝色框显示 r_xy = 0.9366。

---

Summary（总结） 该回归模型显示极强的正相关性：ŷ = 10 + 5x，R² = 0.8772，r = 0.9366，说明广告投入与销量具有高度线性关系。

---

Slide 9 — Developing a Simple Linear Regression Model （第9页——如何建立简单线性回归模型）

Knowledge Points（知识点）

1. Determine if a relationship exists（判断变量之间的关系是否存在）
2. Fit a linear model to sample data（根据样本拟合线性模型）
3. Use R² or r_xy to justify the relationship（利用 R² 或 r 判定关系强度）

---

🔹Knowledge Point 1 — Determine Relationship（判断关系是否存在）

Explanation（解释） 在建立回归模型前，先利用经验或散点图判断变量是否有可能存在关系。

Example（例子） 先画广告次数 (x) 与销量 (y) 的散点图，观察是否呈上升趋势。

Extension（拓展） 散点图能快速发现趋势、异常点及潜在非线性结构。

---

🔹Knowledge Point 2 — Fit a Linear Model（拟合线性模型）

Explanation（解释） 若通过观察发现关系可能存在，则尝试对样本数据拟合线性模型： $y=b_0+b_{1}x$

Example（例子） 即使你认为 x 不一定导致 y，也可以尝试建模以探索数据行为。

Extension（拓展） 线性模型对模式识别与预测非常有效，即便在弱因果场景中也可提供洞见。

---

🔹Knowledge Point 3 — Use R² or r_xy to Evaluate the Relationship（使用 R² 或 r 判定关系）

Explanation（解释） 决定系数 R² 与相关系数 r 可用于判断关系强弱。

• R² 衡量解释程度
• r 衡量相关强度

Example（例子） 若 R² 高（如 0.80+），说明 x 可强解释 y 的变异。
若 r 接近 ±1，表示线性关系强。

Extension（拓展） 完成模型后，可根据回归方程进行预测、决策分析等。

Image/Data Analysis（图表分析） PPT 中三段步骤分别对应：判断 → 建模 → 验证。

---

Summary（总结） 建立回归模型的流程包括：判断关系、拟合模型、通过 R² 或 r 评估关系强度并进行预测。

---