线性回归 on Techunder

基本概念

Mon, 01 Jan 0001 00:00:00 +0000

线性回归：基本概念

原创发布时间：2026-02-02 | 更新时间：2026-05-25

线性回归模型是一个朴素而强大的工具，可以帮我们发现潜藏于数据下的规律，具体来讲，是因素如何影响目标变量的规律。

一元线性回归模型#

我们从一个简单的问题切入：每周运动时间和预期寿命的关系。

假设我们跟踪统计了200个人的每周运动时长和最终寿命，把数据画成散点图：横轴为每周运动小时数，纵轴为寿命。

生成模拟数据的 Python 代码

# Generate Simulated Data Fitting WHO Standard

import numpy as np
import matplotlib.pyplot as plt

# Set random seed for reproducibility
np.random.seed(42)

plt.rcParams['axes.unicode_minus'] = False  # fix minus display issue

# == 1. Generate Simulated Data Fitting WHO Standard
n_people = 200      # 200 samples
max_exercise = 5    # WHO recommended upper limit for moderate intensity exercise: 5 hours/week (300 minutes)
mean_exercise = 2.5 # WHO base recommendation for moderate intensity exercise: 2.5 hours/week (150 minutes)

# Generate exercise duration data: normal distribution (mean 2.5, std 1), more realistic than uniform distribution
exercise_hours = np.random.normal(loc=mean_exercise, scale=1, size=n_people)
# Clip values to ensure they are within the valid range: 0 ≤ exercise_hours ≤ 5 hours
exercise_hours = np.clip(exercise_hours, 0, max_exercise)

# Generate lifespan data: base lifespan 70 years + decreasing marginal benefit of exercise + random noise
base_lifespan = 70  # base lifespan
# Exercise benefit: use square root function to implement "marginal benefit decreasing" (benefit decreases as exercise duration increases)
exercise_benefit = 8 * np.sqrt(exercise_hours / max_exercise)  # benefit of 5 hours of exercise is about 8 years
# Random noise: normal distribution (mean 0, std 1.5), to simulate individual variability
random_noise = np.random.normal(loc=0, scale=1.5, size=n_people)
lifespan = base_lifespan + exercise_benefit + random_noise

# == 2. Plot Scatter Plot with Trend Line
plt.figure(figsize=(10, 6))

# Plot scatter plot
plt.scatter(
    exercise_hours, lifespan, 
    color='steelblue', alpha=0.7, s=50,
    label='Personal Data'
)

# Fit linear trend line
z = np.polyfit(exercise_hours, lifespan, 1)
p = np.poly1d(z)
# Generate smooth x-axis data for trend line, to make it more visually appealing
x_smooth = np.linspace(0, max_exercise, 100)
plt.plot(
    x_smooth, p(x_smooth), 
    color='crimson', linewidth=2, 
    label='Trend Line'
)

# Annotate WHO recommended interval
plt.axvspan(2.5, 5, color='lightgreen', alpha=0.3, label='WHO Recommended Interval (2.5-5 hours/week)')
plt.axvline(x=2.5, color='forestgreen', linestyle='--', alpha=0.8, label='WHO Base Recommendation (2.5 hours/week)')

# == 3. Add Annotations
plt.title('The relationship between weekly exercise duration and lifespan (simulated data)', fontsize=14, pad=15)
plt.xlabel('Medium intensity exercise duration per week (hours)', fontsize=12)
plt.ylabel('Life span (years)', fontsize=12)
plt.xlim(-0.2, max_exercise + 0.2)  # x-axis range
plt.ylim(68, 82)  # y-axis range
plt.grid(True, alpha=0.3)
plt.legend(loc='lower right')

# Show plot
plt.tight_layout()
plt.savefig('exercise_hours_and_lifespan.png', dpi=150, bbox_inches='tight')
plt.show()
print("Image was saved as 'exercise_hours_and_lifespan.png'")

# Output core statistics
corr = np.corrcoef(exercise_hours, lifespan)[0, 1]
print(f'Correlation between weekly exercise duration and lifespan: {corr:.2f} (positive correlation, as expected)')
print(f'Average weekly exercise duration: {np.mean(exercise_hours):.1f} hours/week (close to WHO base recommendation of 2.5 hours)')
print(f'Average lifespan: {np.mean(lifespan):.1f} years')

世界卫生组织（WHO）推荐的成人每周运动时长为中等强度2.5~5小时，或高强度1.25~2.5小时，额外搭配2次力量训练（适用于18~64岁成年人）。

问题与建模

Mon, 01 Jan 0001 00:00:00 +0000

线性回归：问题与建模

原创发布时间：2026-02-04 | 更新时间：2026-05-25

上一篇文章，介绍了什么事线性回归模型，接下来考察一个具体的问题。

问题描述#

假设我们通过对1000人进行了长期跟踪统计，得到一份包含寿命影响因素和最终寿命的数据集（模拟生成，字段见多元线性回归模型）：

点击下载数据集 (.csv)

生成测试数据集的 Python 代码

# Generate a Test Dataset for Linear Regression Model

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# Set random seed for reproducibility
np.random.seed(42)

# == 1. Generate sample size (1000 samples, balance between efficiency and representativeness)
n_samples = 1000

# == 2. Generate 7 independent variables (simulate according to authoritative ranges)
parent_lifespan = np.random.normal(75, 5, n_samples)  # Parent average lifespan: 75±5 years
gender = np.random.randint(0, 2, n_samples)           # Gender: 0=male, 1=female
exercise_hours = np.random.uniform(0, 10, n_samples)  # Weekly exercise duration: 0-10 hours
smoking = np.random.randint(0, 2, n_samples)          # Smoking: 0=non-smoker, 1=smoker
diet_health = np.random.randint(0, 2, n_samples)      # Diet health: 0=unhealthy, 1=healthy
sleep_hours = np.random.uniform(5, 9, n_samples)      # Daily sleep duration: 5-9 hours
stress_level = np.random.randint(0, 3, n_samples)     # Stress level: 0=high, 1=moderate, 2=low

# == 3. Set true weights (core parameters)
true_b = 10  # Base lifespan value
true_w = np.array([
    0.4,    # Parent average lifespan weight
    6,      # Gender weight
    0.8,    # Weekly exercise duration weight
    -15,    # Smoking weight (negative, largest absolute value)
    9,      # Diet health weight
    1.3,    # Daily sleep duration weight
    7       # Stress/mental health weight
])

# == 4. Construct feature matrix X and dependent variable y
X = np.column_stack([
    parent_lifespan, gender, exercise_hours, 
    smoking, diet_health, sleep_hours, stress_level
])

# == 5. Calculate actual lifespan: y = b + X·w
y = true_b + np.dot(X, true_w)

# == 6. Wrap into DataFrame and save
data = pd.DataFrame({
    'parent_lifespan': parent_lifespan,
    'gender': gender,
    'exercise_hours': exercise_hours,
    'smoking': smoking,
    'diet_health': diet_health,
    'sleep_hours': sleep_hours,
    'stress_level': stress_level,
    'actual_lifespan': y
})
data.to_csv('./lifespan_data_full.csv', index=False)

# == 7. View dataset basic information
print("===== Dataset Basic Information =====")
print(f"Dataset Shape: {data.shape}")
print("\nFirst 5 Rows of the Dataset:")
print(data.head())
print("\nDataset Descriptive Statistics:")
print(data.describe())

数据潜藏的规律

上面的数据是通过以下权重系数生成的，权重系数是这份数据隐藏的底层规律。线性回归的目标就是通过数据集学习到权重系数。请阅完后面的章节后，再回到这里对比自己计算的结果是否与此标准答案一致。

最小二乘法

Mon, 01 Jan 0001 00:00:00 +0000

线性回归：最小二乘法

原创发布时间：2026-02-06 | 更新时间：2026-05-25

在上一篇文章，我们建立了线性回归模型，接下来我们要当一回数学家了。

本文计划使用最小二乘法 (Least Squares Method) 的解析解求权重系数。

最小二乘法是通过计算误差平方和的最小值来求解模型参数的方法。

这是线性回归模型最烧脑的地方，需要做一些矩阵的运算，一旦弄懂了，将会受益无穷。

来，都看到这了，别退缩 ~

我们先对变量做一下定义。

变量定义#

训练数据的每一行可以表示为向量$[x_1, x_2, x_3, x_4, x_5, x_6, x_7]$的形式，其中$x_1$ ~ $x_7$是样本的特征值，我们在后面添加一个固定的$x_8=1$作为与截距项相乘的系数（后面会看到这样做的好处），得到$\boldsymbol{x}_i := [x_1, x_2, x_3, x_4, x_5, x_6, x_7, x_8] = [x_1, x_2, x_3, x_4, x_5, x_6, x_7, 1]$

为了表示的方便，我把$d$定义为特征维度（包括截距项系数$x_8=1$），即$d=8$。

我把样本数量定义为$N$，本训练数据集$N=1000$。

把上面每一行的向量按行堆叠起来，就得到了特征矩阵$\boldsymbol{X}$（shape $N \times d = 1000 \times 8$），

\[ \boldsymbol{X} := \begin{bmatrix} x_{11} & x_{12} & \cdots & 1 \\\\ x_{21} & x_{22} & \cdots & 1 \\\\ \vdots & \vdots & \vdots & \vdots \\\\ x_{N1} & x_{N2} & \cdots & 1 \end{bmatrix} = \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1d} \\\\ x_{21} & x_{22} & \cdots & x_{2d} \\\\ \vdots & \vdots & \vdots & \vdots \\\\ x_{N1} & x_{N2} & \cdots & x_{Nd} \end{bmatrix} = \begin{bmatrix} \boldsymbol{x}_1 \\\\ \boldsymbol{x}_2 \\\\ \vdots \\\\ \boldsymbol{x}_N \end{bmatrix} \]

我们定义$\boldsymbol{\theta}$为要学习的权重系数向量（shape $d \times 1$），包含$w_1$ ~ $w_7$以及截距项 $w_d=b$ 一共8个系数，

梯度下降

Mon, 01 Jan 0001 00:00:00 +0000

线性回归：梯度下降

原创发布时间：2026-05-25 | 更新时间：2026-05-25

计算机学习数据中隐藏的规律的方法，是通过最小化预测值与实际值之间的误差来实现的。

除了通过前文讲述的最小二乘法，还可以通过梯度下降（Gradient Descent）实现，即通过多轮运算不断更新模型参数 $\boldsymbol{\theta}$ 的值，使得误差逐渐变小，直至达到一个较小的阈值。

什么是梯度下降#

当你站在高山的顶部，想以最快的速度下山，那么最快的方式是朝着最陡的方向行进

预测值与实际值之间的误差就是一座名为“误差”的高山，误差越大，山越高。

使用不同的模型参数，会得到不同的误差，相当于位于高山的不同位置。

你想通过改变模型参数，以最快的速度下山。

梯度下降，就是朝着令误差函数减小最快的方向更新参数，沿着最陡峭的方向下山。

梯度下降算法#

梯度下降算法的核心思想是沿着损失函数梯度的负方向迭代更新参数，以达到损失函数的最小值。具体步骤如下：

设 $\epsilon_k > 0$ 为学习率（决定每次更新的步长），$k$ 为迭代计数器，$k = 1,2,\dots$

初始化：随机初始化参数 $\boldsymbol{\theta}$
迭代更新：当未收敛时：
- 从训练集中选取 $m$ 个样本 $\left \{ \boldsymbol{x} _1, \cdots , \boldsymbol{x} _m \right \}$ 及对应的标签 $\left \{ y_1, \cdots , y_m \right \}$
- 计算梯度 $\boldsymbol{g} \leftarrow \nabla_{\boldsymbol{\theta}} \frac{1}{m} \sum_{i=1}^m L(f(\boldsymbol{x} _{i},\boldsymbol{\theta}), y _{i})$，其中 $L$ 为损失函数，用于衡量单个样本的预测值 $f(\boldsymbol{x} _{i},\boldsymbol{\theta})$ 与真实标签 $y _{i}$ 之间的误差。在线性回归中，常用的损失函数是均方误差损失
- 计算更新 $\boldsymbol{\theta} \leftarrow \boldsymbol{\theta} - \epsilon_k \boldsymbol{g}$

计算梯度#

回到前面的例子，因为训练数据规模不大（$N=1000$），我们把所有样本数据作为一个批次去训练。