双重机器学习之因果推断：CATE 条件平均处理效应估计五大方法与实战

优点：实现最简单，只需训练一个模型。

缺点：当使用正则化模型（如 Lasso、随机森林）时，模型可能认为 T 的贡献不重要而将其效应缩小甚至忽略，导致CATE 估计偏向于零（regularization bias）。

def s_learner(X, T, Y):
    XT = np.column_stack([X, T])
    model = GradientBoostingRegressor(n_estimators=200, max_depth=4)
    model.fit(XT, Y)
    tau_hat = model.predict(np.c_[X, np.ones(len(X))]) - model.predict(np.c_[X, np.zeros(len(X))])
    return tau_hat

2.2 T-Learner（Two Model Learner）

核心思想：处理组和控制组各自训练一个模型，然后做差。

步骤：

1. 用处理组数据训练 μ̂₁(x) 拟合 E[Y|X=x, T=1]
2. 用控制组数据训练 μ̂₀(x) 拟合 E[Y|X=x, T=0]
3. CATE 估计：

优点：允许处理组和控制组的结果模型完全不同，灵活性高。

缺点：当处理组或控制组样本很少时，对应的模型估计不准确。两个独立模型的误差会叠加。

def t_learner(X, T, Y):
    model_1 = GradientBoostingRegressor().fit(X[T==1], Y[T==1])
    model_0 = GradientBoostingRegressor().fit(X[T==0], Y[T==0])
    tau_hat = model_1.predict(X) - model_0.predict(X)
    return tau_hat

2.3 X-Learner（Cross Learner）

核心思想：利用"反事实插补"的思想，用一个组的模型去预测另一个组的反事实结果，弥补 T-Learner 在样本不均衡时的不足。出自 Künzel et al. (2019) 的经典论文。

步骤（三阶段）：

阶段 1：分别拟合结果模型（同 T-Learner），训练控制组模型 μ̂₀(x) 和处理组模型 μ̂₁(x)。

阶段 2：计算伪处理效应（Imputed Treatment Effects）

对处理组个体（观测结果 - 预测的反事实）：

对控制组个体（预测的反事实 - 观测结果）：

阶段 3：拟合 CATE 模型并加权

• 处理组 CATE 模型 τ̂₁(x) 拟合 D̃¹ ~ X
• 控制组 CATE 模型 τ̂₀(x) 拟合 D̃⁰ ~ X
• 最终 CATE：

其中 e(x) 是倾向性得分。直觉是：哪个组样本多，就更多地依赖那个组的 CATE 估计。

优点：在处理组/控制组样本严重不均衡时表现远优于 T-Learner。

2.4 因果森林 DML（CausalForestDML）

核心思想：结合双重机器学习（DML）的去偏框架和因果森林来捕捉非线性异质性效应。

步骤（两阶段）：

第一阶段——去偏/正交化（Orthogonalization）：

使用机器学习模型去除协变量对 Y 和 T 的影响：

关键操作是交叉拟合（Cross-Fitting）：将数据分为 K 折，每折用其余 K-1 折训练的模型来预测当前折，避免过拟合偏差。

第二阶段——CATE 估计：

用因果森林（Generalized Random Forest）在残差 Ỹ 和 T̃ 上估计异质性效应 τ(X)。因果森林的分裂准则：最大化子节点间处理效应差异（而非预测误差）。

优点：能捕捉复杂的非线性 CATE 模式，同时 DML 去偏保证了估计的无偏性。

2.5 线性 DML（LinearDML）

核心思想：与因果森林 DML 共享相同的第一阶段去偏过程，但第二阶段假设 CATE 是协变量的线性函数：

优点：

• 可解释性极强：β的每个分量直接告诉你对应特征对 CATE 的边际效应
• 提供统计推断：可以输出系数的置信区间和 p 值
• 适合特征影响近似线性的场景

缺点：无法捕捉非线性异质性（如我们模拟数据中 X₂²的效应）。

2.6 方法对比总结

3 模拟数据设计（DGP）

为了公平评估各方法，我们设计了如下的数据生成过程（DGP）：

3.1 变量设计

3.2 数据生成公式

真实 CATE 函数：

设计意图：

• X₁：对 CATE 有线性影响
• X₂：对 CATE 有**非线性（二次）**影响
• X₃, X₄, X₅：对 CATE无影响（噪声特征）

倾向性得分（处理分配机制）：

X₁和 X₃同时影响处理分配和结果（混淆变量），这使得朴素估计存在偏差。

基线结果函数：

观测结果：

3.3 数据生成代码

def generate_data(n=5000, seed=42):
    np.random.seed(seed)
    X = np.random.randn(n, 5)
    X1, X2, X3 = X[:, 0], X[:, 1], X[:, 2]
    # 真实 CATE
    tau_true = X1 + 0.5 * X2**2 - 1.0
    # 倾向性得分（存在混淆）
    e_x = 1.0 / (1.0 + np.exp(-(0.5*X1 + 0.3*X3)))
    T = np.random.binomial(1, e_x)
    # 基线结果 + 处理效应 + 噪声
    Y = (2.0*X1 - X2 + 0.5*X3) + T * tau_true + np.random.randn(n)*0.5
    return X, T, Y, tau_true

4 实验结果

4.1 评估指标

MSE（均方误差）：

Bias（平均偏差）：

4.2 各方法评估结果

以 n=5000 的模拟数据运行结果：

4.3 结果分析

1. X-Learner 表现最优（MSE=0.0516, R²=0.9672）

X-Learner 通过反事实插补和倾向性加权，充分利用了两组数据的信息互补。在本实验中 MSE 最低、R²最高，是五种方法中表现最好的。

2. S-Learner 表现稳健（MSE=0.1003, R²=0.9362）

S-Learner 只用了一个模型，但 GBT 能自动捕捉 T 与 X 的交互效应，表现仅次于 X-Learner。在快速验证场景下是很好的基线方法。

3. DML-CausalForest 受限于简化实现

本代码中的 DML-CausalForest 是基于"残差比值 + 随机森林"的简化实现。完整的因果森林（如 EconML 的 CausalForestDML）使用专门的因果分裂准则，效果会更好。如果安装了 econml，建议直接使用 CausalForestDML。

4. DML-Linear 的局限性（MSE=0.7658, R²=0.5132）

由于真实 CATE 包含 X₂²项（非线性），LinearDML 无法捕捉这部分异质性。但它成功识别出了 X1 的系数约为 1.0（真实值为 1.0），X3/X4/X5 的系数接近 0（符合真实 DGP）。当你需要可解释的系数和置信区间时，LinearDML 仍有不可替代的价值。

5. T-Learner 中规中矩

T-Learner 独立训练两个模型，误差会叠加。在样本不均衡或效应较弱时劣势更明显。

5 可视化解读

5.1 CATE 估计值 vs 真实值散点图

每个子图展示一种方法的估计值（纵轴）与真实 CATE（横轴）的关系。理想情况下所有点应落在对角线上。

• X-Learner 的点最紧密地围绕对角线
• LinearDML 由于线性假设，在 CATE 极端值处偏离明显

【在此插入 fig1_cate_scatter.png】

5.2 CATE 随 X1 变化趋势

真实 CATE 与 X1 呈线性关系（τ随 X1 增大而增大）。可以看到：

• 所有方法都能捕捉到这个线性趋势
• 差异主要体现在噪声大小和边缘区域的偏差

【在此插入 fig2_cate_by_x1.png】

5.3 CATE 随 X2 变化趋势

真实 CATE 与 X2 呈 U 型关系（X₂²项）。这是对各方法的关键测试：

• CausalForestDML 和 X-Learner 能较好地还原 U 型
• LinearDML 只能拟合出线性趋势，完全丢失了非线性信息

【在此插入 fig2b_cate_by_x2.png】

5.4 误差箱线图

箱线图展示各方法估计误差的分布：

• 中位线接近 0 说明无偏
• 箱体越窄说明估计越精确
• X-Learner 的箱体最窄且最居中

【在此插入 fig4_error_boxplot.png】

6 实战建议与方法选择指南

6.1 该用哪种方法？

根据你的实际需求选择：

场景 1：快速验证异质性是否存在 → 先用 S-Learner 或 T-Learner 作为基线。

场景 2：样本不均衡（处理组远少于控制组） → 优先选择 X-Learner。

场景 3：需要无偏估计 + 非线性 CATE → 使用 CausalForestDML（推荐首选）。

场景 4：需要系数可解释性和置信区间 → 使用 LinearDML，可输出每个特征对 CATE 的边际效应。

场景 5：高维稀疏特征 → 使用 SparseLinearDML（EconML 提供），自动做特征选择。

6.2 注意事项

1. SUTVA 假设：个体间无干扰（Stable Unit Treatment Value Assumption）
2. 无未观测混淆：所有影响 T 和 Y 的变量都被纳入 X（Unconfoundedness）
3. 正值假设：0 < e(X) < 1，每个个体都有可能被分配到任一组（Overlap / Positivity）
4. 交叉拟合很重要：DML 方法中的 cross-fitting 可以有效降低过拟合偏差
5. 基学习器选择：第一阶段的 ML 模型不宜过于复杂，避免引入额外偏差

7 完整代码

完整代码文件 cate_simulation.py 包含：

• 数据生成函数（可调节样本量、效应强度、混淆程度）
• 5 种 CATE 估计方法的实现
• 评估指标计算
• 6 张可视化图表的生成

环境安装：

pip install numpy pandas matplotlib scikit-learn scipy

注：本代码纯 sklearn 实现，无需 econml。如需使用完整的 CausalForestDML，额外安装 pip install econml

运行方式：

python cate_simulation.py

运行后会在当前目录生成以下图表文件：

8 总结

参考文献

1. Künzel S R, Sekhon J S, Bickel P J, et al. Metalearners for estimating heterogeneous treatment effects using machine learning[J]. PNAS, 2019.
2. Chernozhukov V, Chetverikov D, Demirer M, et al. Double/debiased machine learning for treatment and structural parameters[J]. The Econometrics Journal, 2018.
3. Athey S, Tibshirani J, Wager S. Generalized random forests[J]. The Annals of Statistics, 2019.
4. EconML Documentation: https://econml.azurewebsites.net/

""" 因果推断 | CATE（条件平均处理效应）估计方法：模拟数据下的完整实战 ================================================================= 包含以下方法： 1. S-Learner 2. T-Learner 3. X-Learner 4. DML + 因果森林 5. DML + 线性模型 全部基于 numpy / sklearn 实现，无需 econml。 """ import numpy as np import pandas as pd import matplotlib matplotlib.use('Agg') import matplotlib.pyplot as plt from matplotlib import rcParams from scipy.ndimage import uniform_filter1d import warnings warnings.filterwarnings('ignore') rcParams['font.sans-serif'] = ['DejaVu Sans'] rcParams['axes.unicode_minus'] = False plt.style.use('seaborn-v0_8-whitegrid') COLORS = ['#2196F3', '#FF5722', '#4CAF50', '#9C27B0', '#FF9800'] from sklearn.ensemble import GradientBoostingRegressor, RandomForestRegressor from sklearn.linear_model import LogisticRegression, LinearRegression from sklearn.model_selection import KFold 
# ==================== DGP ==================== def generate_data(n=5000, seed=42): np.random.seed(seed) X = np.random.randn(n, 5) X1, X2, X3 = X[:,0], X[:,1], X[:,2] tau_true = X1 + 0.5*X2**2 - 1.0 logit_e = 0.5*X1 + 0.3*X3 e_x = 1.0/(1.0+np.exp(-logit_e)) T = np.random.binomial(1, e_x) mu_0 = 2.0*X1 - X2 + 0.5*X3 Y = mu_0 + T*tau_true + np.random.randn(n)*0.5 print("="*60) print(" Data Summary") print("="*60) print(f" n={n} dim={X.shape[1]} treat_rate={T.mean():.3f} ATE={tau_true.mean():.3f}") print(f" CATE range: [{tau_true.min():.2f}, {tau_true.max():.2f}]") print("="*60) return X, T, Y, tau_true 
# ==================== Methods ==================== def s_learner(X, T, Y): XT = np.column_stack([X, T]) m = GradientBoostingRegressor(n_estimators=200, max_depth=4, learning_rate=0.1, random_state=42) m.fit(XT, Y) return m.predict(np.c_[X, np.ones(len(X))]) - m.predict(np.c_[X, np.zeros(len(X))]) def t_learner(X, T, Y): m1 = GradientBoostingRegressor(n_estimators=200, max_depth=4, learning_rate=0.1, random_state=42) m0 = GradientBoostingRegressor(n_estimators=200, max_depth=4, learning_rate=0.1, random_state=42) m1.fit(X[T==1], Y[T==1]); m0.fit(X[T==0], Y[T==0]) return m1.predict(X) - m0.predict(X) def x_learner(X, T, Y): m1 = GradientBoostingRegressor(n_estimators=200, max_depth=4, learning_rate=0.1, random_state=42) m0 = GradientBoostingRegressor(n_estimators=200, max_depth=4, learning_rate=0.1, random_state=42) m1.fit(X[T==1], Y[T==1]); m0.fit(X[T==0], Y[T==0]) D1 = Y[T==1] - m0.predict(X[T==1]) D0 = m1.predict(X[T==0]) - Y[T==0] tm1 = GradientBoostingRegressor(n_estimators=200, max_depth=4, learning_rate=0.1, random_state=42) tm0 = GradientBoostingRegressor(n_estimators=200, max_depth=4, learning_rate=0.1, random_state=42) tm1.fit(X[T==1], D1); tm0.fit(X[T==0], D0) ps = LogisticRegression(random_state=42, max_iter=1000); ps.fit(X, T) e = ps.predict_proba(X)[:,1] return e*tm0.predict(X) + (1-e)*tm1.predict(X) def dml_cross_fit(X, T, Y, n_splits=5): kf = KFold(n_splits=n_splits, shuffle=True, random_state=42) Y_res, T_res = np.zeros(len(Y)), np.zeros(len(T), dtype=float) for tr, te in kf.split(X): my = GradientBoostingRegressor(n_estimators=100, max_depth=3, learning_rate=0.1, random_state=42) mt = GradientBoostingRegressor(n_estimators=100, max_depth=3, learning_rate=0.1, random_state=42) my.fit(X[tr], Y[tr]); mt.fit(X[tr], T[tr].astype(float)) Y_res[te] = Y[te] - my.predict(X[te]) T_res[te] = T[te] - mt.predict(X[te]) return Y_res, T_res def dml_causal_forest(X, T, Y): Y_res, T_res = dml_cross_fit(X, T, Y) T_clip = np.clip(np.abs(T_res), 0.01, None)*np.sign(T_res) T_clip[T_clip==0] = 0.01 pseudo = Y_res / T_clip q_lo, q_hi = np.percentile(pseudo, [2, 98]) pseudo = np.clip(pseudo, q_lo, q_hi) rf = RandomForestRegressor(n_estimators=300, max_depth=6, min_samples_leaf=20, random_state=42) rf.fit(X, pseudo) return rf.predict(X) def dml_linear(X, T, Y): Y_res, T_res = dml_cross_fit(X, T, Y) Z = T_res.reshape(-1,1) * X reg = LinearRegression(fit_intercept=True); reg.fit(Z, Y_res) tau_hat = X @ reg.coef_ + reg.intercept_ resid = Y_res - reg.predict(Z) n, p = Z.shape sigma2 = np.sum(resid**2)/(n-p-1) se = np.sqrt(np.diag(sigma2 * np.linalg.inv(Z.T@Z + 1e-8*np.eye(p)))) return tau_hat, reg.coef_, se 
# ==================== Evaluation ==================== def evaluate(tau_true, tau_hat, name): mse = np.mean((tau_true-tau_hat)**2) mae = np.mean(np.abs(tau_true-tau_hat)) bias = np.mean(tau_hat-tau_true) ss_res = np.sum((tau_true-tau_hat)**2) ss_tot = np.sum((tau_true-tau_true.mean())**2) r2 = 1 - ss_res/ss_tot corr = np.corrcoef(tau_true, tau_hat)[0,1] return {'Method':name, 'MSE':round(mse,4), 'MAE':round(mae,4), 'Bias':round(bias,4), 'R2':round(r2,4), 'Corr':round(corr,4)} 
# ==================== Plots ==================== def plot_scatter(tau_true, res, path='fig1_cate_scatter.png'): n = len(res) fig, axes = plt.subplots(1, n, figsize=(3.8*n, 4), dpi=130) if n==1: axes=[axes] for i,(name,th) in enumerate(res.items()): ax=axes[i] ax.scatter(tau_true, th, alpha=0.12, s=6, c=COLORS[i%5]) lims=[min(tau_true.min(),th.min())-0.5, max(tau_true.max(),th.max())+0.5] ax.plot(lims,lims,'k--',lw=1,alpha=0.5) c=np.corrcoef(tau_true,th)[0,1]; m=np.mean((tau_true-th)**2) ax.set_title(f'{name}\nCorr={c:.3f} MSE={m:.3f}',fontsize=10) ax.set_xlabel('True CATE',fontsize=9) if i==0: ax.set_ylabel('Estimated CATE',fontsize=9) plt.tight_layout(); plt.savefig(path,bbox_inches='tight'); plt.close() print(f" [saved] {path}") def plot_by_feature(X, tau_true, res, fi=0, fn='X1', path='fig2_cate_by_x1.png'): fig,ax=plt.subplots(1,1,figsize=(10,6),dpi=130) si=np.argsort(X[:,fi]); xs=X[si,fi]; w=100 ax.scatter(xs,tau_true[si],alpha=0.06,s=4,c='gray',label='True CATE') ax.plot(xs,uniform_filter1d(tau_true[si],w),'k-',lw=2.5,label='True (smoothed)') for i,(name,th) in enumerate(res.items()): ax.plot(xs,uniform_filter1d(th[si],w),lw=2,alpha=0.85,color=COLORS[i%5],label=name) ax.set_xlabel(fn,fontsize=13); ax.set_ylabel('CATE',fontsize=13) ax.set_title(f'CATE vs {fn}',fontsize=14); ax.legend(fontsize=9,loc='upper left') plt.tight_layout(); plt.savefig(path,bbox_inches='tight'); plt.close() print(f" [saved] {path}") def plot_dist(tau_true, res, path='fig3_cate_dist.png'): fig,ax=plt.subplots(1,1,figsize=(10,6),dpi=130) ax.hist(tau_true,bins=50,alpha=0.3,color='gray',density=True,label='True CATE') for i,(name,th) in enumerate(res.items()): ax.hist(th,bins=50,alpha=0.4,color=COLORS[i%5],density=True,label=name,histtype='step',lw=2) ax.set_xlabel('CATE',fontsize=13); ax.set_ylabel('Density',fontsize=13) ax.set_title('CATE Distribution',fontsize=14); ax.legend(fontsize=9) plt.tight_layout(); plt.savefig(path,bbox_inches='tight'); plt.close() print(f" [saved] {path}") def plot_error_box(tau_true, res, path='fig4_error_boxplot.png'): fig,ax=plt.subplots(1,1,figsize=(10,6),dpi=130) errs=[th-tau_true for th in res.values()]; labs=list(res.keys()) bp=ax.boxplot(errs,labels=labs,patch_artist=True,showfliers=False) for p,c in zip(bp['boxes'],COLORS[:len(labs)]): p.set_facecolor(c); p.set_alpha(0.5) ax.axhline(0,color='red',ls='--',lw=1,alpha=0.7) ax.set_ylabel('Error',fontsize=12); ax.set_title('CATE Estimation Error',fontsize=14) plt.tight_layout(); plt.savefig(path,bbox_inches='tight'); plt.close() print(f" [saved] {path}") def plot_coef(coef, se, fnames, path='fig5_dml_linear_coef.png'): fig,ax=plt.subplots(1,1,figsize=(8,5),dpi=130) y=np.arange(len(fnames)); ci=1.96*se ax.barh(y,coef,xerr=ci,color=COLORS[0],alpha=0.7,capsize=5) ax.set_yticks(y); ax.set_yticklabels(fnames,fontsize=12) ax.axvline(0,color='red',ls='--',lw=1) ax.set_xlabel('Coefficient',fontsize=12); ax.set_title('DML-Linear Coefficients (95% CI)',fontsize=13) for i,(c,s) in enumerate(zip(coef,se)): ax.text(c+ci[i]+0.02, i, f'{c:.3f}', va='center', fontsize=10) plt.tight_layout(); plt.savefig(path,bbox_inches='tight'); plt.close() print(f" [saved] {path}") def plot_heatmap(tau_true, X, path='fig6_true_cate_heatmap.png'): fig,ax=plt.subplots(1,1,figsize=(8,6),dpi=130) sc=ax.scatter(X[:,0],X[:,1],c=tau_true,cmap='RdYlBu_r',alpha=0.4,s=5,vmin=-3,vmax=5) plt.colorbar(sc,ax=ax,label='True CATE') ax.set_xlabel('X1',fontsize=13); ax.set_ylabel('X2',fontsize=13) ax.set_title(r'True CATE: $\tau(X) = X_1 + 0.5 X_2^2 - 1$',fontsize=14) plt.tight_layout(); plt.savefig(path,bbox_inches='tight'); plt.close() print(f" [saved] {path}") 
# ==================== Main ==================== def main(): print("\n"+"="*60) print(" CATE Estimation - Simulation Study") print("="*60+"\n") X, T, Y, tau_true = generate_data(n=5000, seed=42) fnames = ['X1','X2','X3','X4','X5'] res = {}; metrics = [] print("\n>>> [1/5] S-Learner...") res['S-Learner'] = s_learner(X,T,Y) metrics.append(evaluate(tau_true, res['S-Learner'], 'S-Learner')) print(">>> [2/5] T-Learner...") res['T-Learner'] = t_learner(X,T,Y) metrics.append(evaluate(tau_true, res['T-Learner'], 'T-Learner')) print(">>> [3/5] X-Learner...") res['X-Learner'] = x_learner(X,T,Y) metrics.append(evaluate(tau_true, res['X-Learner'], 'X-Learner')) print(">>> [4/5] DML-CausalForest...") res['DML-CausalForest'] = dml_causal_forest(X,T,Y) metrics.append(evaluate(tau_true, res['DML-CausalForest'], 'DML-CausalForest')) print(">>> [5/5] DML-Linear...") tau_l, coef_l, se_l = dml_linear(X,T,Y) res['DML-Linear'] = tau_l metrics.append(evaluate(tau_true, tau_l, 'DML-Linear')) # Results table print("\n"+"="*60) print(" Evaluation Results") print("="*60) df = pd.DataFrame(metrics) print(df.to_string(index=False)) # DML-Linear coefficients print("\n"+"="*60) print(" DML-Linear Coefficients (true: X1=1.0, X2=nonlinear, others=0)") print("="*60) for i,f in enumerate(fnames): lo=coef_l[i]-1.96*se_l[i]; hi=coef_l[i]+1.96*se_l[i] sig = "*" if lo>0 or hi<0 else "" print(f" {f:>4}: {coef_l[i]:>7.4f} SE={se_l[i]:.4f} 95%CI=[{lo:.4f}, {hi:.4f}] {sig}") # Plots print("\n>>> Generating plots...") plot_scatter(tau_true, res) plot_by_feature(X, tau_true, res, 0, 'X1', 'fig2_cate_by_x1.png') plot_by_feature(X, tau_true, res, 1, 'X2', 'fig2b_cate_by_x2.png') plot_dist(tau_true, res) plot_error_box(tau_true, res) plot_coef(coef_l, se_l, fnames) plot_heatmap(tau_true, X) print("\n"+"="*60) print(" All done!") print("="*60) return res, df if __name__ == '__main__': results, df_metrics = main()