Why Propensity Scores Should Not Be Used For ... - Semantic Scholar
Why Propensity Scores Should Not Be Used For Matching Gary King1 Institute for Quantitative Social Science Harvard University
Richard Nielsen2 MIT
Talk Department of Statistics, Harvard University, 11/18/2015
1 2
GaryKing.org www.mit.edu/∼rnielsen
1/23
The Scholarly Influence of Propensity Score Matching
2/23
The Scholarly Influence of Propensity Score Matching
• The most commonly used matching method
2/23
The Scholarly Influence of Propensity Score Matching
• The most commonly used matching method • In 49,600 articles! (according to Google Scholar)
2/23
The Scholarly Influence of Propensity Score Matching
• The most commonly used matching method • In 49,600 articles! (according to Google Scholar) • Maybe even “the most developed and popular strategy for
causal analysis in observational studies” (Pearl, 2010)
2/23
The Scholarly Influence of Propensity Score Matching
• The most commonly used matching method • In 49,600 articles! (according to Google Scholar) • Maybe even “the most developed and popular strategy for
causal analysis in observational studies” (Pearl, 2010) • This paper is about: propensity score matching,
2/23
The Scholarly Influence of Propensity Score Matching
• The most commonly used matching method • In 49,600 articles! (according to Google Scholar) • Maybe even “the most developed and popular strategy for
causal analysis in observational studies” (Pearl, 2010) • This paper is about: propensity score matching, as used in practice.
2/23
The Scholarly Influence of Propensity Score Matching
• The most commonly used matching method • In 49,600 articles! (according to Google Scholar) • Maybe even “the most developed and popular strategy for
causal analysis in observational studies” (Pearl, 2010) • This paper is about: propensity score matching, as used in practice. Not implicated by our results:
2/23
The Scholarly Influence of Propensity Score Matching
• The most commonly used matching method • In 49,600 articles! (according to Google Scholar) • Maybe even “the most developed and popular strategy for
causal analysis in observational studies” (Pearl, 2010) • This paper is about: propensity score matching, as used in practice. Not implicated by our results: • Other uses of propensity scores: E.g.,
2/23
The Scholarly Influence of Propensity Score Matching
• The most commonly used matching method • In 49,600 articles! (according to Google Scholar) • Maybe even “the most developed and popular strategy for
causal analysis in observational studies” (Pearl, 2010) • This paper is about: propensity score matching, as used in practice. Not implicated by our results: • Other uses of propensity scores: E.g., regression adjustment,
2/23
The Scholarly Influence of Propensity Score Matching
• The most commonly used matching method • In 49,600 articles! (according to Google Scholar) • Maybe even “the most developed and popular strategy for
causal analysis in observational studies” (Pearl, 2010) • This paper is about: propensity score matching, as used in practice. Not implicated by our results: • Other uses of propensity scores: E.g., regression adjustment,
inverse weighting,
2/23
The Scholarly Influence of Propensity Score Matching
• The most commonly used matching method • In 49,600 articles! (according to Google Scholar) • Maybe even “the most developed and popular strategy for
causal analysis in observational studies” (Pearl, 2010) • This paper is about: propensity score matching, as used in practice. Not implicated by our results: • Other uses of propensity scores: E.g., regression adjustment,
inverse weighting, stratification,
2/23
The Scholarly Influence of Propensity Score Matching
• The most commonly used matching method • In 49,600 articles! (according to Google Scholar) • Maybe even “the most developed and popular strategy for
causal analysis in observational studies” (Pearl, 2010) • This paper is about: propensity score matching, as used in practice. Not implicated by our results: • Other uses of propensity scores: E.g., regression adjustment,
inverse weighting, stratification, pscores used in other methods
2/23
The Scholarly Influence of Propensity Score Matching
• The most commonly used matching method • In 49,600 articles! (according to Google Scholar) • Maybe even “the most developed and popular strategy for
causal analysis in observational studies” (Pearl, 2010) • This paper is about: propensity score matching, as used in practice. Not implicated by our results: • Other uses of propensity scores: E.g., regression adjustment,
inverse weighting, stratification, pscores used in other methods • The mathematical theorems about propensity scores
2/23
Matching to Reduce Model Dependence
3/23
Matching to Reduce Model Dependence (Ho, Imai, King, Stuart, 2007: fig.1, Political Analysis)
3/23
Matching to Reduce Model Dependence (Ho, Imai, King, Stuart, 2007: fig.1, Political Analysis)
12
Outcome
10 8 6 4 2 0 12
14
16
18
20
22
24
26
28
Education (years)
3/23
Matching to Reduce Model Dependence (Ho, Imai, King, Stuart, 2007: fig.1, Political Analysis)
12
T
Outcome
T T T T
T
10
T
T
T T
T T TTT T T T T T
8 6 4 2 0 12
14
16
18
20
22
24
26
28
Education (years)
3/23
Matching to Reduce Model Dependence
Outcome
(Ho, Imai, King, Stuart, 2007: fig.1, Political Analysis)
12
C
10
C T CC T CC
8 6
C C C C
C C
T CT C C T T CC T TC T TCC C C C TCT C C T T TC T T T C T CT
C C C CCC
4
C C C
2 C
0 12
14
16
18
20
22
24
26
28
Education (years)
3/23
Matching to Reduce Model Dependence
Outcome
(Ho, Imai, King, Stuart, 2007: fig.1, Political Analysis)
12
C
10
C T CC T CC
8 6
C C C C
C C
T CT C C T T CC T TC T TCC C C C TCT C C T T TC T T T C T CT
C C C CCC
4
C C C
2 C
0 12
14
16
18
20
22
24
26
28
Education (years)
3/23
Matching to Reduce Model Dependence
Outcome
(Ho, Imai, King, Stuart, 2007: fig.1, Political Analysis)
12
C
10
C T CC T CC
8 6
C C C C
C C
T CT C C T T CC T TC T TCC C C C TCT C C T T TC T T T C T CT
C C C CCC
4
C C C
2 C
0 12
14
16
18
20
22
24
26
28
Education (years)
3/23
Matching to Reduce Model Dependence
Outcome
(Ho, Imai, King, Stuart, 2007: fig.1, Political Analysis)
12
C
10
C T CC T CC
8 6
C C C C
C C
T CT C C T T CC T TC T TCC C C C TCT C C T T TC T T T C T CT
C C C CCC
4
C C C
2 C
0 12
14
16
18
20
22
24
26
28
Education (years)
3/23
Matching to Reduce Model Dependence
Outcome
(Ho, Imai, King, Stuart, 2007: fig.1, Political Analysis)
12
C
10
C T CC T CC
8 6
C C C C
C C
T CT C C T T CC T TC T TCC C C C TCT C C T T TC T T T C T CT
C C C CCC
4
C C C
2 C
0 12
14
16
18
20
22
24
26
28
Education (years)
3/23
Matching to Reduce Model Dependence
Outcome
(Ho, Imai, King, Stuart, 2007: fig.1, Political Analysis)
12
C
10
C T CC T CC
8 6
C C C C
C C
T CT C C T T CC T TC T TCC C C C TCT C C T T TC T T T C T CT
C C C CCC
4
C C C
2 C
0 12
14
16
18
20
22
24
26
28
Education (years)
3/23
The Problems Matching Solves
4/23
The Problems Matching Solves Without Matching:
4/23
The Problems Matching Solves Without Matching: Imbalance
4/23
The Problems Matching Solves Without Matching: Imbalance
Model Dependence
4/23
The Problems Matching Solves Without Matching: Imbalance
Model Dependence
Researcher discretion
4/23
The Problems Matching Solves Without Matching: Imbalance
Model Dependence
Researcher discretion
Bias
4/23
The Problems Matching Solves Without Matching: Imbalance
Model Dependence
Researcher discretion
Bias
• Qualitative choice from unbiased estimates = biased estimator
4/23
The Problems Matching Solves Without Matching: Imbalance
Model Dependence
Researcher discretion
Bias
• Qualitative choice from unbiased estimates = biased estimator • e.g., Choosing from results of 50 randomized experiments
4/23
The Problems Matching Solves Without Matching: Imbalance
Model Dependence
Researcher discretion
Bias
• Qualitative choice from unbiased estimates = biased estimator • e.g., Choosing from results of 50 randomized experiments • Choosing based on “plausibility” is probably worse[eff]
4/23
The Problems Matching Solves Without Matching: Imbalance
Model Dependence
Researcher discretion
Bias
• Qualitative choice from unbiased estimates = biased estimator • e.g., Choosing from results of 50 randomized experiments • Choosing based on “plausibility” is probably worse[eff] • conscientious effort doesn’t avoid biases (Banaji 2013)[acc]
4/23
The Problems Matching Solves Without Matching: Imbalance
Model Dependence
Researcher discretion
Bias
• Qualitative choice from unbiased estimates = biased estimator • e.g., Choosing from results of 50 randomized experiments • Choosing based on “plausibility” is probably worse[eff] • conscientious effort doesn’t avoid biases (Banaji 2013)[acc] • People do not have easy access to their own mental processes
or feedback to avoid the problem (Wilson and Brekke 1994)[exprt]
4/23
The Problems Matching Solves Without Matching: Imbalance
Model Dependence
Researcher discretion
Bias
• Qualitative choice from unbiased estimates = biased estimator • e.g., Choosing from results of 50 randomized experiments • Choosing based on “plausibility” is probably worse[eff] • conscientious effort doesn’t avoid biases (Banaji 2013)[acc] • People do not have easy access to their own mental processes
or feedback to avoid the problem (Wilson and Brekke 1994)[exprt] • Experts overestimate their ability to control personal biases
more than nonexperts, and more prominent experts are the most overconfident (Tetlock 2005)[tch]
4/23
The Problems Matching Solves Without Matching: Imbalance
Model Dependence
Researcher discretion
Bias
• Qualitative choice from unbiased estimates = biased estimator • e.g., Choosing from results of 50 randomized experiments • Choosing based on “plausibility” is probably worse[eff] • conscientious effort doesn’t avoid biases (Banaji 2013)[acc] • People do not have easy access to their own mental processes
or feedback to avoid the problem (Wilson and Brekke 1994)[exprt] • Experts overestimate their ability to control personal biases
more than nonexperts, and more prominent experts are the most overconfident (Tetlock 2005)[tch] • “Teaching psychology is mostly a waste of time” (Kahneman
2011)
4/23
The Problems Matching Solves WithH out H Matching:
Imbalance
Model Dependence
Researcher discretion
Bias
4/23
The Problems Matching Solves WithH out H Matching: Z Imbalance Z
Model Dependence
Researcher discretion
Bias
4/23
The Problems Matching Solves WithH out H Matching: Z Imbalance Z
hhhh (((( (hh h Model Dependence ((( hh (
Researcher discretion
Bias
4/23
The Problems Matching Solves WithH out H Matching: Z Imbalance Z
hhhh (((( (hh h Model Dependence ((( hh (
hhhh (((( ( h (h ( h Researcher discretion ( hhh ( (
Bias
4/23
The Problems Matching Solves WithH out H Matching: Z Imbalance Z
hhhh (((( (hh h Model Dependence ((( hh (
hhhh (((( ( h (h ( h Researcher discretion ( hhh ( (
X X X Bias
4/23
The Problems Matching Solves WithH out H Matching: Z Imbalance Z
hhhh (((( (hh h Model Dependence ((( hh (
hhhh (((( ( h (h ( h Researcher discretion ( hhh ( (
X X X Bias
A central project of statistics: Automating away human discretion
4/23
What’s Matching?
5/23
What’s Matching? • Yi dep var, Ti (1=treated, 0=control), Xi confounders
5/23
What’s Matching? • Yi dep var, Ti (1=treated, 0=control), Xi confounders • Treatment Effect for treated observation i:
5/23
What’s Matching? • Yi dep var, Ti (1=treated, 0=control), Xi confounders • Treatment Effect for treated observation i:
TEi = Yi (1) − Yi (0)
5/23
What’s Matching? • Yi dep var, Ti (1=treated, 0=control), Xi confounders • Treatment Effect for treated observation i:
TEi = Yi (1) − Yi (0) = observed − unobserved
5/23
What’s Matching? • Yi dep var, Ti (1=treated, 0=control), Xi confounders • Treatment Effect for treated observation i:
TEi = Yi − Yi (0) = observed − unobserved
5/23
What’s Matching? • Yi dep var, Ti (1=treated, 0=control), Xi confounders • Treatment Effect for treated observation i:
TEi = Yi − Yi (0) = observed − unobserved • Estimate Yi (0) with Yj with a matched (Xi ≈ Xj ) control
5/23
What’s Matching? • Yi dep var, Ti (1=treated, 0=control), Xi confounders • Treatment Effect for treated observation i:
TEi = Yi − Yi (0) = observed − unobserved • Estimate Yi (0) with Yj with a matched (Xi ≈ Xj ) control • Quantities of Interest:
5/23
What’s Matching? • Yi dep var, Ti (1=treated, 0=control), Xi confounders • Treatment Effect for treated observation i:
TEi = Yi − Yi (0) = observed − unobserved • Estimate Yi (0) with Yj with a matched (Xi ≈ Xj ) control • Quantities of Interest: 1. SATT: Sample Average Treatment effect on the Treated: SATT = Mean (TEi ) i∈{Ti =1}
5/23
What’s Matching? • Yi dep var, Ti (1=treated, 0=control), Xi confounders • Treatment Effect for treated observation i:
TEi = Yi − Yi (0) = observed − unobserved • Estimate Yi (0) with Yj with a matched (Xi ≈ Xj ) control • Quantities of Interest: 1. SATT: Sample Average Treatment effect on the Treated: SATT = Mean (TEi ) i∈{Ti =1}
2. FSATT: Feasible SATT (prune badly matched treateds too)
5/23
What’s Matching? • Yi dep var, Ti (1=treated, 0=control), Xi confounders • Treatment Effect for treated observation i:
TEi = Yi − Yi (0) = observed − unobserved • Estimate Yi (0) with Yj with a matched (Xi ≈ Xj ) control • Quantities of Interest: 1. SATT: Sample Average Treatment effect on the Treated: SATT = Mean (TEi ) i∈{Ti =1}
2. FSATT: Feasible SATT (prune badly matched treateds too) • Big convenience: Follow preprocessing with whatever
statistical method you’d have used without matching
5/23
What’s Matching? • Yi dep var, Ti (1=treated, 0=control), Xi confounders • Treatment Effect for treated observation i:
TEi = Yi − Yi (0) = observed − unobserved • Estimate Yi (0) with Yj with a matched (Xi ≈ Xj ) control • Quantities of Interest: 1. SATT: Sample Average Treatment effect on the Treated: SATT = Mean (TEi ) i∈{Ti =1}
2. FSATT: Feasible SATT (prune badly matched treateds too) • Big convenience: Follow preprocessing with whatever
statistical method you’d have used without matching • Pruning nonmatches makes control vars matter less: reduces imbalance, model dependence, researcher discretion, & bias
5/23
Matching: Finding Hidden Randomized Experiments
6/23
Matching: Finding Hidden Randomized Experiments
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Complete Randomization
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Complete Randomization
Fully Blocked
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization
Fully Blocked
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average
Fully Blocked
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for:
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for: imbalance,
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for: imbalance, model dependence,
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for: imbalance, model dependence, power,
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for: imbalance, model dependence, power, efficiency,
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for: imbalance, model dependence, power, efficiency, bias,
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for: imbalance, model dependence, power, efficiency, bias, research costs,
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for: imbalance, model dependence, power, efficiency, bias, research costs, robustness.
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for: imbalance, model dependence, power, efficiency, bias, research costs, robustness. E.g., Imai, King, Nall 2009: SEs 600% smaller!
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for: imbalance, model dependence, power, efficiency, bias, research costs, robustness. E.g., Imai, King, Nall 2009: SEs 600% smaller!
Goal of Each Matching Method (in Observational Data)
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for: imbalance, model dependence, power, efficiency, bias, research costs, robustness. E.g., Imai, King, Nall 2009: SEs 600% smaller!
Goal of Each Matching Method (in Observational Data) • PSM: complete randomization
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for: imbalance, model dependence, power, efficiency, bias, research costs, robustness. E.g., Imai, King, Nall 2009: SEs 600% smaller!
Goal of Each Matching Method (in Observational Data) • PSM: complete randomization • Other methods: fully blocked
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for: imbalance, model dependence, power, efficiency, bias, research costs, robustness. E.g., Imai, King, Nall 2009: SEs 600% smaller!
Goal of Each Matching Method (in Observational Data) • PSM: complete randomization • Other methods: fully blocked • Other matching methods dominate PSM
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for: imbalance, model dependence, power, efficiency, bias, research costs, robustness. E.g., Imai, King, Nall 2009: SEs 600% smaller!
Goal of Each Matching Method (in Observational Data) • PSM: complete randomization • Other methods: fully blocked • Other matching methods dominate PSM (wait, it gets worse)
6/23
Method 1: Mahalanobis Distance Matching
7/23
Method 1: Mahalanobis Distance Matching (Approximates Fully Blocked Experiment)
7/23
Method 1: Mahalanobis Distance Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching)
2. Estimation Difference in means or a model
7/23
Method 1: Mahalanobis Distance Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching) • Distance(Xc , Xt ) =
p
(Xc − Xt )0 S −1 (Xc − Xt )
2. Estimation Difference in means or a model
7/23
Method 1: Mahalanobis Distance Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching) p
• Distance(Xc , Xt ) = (Xc − Xt )0 S −1 (Xc − Xt ) • (Mahalanobis is for methodologists; in applications, use
Euclidean!)
2. Estimation Difference in means or a model
7/23
Method 1: Mahalanobis Distance Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching) p
• Distance(Xc , Xt ) = (Xc − Xt )0 S −1 (Xc − Xt ) • (Mahalanobis is for methodologists; in applications, use
Euclidean!) • Match each treated unit to the nearest control unit
2. Estimation Difference in means or a model
7/23
Method 1: Mahalanobis Distance Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching) p
• Distance(Xc , Xt ) = (Xc − Xt )0 S −1 (Xc − Xt ) • (Mahalanobis is for methodologists; in applications, use
Euclidean!) • Match each treated unit to the nearest control unit • Control units: not reused; pruned if unused
2. Estimation Difference in means or a model
7/23
Method 1: Mahalanobis Distance Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching) p
• Distance(Xc , Xt ) = (Xc − Xt )0 S −1 (Xc − Xt ) • (Mahalanobis is for methodologists; in applications, use
Euclidean!) • Match each treated unit to the nearest control unit • Control units: not reused; pruned if unused • Prune matches if Distance>caliper
2. Estimation Difference in means or a model
7/23
Method 1: Mahalanobis Distance Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching) p
• Distance(Xc , Xt ) = (Xc − Xt )0 S −1 (Xc − Xt ) • (Mahalanobis is for methodologists; in applications, use • • • •
Euclidean!) Match each treated unit to the nearest control unit Control units: not reused; pruned if unused Prune matches if Distance>caliper (Many adjustments available to this basic method)
2. Estimation Difference in means or a model
7/23
Mahalanobis Distance Matching 80 70 60 Age 50 40 30 20 12
14
16
18
20
22
Education (years)
24
26
28
8/23
Mahalanobis Distance Matching 80 70 TTT 60
T
Age 50
T
40
T
T TT
T T
T
T TT
T T
T TT
30 20 12
14
16
18
20
22
Education (years)
24
26
28
8/23
Mahalanobis Distance Matching 80 70 60 Age 50 40 30
CC C
C C TTT C C CC C C C T C CC CC C CC C C CC CT T C C T C TT T C C C T C TT T CT C T C C T T TT C
C C C
20 12
14
16
18
20
22
Education (years)
24
26
28
8/23
Mahalanobis Distance Matching 80 70 60 Age 50 40 30
CC C
C C TTT C C CC C C C T C CC CC C CC C C CC CT T C C T C TT T C C C T C TT T CT C T C C T T TT C
C C C
20 12
14
16
18
20
22
Education (years)
24
26
28
8/23
Mahalanobis Distance Matching 80 70 60 Age 50 40 30
CC C
C C TTT C C CC C C C T C CC CC C CC C C CC CT T C C T C TT T C C C T C TT T CT C T C C T T TT C
C C C
20 12
14
16
18
20
22
Education (years)
24
26
28
8/23
Mahalanobis Distance Matching 80 70
C
60
TTT
T C C C C C C C CT T C C T C TT T C C T C TT T CT C T C C T T TT C
Age 50 40 30 20 12
14
16
18
20
22
Education (years)
24
26
28
8/23
Mahalanobis Distance Matching 80 70
C
60
TTT
T C C C C C C C CT T C C T C TT T C C T C TT T CT C T C C T T TT C
Age 50 40 30 20 12
14
16
18
20
22
Education (years)
24
26
28
8/23
Best Case: Mahalanobis Distance Matching
9/23
Best Case: Mahalanobis Distance Matching 80 C C C C C C C C C C CCCCC C CCCCCC C C C C C C CC TCC CC C CCC C CCCC TT C C C C C T C C T C C C C C C C C C C CC CC C CC C CC TC C C C CCC CC CC CCCC CCCCC CCC CCCCC CC C CC CC C CC CC C C C C CC C CCC CC C C C CCCC C T C C C C T C C C C C C C C C C C C C T C C C C C C C C C C C C C C T C C C C C C T C C C T C CC C C CC C T C CC C TC C C C CC TCCC C C CCC CC C C CCC C CCCCC CC CC TC CC C C C C C T C C C T C C C C C CCC CCCCCCCC T CC C C C C CCCC C CTCCC C TC CTCC CCC CC T C CC C C C C C C C T C C C C C C C C T C C CCC CC C C C C CCC C CC CC CC CC CCCC T C CCC T CC C C C C T C T C C T C C C C T C C T C C CC C C T C CC C C C C T C C CCCC C TCCCC C CC CCC CC C T C CCC CCC CC CCC C C C TC TC CCC C C T C C T T CCC C C C T C C C C C C C CCCC C C C T C CC C CC T C CC T CCC C C C C CC CCCC TC T TCCCCC T CC C C C C CCC CC CC CC CC CC C C CCCC CCC
70 60 Age 50 40 30 20 12
14
16
18
20
22
Education (years)
24
26
28
9/23
Best Case: Mahalanobis Distance Matching 80 C T
70
TT C C T C T C
T C
60 Age 50 40
C T
T C
T C
T C
14
16
T T C TC C T C T C C T
T C
C T
30
C T C T C TT T C C T T C C TC T C T C T T C C T C T C T TC TT C T C C TC T C T C TC C T C T C TC T C C TC T T T C
20 12
18
20
22
Education (years)
24
26
28
9/23
Method 2: Coarsened Exact Matching
10/23
Method 2: Coarsened Exact Matching (Approximates Fully Blocked Experiment)
10/23
Method 2: Coarsened Exact Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching)
2. Estimation Difference in means or a model
10/23
Method 2: Coarsened Exact Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching) • Temporarily coarsen X as much as you’re willing
2. Estimation Difference in means or a model
10/23
Method 2: Coarsened Exact Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching) • Temporarily coarsen X as much as you’re willing • e.g., Education (grade school, high school, college, graduate)
2. Estimation Difference in means or a model
10/23
Method 2: Coarsened Exact Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching) • Temporarily coarsen X as much as you’re willing • e.g., Education (grade school, high school, college, graduate) • Apply exact matching to the coarsened X , C (X )
2. Estimation Difference in means or a model
10/23
Method 2: Coarsened Exact Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching) • Temporarily coarsen X as much as you’re willing • e.g., Education (grade school, high school, college, graduate) • Apply exact matching to the coarsened X , C (X ) • Sort observations into strata, each with unique values of C (X )
2. Estimation Difference in means or a model
10/23
Method 2: Coarsened Exact Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching) • Temporarily coarsen X as much as you’re willing • e.g., Education (grade school, high school, college, graduate) • Apply exact matching to the coarsened X , C (X ) • Sort observations into strata, each with unique values of C (X ) • Prune any stratum with 0 treated or 0 control units
2. Estimation Difference in means or a model
10/23
Method 2: Coarsened Exact Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching) • Temporarily coarsen X as much as you’re willing • e.g., Education (grade school, high school, college, graduate) • Apply exact matching to the coarsened X , C (X ) • Sort observations into strata, each with unique values of C (X ) • Prune any stratum with 0 treated or 0 control units • Pass on original (uncoarsened) units except those pruned
2. Estimation Difference in means or a model
10/23
Method 2: Coarsened Exact Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching) • Temporarily coarsen X as much as you’re willing • e.g., Education (grade school, high school, college, graduate) • Apply exact matching to the coarsened X , C (X ) • Sort observations into strata, each with unique values of C (X ) • Prune any stratum with 0 treated or 0 control units • Pass on original (uncoarsened) units except those pruned
2. Estimation Difference in means or a model • Weight controls in each stratum to equal treateds
10/23
Coarsened Exact Matching
11/23
Coarsened Exact Matching 80
Age
70
CC C
60
C
50
C
CC C CC C CC C
40
C CT
30
C C CT C
C C TTT CC T C C C C C C TC C T C TT T C T C TT T C TC T T TT
C C C
20 12
14
16
18
20
22
Education
24
26
28
11/23
Coarsened Exact Matching Old
CC C
Retirement
C
C Senior Discounts
CC C CC C CC C
The Big 40
C CT
Don't trust anyone over 30
C C CT C
C C TTT CC T C C C C C C TC C T C TT T C T C TT T C TC T T TT
C C C
Drinking age HS
BA
MA
PhD
Education
2nd PhD
11/23
Coarsened Exact Matching Old
CC C
Retirement
C
C Senior Discounts
CC C CC C CC C
The Big 40
C CT
Don't trust anyone over 30
C C CT C
C C TTT CC T C C C C C C TC C T C TT T C T C TT T C TC T T TT
C C C
Drinking age HS
BA
MA
PhD
Education
2nd PhD
11/23
Coarsened Exact Matching Old
Retirement
C TTT CC T C C C C C C CT TC C T C TT T C T C TT C CT TC
Senior Discounts
The Big 40 Don't trust anyone over 30 Drinking age HS
BA
MA
PhD
Education
2nd PhD
11/23
Coarsened Exact Matching Old
Retirement
TTT
C
T C C C C TC CT C TT C T TT T C C TC C
C
C
Senior Discounts
CT The Big 40
CT
C
Don't trust anyone over 30 Drinking age HS
BA
MA
PhD
Education
2nd PhD
11/23
Coarsened Exact Matching 80 70 TTT
C
60
T C C C C TC CT C TT C T TT T C C TC C
C
C
Age
CT
50 40
CT
C
30 20 12
14
16
18
20
22
Education
24
26
28
11/23
Best Case: Coarsened Exact Matching
12/23
Best Case: Coarsened Exact Matching 80 C C C C C C C C C C CCCCC C CCCCCC C C C C C C CC TCC CC C CCC C CCCC TT C C C C C T C C T C C C C C C C C C C C C C C C TCC CCCCC CCCC CCCCCCC CC CC CCCC CCCCC CC C C C CC C CC CCC C C C C C C CC CCCC C C C C T C C CC CCCCC CC T C C C C C C C C C C T C C C C C CC CT C CC C C C C C C C T C C C C T C CC C CC C T C CC C TC C C C CC TCCC C C CCC CCCC C CCC C CCCCC C CC CC TC CC C C C C C T C C C T C C C C C C C CCC CCCCCCC C T CC CC TCCCCC C C C C C CTCCC TC T C CC C C C C C C C CCC TCC C C CC C CC C CC CT T C C CCC CC C C C C C C C C T CCC CC CC C CCC CC C C C C C C T C C T C C T C C T C C T C C C C C T CC C CC CC C C C C C CCCC C TCC C CC CC C T CCCC CCT CCC CC CC CCCC C TC TC CCC C C T CCC CC C CC T T CC C C T C C C C C C T C CC C CCC CC T C CC T CCC C C C C CC TC T C CCCC TCCCCCC T CC C C C C CCC CC CC CC C C C CC C C CC C C C
70 60 Age
50 40 30 20 12
14
16
18
20
22
24
26
28
Education
12/23
Best Case: Coarsened Exact Matching 80 C T
70
C T
C T
C T
60 Age
C C TT C T C T
C T
C T C T C T C T C T T C T C C T T C C T C T C T C T C T C TT C T C TC C T T C T C C TC T C T C TC C T C T C T C T T
50 40 30
C T
20 12
14
16
18
20
22
24
26
28
Education
12/23
Best Case: Coarsened Exact Matching 80 C T
70
C T
C T
C T
60 Age
C C TT C T C T
C T
C T C T C T C T C T T C T C C T T C C T C T C T C T C T C TT C T C TC C T T C T C C TC T C T C TC C T C T C T C T T
50 40 30
C T
20 12
14
16
18
20
22
24
26
28
Education
12/23
Method 3: Propensity Score Matching
13/23
Method 3: Propensity Score Matching (Approximates Completely Randomized Experiment)
13/23
Method 3: Propensity Score Matching (Approximates Completely Randomized Experiment)
1. Preprocess (Matching)
2. Estimation Difference in means or a model
13/23
Method 3: Propensity Score Matching (Approximates Completely Randomized Experiment)
1. Preprocess (Matching) • Reduce k elements of X to scalar
πi ≡ Pr(Ti = 1|X ) =
1 1+e −Xi β
2. Estimation Difference in means or a model
13/23
Method 3: Propensity Score Matching (Approximates Completely Randomized Experiment)
1. Preprocess (Matching) • Reduce k elements of X to scalar
πi ≡ Pr(Ti = 1|X ) = 1+e1−Xi β • Distance(Xc , Xt ) = |πc − πt |
2. Estimation Difference in means or a model
13/23
Method 3: Propensity Score Matching (Approximates Completely Randomized Experiment)
1. Preprocess (Matching) • Reduce k elements of X to scalar
πi ≡ Pr(Ti = 1|X ) = 1+e1−Xi β • Distance(Xc , Xt ) = |πc − πt | • Match each treated unit to the nearest control unit
2. Estimation Difference in means or a model
13/23
Method 3: Propensity Score Matching (Approximates Completely Randomized Experiment)
1. Preprocess (Matching) • Reduce k elements of X to scalar
πi ≡ Pr(Ti = 1|X ) = 1+e1−Xi β • Distance(Xc , Xt ) = |πc − πt | • Match each treated unit to the nearest control unit • Control units: not reused; pruned if unused
2. Estimation Difference in means or a model
13/23
Method 3: Propensity Score Matching (Approximates Completely Randomized Experiment)
1. Preprocess (Matching) • Reduce k elements of X to scalar • • • •
πi ≡ Pr(Ti = 1|X ) = 1+e1−Xi β Distance(Xc , Xt ) = |πc − πt | Match each treated unit to the nearest control unit Control units: not reused; pruned if unused Prune matches if Distance>caliper
2. Estimation Difference in means or a model
13/23
Method 3: Propensity Score Matching (Approximates Completely Randomized Experiment)
1. Preprocess (Matching) • Reduce k elements of X to scalar • • • • •
πi ≡ Pr(Ti = 1|X ) = 1+e1−Xi β Distance(Xc , Xt ) = |πc − πt | Match each treated unit to the nearest control unit Control units: not reused; pruned if unused Prune matches if Distance>caliper (Many adjustments available to this basic method)
2. Estimation Difference in means or a model
13/23
Propensity Score Matching 80 70 60 Age 50 40 30
C C C C
C C TTT C C CC T C CC C C C CC C CC C C CC CT TC CT C TT T C C C T C TT T CT C T C C T T TT
C C C
20 12
16
20
24
Education (years)
28
14/23
Propensity Score Matching 80
60 Age 50 40 30
1
C C C C
70
C
C TTT C CC T C CC C C C CC C CC C C CC CT TC CT C TT T C C C T C TT T CT C T C C T T TT
C
C
C C
20
0 12
16
20
24
28 Propensity
Education (years)
14/23
Propensity Score Matching 80
60 Age 50 40 30
1
C C C C
70
C
C TTT C CC T C CC C C C CC C CC C C CC CT TC CT C TT T C C C T C TT T CT C T C C T T TT
C
C
C C
20 12
16
20
24
T T C T C C C T T C T C C T T C C T C C C T C T T C C C C C C C C 0
28 Propensity
Education (years)
14/23
Propensity Score Matching 80 1 70 T T C T C C C T T C T C C T T C C T C C C T C T T C C C C C C C C 0
60 Age 50 40 30 20 12
16
20
24
28 Propensity
Education (years)
14/23
Propensity Score Matching 80 1 70 T T C T C C C T T C T C C T T C C T C C C T C T T C C C C C C C C 0
60 Age 50 40 30 20 12
16
20
24
28 Propensity
Education (years)
14/23
Propensity Score Matching 80 1 70 T T C T
60
C T T C T C T T C C T C C C T C T T C
Age 50 40 30 20
0 12
16
20
24
28 Propensity
Education (years)
14/23
Propensity Score Matching 80 1 70 TTT 60
TC C C C C CT TC CT C TT T C C C T C TT T CT C T C C T T TT
Age 50 40 30
C C C
20
T T C T C T T C T C T T C C T C C C T C T T C
0 12
16
20
24
28 Propensity
Education (years)
14/23
Propensity Score Matching 80 70 TTT 60
TC C C C C CT TC CT C TT T C C C T C TT T CT C T C C T T TT
Age 50 40 30
C C C
20 12
16
20
24
Education (years)
28
14/23
Best Case: Propensity Score Matching
15/23
Best Case: Propensity Score Matching 80 70 60 Age 50 40 30
C C C C C CC C C C C C C CCCCCC CC C C CC C CC C TCCCC C C CCC CCCCC T TC C C C T C T C C C CC CC C C C CC C CC CCCC CC CCC TC C CCC CCCCC C CCCCCCC C C CC CC CCC C CCCC C C CC C C C C CCC C C CC C T C C C C C T C C C C C C C C C C C C C C C T C C C C C C C C C C C C C C T C C C C C C T C C TCCC C CCC C T C C C CCC C C CC C CC CCC TC C C CC CCCC CT C C C T CCC CC C C C C C C C C T C C C T C C C C C C C CCC C CCC C C T CCC CCC CC CCC C C CC C CCC TCCC CC C CTC CC T CC C C T C C T C C C C C C C T CCCCCCCC C C C C C CCCC C C TC T CC C C CCCCC CC C CCCC TC C T C TT CC C TC C C C CCCC C TCC C C C C C T C C C C C C C C T C C CCC CC CC T C C T CCCC CTC T C CCC C CCCC C TC CC C TCC CC CC C C TC C C CCC C CC CCCC C C T C CC CC CC T C TCC C C C CC C C C T C T T T C C C CCC C C C C C CC C C C CC C CC C CCC CCCC CCC C
1
20
0 12
16
20
24
Education (years)
28 Propensity Score
15/23
Best Case: Propensity Score Matching 80 70 60 Age 50 40 30
C C C C C CC C C C C C C CCCCCC CC C C CC C CC C TCCCC C C CCC CCCCC T TC C C C T C T C C C CC CC C C C CC C CC CCCC CC CCC TC C CCC CCCCC C CCCCCCC C C CC CC CCC C CCCC C C CC C C C C CCC C C CC C T C C C C C T C C C C C C C C C C C C C C C T C C C C C C C C C C C C C C T C C C C C C T C C TCCC C CCC C T C C C CCC C C CC C CC CCC TC C C CC CCCC CT C C C T CCC CC C C C C C C C C T C C C T C C C C C C C CCC C CCC C C T CCC CCC CC CCC C C CC C CCC TCCC CC C CTC CC T CC C C T C C T C C C C C C C T CCCCCCCC C C C C C CCCC C C TC T CC C C CCCCC CC C CCCC TC C T C TT CC C TC C C C CCCC C TCC C C C C C T C C C C C C C C T C C CCC CC CC T C C T CCCC CTC T C CCC C CCCC C TC CC C TCC CC CC C C TC C C CCC C CC CCCC C C T C CC CC CC T C TCC C C C CC C C C T C T T T C C C CCC C C C C C CC C C C CC C CC C CCC CCCC CCC C
1
20
0 12
16
20
24
Education (years)
28 Propensity Score
15/23
Best Case: Propensity Score Matching 80 T
70
C
C
TT C T
CC TC C T C
T
TC C T T C C T T C TC C T C T C T C T C CT T T T T CC T CC C T TTC C C C TTT C T C T C T TCCC C C C C T T T CC T T T C T TC C TCTCT TT TC T C T
60 Age 50 40 30 20 12
16
20
24
28
Education (years)
15/23
Best Case: Propensity Score Matching is Suboptimal 80 T
70
C
C
TT C T
CC TC C T C
T
TC C T T C C T T C TC C T C T C T C T C CT T T T T CC T CC C T TTC C C C TTT C T C T C T TCCC C C C C T T T CC T T T C T TC C TCTCT TT TC T C T
60 Age 50 40 30 20 12
16
20
24
28
Education (years)
15/23
Random Pruning Increases Imbalance
16/23
Random Pruning Increases Imbalance Deleting data only helps if you’re careful!
16/23
Random Pruning Increases Imbalance Deleting data only helps if you’re careful!
• “Random pruning”: pruning process is independent of X
16/23
Random Pruning Increases Imbalance Deleting data only helps if you’re careful!
• “Random pruning”: pruning process is independent of X • Discrete example
16/23
Random Pruning Increases Imbalance Deleting data only helps if you’re careful!
• “Random pruning”: pruning process is independent of X • Discrete example • Sex-balanced dataset: treateds Mt , Ft , controls Mc , Fc
16/23
Random Pruning Increases Imbalance Deleting data only helps if you’re careful!
• “Random pruning”: pruning process is independent of X • Discrete example • Sex-balanced dataset: treateds Mt , Ft , controls Mc , Fc • Randomly prune 1 treated & 1 control 4 possible datasets: 2 balanced {Mt , Mc }, {Ft , Fc } 2 imbalanced {Mt , Fc }, {Ft , Mc }
16/23
Random Pruning Increases Imbalance Deleting data only helps if you’re careful!
• “Random pruning”: pruning process is independent of X • Discrete example • Sex-balanced dataset: treateds Mt , Ft , controls Mc , Fc • Randomly prune 1 treated & 1 control 4 possible datasets: 2 balanced {Mt , Mc }, {Ft , Fc } 2 imbalanced {Mt , Fc }, {Ft , Mc } • =⇒ random pruning increases imbalance
16/23
Random Pruning Increases Imbalance Deleting data only helps if you’re careful!
• “Random pruning”: pruning process is independent of X • Discrete example • Sex-balanced dataset: treateds Mt , Ft , controls Mc , Fc • Randomly prune 1 treated & 1 control 4 possible datasets: 2 balanced {Mt , Mc }, {Ft , Fc } 2 imbalanced {Mt , Fc }, {Ft , Mc } • =⇒ random pruning increases imbalance • Continuous example
16/23
Random Pruning Increases Imbalance Deleting data only helps if you’re careful!
• “Random pruning”: pruning process is independent of X • Discrete example • Sex-balanced dataset: treateds Mt , Ft , controls Mc , Fc • Randomly prune 1 treated & 1 control 4 possible datasets: 2 balanced {Mt , Mc }, {Ft , Fc } 2 imbalanced {Mt , Fc }, {Ft , Mc } • =⇒ random pruning increases imbalance • Continuous example • Dataset: T ∈ {0, 1} randomly assigned; X any fixed variable; with n units
16/23
Random Pruning Increases Imbalance Deleting data only helps if you’re careful!
• “Random pruning”: pruning process is independent of X • Discrete example • Sex-balanced dataset: treateds Mt , Ft , controls Mc , Fc • Randomly prune 1 treated & 1 control 4 possible datasets: 2 balanced {Mt , Mc }, {Ft , Fc } 2 imbalanced {Mt , Fc }, {Ft , Mc } • =⇒ random pruning increases imbalance • Continuous example • Dataset: T ∈ {0, 1} randomly assigned; X any fixed variable; with n units • Measure of imbalance: squared difference in means d 2 , where d = X¯t − X¯c
16/23
Random Pruning Increases Imbalance Deleting data only helps if you’re careful!
• “Random pruning”: pruning process is independent of X • Discrete example • Sex-balanced dataset: treateds Mt , Ft , controls Mc , Fc • Randomly prune 1 treated & 1 control 4 possible datasets: 2 balanced {Mt , Mc }, {Ft , Fc } 2 imbalanced {Mt , Fc }, {Ft , Mc } • =⇒ random pruning increases imbalance • Continuous example • Dataset: T ∈ {0, 1} randomly assigned; X any fixed variable; with n units • Measure of imbalance: squared difference in means d 2 , where d = X¯t − X¯c • E (d 2 ) = V (d) ∝ 1/n (note: E (d) = 0)
16/23
Random Pruning Increases Imbalance Deleting data only helps if you’re careful!
• “Random pruning”: pruning process is independent of X • Discrete example • Sex-balanced dataset: treateds Mt , Ft , controls Mc , Fc • Randomly prune 1 treated & 1 control 4 possible datasets: 2 balanced {Mt , Mc }, {Ft , Fc } 2 imbalanced {Mt , Fc }, {Ft , Mc } • =⇒ random pruning increases imbalance • Continuous example • Dataset: T ∈ {0, 1} randomly assigned; X any fixed variable; with n units • Measure of imbalance: squared difference in means d 2 , where d = X¯t − X¯c • E (d 2 ) = V (d) ∝ 1/n (note: E (d) = 0) • Random pruning n declines E (d 2 ) increases
16/23
Random Pruning Increases Imbalance Deleting data only helps if you’re careful!
• “Random pruning”: pruning process is independent of X • Discrete example • Sex-balanced dataset: treateds Mt , Ft , controls Mc , Fc • Randomly prune 1 treated & 1 control 4 possible datasets: 2 balanced {Mt , Mc }, {Ft , Fc } 2 imbalanced {Mt , Fc }, {Ft , Mc } • =⇒ random pruning increases imbalance • Continuous example • Dataset: T ∈ {0, 1} randomly assigned; X any fixed variable; with n units • Measure of imbalance: squared difference in means d 2 , where d = X¯t − X¯c • E (d 2 ) = V (d) ∝ 1/n (note: E (d) = 0) • Random pruning n declines E (d 2 ) increases • =⇒ random pruning increases imbalance
16/23
PSM’s Statistical Properties
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse • When PSM approximates complete randomization (to begin
with or, after some pruning)
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse • When PSM approximates complete randomization (to begin
with or, after some pruning) within strata)
all π ˆ ≈ 0.5 (or constant
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse • When PSM approximates complete randomization (to begin
with or, after some pruning) all π ˆ ≈ 0.5 (or constant pruning at random within strata)
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse • When PSM approximates complete randomization (to begin
with or, after some pruning) all π ˆ ≈ 0.5 (or constant pruning at random Imbalance within strata)
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse • When PSM approximates complete randomization (to begin
with or, after some pruning) all π ˆ ≈ 0.5 (or constant pruning at random Imbalance within strata) Inefficency
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse • When PSM approximates complete randomization (to begin
with or, after some pruning) all π ˆ ≈ 0.5 (or constant pruning at random Imbalance within strata) Model dependence Inefficency
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse • When PSM approximates complete randomization (to begin
with or, after some pruning) all π ˆ ≈ 0.5 (or constant pruning at random Imbalance within strata) Model dependence Bias Inefficency
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse • When PSM approximates complete randomization (to begin
with or, after some pruning) all π ˆ ≈ 0.5 (or constant pruning at random Imbalance within strata) Model dependence Bias Inefficency • If the data have no good matches, the paradox won’t be a problem but you’re cooked anyway.
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse • When PSM approximates complete randomization (to begin
with or, after some pruning) all π ˆ ≈ 0.5 (or constant pruning at random Imbalance within strata) Model dependence Bias Inefficency • If the data have no good matches, the paradox won’t be a problem but you’re cooked anyway. • Doesn’t PSM solve the curse of dimensionality problem?
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse • When PSM approximates complete randomization (to begin
with or, after some pruning) all π ˆ ≈ 0.5 (or constant pruning at random Imbalance within strata) Model dependence Bias Inefficency • If the data have no good matches, the paradox won’t be a problem but you’re cooked anyway. • Doesn’t PSM solve the curse of dimensionality problem? Nope.
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse • When PSM approximates complete randomization (to begin
with or, after some pruning) all π ˆ ≈ 0.5 (or constant pruning at random Imbalance within strata) Model dependence Bias Inefficency • If the data have no good matches, the paradox won’t be a problem but you’re cooked anyway. • Doesn’t PSM solve the curse of dimensionality problem? Nope. The PSM Paradox gets worse with more covariates
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse • When PSM approximates complete randomization (to begin
with or, after some pruning) all π ˆ ≈ 0.5 (or constant pruning at random Imbalance within strata) Model dependence Bias Inefficency • If the data have no good matches, the paradox won’t be a problem but you’re cooked anyway. • Doesn’t PSM solve the curse of dimensionality problem? Nope. The PSM Paradox gets worse with more covariates • What if I match on a few important covariates and then use PSM?
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse • When PSM approximates complete randomization (to begin
with or, after some pruning) all π ˆ ≈ 0.5 (or constant pruning at random Imbalance within strata) Model dependence Bias Inefficency • If the data have no good matches, the paradox won’t be a problem but you’re cooked anyway. • Doesn’t PSM solve the curse of dimensionality problem? Nope. The PSM Paradox gets worse with more covariates • What if I match on a few important covariates and then use PSM? The low standards will be raised some, but the PSM Paradox will kick in earlier
17/23
PSM is Blind Where Other Methods Can See
18/23
PSM is Blind Where Other Methods Can See
2
C CC C
0 C −2
CCC C
C
C C CC C
C C
C
X2
C −4
−6
C C C
C T
C C
C C
T TTT C C CCC CC CT CT T C C TT T T C CT CTTT C TCT C CC T TC C T T TC C TTC C T
CC C C C C C C C CC C C C C CC C CC CCC
−8 −8
−6
C TT C
T C C TT C CT C C T T TC C T C C T CT T T T C C C T T C C T TC T C C C C T T T
CT
C
−4
−2
0
2
X1
18/23
PSM is Blind Where Other Methods Can See
P opens y Sco e
1000
Mahalanobis
C C C
−6
C C C C CC
C CC
C C
C C
T TTT C C CCC CC CT CT T C C TT T T C CT CTTT C TCT C CC T TC C T T TC C TTC C T
CC
C C C C
C C C CC CCC
−8
800
Sm
X2
C
600
C
Simulation #
C
C C
400
C
−4
C T
C TT C
T C C TT C CT C C T T TC C T C C T CT T T T C C C T T C C T TC T C C C C T T T
CT
C
C C CC
0
−2
CCC C
C
200
C CC C
0
2
− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − −− −− − − −− −− −− − − − − − − − − − − − − − − − − − − − − −− −− − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − −− −− − − −−− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− − − − − − − − − − − − − − − − −− − − − − − − − − − − − − − − − − −− −− −− −− − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − −− −− −− −− −− −− −− −− − − −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − − − −− −− − − −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− − − − −− −− −− −− − − − −− − − − − − − − − − − − − − −− −− −− −− − − − − − − −− −− −− −− −− −− −− −− − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − −− −− −− −− −− −− − − − − − − − −− −− −− −− −− −− − − −− −− −− −− −− −− − − − − − − − − − − −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− − − − − − − − − − −− −− −− −− − − −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − −− −− −− −− −− −− −− −− −− − −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − −− − − − − − − − − − −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− − − − − − − − − −− −− − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− − − − − − −− −− −− −− − − − − − − − −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− − −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − −− −− −− − −− −− −− −− −− −− −− −− −− −− − −− −− −− −− −− −− −− −− − − − − −− −− − − − − −− −− − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− − −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− − − − − − − − − − − − − − − − − − − − − − −− −− −− − −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − −− −− −− −− −− −− − −− −− −− −− −− −− −− −− −− − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− − − −− −− −− −− −− −− −− −− − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − −− −− −− −− −− −− −− −− −− −− −− −− −− − − − −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − −− −− − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − −− −− − −− −− −− −− −− −− −− − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− − − − − − − −− −− −− − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− − − − − −− −− −− −− −− −− −− − −− −− −− − − − − − − − −− − − − −− −− −− −− −− −− −− −− − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − −− −− −− − − − −− − − − −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − −− −− −− −− − − − − −− −− −− −− − − −− −− −− − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − −− −− − − − − − − − − − − − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − − −− −− −− −− −− −− − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− − − − − − − − − − − −− − − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − −− −− −− −− −− −− −− −− −− −− −− − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − −− −− −− −− −− −− −− −− −− −− − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − −− −− − − − − −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− − − − − − − −− −− − − − − − − − − − − − − − − − −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − −− −− − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − − − − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− − − − − − − − − − −− −− − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − −− −− −− −− − − − − −− − − −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − −− − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− − − − − − − − − − −− −− −− −− −− −− −− − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − −− − − − − − − − − −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− − − − − − − − − − − − − −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − −− −− − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − −− −− − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − −− − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − −− −− − −− −− −− −− −− −− −− −− −− −− −− −− − − − − −− −− −− − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − −− −− −− −− −− −− −− −− −− −− −− −−
0
−8
−6
−4
−2
0
50 100
2 Number of Dropped Obs.
N m
D
O
X1
18/23
What Does PSM Match? PSM Matches
MDM Matches
4 X2
● ●
●
●●
●
● ● ● ●
●
● ● ● ●
3
● ●
●
2
●
● ● ● ●● ●● ●● ● ● ● ● ● ● ● ● ● ● ●●
1
●
0 0
1
● ● ●● ● ● ● ●
● ●
● ● ● ●
●●
●
●
●● ● ● ● ● ●
●
●
●
2
7 6
●
● ●
●
3
●
●
●
5 ●
●● ●
●
●
●
●
● ● ● ●
●
6
0
1
● ● ●● ● ● ● ●
● ●
● ● ● ●
●●
●
●
●● ● ● ● ● ●
●
●
2
X1
●
3
●
●
●
● ●
●
●
● ● ● ●● ● ● ●
●
●
●
● ●
●
●
●
●
●
●
● ●
● ●
●
●
●
●
● ● ● ● ●
●
● ●
●
●
●
● ●
● ● ●
● ● ●
●●
● ● ●● ●
●
●
●
● ●●
●
●
●
●
● ●
● ● ●
●● ●
● ● ● ●
●
●
●
5
●
●
●
●
●●
● ●
● ● ●
●
● ● ●
● ● ● ●● ●● ●● ● ● ● ● ● ● ● ● ● ● ●●
●
4
●
●
● ●
●
● ● ●
●
● ●
● ●
●
●
●
●
Treated Control
●
●
●
●
● ● ●
● ●
●
● ●
● ●
●
● ● ● ● ● ● ●
●
●
●
●
●
● ●
●
●
● ●
● ●
●
●
●
●
●
● ● ● ● ●
●
● ●
●
●
●
●●
●
● ● ●
● ● ●
●
● ●●
● ● ●● ●
●
●
● ● ● ●
●
●
●
● ●
● ● ●
●
●
●
● ● ●
●● ●
4
● ● ●
●
●
●
●
●
●
●
●
●
X2
● ●
● ●
●●
● ●
●
3
●
●
● ●
2
●
First 25 Matches Second 25 Matches Third 25 Matches Final 25 Matches
1
5
● ● ● ● ● ● ●
Treated Control
●
● ● ●
●● ●
●
●
●
●
● ●
●
0
6
7
First 25 Matches Second 25 Matches Third 25 Matches Final 25 Matches
● ●
● ●
● ●
●
● ●
4
5
6
X1
Controls: X1 , X2 ∼ Uniform(0,5) Treateds: X1 , X2 ∼ Uniform(1,6)
19/23
PSM Increases Model Dependence & Bias Model Dependence
3.5 3.0 2.5
0.03 0.02 0.01
PSM
PSM
MDM
0
40
80
120
Number of Units Pruned
160
MDM
True effect = 2
2.0
0.00
Variance
0.04
Maximum Coefficient across 512 Specifications
0.05
4.0
Bias
0
40
80
120
160
Number of Units Pruned
Yi = 2Ti + X1i + X2i + i i ∼ N(0, 1)
20/23
The Propensity Score Paradox in Real Data
21/23
The Propensity Score Paradox in Real Data Finkel et al. (JOP, 2012)
Nielsen et al. (AJPS, 2011) 30
10 25 8
6 Random
PSM
4 Raw ●
Imbalance
Imbalance
20
15 Raw 10
1/4 SD caliper
Random
PSM
●
1/4 SD caliper CEM
2
CEM
5
MDM MDM 0
0 0
500
1000
1500
2000
Number of units pruned
2500
3000
0
500
1000
1500
2000
2500
Number of units pruned
21/23
The Propensity Score Paradox in Real Data Finkel et al. (JOP, 2012)
Nielsen et al. (AJPS, 2011) 30
10 25 8
6 Random
PSM
4 Raw ●
Imbalance
Imbalance
20
15 Raw 10
1/4 SD caliper
Random
PSM
●
1/4 SD caliper CEM
2
CEM
5
MDM MDM 0
0 0
500
1000
1500
2000
Number of units pruned
2500
3000
0
500
1000
1500
2000
2500
Number of units pruned
Similar pattern for > 20 other real data sets we checked
21/23
Conclusions
22/23
Conclusions • Why propensity scores should not be used for matching
22/23
Conclusions • Why propensity scores should not be used for matching • Low Standards: sometimes helps, never optimizes
22/23
Conclusions • Why propensity scores should not be used for matching • Low Standards: sometimes helps, never optimizes • The PSM Paradox: When you do “better,” you do worse
22/23
Conclusions • Why propensity scores should not be used for matching • Low Standards: sometimes helps, never optimizes • The PSM Paradox: When you do “better,” you do worse • Some mistakes with PSM:
22/23
Conclusions • Why propensity scores should not be used for matching • Low Standards: sometimes helps, never optimizes • The PSM Paradox: When you do “better,” you do worse • Some mistakes with PSM: Controlling for irrelevant covariates;
22/23
Conclusions • Why propensity scores should not be used for matching • Low Standards: sometimes helps, never optimizes • The PSM Paradox: When you do “better,” you do worse • Some mistakes with PSM: Controlling for irrelevant covariates; Adjusting experimental data;
22/23
Conclusions • Why propensity scores should not be used for matching • Low Standards: sometimes helps, never optimizes • The PSM Paradox: When you do “better,” you do worse • Some mistakes with PSM: Controlling for irrelevant covariates; Adjusting experimental data; Reestimating propensity score after eliminating noncommon support;
22/23
Conclusions • Why propensity scores should not be used for matching • Low Standards: sometimes helps, never optimizes • The PSM Paradox: When you do “better,” you do worse • Some mistakes with PSM: Controlling for irrelevant covariates; Adjusting experimental data; Reestimating propensity score after eliminating noncommon support; 1/4 caliper on propensity score;
22/23
Conclusions • Why propensity scores should not be used for matching • Low Standards: sometimes helps, never optimizes • The PSM Paradox: When you do “better,” you do worse • Some mistakes with PSM: Controlling for irrelevant covariates; Adjusting experimental data; Reestimating propensity score after eliminating noncommon support; 1/4 caliper on propensity score; Not switching to other methods.
22/23
Conclusions • Why propensity scores should not be used for matching • Low Standards: sometimes helps, never optimizes • The PSM Paradox: When you do “better,” you do worse • Some mistakes with PSM: Controlling for irrelevant covariates; Adjusting experimental data; Reestimating propensity score after eliminating noncommon support; 1/4 caliper on propensity score; Not switching to other methods. • A warning for any matching method:
22/23
Conclusions • Why propensity scores should not be used for matching • Low Standards: sometimes helps, never optimizes • The PSM Paradox: When you do “better,” you do worse • Some mistakes with PSM: Controlling for irrelevant covariates; Adjusting experimental data; Reestimating propensity score after eliminating noncommon support; 1/4 caliper on propensity score; Not switching to other methods. • A warning for any matching method: • Pruning discards information; you must overcome this.
22/23
Conclusions • Why propensity scores should not be used for matching • Low Standards: sometimes helps, never optimizes • The PSM Paradox: When you do “better,” you do worse • Some mistakes with PSM: Controlling for irrelevant covariates; Adjusting experimental data; Reestimating propensity score after eliminating noncommon support; 1/4 caliper on propensity score; Not switching to other methods. • A warning for any matching method: • Pruning discards information; you must overcome this. • Other methods can generate a “paradox” if you prune after approximating full blocking (rare, but possible)
22/23
Conclusions • Why propensity scores should not be used for matching • Low Standards: sometimes helps, never optimizes • The PSM Paradox: When you do “better,” you do worse • Some mistakes with PSM: Controlling for irrelevant covariates; Adjusting experimental data; Reestimating propensity score after eliminating noncommon support; 1/4 caliper on propensity score; Not switching to other methods. • A warning for any matching method: • Pruning discards information; you must overcome this. • Other methods can generate a “paradox” if you prune after approximating full blocking (rare, but possible) • If you’re not doing positive good, you may be hurting yourself
22/23
Conclusions • Why propensity scores should not be used for matching • Low Standards: sometimes helps, never optimizes • The PSM Paradox: When you do “better,” you do worse • Some mistakes with PSM: Controlling for irrelevant covariates; Adjusting experimental data; Reestimating propensity score after eliminating noncommon support; 1/4 caliper on propensity score; Not switching to other methods. • A warning for any matching method: • Pruning discards information; you must overcome this. • Other methods can generate a “paradox” if you prune after approximating full blocking (rare, but possible) • If you’re not doing positive good, you may be hurting yourself • Matching methods still highly recommended; choose one with
higher standards
22/23
For more information, papers, & software
GaryKing.org www.mit.edu/∼rnielsen
23/23
Richard Nielsen2 MIT
Talk Department of Statistics, Harvard University, 11/18/2015
1 2
GaryKing.org www.mit.edu/∼rnielsen
1/23
The Scholarly Influence of Propensity Score Matching
2/23
The Scholarly Influence of Propensity Score Matching
• The most commonly used matching method
2/23
The Scholarly Influence of Propensity Score Matching
• The most commonly used matching method • In 49,600 articles! (according to Google Scholar)
2/23
The Scholarly Influence of Propensity Score Matching
• The most commonly used matching method • In 49,600 articles! (according to Google Scholar) • Maybe even “the most developed and popular strategy for
causal analysis in observational studies” (Pearl, 2010)
2/23
The Scholarly Influence of Propensity Score Matching
• The most commonly used matching method • In 49,600 articles! (according to Google Scholar) • Maybe even “the most developed and popular strategy for
causal analysis in observational studies” (Pearl, 2010) • This paper is about: propensity score matching,
2/23
The Scholarly Influence of Propensity Score Matching
• The most commonly used matching method • In 49,600 articles! (according to Google Scholar) • Maybe even “the most developed and popular strategy for
causal analysis in observational studies” (Pearl, 2010) • This paper is about: propensity score matching, as used in practice.
2/23
The Scholarly Influence of Propensity Score Matching
• The most commonly used matching method • In 49,600 articles! (according to Google Scholar) • Maybe even “the most developed and popular strategy for
causal analysis in observational studies” (Pearl, 2010) • This paper is about: propensity score matching, as used in practice. Not implicated by our results:
2/23
The Scholarly Influence of Propensity Score Matching
• The most commonly used matching method • In 49,600 articles! (according to Google Scholar) • Maybe even “the most developed and popular strategy for
causal analysis in observational studies” (Pearl, 2010) • This paper is about: propensity score matching, as used in practice. Not implicated by our results: • Other uses of propensity scores: E.g.,
2/23
The Scholarly Influence of Propensity Score Matching
• The most commonly used matching method • In 49,600 articles! (according to Google Scholar) • Maybe even “the most developed and popular strategy for
causal analysis in observational studies” (Pearl, 2010) • This paper is about: propensity score matching, as used in practice. Not implicated by our results: • Other uses of propensity scores: E.g., regression adjustment,
2/23
The Scholarly Influence of Propensity Score Matching
• The most commonly used matching method • In 49,600 articles! (according to Google Scholar) • Maybe even “the most developed and popular strategy for
causal analysis in observational studies” (Pearl, 2010) • This paper is about: propensity score matching, as used in practice. Not implicated by our results: • Other uses of propensity scores: E.g., regression adjustment,
inverse weighting,
2/23
The Scholarly Influence of Propensity Score Matching
• The most commonly used matching method • In 49,600 articles! (according to Google Scholar) • Maybe even “the most developed and popular strategy for
causal analysis in observational studies” (Pearl, 2010) • This paper is about: propensity score matching, as used in practice. Not implicated by our results: • Other uses of propensity scores: E.g., regression adjustment,
inverse weighting, stratification,
2/23
The Scholarly Influence of Propensity Score Matching
• The most commonly used matching method • In 49,600 articles! (according to Google Scholar) • Maybe even “the most developed and popular strategy for
causal analysis in observational studies” (Pearl, 2010) • This paper is about: propensity score matching, as used in practice. Not implicated by our results: • Other uses of propensity scores: E.g., regression adjustment,
inverse weighting, stratification, pscores used in other methods
2/23
The Scholarly Influence of Propensity Score Matching
• The most commonly used matching method • In 49,600 articles! (according to Google Scholar) • Maybe even “the most developed and popular strategy for
causal analysis in observational studies” (Pearl, 2010) • This paper is about: propensity score matching, as used in practice. Not implicated by our results: • Other uses of propensity scores: E.g., regression adjustment,
inverse weighting, stratification, pscores used in other methods • The mathematical theorems about propensity scores
2/23
Matching to Reduce Model Dependence
3/23
Matching to Reduce Model Dependence (Ho, Imai, King, Stuart, 2007: fig.1, Political Analysis)
3/23
Matching to Reduce Model Dependence (Ho, Imai, King, Stuart, 2007: fig.1, Political Analysis)
12
Outcome
10 8 6 4 2 0 12
14
16
18
20
22
24
26
28
Education (years)
3/23
Matching to Reduce Model Dependence (Ho, Imai, King, Stuart, 2007: fig.1, Political Analysis)
12
T
Outcome
T T T T
T
10
T
T
T T
T T TTT T T T T T
8 6 4 2 0 12
14
16
18
20
22
24
26
28
Education (years)
3/23
Matching to Reduce Model Dependence
Outcome
(Ho, Imai, King, Stuart, 2007: fig.1, Political Analysis)
12
C
10
C T CC T CC
8 6
C C C C
C C
T CT C C T T CC T TC T TCC C C C TCT C C T T TC T T T C T CT
C C C CCC
4
C C C
2 C
0 12
14
16
18
20
22
24
26
28
Education (years)
3/23
Matching to Reduce Model Dependence
Outcome
(Ho, Imai, King, Stuart, 2007: fig.1, Political Analysis)
12
C
10
C T CC T CC
8 6
C C C C
C C
T CT C C T T CC T TC T TCC C C C TCT C C T T TC T T T C T CT
C C C CCC
4
C C C
2 C
0 12
14
16
18
20
22
24
26
28
Education (years)
3/23
Matching to Reduce Model Dependence
Outcome
(Ho, Imai, King, Stuart, 2007: fig.1, Political Analysis)
12
C
10
C T CC T CC
8 6
C C C C
C C
T CT C C T T CC T TC T TCC C C C TCT C C T T TC T T T C T CT
C C C CCC
4
C C C
2 C
0 12
14
16
18
20
22
24
26
28
Education (years)
3/23
Matching to Reduce Model Dependence
Outcome
(Ho, Imai, King, Stuart, 2007: fig.1, Political Analysis)
12
C
10
C T CC T CC
8 6
C C C C
C C
T CT C C T T CC T TC T TCC C C C TCT C C T T TC T T T C T CT
C C C CCC
4
C C C
2 C
0 12
14
16
18
20
22
24
26
28
Education (years)
3/23
Matching to Reduce Model Dependence
Outcome
(Ho, Imai, King, Stuart, 2007: fig.1, Political Analysis)
12
C
10
C T CC T CC
8 6
C C C C
C C
T CT C C T T CC T TC T TCC C C C TCT C C T T TC T T T C T CT
C C C CCC
4
C C C
2 C
0 12
14
16
18
20
22
24
26
28
Education (years)
3/23
Matching to Reduce Model Dependence
Outcome
(Ho, Imai, King, Stuart, 2007: fig.1, Political Analysis)
12
C
10
C T CC T CC
8 6
C C C C
C C
T CT C C T T CC T TC T TCC C C C TCT C C T T TC T T T C T CT
C C C CCC
4
C C C
2 C
0 12
14
16
18
20
22
24
26
28
Education (years)
3/23
The Problems Matching Solves
4/23
The Problems Matching Solves Without Matching:
4/23
The Problems Matching Solves Without Matching: Imbalance
4/23
The Problems Matching Solves Without Matching: Imbalance
Model Dependence
4/23
The Problems Matching Solves Without Matching: Imbalance
Model Dependence
Researcher discretion
4/23
The Problems Matching Solves Without Matching: Imbalance
Model Dependence
Researcher discretion
Bias
4/23
The Problems Matching Solves Without Matching: Imbalance
Model Dependence
Researcher discretion
Bias
• Qualitative choice from unbiased estimates = biased estimator
4/23
The Problems Matching Solves Without Matching: Imbalance
Model Dependence
Researcher discretion
Bias
• Qualitative choice from unbiased estimates = biased estimator • e.g., Choosing from results of 50 randomized experiments
4/23
The Problems Matching Solves Without Matching: Imbalance
Model Dependence
Researcher discretion
Bias
• Qualitative choice from unbiased estimates = biased estimator • e.g., Choosing from results of 50 randomized experiments • Choosing based on “plausibility” is probably worse[eff]
4/23
The Problems Matching Solves Without Matching: Imbalance
Model Dependence
Researcher discretion
Bias
• Qualitative choice from unbiased estimates = biased estimator • e.g., Choosing from results of 50 randomized experiments • Choosing based on “plausibility” is probably worse[eff] • conscientious effort doesn’t avoid biases (Banaji 2013)[acc]
4/23
The Problems Matching Solves Without Matching: Imbalance
Model Dependence
Researcher discretion
Bias
• Qualitative choice from unbiased estimates = biased estimator • e.g., Choosing from results of 50 randomized experiments • Choosing based on “plausibility” is probably worse[eff] • conscientious effort doesn’t avoid biases (Banaji 2013)[acc] • People do not have easy access to their own mental processes
or feedback to avoid the problem (Wilson and Brekke 1994)[exprt]
4/23
The Problems Matching Solves Without Matching: Imbalance
Model Dependence
Researcher discretion
Bias
• Qualitative choice from unbiased estimates = biased estimator • e.g., Choosing from results of 50 randomized experiments • Choosing based on “plausibility” is probably worse[eff] • conscientious effort doesn’t avoid biases (Banaji 2013)[acc] • People do not have easy access to their own mental processes
or feedback to avoid the problem (Wilson and Brekke 1994)[exprt] • Experts overestimate their ability to control personal biases
more than nonexperts, and more prominent experts are the most overconfident (Tetlock 2005)[tch]
4/23
The Problems Matching Solves Without Matching: Imbalance
Model Dependence
Researcher discretion
Bias
• Qualitative choice from unbiased estimates = biased estimator • e.g., Choosing from results of 50 randomized experiments • Choosing based on “plausibility” is probably worse[eff] • conscientious effort doesn’t avoid biases (Banaji 2013)[acc] • People do not have easy access to their own mental processes
or feedback to avoid the problem (Wilson and Brekke 1994)[exprt] • Experts overestimate their ability to control personal biases
more than nonexperts, and more prominent experts are the most overconfident (Tetlock 2005)[tch] • “Teaching psychology is mostly a waste of time” (Kahneman
2011)
4/23
The Problems Matching Solves WithH out H Matching:
Imbalance
Model Dependence
Researcher discretion
Bias
4/23
The Problems Matching Solves WithH out H Matching: Z Imbalance Z
Model Dependence
Researcher discretion
Bias
4/23
The Problems Matching Solves WithH out H Matching: Z Imbalance Z
hhhh (((( (hh h Model Dependence ((( hh (
Researcher discretion
Bias
4/23
The Problems Matching Solves WithH out H Matching: Z Imbalance Z
hhhh (((( (hh h Model Dependence ((( hh (
hhhh (((( ( h (h ( h Researcher discretion ( hhh ( (
Bias
4/23
The Problems Matching Solves WithH out H Matching: Z Imbalance Z
hhhh (((( (hh h Model Dependence ((( hh (
hhhh (((( ( h (h ( h Researcher discretion ( hhh ( (
X X X Bias
4/23
The Problems Matching Solves WithH out H Matching: Z Imbalance Z
hhhh (((( (hh h Model Dependence ((( hh (
hhhh (((( ( h (h ( h Researcher discretion ( hhh ( (
X X X Bias
A central project of statistics: Automating away human discretion
4/23
What’s Matching?
5/23
What’s Matching? • Yi dep var, Ti (1=treated, 0=control), Xi confounders
5/23
What’s Matching? • Yi dep var, Ti (1=treated, 0=control), Xi confounders • Treatment Effect for treated observation i:
5/23
What’s Matching? • Yi dep var, Ti (1=treated, 0=control), Xi confounders • Treatment Effect for treated observation i:
TEi = Yi (1) − Yi (0)
5/23
What’s Matching? • Yi dep var, Ti (1=treated, 0=control), Xi confounders • Treatment Effect for treated observation i:
TEi = Yi (1) − Yi (0) = observed − unobserved
5/23
What’s Matching? • Yi dep var, Ti (1=treated, 0=control), Xi confounders • Treatment Effect for treated observation i:
TEi = Yi − Yi (0) = observed − unobserved
5/23
What’s Matching? • Yi dep var, Ti (1=treated, 0=control), Xi confounders • Treatment Effect for treated observation i:
TEi = Yi − Yi (0) = observed − unobserved • Estimate Yi (0) with Yj with a matched (Xi ≈ Xj ) control
5/23
What’s Matching? • Yi dep var, Ti (1=treated, 0=control), Xi confounders • Treatment Effect for treated observation i:
TEi = Yi − Yi (0) = observed − unobserved • Estimate Yi (0) with Yj with a matched (Xi ≈ Xj ) control • Quantities of Interest:
5/23
What’s Matching? • Yi dep var, Ti (1=treated, 0=control), Xi confounders • Treatment Effect for treated observation i:
TEi = Yi − Yi (0) = observed − unobserved • Estimate Yi (0) with Yj with a matched (Xi ≈ Xj ) control • Quantities of Interest: 1. SATT: Sample Average Treatment effect on the Treated: SATT = Mean (TEi ) i∈{Ti =1}
5/23
What’s Matching? • Yi dep var, Ti (1=treated, 0=control), Xi confounders • Treatment Effect for treated observation i:
TEi = Yi − Yi (0) = observed − unobserved • Estimate Yi (0) with Yj with a matched (Xi ≈ Xj ) control • Quantities of Interest: 1. SATT: Sample Average Treatment effect on the Treated: SATT = Mean (TEi ) i∈{Ti =1}
2. FSATT: Feasible SATT (prune badly matched treateds too)
5/23
What’s Matching? • Yi dep var, Ti (1=treated, 0=control), Xi confounders • Treatment Effect for treated observation i:
TEi = Yi − Yi (0) = observed − unobserved • Estimate Yi (0) with Yj with a matched (Xi ≈ Xj ) control • Quantities of Interest: 1. SATT: Sample Average Treatment effect on the Treated: SATT = Mean (TEi ) i∈{Ti =1}
2. FSATT: Feasible SATT (prune badly matched treateds too) • Big convenience: Follow preprocessing with whatever
statistical method you’d have used without matching
5/23
What’s Matching? • Yi dep var, Ti (1=treated, 0=control), Xi confounders • Treatment Effect for treated observation i:
TEi = Yi − Yi (0) = observed − unobserved • Estimate Yi (0) with Yj with a matched (Xi ≈ Xj ) control • Quantities of Interest: 1. SATT: Sample Average Treatment effect on the Treated: SATT = Mean (TEi ) i∈{Ti =1}
2. FSATT: Feasible SATT (prune badly matched treateds too) • Big convenience: Follow preprocessing with whatever
statistical method you’d have used without matching • Pruning nonmatches makes control vars matter less: reduces imbalance, model dependence, researcher discretion, & bias
5/23
Matching: Finding Hidden Randomized Experiments
6/23
Matching: Finding Hidden Randomized Experiments
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Complete Randomization
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Complete Randomization
Fully Blocked
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization
Fully Blocked
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average
Fully Blocked
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for:
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for: imbalance,
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for: imbalance, model dependence,
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for: imbalance, model dependence, power,
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for: imbalance, model dependence, power, efficiency,
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for: imbalance, model dependence, power, efficiency, bias,
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for: imbalance, model dependence, power, efficiency, bias, research costs,
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for: imbalance, model dependence, power, efficiency, bias, research costs, robustness.
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for: imbalance, model dependence, power, efficiency, bias, research costs, robustness. E.g., Imai, King, Nall 2009: SEs 600% smaller!
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for: imbalance, model dependence, power, efficiency, bias, research costs, robustness. E.g., Imai, King, Nall 2009: SEs 600% smaller!
Goal of Each Matching Method (in Observational Data)
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for: imbalance, model dependence, power, efficiency, bias, research costs, robustness. E.g., Imai, King, Nall 2009: SEs 600% smaller!
Goal of Each Matching Method (in Observational Data) • PSM: complete randomization
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for: imbalance, model dependence, power, efficiency, bias, research costs, robustness. E.g., Imai, King, Nall 2009: SEs 600% smaller!
Goal of Each Matching Method (in Observational Data) • PSM: complete randomization • Other methods: fully blocked
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for: imbalance, model dependence, power, efficiency, bias, research costs, robustness. E.g., Imai, King, Nall 2009: SEs 600% smaller!
Goal of Each Matching Method (in Observational Data) • PSM: complete randomization • Other methods: fully blocked • Other matching methods dominate PSM
6/23
Matching: Finding Hidden Randomized Experiments Types of Experiments Balance Covariates: Observed Unobserved
Complete Randomization On average On average
Fully Blocked Exact On average
Fully blocked dominates complete randomization for: imbalance, model dependence, power, efficiency, bias, research costs, robustness. E.g., Imai, King, Nall 2009: SEs 600% smaller!
Goal of Each Matching Method (in Observational Data) • PSM: complete randomization • Other methods: fully blocked • Other matching methods dominate PSM (wait, it gets worse)
6/23
Method 1: Mahalanobis Distance Matching
7/23
Method 1: Mahalanobis Distance Matching (Approximates Fully Blocked Experiment)
7/23
Method 1: Mahalanobis Distance Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching)
2. Estimation Difference in means or a model
7/23
Method 1: Mahalanobis Distance Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching) • Distance(Xc , Xt ) =
p
(Xc − Xt )0 S −1 (Xc − Xt )
2. Estimation Difference in means or a model
7/23
Method 1: Mahalanobis Distance Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching) p
• Distance(Xc , Xt ) = (Xc − Xt )0 S −1 (Xc − Xt ) • (Mahalanobis is for methodologists; in applications, use
Euclidean!)
2. Estimation Difference in means or a model
7/23
Method 1: Mahalanobis Distance Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching) p
• Distance(Xc , Xt ) = (Xc − Xt )0 S −1 (Xc − Xt ) • (Mahalanobis is for methodologists; in applications, use
Euclidean!) • Match each treated unit to the nearest control unit
2. Estimation Difference in means or a model
7/23
Method 1: Mahalanobis Distance Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching) p
• Distance(Xc , Xt ) = (Xc − Xt )0 S −1 (Xc − Xt ) • (Mahalanobis is for methodologists; in applications, use
Euclidean!) • Match each treated unit to the nearest control unit • Control units: not reused; pruned if unused
2. Estimation Difference in means or a model
7/23
Method 1: Mahalanobis Distance Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching) p
• Distance(Xc , Xt ) = (Xc − Xt )0 S −1 (Xc − Xt ) • (Mahalanobis is for methodologists; in applications, use
Euclidean!) • Match each treated unit to the nearest control unit • Control units: not reused; pruned if unused • Prune matches if Distance>caliper
2. Estimation Difference in means or a model
7/23
Method 1: Mahalanobis Distance Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching) p
• Distance(Xc , Xt ) = (Xc − Xt )0 S −1 (Xc − Xt ) • (Mahalanobis is for methodologists; in applications, use • • • •
Euclidean!) Match each treated unit to the nearest control unit Control units: not reused; pruned if unused Prune matches if Distance>caliper (Many adjustments available to this basic method)
2. Estimation Difference in means or a model
7/23
Mahalanobis Distance Matching 80 70 60 Age 50 40 30 20 12
14
16
18
20
22
Education (years)
24
26
28
8/23
Mahalanobis Distance Matching 80 70 TTT 60
T
Age 50
T
40
T
T TT
T T
T
T TT
T T
T TT
30 20 12
14
16
18
20
22
Education (years)
24
26
28
8/23
Mahalanobis Distance Matching 80 70 60 Age 50 40 30
CC C
C C TTT C C CC C C C T C CC CC C CC C C CC CT T C C T C TT T C C C T C TT T CT C T C C T T TT C
C C C
20 12
14
16
18
20
22
Education (years)
24
26
28
8/23
Mahalanobis Distance Matching 80 70 60 Age 50 40 30
CC C
C C TTT C C CC C C C T C CC CC C CC C C CC CT T C C T C TT T C C C T C TT T CT C T C C T T TT C
C C C
20 12
14
16
18
20
22
Education (years)
24
26
28
8/23
Mahalanobis Distance Matching 80 70 60 Age 50 40 30
CC C
C C TTT C C CC C C C T C CC CC C CC C C CC CT T C C T C TT T C C C T C TT T CT C T C C T T TT C
C C C
20 12
14
16
18
20
22
Education (years)
24
26
28
8/23
Mahalanobis Distance Matching 80 70
C
60
TTT
T C C C C C C C CT T C C T C TT T C C T C TT T CT C T C C T T TT C
Age 50 40 30 20 12
14
16
18
20
22
Education (years)
24
26
28
8/23
Mahalanobis Distance Matching 80 70
C
60
TTT
T C C C C C C C CT T C C T C TT T C C T C TT T CT C T C C T T TT C
Age 50 40 30 20 12
14
16
18
20
22
Education (years)
24
26
28
8/23
Best Case: Mahalanobis Distance Matching
9/23
Best Case: Mahalanobis Distance Matching 80 C C C C C C C C C C CCCCC C CCCCCC C C C C C C CC TCC CC C CCC C CCCC TT C C C C C T C C T C C C C C C C C C C CC CC C CC C CC TC C C C CCC CC CC CCCC CCCCC CCC CCCCC CC C CC CC C CC CC C C C C CC C CCC CC C C C CCCC C T C C C C T C C C C C C C C C C C C C T C C C C C C C C C C C C C C T C C C C C C T C C C T C CC C C CC C T C CC C TC C C C CC TCCC C C CCC CC C C CCC C CCCCC CC CC TC CC C C C C C T C C C T C C C C C CCC CCCCCCCC T CC C C C C CCCC C CTCCC C TC CTCC CCC CC T C CC C C C C C C C T C C C C C C C C T C C CCC CC C C C C CCC C CC CC CC CC CCCC T C CCC T CC C C C C T C T C C T C C C C T C C T C C CC C C T C CC C C C C T C C CCCC C TCCCC C CC CCC CC C T C CCC CCC CC CCC C C C TC TC CCC C C T C C T T CCC C C C T C C C C C C C CCCC C C C T C CC C CC T C CC T CCC C C C C CC CCCC TC T TCCCCC T CC C C C C CCC CC CC CC CC CC C C CCCC CCC
70 60 Age 50 40 30 20 12
14
16
18
20
22
Education (years)
24
26
28
9/23
Best Case: Mahalanobis Distance Matching 80 C T
70
TT C C T C T C
T C
60 Age 50 40
C T
T C
T C
T C
14
16
T T C TC C T C T C C T
T C
C T
30
C T C T C TT T C C T T C C TC T C T C T T C C T C T C T TC TT C T C C TC T C T C TC C T C T C TC T C C TC T T T C
20 12
18
20
22
Education (years)
24
26
28
9/23
Method 2: Coarsened Exact Matching
10/23
Method 2: Coarsened Exact Matching (Approximates Fully Blocked Experiment)
10/23
Method 2: Coarsened Exact Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching)
2. Estimation Difference in means or a model
10/23
Method 2: Coarsened Exact Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching) • Temporarily coarsen X as much as you’re willing
2. Estimation Difference in means or a model
10/23
Method 2: Coarsened Exact Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching) • Temporarily coarsen X as much as you’re willing • e.g., Education (grade school, high school, college, graduate)
2. Estimation Difference in means or a model
10/23
Method 2: Coarsened Exact Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching) • Temporarily coarsen X as much as you’re willing • e.g., Education (grade school, high school, college, graduate) • Apply exact matching to the coarsened X , C (X )
2. Estimation Difference in means or a model
10/23
Method 2: Coarsened Exact Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching) • Temporarily coarsen X as much as you’re willing • e.g., Education (grade school, high school, college, graduate) • Apply exact matching to the coarsened X , C (X ) • Sort observations into strata, each with unique values of C (X )
2. Estimation Difference in means or a model
10/23
Method 2: Coarsened Exact Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching) • Temporarily coarsen X as much as you’re willing • e.g., Education (grade school, high school, college, graduate) • Apply exact matching to the coarsened X , C (X ) • Sort observations into strata, each with unique values of C (X ) • Prune any stratum with 0 treated or 0 control units
2. Estimation Difference in means or a model
10/23
Method 2: Coarsened Exact Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching) • Temporarily coarsen X as much as you’re willing • e.g., Education (grade school, high school, college, graduate) • Apply exact matching to the coarsened X , C (X ) • Sort observations into strata, each with unique values of C (X ) • Prune any stratum with 0 treated or 0 control units • Pass on original (uncoarsened) units except those pruned
2. Estimation Difference in means or a model
10/23
Method 2: Coarsened Exact Matching (Approximates Fully Blocked Experiment)
1. Preprocess (Matching) • Temporarily coarsen X as much as you’re willing • e.g., Education (grade school, high school, college, graduate) • Apply exact matching to the coarsened X , C (X ) • Sort observations into strata, each with unique values of C (X ) • Prune any stratum with 0 treated or 0 control units • Pass on original (uncoarsened) units except those pruned
2. Estimation Difference in means or a model • Weight controls in each stratum to equal treateds
10/23
Coarsened Exact Matching
11/23
Coarsened Exact Matching 80
Age
70
CC C
60
C
50
C
CC C CC C CC C
40
C CT
30
C C CT C
C C TTT CC T C C C C C C TC C T C TT T C T C TT T C TC T T TT
C C C
20 12
14
16
18
20
22
Education
24
26
28
11/23
Coarsened Exact Matching Old
CC C
Retirement
C
C Senior Discounts
CC C CC C CC C
The Big 40
C CT
Don't trust anyone over 30
C C CT C
C C TTT CC T C C C C C C TC C T C TT T C T C TT T C TC T T TT
C C C
Drinking age HS
BA
MA
PhD
Education
2nd PhD
11/23
Coarsened Exact Matching Old
CC C
Retirement
C
C Senior Discounts
CC C CC C CC C
The Big 40
C CT
Don't trust anyone over 30
C C CT C
C C TTT CC T C C C C C C TC C T C TT T C T C TT T C TC T T TT
C C C
Drinking age HS
BA
MA
PhD
Education
2nd PhD
11/23
Coarsened Exact Matching Old
Retirement
C TTT CC T C C C C C C CT TC C T C TT T C T C TT C CT TC
Senior Discounts
The Big 40 Don't trust anyone over 30 Drinking age HS
BA
MA
PhD
Education
2nd PhD
11/23
Coarsened Exact Matching Old
Retirement
TTT
C
T C C C C TC CT C TT C T TT T C C TC C
C
C
Senior Discounts
CT The Big 40
CT
C
Don't trust anyone over 30 Drinking age HS
BA
MA
PhD
Education
2nd PhD
11/23
Coarsened Exact Matching 80 70 TTT
C
60
T C C C C TC CT C TT C T TT T C C TC C
C
C
Age
CT
50 40
CT
C
30 20 12
14
16
18
20
22
Education
24
26
28
11/23
Best Case: Coarsened Exact Matching
12/23
Best Case: Coarsened Exact Matching 80 C C C C C C C C C C CCCCC C CCCCCC C C C C C C CC TCC CC C CCC C CCCC TT C C C C C T C C T C C C C C C C C C C C C C C C TCC CCCCC CCCC CCCCCCC CC CC CCCC CCCCC CC C C C CC C CC CCC C C C C C C CC CCCC C C C C T C C CC CCCCC CC T C C C C C C C C C C T C C C C C CC CT C CC C C C C C C C T C C C C T C CC C CC C T C CC C TC C C C CC TCCC C C CCC CCCC C CCC C CCCCC C CC CC TC CC C C C C C T C C C T C C C C C C C CCC CCCCCCC C T CC CC TCCCCC C C C C C CTCCC TC T C CC C C C C C C C CCC TCC C C CC C CC C CC CT T C C CCC CC C C C C C C C C T CCC CC CC C CCC CC C C C C C C T C C T C C T C C T C C T C C C C C T CC C CC CC C C C C C CCCC C TCC C CC CC C T CCCC CCT CCC CC CC CCCC C TC TC CCC C C T CCC CC C CC T T CC C C T C C C C C C T C CC C CCC CC T C CC T CCC C C C C CC TC T C CCCC TCCCCCC T CC C C C C CCC CC CC CC C C C CC C C CC C C C
70 60 Age
50 40 30 20 12
14
16
18
20
22
24
26
28
Education
12/23
Best Case: Coarsened Exact Matching 80 C T
70
C T
C T
C T
60 Age
C C TT C T C T
C T
C T C T C T C T C T T C T C C T T C C T C T C T C T C T C TT C T C TC C T T C T C C TC T C T C TC C T C T C T C T T
50 40 30
C T
20 12
14
16
18
20
22
24
26
28
Education
12/23
Best Case: Coarsened Exact Matching 80 C T
70
C T
C T
C T
60 Age
C C TT C T C T
C T
C T C T C T C T C T T C T C C T T C C T C T C T C T C T C TT C T C TC C T T C T C C TC T C T C TC C T C T C T C T T
50 40 30
C T
20 12
14
16
18
20
22
24
26
28
Education
12/23
Method 3: Propensity Score Matching
13/23
Method 3: Propensity Score Matching (Approximates Completely Randomized Experiment)
13/23
Method 3: Propensity Score Matching (Approximates Completely Randomized Experiment)
1. Preprocess (Matching)
2. Estimation Difference in means or a model
13/23
Method 3: Propensity Score Matching (Approximates Completely Randomized Experiment)
1. Preprocess (Matching) • Reduce k elements of X to scalar
πi ≡ Pr(Ti = 1|X ) =
1 1+e −Xi β
2. Estimation Difference in means or a model
13/23
Method 3: Propensity Score Matching (Approximates Completely Randomized Experiment)
1. Preprocess (Matching) • Reduce k elements of X to scalar
πi ≡ Pr(Ti = 1|X ) = 1+e1−Xi β • Distance(Xc , Xt ) = |πc − πt |
2. Estimation Difference in means or a model
13/23
Method 3: Propensity Score Matching (Approximates Completely Randomized Experiment)
1. Preprocess (Matching) • Reduce k elements of X to scalar
πi ≡ Pr(Ti = 1|X ) = 1+e1−Xi β • Distance(Xc , Xt ) = |πc − πt | • Match each treated unit to the nearest control unit
2. Estimation Difference in means or a model
13/23
Method 3: Propensity Score Matching (Approximates Completely Randomized Experiment)
1. Preprocess (Matching) • Reduce k elements of X to scalar
πi ≡ Pr(Ti = 1|X ) = 1+e1−Xi β • Distance(Xc , Xt ) = |πc − πt | • Match each treated unit to the nearest control unit • Control units: not reused; pruned if unused
2. Estimation Difference in means or a model
13/23
Method 3: Propensity Score Matching (Approximates Completely Randomized Experiment)
1. Preprocess (Matching) • Reduce k elements of X to scalar • • • •
πi ≡ Pr(Ti = 1|X ) = 1+e1−Xi β Distance(Xc , Xt ) = |πc − πt | Match each treated unit to the nearest control unit Control units: not reused; pruned if unused Prune matches if Distance>caliper
2. Estimation Difference in means or a model
13/23
Method 3: Propensity Score Matching (Approximates Completely Randomized Experiment)
1. Preprocess (Matching) • Reduce k elements of X to scalar • • • • •
πi ≡ Pr(Ti = 1|X ) = 1+e1−Xi β Distance(Xc , Xt ) = |πc − πt | Match each treated unit to the nearest control unit Control units: not reused; pruned if unused Prune matches if Distance>caliper (Many adjustments available to this basic method)
2. Estimation Difference in means or a model
13/23
Propensity Score Matching 80 70 60 Age 50 40 30
C C C C
C C TTT C C CC T C CC C C C CC C CC C C CC CT TC CT C TT T C C C T C TT T CT C T C C T T TT
C C C
20 12
16
20
24
Education (years)
28
14/23
Propensity Score Matching 80
60 Age 50 40 30
1
C C C C
70
C
C TTT C CC T C CC C C C CC C CC C C CC CT TC CT C TT T C C C T C TT T CT C T C C T T TT
C
C
C C
20
0 12
16
20
24
28 Propensity
Education (years)
14/23
Propensity Score Matching 80
60 Age 50 40 30
1
C C C C
70
C
C TTT C CC T C CC C C C CC C CC C C CC CT TC CT C TT T C C C T C TT T CT C T C C T T TT
C
C
C C
20 12
16
20
24
T T C T C C C T T C T C C T T C C T C C C T C T T C C C C C C C C 0
28 Propensity
Education (years)
14/23
Propensity Score Matching 80 1 70 T T C T C C C T T C T C C T T C C T C C C T C T T C C C C C C C C 0
60 Age 50 40 30 20 12
16
20
24
28 Propensity
Education (years)
14/23
Propensity Score Matching 80 1 70 T T C T C C C T T C T C C T T C C T C C C T C T T C C C C C C C C 0
60 Age 50 40 30 20 12
16
20
24
28 Propensity
Education (years)
14/23
Propensity Score Matching 80 1 70 T T C T
60
C T T C T C T T C C T C C C T C T T C
Age 50 40 30 20
0 12
16
20
24
28 Propensity
Education (years)
14/23
Propensity Score Matching 80 1 70 TTT 60
TC C C C C CT TC CT C TT T C C C T C TT T CT C T C C T T TT
Age 50 40 30
C C C
20
T T C T C T T C T C T T C C T C C C T C T T C
0 12
16
20
24
28 Propensity
Education (years)
14/23
Propensity Score Matching 80 70 TTT 60
TC C C C C CT TC CT C TT T C C C T C TT T CT C T C C T T TT
Age 50 40 30
C C C
20 12
16
20
24
Education (years)
28
14/23
Best Case: Propensity Score Matching
15/23
Best Case: Propensity Score Matching 80 70 60 Age 50 40 30
C C C C C CC C C C C C C CCCCCC CC C C CC C CC C TCCCC C C CCC CCCCC T TC C C C T C T C C C CC CC C C C CC C CC CCCC CC CCC TC C CCC CCCCC C CCCCCCC C C CC CC CCC C CCCC C C CC C C C C CCC C C CC C T C C C C C T C C C C C C C C C C C C C C C T C C C C C C C C C C C C C C T C C C C C C T C C TCCC C CCC C T C C C CCC C C CC C CC CCC TC C C CC CCCC CT C C C T CCC CC C C C C C C C C T C C C T C C C C C C C CCC C CCC C C T CCC CCC CC CCC C C CC C CCC TCCC CC C CTC CC T CC C C T C C T C C C C C C C T CCCCCCCC C C C C C CCCC C C TC T CC C C CCCCC CC C CCCC TC C T C TT CC C TC C C C CCCC C TCC C C C C C T C C C C C C C C T C C CCC CC CC T C C T CCCC CTC T C CCC C CCCC C TC CC C TCC CC CC C C TC C C CCC C CC CCCC C C T C CC CC CC T C TCC C C C CC C C C T C T T T C C C CCC C C C C C CC C C C CC C CC C CCC CCCC CCC C
1
20
0 12
16
20
24
Education (years)
28 Propensity Score
15/23
Best Case: Propensity Score Matching 80 70 60 Age 50 40 30
C C C C C CC C C C C C C CCCCCC CC C C CC C CC C TCCCC C C CCC CCCCC T TC C C C T C T C C C CC CC C C C CC C CC CCCC CC CCC TC C CCC CCCCC C CCCCCCC C C CC CC CCC C CCCC C C CC C C C C CCC C C CC C T C C C C C T C C C C C C C C C C C C C C C T C C C C C C C C C C C C C C T C C C C C C T C C TCCC C CCC C T C C C CCC C C CC C CC CCC TC C C CC CCCC CT C C C T CCC CC C C C C C C C C T C C C T C C C C C C C CCC C CCC C C T CCC CCC CC CCC C C CC C CCC TCCC CC C CTC CC T CC C C T C C T C C C C C C C T CCCCCCCC C C C C C CCCC C C TC T CC C C CCCCC CC C CCCC TC C T C TT CC C TC C C C CCCC C TCC C C C C C T C C C C C C C C T C C CCC CC CC T C C T CCCC CTC T C CCC C CCCC C TC CC C TCC CC CC C C TC C C CCC C CC CCCC C C T C CC CC CC T C TCC C C C CC C C C T C T T T C C C CCC C C C C C CC C C C CC C CC C CCC CCCC CCC C
1
20
0 12
16
20
24
Education (years)
28 Propensity Score
15/23
Best Case: Propensity Score Matching 80 T
70
C
C
TT C T
CC TC C T C
T
TC C T T C C T T C TC C T C T C T C T C CT T T T T CC T CC C T TTC C C C TTT C T C T C T TCCC C C C C T T T CC T T T C T TC C TCTCT TT TC T C T
60 Age 50 40 30 20 12
16
20
24
28
Education (years)
15/23
Best Case: Propensity Score Matching is Suboptimal 80 T
70
C
C
TT C T
CC TC C T C
T
TC C T T C C T T C TC C T C T C T C T C CT T T T T CC T CC C T TTC C C C TTT C T C T C T TCCC C C C C T T T CC T T T C T TC C TCTCT TT TC T C T
60 Age 50 40 30 20 12
16
20
24
28
Education (years)
15/23
Random Pruning Increases Imbalance
16/23
Random Pruning Increases Imbalance Deleting data only helps if you’re careful!
16/23
Random Pruning Increases Imbalance Deleting data only helps if you’re careful!
• “Random pruning”: pruning process is independent of X
16/23
Random Pruning Increases Imbalance Deleting data only helps if you’re careful!
• “Random pruning”: pruning process is independent of X • Discrete example
16/23
Random Pruning Increases Imbalance Deleting data only helps if you’re careful!
• “Random pruning”: pruning process is independent of X • Discrete example • Sex-balanced dataset: treateds Mt , Ft , controls Mc , Fc
16/23
Random Pruning Increases Imbalance Deleting data only helps if you’re careful!
• “Random pruning”: pruning process is independent of X • Discrete example • Sex-balanced dataset: treateds Mt , Ft , controls Mc , Fc • Randomly prune 1 treated & 1 control 4 possible datasets: 2 balanced {Mt , Mc }, {Ft , Fc } 2 imbalanced {Mt , Fc }, {Ft , Mc }
16/23
Random Pruning Increases Imbalance Deleting data only helps if you’re careful!
• “Random pruning”: pruning process is independent of X • Discrete example • Sex-balanced dataset: treateds Mt , Ft , controls Mc , Fc • Randomly prune 1 treated & 1 control 4 possible datasets: 2 balanced {Mt , Mc }, {Ft , Fc } 2 imbalanced {Mt , Fc }, {Ft , Mc } • =⇒ random pruning increases imbalance
16/23
Random Pruning Increases Imbalance Deleting data only helps if you’re careful!
• “Random pruning”: pruning process is independent of X • Discrete example • Sex-balanced dataset: treateds Mt , Ft , controls Mc , Fc • Randomly prune 1 treated & 1 control 4 possible datasets: 2 balanced {Mt , Mc }, {Ft , Fc } 2 imbalanced {Mt , Fc }, {Ft , Mc } • =⇒ random pruning increases imbalance • Continuous example
16/23
Random Pruning Increases Imbalance Deleting data only helps if you’re careful!
• “Random pruning”: pruning process is independent of X • Discrete example • Sex-balanced dataset: treateds Mt , Ft , controls Mc , Fc • Randomly prune 1 treated & 1 control 4 possible datasets: 2 balanced {Mt , Mc }, {Ft , Fc } 2 imbalanced {Mt , Fc }, {Ft , Mc } • =⇒ random pruning increases imbalance • Continuous example • Dataset: T ∈ {0, 1} randomly assigned; X any fixed variable; with n units
16/23
Random Pruning Increases Imbalance Deleting data only helps if you’re careful!
• “Random pruning”: pruning process is independent of X • Discrete example • Sex-balanced dataset: treateds Mt , Ft , controls Mc , Fc • Randomly prune 1 treated & 1 control 4 possible datasets: 2 balanced {Mt , Mc }, {Ft , Fc } 2 imbalanced {Mt , Fc }, {Ft , Mc } • =⇒ random pruning increases imbalance • Continuous example • Dataset: T ∈ {0, 1} randomly assigned; X any fixed variable; with n units • Measure of imbalance: squared difference in means d 2 , where d = X¯t − X¯c
16/23
Random Pruning Increases Imbalance Deleting data only helps if you’re careful!
• “Random pruning”: pruning process is independent of X • Discrete example • Sex-balanced dataset: treateds Mt , Ft , controls Mc , Fc • Randomly prune 1 treated & 1 control 4 possible datasets: 2 balanced {Mt , Mc }, {Ft , Fc } 2 imbalanced {Mt , Fc }, {Ft , Mc } • =⇒ random pruning increases imbalance • Continuous example • Dataset: T ∈ {0, 1} randomly assigned; X any fixed variable; with n units • Measure of imbalance: squared difference in means d 2 , where d = X¯t − X¯c • E (d 2 ) = V (d) ∝ 1/n (note: E (d) = 0)
16/23
Random Pruning Increases Imbalance Deleting data only helps if you’re careful!
• “Random pruning”: pruning process is independent of X • Discrete example • Sex-balanced dataset: treateds Mt , Ft , controls Mc , Fc • Randomly prune 1 treated & 1 control 4 possible datasets: 2 balanced {Mt , Mc }, {Ft , Fc } 2 imbalanced {Mt , Fc }, {Ft , Mc } • =⇒ random pruning increases imbalance • Continuous example • Dataset: T ∈ {0, 1} randomly assigned; X any fixed variable; with n units • Measure of imbalance: squared difference in means d 2 , where d = X¯t − X¯c • E (d 2 ) = V (d) ∝ 1/n (note: E (d) = 0) • Random pruning n declines E (d 2 ) increases
16/23
Random Pruning Increases Imbalance Deleting data only helps if you’re careful!
• “Random pruning”: pruning process is independent of X • Discrete example • Sex-balanced dataset: treateds Mt , Ft , controls Mc , Fc • Randomly prune 1 treated & 1 control 4 possible datasets: 2 balanced {Mt , Mc }, {Ft , Fc } 2 imbalanced {Mt , Fc }, {Ft , Mc } • =⇒ random pruning increases imbalance • Continuous example • Dataset: T ∈ {0, 1} randomly assigned; X any fixed variable; with n units • Measure of imbalance: squared difference in means d 2 , where d = X¯t − X¯c • E (d 2 ) = V (d) ∝ 1/n (note: E (d) = 0) • Random pruning n declines E (d 2 ) increases • =⇒ random pruning increases imbalance
16/23
PSM’s Statistical Properties
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse • When PSM approximates complete randomization (to begin
with or, after some pruning)
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse • When PSM approximates complete randomization (to begin
with or, after some pruning) within strata)
all π ˆ ≈ 0.5 (or constant
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse • When PSM approximates complete randomization (to begin
with or, after some pruning) all π ˆ ≈ 0.5 (or constant pruning at random within strata)
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse • When PSM approximates complete randomization (to begin
with or, after some pruning) all π ˆ ≈ 0.5 (or constant pruning at random Imbalance within strata)
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse • When PSM approximates complete randomization (to begin
with or, after some pruning) all π ˆ ≈ 0.5 (or constant pruning at random Imbalance within strata) Inefficency
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse • When PSM approximates complete randomization (to begin
with or, after some pruning) all π ˆ ≈ 0.5 (or constant pruning at random Imbalance within strata) Model dependence Inefficency
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse • When PSM approximates complete randomization (to begin
with or, after some pruning) all π ˆ ≈ 0.5 (or constant pruning at random Imbalance within strata) Model dependence Bias Inefficency
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse • When PSM approximates complete randomization (to begin
with or, after some pruning) all π ˆ ≈ 0.5 (or constant pruning at random Imbalance within strata) Model dependence Bias Inefficency • If the data have no good matches, the paradox won’t be a problem but you’re cooked anyway.
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse • When PSM approximates complete randomization (to begin
with or, after some pruning) all π ˆ ≈ 0.5 (or constant pruning at random Imbalance within strata) Model dependence Bias Inefficency • If the data have no good matches, the paradox won’t be a problem but you’re cooked anyway. • Doesn’t PSM solve the curse of dimensionality problem?
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse • When PSM approximates complete randomization (to begin
with or, after some pruning) all π ˆ ≈ 0.5 (or constant pruning at random Imbalance within strata) Model dependence Bias Inefficency • If the data have no good matches, the paradox won’t be a problem but you’re cooked anyway. • Doesn’t PSM solve the curse of dimensionality problem? Nope.
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse • When PSM approximates complete randomization (to begin
with or, after some pruning) all π ˆ ≈ 0.5 (or constant pruning at random Imbalance within strata) Model dependence Bias Inefficency • If the data have no good matches, the paradox won’t be a problem but you’re cooked anyway. • Doesn’t PSM solve the curse of dimensionality problem? Nope. The PSM Paradox gets worse with more covariates
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse • When PSM approximates complete randomization (to begin
with or, after some pruning) all π ˆ ≈ 0.5 (or constant pruning at random Imbalance within strata) Model dependence Bias Inefficency • If the data have no good matches, the paradox won’t be a problem but you’re cooked anyway. • Doesn’t PSM solve the curse of dimensionality problem? Nope. The PSM Paradox gets worse with more covariates • What if I match on a few important covariates and then use PSM?
17/23
PSM’s Statistical Properties 1. Low Standards: Sometimes helps, never optimizes • Efficient relative to complete randomization, but • Inefficient relative to (the more powerful) full blocking • Other methods dominate:
Xc = Xt =⇒ πc = πt but πc = πt =⇒ 6 Xc = Xt
2. The PSM Paradox: When you do “better,” you do worse • When PSM approximates complete randomization (to begin
with or, after some pruning) all π ˆ ≈ 0.5 (or constant pruning at random Imbalance within strata) Model dependence Bias Inefficency • If the data have no good matches, the paradox won’t be a problem but you’re cooked anyway. • Doesn’t PSM solve the curse of dimensionality problem? Nope. The PSM Paradox gets worse with more covariates • What if I match on a few important covariates and then use PSM? The low standards will be raised some, but the PSM Paradox will kick in earlier
17/23
PSM is Blind Where Other Methods Can See
18/23
PSM is Blind Where Other Methods Can See
2
C CC C
0 C −2
CCC C
C
C C CC C
C C
C
X2
C −4
−6
C C C
C T
C C
C C
T TTT C C CCC CC CT CT T C C TT T T C CT CTTT C TCT C CC T TC C T T TC C TTC C T
CC C C C C C C C CC C C C C CC C CC CCC
−8 −8
−6
C TT C
T C C TT C CT C C T T TC C T C C T CT T T T C C C T T C C T TC T C C C C T T T
CT
C
−4
−2
0
2
X1
18/23
PSM is Blind Where Other Methods Can See
P opens y Sco e
1000
Mahalanobis
C C C
−6
C C C C CC
C CC
C C
C C
T TTT C C CCC CC CT CT T C C TT T T C CT CTTT C TCT C CC T TC C T T TC C TTC C T
CC
C C C C
C C C CC CCC
−8
800
Sm
X2
C
600
C
Simulation #
C
C C
400
C
−4
C T
C TT C
T C C TT C CT C C T T TC C T C C T CT T T T C C C T T C C T TC T C C C C T T T
CT
C
C C CC
0
−2
CCC C
C
200
C CC C
0
2
− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − −− −− − − −− −− −− − − − − − − − − − − − − − − − − − − − − −− −− − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − −− −− − − −−− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− − − − − − − − − − − − − − − − −− − − − − − − − − − − − − − − − − −− −− −− −− − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − −− −− −− −− −− −− −− −− − − −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − − − −− −− − − −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− − − − −− −− −− −− − − − −− − − − − − − − − − − − − − −− −− −− −− − − − − − − −− −− −− −− −− −− −− −− − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − −− −− −− −− −− −− − − − − − − − −− −− −− −− −− −− − − −− −− −− −− −− −− − − − − − − − − − − −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− − − − − − − − − − −− −− −− −− − − −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − −− −− −− −− −− −− −− −− −− − −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − −− − − − − − − − − − −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− − − − − − − − − −− −− − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− − − − − − −− −− −− −− − − − − − − − −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− − −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − −− −− −− − −− −− −− −− −− −− −− −− −− −− − −− −− −− −− −− −− −− −− − − − − −− −− − − − − −− −− − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− − −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− − − − − − − − − − − − − − − − − − − − − − −− −− −− − −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − −− −− −− −− −− −− − −− −− −− −− −− −− −− −− −− − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− − − −− −− −− −− −− −− −− −− − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − −− −− −− −− −− −− −− −− −− −− −− −− −− − − − −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − −− −− − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − −− −− − −− −− −− −− −− −− −− − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− − − − − − − −− −− −− − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− − − − − −− −− −− −− −− −− −− − −− −− −− − − − − − − − −− − − − −− −− −− −− −− −− −− −− − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − −− −− −− − − − −− − − − −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − −− −− −− −− − − − − −− −− −− −− − − −− −− −− − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − −− −− − − − − − − − − − − − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − − −− −− −− −− −− −− − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− − − − − − − − − − − −− − − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − −− −− −− −− −− −− −− −− −− −− −− − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − −− −− −− −− −− −− −− −− −− −− − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − −− −− − − − − −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− − − − − − − −− −− − − − − − − − − − − − − − − − −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − −− −− − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − − − − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− − − − − − − − − − −− −− − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − −− −− −− −− − − − − −− − − −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − −− − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− − − − − − − − − − −− −− −− −− −− −− −− − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − −− − − − − − − − − −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− − − − − − − − − − − − − −− −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − −− −− − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − − − − − −− −− −− −− −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − −− −− − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − −− − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − −− −− −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − −− −− − −− −− −− −− −− −− −− −− −− −− −− −− − − − − −− −− −− − −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− −− − − − − −− −− −− −− −− −− −− −− −− −− −− −−
0
−8
−6
−4
−2
0
50 100
2 Number of Dropped Obs.
N m
D
O
X1
18/23
What Does PSM Match? PSM Matches
MDM Matches
4 X2
● ●
●
●●
●
● ● ● ●
●
● ● ● ●
3
● ●
●
2
●
● ● ● ●● ●● ●● ● ● ● ● ● ● ● ● ● ● ●●
1
●
0 0
1
● ● ●● ● ● ● ●
● ●
● ● ● ●
●●
●
●
●● ● ● ● ● ●
●
●
●
2
7 6
●
● ●
●
3
●
●
●
5 ●
●● ●
●
●
●
●
● ● ● ●
●
6
0
1
● ● ●● ● ● ● ●
● ●
● ● ● ●
●●
●
●
●● ● ● ● ● ●
●
●
2
X1
●
3
●
●
●
● ●
●
●
● ● ● ●● ● ● ●
●
●
●
● ●
●
●
●
●
●
●
● ●
● ●
●
●
●
●
● ● ● ● ●
●
● ●
●
●
●
● ●
● ● ●
● ● ●
●●
● ● ●● ●
●
●
●
● ●●
●
●
●
●
● ●
● ● ●
●● ●
● ● ● ●
●
●
●
5
●
●
●
●
●●
● ●
● ● ●
●
● ● ●
● ● ● ●● ●● ●● ● ● ● ● ● ● ● ● ● ● ●●
●
4
●
●
● ●
●
● ● ●
●
● ●
● ●
●
●
●
●
Treated Control
●
●
●
●
● ● ●
● ●
●
● ●
● ●
●
● ● ● ● ● ● ●
●
●
●
●
●
● ●
●
●
● ●
● ●
●
●
●
●
●
● ● ● ● ●
●
● ●
●
●
●
●●
●
● ● ●
● ● ●
●
● ●●
● ● ●● ●
●
●
● ● ● ●
●
●
●
● ●
● ● ●
●
●
●
● ● ●
●● ●
4
● ● ●
●
●
●
●
●
●
●
●
●
X2
● ●
● ●
●●
● ●
●
3
●
●
● ●
2
●
First 25 Matches Second 25 Matches Third 25 Matches Final 25 Matches
1
5
● ● ● ● ● ● ●
Treated Control
●
● ● ●
●● ●
●
●
●
●
● ●
●
0
6
7
First 25 Matches Second 25 Matches Third 25 Matches Final 25 Matches
● ●
● ●
● ●
●
● ●
4
5
6
X1
Controls: X1 , X2 ∼ Uniform(0,5) Treateds: X1 , X2 ∼ Uniform(1,6)
19/23
PSM Increases Model Dependence & Bias Model Dependence
3.5 3.0 2.5
0.03 0.02 0.01
PSM
PSM
MDM
0
40
80
120
Number of Units Pruned
160
MDM
True effect = 2
2.0
0.00
Variance
0.04
Maximum Coefficient across 512 Specifications
0.05
4.0
Bias
0
40
80
120
160
Number of Units Pruned
Yi = 2Ti + X1i + X2i + i i ∼ N(0, 1)
20/23
The Propensity Score Paradox in Real Data
21/23
The Propensity Score Paradox in Real Data Finkel et al. (JOP, 2012)
Nielsen et al. (AJPS, 2011) 30
10 25 8
6 Random
PSM
4 Raw ●
Imbalance
Imbalance
20
15 Raw 10
1/4 SD caliper
Random
PSM
●
1/4 SD caliper CEM
2
CEM
5
MDM MDM 0
0 0
500
1000
1500
2000
Number of units pruned
2500
3000
0
500
1000
1500
2000
2500
Number of units pruned
21/23
The Propensity Score Paradox in Real Data Finkel et al. (JOP, 2012)
Nielsen et al. (AJPS, 2011) 30
10 25 8
6 Random
PSM
4 Raw ●
Imbalance
Imbalance
20
15 Raw 10
1/4 SD caliper
Random
PSM
●
1/4 SD caliper CEM
2
CEM
5
MDM MDM 0
0 0
500
1000
1500
2000
Number of units pruned
2500
3000
0
500
1000
1500
2000
2500
Number of units pruned
Similar pattern for > 20 other real data sets we checked
21/23
Conclusions
22/23
Conclusions • Why propensity scores should not be used for matching
22/23
Conclusions • Why propensity scores should not be used for matching • Low Standards: sometimes helps, never optimizes
22/23
Conclusions • Why propensity scores should not be used for matching • Low Standards: sometimes helps, never optimizes • The PSM Paradox: When you do “better,” you do worse
22/23
Conclusions • Why propensity scores should not be used for matching • Low Standards: sometimes helps, never optimizes • The PSM Paradox: When you do “better,” you do worse • Some mistakes with PSM:
22/23
Conclusions • Why propensity scores should not be used for matching • Low Standards: sometimes helps, never optimizes • The PSM Paradox: When you do “better,” you do worse • Some mistakes with PSM: Controlling for irrelevant covariates;
22/23
Conclusions • Why propensity scores should not be used for matching • Low Standards: sometimes helps, never optimizes • The PSM Paradox: When you do “better,” you do worse • Some mistakes with PSM: Controlling for irrelevant covariates; Adjusting experimental data;
22/23
Conclusions • Why propensity scores should not be used for matching • Low Standards: sometimes helps, never optimizes • The PSM Paradox: When you do “better,” you do worse • Some mistakes with PSM: Controlling for irrelevant covariates; Adjusting experimental data; Reestimating propensity score after eliminating noncommon support;
22/23
Conclusions • Why propensity scores should not be used for matching • Low Standards: sometimes helps, never optimizes • The PSM Paradox: When you do “better,” you do worse • Some mistakes with PSM: Controlling for irrelevant covariates; Adjusting experimental data; Reestimating propensity score after eliminating noncommon support; 1/4 caliper on propensity score;
22/23
Conclusions • Why propensity scores should not be used for matching • Low Standards: sometimes helps, never optimizes • The PSM Paradox: When you do “better,” you do worse • Some mistakes with PSM: Controlling for irrelevant covariates; Adjusting experimental data; Reestimating propensity score after eliminating noncommon support; 1/4 caliper on propensity score; Not switching to other methods.
22/23
Conclusions • Why propensity scores should not be used for matching • Low Standards: sometimes helps, never optimizes • The PSM Paradox: When you do “better,” you do worse • Some mistakes with PSM: Controlling for irrelevant covariates; Adjusting experimental data; Reestimating propensity score after eliminating noncommon support; 1/4 caliper on propensity score; Not switching to other methods. • A warning for any matching method:
22/23
Conclusions • Why propensity scores should not be used for matching • Low Standards: sometimes helps, never optimizes • The PSM Paradox: When you do “better,” you do worse • Some mistakes with PSM: Controlling for irrelevant covariates; Adjusting experimental data; Reestimating propensity score after eliminating noncommon support; 1/4 caliper on propensity score; Not switching to other methods. • A warning for any matching method: • Pruning discards information; you must overcome this.
22/23
Conclusions • Why propensity scores should not be used for matching • Low Standards: sometimes helps, never optimizes • The PSM Paradox: When you do “better,” you do worse • Some mistakes with PSM: Controlling for irrelevant covariates; Adjusting experimental data; Reestimating propensity score after eliminating noncommon support; 1/4 caliper on propensity score; Not switching to other methods. • A warning for any matching method: • Pruning discards information; you must overcome this. • Other methods can generate a “paradox” if you prune after approximating full blocking (rare, but possible)
22/23
Conclusions • Why propensity scores should not be used for matching • Low Standards: sometimes helps, never optimizes • The PSM Paradox: When you do “better,” you do worse • Some mistakes with PSM: Controlling for irrelevant covariates; Adjusting experimental data; Reestimating propensity score after eliminating noncommon support; 1/4 caliper on propensity score; Not switching to other methods. • A warning for any matching method: • Pruning discards information; you must overcome this. • Other methods can generate a “paradox” if you prune after approximating full blocking (rare, but possible) • If you’re not doing positive good, you may be hurting yourself
22/23
Conclusions • Why propensity scores should not be used for matching • Low Standards: sometimes helps, never optimizes • The PSM Paradox: When you do “better,” you do worse • Some mistakes with PSM: Controlling for irrelevant covariates; Adjusting experimental data; Reestimating propensity score after eliminating noncommon support; 1/4 caliper on propensity score; Not switching to other methods. • A warning for any matching method: • Pruning discards information; you must overcome this. • Other methods can generate a “paradox” if you prune after approximating full blocking (rare, but possible) • If you’re not doing positive good, you may be hurting yourself • Matching methods still highly recommended; choose one with
higher standards
22/23
For more information, papers, & software
GaryKing.org www.mit.edu/∼rnielsen
23/23
