Sind Standardfehler von standardisierten Regressionskoeffizienten in einer einzigen Regression immer gleich?

Statistik

Lehre

Regression

Autor:in

Johannes Titz

Veröffentlichungsdatum

11. Juli 2023

Bei meinem letzten Post ging es ja um den größten Irrtum der Regressionsrechnung (Linear nicht gleich linear). Heute kam beim Mittagessen mit dem Methoden-Team eine neue Diskussion in Bezug auf die Regression auf. Meine Kolleg/-innen meinten, dass der Standardfehler von standardisierten Regressionskoeffizienten bei einer einzigen Regression immer gleich ist (für verchiedene UVs). Begründung war, dass ja gilt:

\[V(\hat{b}) = \sigma^2/s^2_x\]

Also, dass die Varianz von \(b\) sich aus der Residualvarianz und der Varianz der UV ergibt. Die Residualvarianz bleibt für alle UVs gleich und die Varianz der UV ist nach Standardisierung 1. So weit so logisch, aber die Formel gilt eben nur für unstandardisierte Regressionskoeffizienten. Jedes Verfahren ist an Annahmen gekoppelt, \(b\) kann im Prinzip jeden Wert annehmen, aber nicht \(\beta\). Man könnte es auch mit der Korrelation vergleichen, die ja auch beschränkt ist. Da hängt das Konfidenzintervall von der Größe der Korrelation ab. Wenn die Korrelation 0.9 ist, gibt es nach rechts hin eben kaum Platz.

Wie dem auch sei, hier eine einfache Falsifikation der Behauptung:

mylm <- lm(mpg ~ hp + cyl + disp + wt, data = as.data.frame(scale(mtcars)))
sjPlot::tab_model(mylm, show.se = T)

	mpg
Predictors	Estimates	std. Error	CI	p
(Intercept)	0.00	0.07	-0.15 – 0.15	1.000
hp	-0.23	0.14	-0.52 – 0.05	0.102
cyl	-0.38	0.19	-0.78 – 0.02	0.059
disp	0.24	0.24	-0.26 – 0.73	0.331
wt	-0.63	0.16	-0.96 – -0.29	0.001
Observations	32
R² / R² adjusted	0.849 / 0.826

Wir sehen ganz klar, dass die Standardfehler der Koeffizienten unterschiedlich sind. Natürlich auch beim normalen Output:

summary(mylm)


Call:
lm(formula = mpg ~ hp + cyl + disp + wt, data = as.data.frame(scale(mtcars)))

Residuals:
     Min       1Q   Median       3Q      Max 
-0.67302 -0.24284 -0.07104  0.21328  0.96681 

Coefficients:
              Estimate Std. Error t value Pr(>|t|)    
(Intercept)  6.662e-17  7.369e-02   0.000 1.000000    
hp          -2.336e-01  1.382e-01  -1.691 0.102379    
cyl         -3.832e-01  1.944e-01  -1.972 0.058947 .  
disp         2.385e-01  2.412e-01   0.989 0.331386    
wt          -6.257e-01  1.649e-01  -3.795 0.000759 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 0.4169 on 27 degrees of freedom
Multiple R-squared:  0.8486,    Adjusted R-squared:  0.8262 
F-statistic: 37.84 on 4 and 27 DF,  p-value: 1.061e-10