Algorithmen (Lineare Anpassung mit X-Fehler)

Das Anpassungsmodell

Für einen gegebenen Datensatz (X_i,Y_i), (\sigma_{x_i},\sigma_{y_i}), i=1,2,\ldots n, wobei X die unabhängige Variable und Y die abhängige Variable ist, und (\sigma_{x_i},\sigma_{y_i}) Fehler für X bzw. Y sind. -- Lineare Anpassung X-Fehler passt die Daten an ein Modell mit der folgenden Form an:

y=\beta _0+\beta _1x+\varepsilon

(1)

\left\{\begin{matrix} x_i=X_i+\sigma_{x_i}\\  y_i=Y_i+\sigma_{y_i} \end{matrix}\right.

(2)

Fit-Steuerung

Berechnungsmethode

  • York-Methode
    Die York-Methode Verwendet die Berechnungsmethode von D. York, beschrieben in Vereinte Gleichungen für Steigung, Schnittpunkt mit der Y-Achse und Standardfehler der besten geraden Linie
  • FV-Methode
    Die FV-Methode ist die Berechnungsmethode von Giovanni Fasano & Roberto Vio, beschrieben in Eine gerade Linie mit Fehler an beiden Koordinaten anpassen.
  • Deming-Methode
    Die Deming-Regression ist die Maximum-Likelihood-Schätzung eines Fehler-in-Variablen-Modell. Von den X/Y-Fehlern wird angenommen, dass sie unabhängig identisch verteilt sind.
  • Korrelation zwischen X- und Y-Fehlern
    Korrelation zwischen X- und Y-Fehlern r_i (nur für York-Methode)
  • Standardabweichung von X/Y
    Standardabweichung von X/Y (nur für Deming-Methode)

Eigenschaften (York-Methode)

Wenn Sie eine lineare Anpassung durchführen, erstellen Sie ein Analyseberichtsblatt, dass die berechneten Eigenschaften enthält. Die Tabellenberichte Parameter modellieren Steigung und Schnittpunkt mit der Y-Achse (Zahlen in Klammern zeigen, wie die Eigenschaften abgeleitet werden):

Fit-Parameter

York Error.png

Angepasster Wert und Standardfehler

Definieren Sie W_i, das die Gewichtung (Fehler) für X und Y beinhaltet;

W_i = \frac{\omega_{x_i}\omega_{y_i}}{\omega_{x_i}+\beta_1^2\omega_{y_i}-2\beta_1 r_ia_i} =\frac{1}{\sigma_{y_i}^2+\beta_1^2\sigma_{x_i}^2 - 2\beta_1 r_i \sigma_{x_i} \sigma_{y_i}}

(3)

Darin sind \omega_{x_i}=\frac{1}{\sigma_{x_i}^2}, \ \omega_{y_i}=\frac{1}{\sigma_{y_i}^2} Gewichtungen von (X_i, Y_i), r_i ist die Korrelation zwischen X- und Y-Fehler (d. h. \sigma_{x_i} und \sigma_{y_i}), und \alpha_i=\sqrt{\omega_{x_i} \omega_{y_i}}.

Die Steigung der angepassten Linie für (X_i, Y_i) ohne Gewichtung (Fehler) ist der Initialisierungswert für \beta_1. Sie sollten iterativ gelöst werden, bis sukzessive Schätzungen von \beta_1 innerhalb der gewünschten Toleranz übereinstimmen.

Die präzisen Gleichungen, die die Parameter \hat{\beta_0} und \hat{\beta_1} für die am besten angepasste Linie mit X-Y-Fehlern schätzen, sind:

\hat{\beta_0}=\bar{Y}-\hat{\beta_1}\bar{X}

(4)

\hat{\beta_1}=\frac{\sum{W_i b_i V_i}}{\sum{W_i b_i U_i}}

(5)

wobei \bar{X} = \frac{ \sum{W_i X_i} }{ \sum{W_i} }, \ \bar{Y} = \frac{ \sum{W_i Y_i} }{ \sum{Y_i} }.

U und V sind die Abweichung für X und Y:

\left\{\begin{matrix} U=X-\bar{X}\\ V=Y-\bar{Y} \end{matrix}\right.

und

b_i=W_i \left[\frac{U_i}{\omega_{y_i}}+\frac{\hat{\beta_1}}{\omega_{x_i}}{V_i}-(\beta U_i+V_i)\frac{r_i}{\alpha_i} \right]

(6)

Die entsprechende Variation \sigma^2 und der Standardfehler s für Parameter sind:

\sigma_{\hat{\beta_0}}^2=\frac{1}{\sum{W_i}}+\bar{x}^2\sigma_{\hat{\beta_1}}^2

(7)

\sigma_{\hat{\beta_1}}^2=\frac{1}{\sum{W_i u_i^2}}

(8)

wobei \bar{x} = \frac{ \sum{W_i x_i} }{ \sum{W_i} }, x_i ist der erwartete Wert von X_i, und u_i=x_i - \bar{x}.

Der Standardfehler für Parameter ist am Ende gegeben mit:

\varepsilon_{\hat{\beta_0}}=\sqrt{\sigma _{\hat{\beta_0}}^2}\sqrt{\frac{S}{n-2}}

(9)

\varepsilon_{\hat{\beta_1}}=\sqrt{\sigma _{\hat{\beta_1}}^2}\sqrt{\frac{S}{n-2}}

(10)

wobei S:

S=\sum W_i(Y_i - \beta_1 X_i- \beta_0)^2

(11)

t-Wert und Konfidenzniveau

Gelten die Regressionsannahmen, haben wir:

\frac{{\hat \beta _0}-\beta _0}{\varepsilon _{\hat \beta _0}}\sim t_{n^{*}-1} und \frac{{\hat \beta _1}-\beta _1}{\varepsilon _{\hat \beta _1}}\sim t_{n^{*}-1}

(12)

Die t-Tests können verwendet werden, um zu untersuchen, ob die Fit-Parameter signifikant von Null abweichen. Das bedeutet, wir können testen, ob \beta _0= 0\,\! (falls wahr, bedeutet dies, dass die angepasste Linie durch den Ursprung verläuft) oder \beta _1= 0\,\!. Die Hypothesen der t-Tests sind:

H_0: \beta _0= 0\,\! H_0: \beta _1= 0\,\!
H_\alpha: \beta _0 \neq 0\,\! H_\alpha: \beta _1 \neq 0\,\!

Die t-Werte können wie folgt berechnet werden:

t_{\hat \beta _0}=\frac{{\hat \beta _0}-0}{\varepsilon _{\hat \beta _0}} und t_{\hat \beta _1}=\frac{{\hat \beta _1}-0}{\varepsilon _{\hat \beta _1}}

(13)

Mit dem berechneten t-Wert können wir entscheiden, ob die entsprechende Nullhypothese verworfen werden soll oder nicht. Gewöhnlich können wir für ein gegebenes Konfidenzintervall \alpha\,\! die Hypothese H_0\,\! verwerfen, wenn |t|>t_{\frac \alpha 2}. Außerdem wird der p-Wert oder die Signifikanzebene mit einem t-Test angezeigt. Wir weisen auch die Nullhypothese H_0\,\! zurück, wenn der p-Wert kleiner ist als \alpha\,\!.

Wahrsch.>|t|

Die Wahrscheinlichkeit, dass H_0\,\! in dem t-Test oben wahr ist.

prob=2(1-tcdf(|t|,df_{Error}))\,\!

(14)

wobei tcdf(t, df) die untere Wahrscheinlichkeit für die studentisierte t-Verteilung mit dem df-Freiheitsgrad berechnet.

UEG und OEG

Mit dem t-Wert können wir das (1-\alpha )\times 100\%-Konfidenzintervall für jeden Parameter berechnen:

\hat \beta _j-t_{(\frac \alpha 2,n^{*}-k)}\varepsilon _{\hat \beta _j}\leq \hat \beta _j\leq \hat \beta _j+t_{(\frac \alpha 2,n^{*}-k)}\varepsilon _{\hat \beta _j}

(15)

wobei OEG und LCL für Oberes Konfidenzintervall bzw. Unteres Konfidenzintervall steht.

KI halbe Breite

Das Konfidenzintervall halbe Breite ist:

CI=\frac{UCL-LCL}2

(16)

wobei OEG und UEG das obere Konfidenzintervall bzw. untere Konfidenzintervall ist.

Weitere Informationen finden Sie in der Referenz 1 (unten).

Statistik zum Fit

York Stats.png

Freiheitsgrade

df=n-2

(17)

n ist die Gesamtanzahl der Punkte.

Summe der Fehlerquadrate

RSS=\sum^n_{i=1} \frac{(\beta_0+\beta_1 x_i - y_i)^2}{\sigma^2_{y_i}+\beta_1^2\sigma^2_{x_i}}

(18)

Reduziertes Chi-Quadrat

\sigma^2=\frac{RSS}{n-2}

(19)

Pearson r

Bei der einfachen linearen Regression ist der Korrelationskoeffizient zwischen x und y, der als r bezeichnet wird, gleich:

r=R\,\! falls \beta _1\,\! positiv ist

(20)

r=-R\,\! falls\beta _1\,\! negativ ist

R^2 kann berechnet werden mit:

R^2=\frac{SXY}{SXX*TSS}=1-\frac{RSS}{TSS}

(21)

TSS=\sum_{i=1}^n(y_i-\bar{y})^2

Wurzel-MSE (StAbw)

Quadratwurzel des Mittelwerts des Fehlers oder die residuale Standardabweichung ist gleich:

RootMSE=\sqrt{\frac{RSS}{df_{Error}}}

(22)

df_{Error}=n-2

Kovarianz- und Korrelationsmatrix

Die Kovarianzmatrix der linearen Regression wird berechnet durch:

\begin{pmatrix} Cov(\beta _0,\beta _0) & Cov(\beta _0,\beta _1)\\ Cov(\beta _1,\beta _0) & Cov(\beta _1,\beta _1) \end{pmatrix}=\sigma ^2\frac 1{SXX}\begin{pmatrix} \sum \frac{x_i^2}n & -\bar x \\-\bar x & 1 \end{pmatrix}

(23)

Die Korrelation zwischen zwei beliebigen Parametern ist:

\rho (\beta _i,\beta _j)=\frac{Cov(\beta _i,\beta _j)}{\sqrt{Cov(\beta _i,\beta _i)}\sqrt{Cov(\beta _j,\beta _j)}}

(24)

Eigenschaften (FV-Methode)

Die FV-Methode ist die Berechnungsmethode von Giovanni Fasano & Roberto Vio, beschrieben in Eine gerade Linie mit Fehler an beiden Koordinaten anpassen.

Die Gewichtung wird definiert als:

W_i=\frac{1}{\beta_1^2\sigma_{x_{i}}^2+\sigma_{y_{i}}^2}

(25)

Die Steigung der angepassten Linie für (X_i, Y_i) ohne Gewichtung (Fehler) ist \beta_1.

Es wird angenommen, dass

\bar{x}=\frac{\sum{W_i x_i}}{\sum W_i}

(26)

\bar{y}=\frac{\sum{W_i y_i}}{\sum W_i}

(27)

indem die Summe K^2=\sum{W_i (y_i-\beta_0-\beta_1 x_i)^2} minimiert wird, erhalten wir den Schätzwert \beta_0 und \beta_1, indem die teilweisen Ableitungen auf 0 gesetzt werden.

\hat{\beta_0}=\bar{y}-\hat{\beta_1}\bar{x}

(28)

a\hat{\beta_1}^2+b\hat{\beta_1}-c=0

(29)

wobei

a=\sum{W_i^2\sigma_{x_i}^2(y_i-\bar{y_i})(x_i-\bar{x_i})}

(30)

b=\sum{W_i^2[\sigma_{y_i}^2(x_i-\bar{x_i})^2-\sigma_{x_i}^2(y_i-\bar{y_i})^2]}

(31)

c=\sum{W_i^2\sigma_{y_i}^2(y_i-\bar{y_i})(x_i-\bar{x_i})}

(32)

\hat{\beta_1} sollte iterativ gelöst werden, bis sukzessive Schätzungen von \hat{\beta_1} innerhalb der gewünschten Toleranz übereinstimmen.

Greifen Sie für jeden Parameterstandardfehler auf das lineare Regressionsmodell zurück.

Weitere Informationen finden Sie in der Referenz 2 (unten).

Eigenschaften (Deming-Methode)

Wenn Sie eine lineare Anpassung durchführen, erstellen Sie ein Analyseberichtsblatt, dass die berechneten Eigenschaften enthält. Die Tabellenberichte Parameter modellieren Steigung und Schnittpunkt mit der Y-Achse (Zahlen in Klammern zeigen, wie die Eigenschaften abgeleitet werden):

Fit-Parameter

Deming Error.png

Die Deming-Regression wird für Situationen verwendet, in denen sowohl X als auch Y einem Messungsfehler unterliegen.

y=\beta _0+\beta _1x+\varepsilon
\left\{\begin{matrix} x_i=X_i+\sigma_{x_i}\\  y_i=Y_i+\sigma_{y_i} \end{matrix}\right.

Angenommen, \sigma_{x_i} sind unabhängig identisch verteilt mit \sigma_{x_i} \sim \mathcal{N}(0,\sigma^2) und \sigma_{y_i} sind unabhängig verteilt mit \sigma_{y_i} \sim \mathcal{N}(0,\lambda \sigma^2), wobei \mathcal{N}(0,\sigma^2) die Normalverteilung mit dem Mittelwert 0 und der Standardabweichung \sigma bezeichnet. Wenn \lambda=1, dann ist es eine orthogonale Regression. Der gewichtete Fehler der Quadratsumme des Modells wird minimiert:

RSS=\sum^n_{i=1}\left ((x_i-X_i)^2+\frac{(y_i-\beta_0-\beta_1X_i)^2}{\lambda}\right)

(33)

Angepasster Wert und Standardfehler

Wir können Parameter lösen:

\hat{\beta_1}=\frac{SYY-\lambda SXX+\sqrt{(SYY-\lambda SXX)^2+4\lambda SXY^2}}{2SXY}

(34)

\hat{\beta_0}=\bar{y}-\hat{\beta_1}\bar{x}

(35)

wobei:

\bar{x}=\frac{1}{n}\sum_{i=1}^2{x_i}, \bar{y}=\frac{1}{n}\sum_{i=1}^n{y_i}
u_i=x_i-\bar{x}
v_i=y_i-\bar{y}

und:

SXX=\sum_{i=1}^n u_i^2
SYY=\sum_{i=1}^n v_i^2
SXY=\sum_{i=1}^n u_iv_i

Die entsprechende Variation für Parameter ist:

\sigma^2_{\hat \beta _0}=\frac{1}{nw}+2(\bar{x}+2\bar{z})\bar{z}Q+(\bar{x}+2\bar{z})^2 \sigma_{\bar{\beta_1}}^2
\sigma^2_{\hat \beta _1}=Q^2w^2\sigma^2\sum^n_{i=1}(\lambda u_i^2+v_i^2)

Der Standardfehler für Parameter kann geschätzt werden mit:

\varepsilon _{\hat \beta _0}=\sqrt{\sigma^2_{\hat \beta _0}}

(37)

\varepsilon _{\hat \beta _1}=\sqrt{\sigma^2_{\hat \beta _1}}

(38)

und

w=\frac{1}{\sigma^2(\lambda+\hat{\beta_1}^2)}
z_i=w\sigma^2(\lambda u_i+\hat{\beta_1} v_i)
\bar{z}=\frac{1}{n}\sum_{i=1}^n z_i
Q=\frac{1}{w \sum_{i=1}^n \left(\frac{u_iv_i}{\hat{\beta_1}}+4(z_i-\bar{z})(z_i-u_i)\right)}
\sigma=\sqrt{\frac{\sum^n_{i=1}(x_i-X_i)^2+\frac{\sum^n_{i=1}(y_i-\hat{\beta_0}-\hat{\beta_1}x_i)^2}{\lambda}}{n-2}}

t-Wert und Konfidenzniveau

Gelten die Regressionsannahmen, haben wir:

\frac{{\hat \beta _0}-\beta _0}{\varepsilon _{\hat \beta _0}}\sim t_{n^{*}-1} und \frac{{\hat \beta _1}-\beta _1}{\varepsilon _{\hat \beta _1}}\sim t_{n^{*}-1}

Die t-Tests können verwendet werden, um zu untersuchen, ob die Fit-Parameter signifikant von Null abweichen. Das bedeutet, wir können testen, ob \beta _0= 0\,\! (falls wahr, bedeutet dies, dass die angepasste Linie durch den Ursprung verläuft) oder \beta _1= 0\,\!. Die Hypothesen der t-Tests sind:

H_0: \beta _0= 0\,\! H_0: \beta _1= 0\,\!
H_\alpha: \beta _0 \neq 0\,\! H_\alpha: \beta _1 \neq 0\,\!

Die t-Werte können wie folgt berechnet werden:

t_{\hat \beta _0}=\frac{{\hat \beta _0}-0}{\varepsilon _{\hat \beta _0}} und t_{\hat \beta _1}=\frac{{\hat \beta _1}-0}{\varepsilon _{\hat \beta _1}}

(38)

Mit dem berechneten t-Wert können wir entscheiden, ob die entsprechende Nullhypothese verworfen werden soll oder nicht. Gewöhnlich können wir für ein gegebenes Konfidenzintervall \alpha\,\! die Hypothese H_0\,\! verwerfen, wenn |t|>t_{\frac \alpha 2}. Außerdem wird der p-Wert oder die Signifikanzebene mit einem t-Test angezeigt. Wir weisen auch die Nullhypothese H_0\,\! zurück, wenn der p-Wert kleiner ist als \alpha\,\!.

Wahrsch.>|t|

Die Wahrscheinlichkeit, dass H_0\,\! in dem t-Test oben wahr ist.

prob=2(1-tcdf(|t|,df_{Error}))\,\!

(39)

wobei tcdf(t, df) die untere Wahrscheinlichkeit für die studentisierte t-Verteilung mit dem df-Freiheitsgrad berechnet.

UEG und OEG

Mit dem t-Wert können wir das (1-\alpha )\times 100\%-Konfidenzintervall für jeden Parameter berechnen:

\hat \beta _j-t_{(\frac \alpha 2,n^{*}-k)}\varepsilon _{\hat \beta _j}\leq \hat \beta _j\leq \hat \beta _j+t_{(\frac \alpha 2,n^{*}-k)}\varepsilon _{\hat \beta _j}

(40)

wobei OEG und LCL für Oberes Konfidenzintervall bzw. Unteres Konfidenzintervall steht.

KI halbe Breite

Das Konfidenzintervall halbe Breite ist:

CI=\frac{UCL-LCL}2

(41)

wobei OEG und UEG das obere Konfidenzintervall bzw. untere Konfidenzintervall ist.

Weitere Informationen finden Sie in der Referenz 1 (unten).

Statistik zum Fit

Deming Stats.png

Freiheitsgrade

df=n-2

(42)

n ist die Gesamtanzahl der Punkte.

Summe der Fehlerquadrate

Siehe Formel (33).

Reduziertes Chi-Quadrat

\sigma^2=\frac{RSS}{n-2}

(43)

Pearson r

Bei der einfachen linearen Regression ist der Korrelationskoeffizient zwischen x und y, der als r bezeichnet wird, gleich:

r=R\,\! falls \beta _1\,\! positiv ist

(44)

r=-R\,\! falls\beta _1\,\! negativ ist

R^2 kann berechnet werden mit:

R^2=\frac{SXY}{SXX*TSS}=1-\frac{RSS}{TSS}

(45)

TSS=\sum_{i=1}^n(y_i-\bar{y})^2

Wurzel-MSE (StAbw)

Quadratwurzel des Mittelwerts des Fehlers ist gleich:

RootMSE=\sqrt{\frac{RSS}{df_{Error}}}

(46)

df_{Error}=n-2

Kovarianz- und Korrelationsmatrix

Die Kovarianzmatrix der linearen Regression wird berechnet durch:

\begin{pmatrix} Cov(\beta _0,\beta _0) & Cov(\beta _0,\beta _1)\\ Cov(\beta _1,\beta _0) & Cov(\beta _1,\beta _1) \end{pmatrix}=\begin{pmatrix} \ \sigma^2_{\hat{\beta_0}} & -\bar{x}\sigma^2_{\hat \beta _1} \\-\bar{x}\sigma^2_{\hat \beta _1} &\sigma^2_{\hat{\beta_1}} \end{pmatrix}

(47)

Die Korrelation zwischen zwei beliebigen Parametern ist:

\rho (\beta _i,\beta _j)=\frac{Cov(\beta _i,\beta _j)}{\sqrt{Cov(\beta _i,\beta _i)}\sqrt{Cov(\beta _j,\beta _j)}}

(48)

X/Y suchen

Residuendiagramme

Residuen vs. Independent

Punktdiagramm der Residuen res vs. unabhängige Variable x_1,x_2,\dots,x_k; jede Zeichnung befindet sich in einem separaten Diagramm.

Residuen vs. prognostizierte Werte

Punktdiagramm der Residuen res vs. Anpassungsergebnisse \hat{y_i}

Residuen vs. die Ordnung der Datendiagramme

res_i vs. Abfolgenummer i

Histogramm des Residuums

Histogramm des Residuums res_i

Verzögertes Residuendiagramm

Residuen res_i vs. verzögertes Residuum res_{(i–1)}

Wahrscheinlichkeitsnetz (Normal) für Residuen

Das Wahrscheinlichkeitsnetz der Residuen (Normal) kann verwendet werden, um zu prüfen, ob die Varianz ebenfalls normalverteilt ist. Wenn das sich ergebende Diagramm ungefähr linear ist, nehmen wir weiterhin an, dass die Fehlerterme normal verteilt sind. Das Diagramm basiert auf Perzentilen versus geordnete Residuen. Die Perzentile werden geschätzt mit

\frac{(i-\frac{3}{8})}{(n+\frac{1}{4})}

wobei n die Gesamtanzahl der Datensätze und i die i-ten Daten sind. Bitte lesen Sie auch Wahrscheinlichkeitsdiagramm und Q-Q-Diagramm.

Referenz

  1. York D, "Unified equations for the slope, intercept, and standard error of the best straight line", American Journal of Physics, Volume 72, Nr. 3, S. 367-375 (2004).
  2. G. Fasano und R. Vio, "Fitting straight lines with errors on both coordinates", Newsletter of Working Group for Modern Astronomical Methodology, Nr. 7, 2-7, Sept. 1988.