Zum Aufdecken von Modellstörungen nutzt JAG3D zwei Teststrategien. Zum einen wird mit $T_{prio}$ eine auf den a-priori Varianzfaktor bezogene Testgröße bestimmt und zum anderen mit $T_{post}$ eine a-posteriori varianzbezogene Testgröße zur Prüfung ermittelt. Beide Verfahren sind als allgemeine multiple Tests formuliert, deren kritische Werte wahlweise nach der B-Methode oder mittels Šidák-Korrektur für Fisher-verteilte Testgrößen aufeinander abgestimmt werden.

Eine allgemeine Prüfung des funktionalen und stochastischen Modells erfolgt über den Globaltest $T_{G}$

$$ T_{G} = \frac{\hat \sigma_0^2} {\sigma_0^2} \sim F_{f,\infty} $$

mit der zu prüfenden Nullhypothese

$$ \hat\sigma_0^2 \leq \sigma_0^2 | \mathrm{H}_0 $$

und der Alternativhypothese

$$ \hat\sigma_0^2 \gt \sigma_0^2 | \mathrm{H}_A $$

Da es sich bei diesem Test nur um eine globale Prüfung des mathematischen Modells handelt, können im Falle einer Verwerfung nur allgemeine Gründe wie

• Vorhandensein von Beobachtungsfehlern (Ausreißern),
• Fehlerhaftes funktionales Modell oder
• Stochastisches Modell zu optimistisch

genannt werden. Eine konkrete Lokalisierung von möglichen Ausreißern ist hingegen nicht möglich, sodass das Durchführen von Einzeltests unumgänglich ist und daher primär zur Analyse und Bewertung herangezogen werden sollte.

Die $i$-te a-priori bezogene Testgröße ergibt sich für den $m$-dimensionalen multiplen Test aus

$$ T_{prio,i} = \frac{\mathbf{\nabla}_i^T\mathbf{Q}_{\nabla\nabla,i}^{-1}\mathbf{\nabla}_i} {m\sigma_0^2} \sim F_{m,\infty} | \mathrm{H}_0$$

und für den a-posteriori bezogenen Test aus

$$ T_{post,i} = \frac{\mathbf{\nabla}_i^T\mathbf{Q}_{\nabla\nabla,i}^{-1}\mathbf{\nabla}_i} {m{{\hat{\sigma}_j'}^2}} \sim F_{m,f-m} | \mathrm{H}_0 $$

Der geschätzte a-posteriori Varianzfaktor der Gesamtausgleichung ist aufgrund einer Modellstörung verzerrt. Aus diesem Grund wird die Verbesserungsquadratsumme $\Omega$ um den Einfluss der möglichen Modellstörung reduziert.

$$ {{\hat{\sigma}_j'}^2} = \frac{\Omega - \mathbf{\nabla}_i^T\mathbf{Q}_{\nabla\nabla,i}^{-1}\mathbf{\nabla}_i} {f-m} $$

Die zur $i$-ten Beobachtung geschätzte Modellstörung ist hierbei $\nabla_i$ mit zugehöriger Kofaktormatrix $\mathbf{Q}_{\nabla\nabla,i}$ und $m = \tr\left(\mathbf{Q}_{\nabla\nabla,i}\right)$.

Analog zum Globaltest lassen sich auch die geschätzten Varianzfaktoren der Beobachtungsgruppen, die aus der Varianzkomponentenschätzung resultieren, auf Modellkonformität prüfen. Anstelle des a-posteriori Varianzfaktors der Gesamtausgleichung wird hierbei auf den geschätzten Varianzfaktor der jeweiligen Gruppe zurückgegriffen.

Hinweis: In der geodätischen Literatur wird häufig für den a-priori Einzeltest die normierte Verbesserung (NV) (auch als w-Test bezeichnet) und für den a-posteriori Einzeltest der t-Test beschrieben. Hierbei handelt es sich um Spezialfälle der in JAG3D implementierten Testverfahren für $m=1$. Eine Übertragung kann jedoch aus den Beziehungen der Fisher-Verteilung zur Normal- bzw. Student-t-Verteilung leicht abgeleitet werden für $m=1$:

$$NV = \sqrt{T_{prio}}$$

bzw.

$$t-Test = \sqrt{T_{post}}$$

Für $m \ne 1$ gilt dies jedoch nicht!

Soll die Irrtumswahrscheinlichkeit $\alpha$ nicht auf alle Teststatistiken einheitlich angewendet werden, so unterstützt JAG3D wahlweise eine Anpassung von $\alpha$ mittels Baardas B-Methode oder der Šidák-Korrektur.

Das Konzept zur Abstimmung von Global- und Einzeltest geht auf die Postulate von Baarda (1968) zurück. Allgemein gilt für die Abstimmung zweier (oder mehrerer) Teststatistiken, dass beim Zutreffen der Alternativhypothese die abgestimmten Teststatistiken mit gleicher Wahrscheinlichkeit verworfen werden.

$$\lambda(\alpha_1, 1-\beta, 1, n_1) = \lambda(\alpha_2, 1-\beta, 2, n_2) = ... = \lambda(\alpha_m, 1-\beta, m, n)$$

Die Abstimmung basiert auf einer einheitlichen Testgüte $\beta$, weshalb diese Methode in der Literatur auch als B-Methode bezeichnet wird. Werte für den Nichtzentralitätsparameter $\lambda$ bei unterschiedlichen Freiheitsgraden $m$ und Irrtumswahrscheinlichkeiten $\alpha$ können für $n = \infty$ u.a. Nomogrammen aus Baardas Arbeiten entnommen werden.

Bei der Netzausgleichung in JAG3D erfolgt die Abstimmung aller kritischer Werte wahlweise auf den eindimensionalen a-priori varianzbezogenen Test $K_{prio,f_1=1,f_2=\infty}$ oder den Globaltest $K_G = K_{prio,f_1=f,f_2=\infty}$ der Fisher- bzw. F-Verteilung. Durch Vorgabe einer Irrtumswahrscheinlichkeit $\alpha_{f_1, \infty}$ und einer (einheitlichen) Teststärke $1-\beta$ liegt der Nichtzentralitätsparameter $\lambda$ fest, sodass mit $\alpha(m, n)$ auf alle übrigen $m$-dimensionalen a-priori und a-posteriori bezogenen kritischen Werte geschlossen werden kann.

$$\alpha(m, n)=\alpha(\alpha_{f_1}, 1-\beta, f_1,\infty, m, n)$$

Für die Abstimmung auf den Individualtest ist $f_1=1$ zu setzen und bei der Abstimmung auf den Globaltest ist $f_1=f$.

Beim Durchführen des klassischen Datasnoopings wird das Beobachtungsmaterial (die Stichprobe) parallel auf eine Reihe von Hypothesen überprüft. In der Statistik spricht man in diesem Fall von einem multiplen Testproblem. Dies führt zur sogenannten Alphafehler-Kumulierung, dem Anstieg der Wahrscheinlichkeit für einen Fehler 1. Art. Mittels der Šidák (1967)-Korrektur

$$\alpha_{lokal}=1-(1-\alpha_{global})^{1/h}$$

lässt sich die Irrtumswahrscheinlichkeit der gesamten Hypothesenfamilie $\alpha_{global}$ auf die einzelnen lokalen Hypothesen $\alpha_{lokal}$ portionieren. Hierbei entspricht $h$ der Anzahl der Hypothesen. In JAG3D ergibt sich $h$ aus der Anzahl aller prüfbaren Beobachtungen und dem Globaltest. Eine Beobachtung gilt als prüfbar, wenn sie einen Redundanzanteil von $r_i \gt 0$ aufweist. Durch Vorgabe eines $\alpha_{lokal}$ und Umkehrung der Šidák-Korrektur lässt sich wahlweise auch das globale $\alpha_{global}$-Nivau ableiten.

Der Nichtzentralitätsparameter $\lambda$ ist durch das vorgegebene $\alpha$ und $\beta$ festgelegt und wird analog zum ermittelten $\alpha_{lokal}$ einheitlich bei allen $m$-dimensionalen Teststatistiken zugrunde gelegt. Hierdurch ändert sich die Testgüte der einzelnen Teststatistiken in Abhängigkeit der Freiheitsgrade $n$ und $m$.

$$\beta(m, n)=\beta(\beta,\lambda,h,\infty,m,n)$$

Erfolgt keine Abstimmung zwischen den Teststatistiken, so wird die vorgegebene Irrtumswahrscheinlichkeiten $\alpha$ und die Teststärke $1-\beta$ auf alle Hypothesen einheitliche angewendet. Der Nichtzentralitätsparameter $\lambda$

$$\lambda(m, n)=\lambda(\alpha,1-\beta,m,n)$$

hängt hierbei von den Freiheitsgraden $n$ und $m$ der jeweiligen Teststatistik ab.

Die Irrtumswahrscheinlichkeiten, die Macht des Tests und die Quantile der Teststatistik werden in Abhängigkeit der beiden Freiheitsgrade $n$ und $m$ auf der Ergebnisseite des Dateneditors und im Standardreport ausgegeben. Die nachfolgende Tabelle weist den einzelnen Beobachtungstypen den entsprechenden $m$-dimensionalen Test zu.

Der Freiheitsgrad $n$ gibt an, ob es ein a-priori varianzbezogenen Test ist ($n = \infty$) oder ein a-posteriori varianzbezogenen ($n = f-m$).

Analog zum globalen Test werden auch die einzelnen Varianzfaktoren der Beobachtungsgruppen, die aus der Varianzkomponentenschätzung resultieren, auf Modellverträglichkeit geprüft. Hierzu wird der Redundanzanteil der jeweiligen Gruppe ($m = r_G$, $n = \infty$) genutzt.

Neben den beiden Teststatistiken $T_{prio}$ und $T_{post}$ kann eine mögliche Modellstörung auch mit dem $p$-Wert (engl. $p$-Value) beurteilt werden. Der $p$-Wert beschreibt hierbei eine Überschreitungswahrscheinlichkeit und definiert den Grenzwert, bei dem die als zutreffend angenommene Nullhypothese $H_0$ gerade noch verworfen werden kann. Der $p$-Wert ist somit eine Wahrscheinlichkeit und kann Werte zwischen 0 und 1 (bzw. 0% und 100%) annehmen. Die Nullhypothese $H_0$ ist allgemein zu verwerfen, wenn der $p$-Wert kleiner als ein vorgegebenes Signifikanzniveau $\alpha$ ist. Analog zu den beiden Teststatistiken $T_{prio}$ und $T_{post}$ kann der $p$-Wert mit dem a-priori Varianzfaktor $\sigma_0^2$ und dem a-posteriori Varianzfaktor $\hat{\sigma}_0^2$ angegeben werden.

Da im Falle einer möglichen Modellstörung die $p$-Werte sehr klein werden, sind in JAG3D beide Evidenzmaße in logarithmischer Darstellung zur Basis $e$ (natürlicher Logarithmus) angegeben und mit $\log(p_{prio})$ bzw. $\log(p_{post})$ bezeichnet. Der hierdurch resultierende Wertebereich lautet $[\log(0^+), \log(1)] = [-\infty, 0]$. Die Nullhypothese ist zu verwerfen, wenn

$$p \lt \alpha \asymp \log(p) \lt \log(\alpha)$$

gilt. Im Gegensatz zur Bewertung mittels $T_{prio}$ bzw. $T_{post}$ bietet der $p$-Wert den Vorteil, verschiedene Testergebnisse miteinander zu vergleichen.