Interpretation Teststatistik

by FelixE, Saturday, April 17, 2021, 12:24 (28 days ago)

Hallo Micha, hallo JAG3D-Community,

ich habe mich jetzt schon eine Weile mit JAG3D beschäftigt und komme auch ganz gut damit klar. Ich habe allerdings noch etwas Schwierigkeiten bei der Interpretation der Teststatistik. Nachfolgend habe ich drei Screenshots: Baarda, Sidak, Varianzkomponentenanalyse (ist gleich für Baarda + Sidak).

[image]

[image]

[image]

Soweit ich es verstanden habe, werden prinzipiell die einzelnen Beobachtungsgruppen untersucht und mit dem Globaltest abgestimmt. Z.B. in Zeile vier wird scheinbar die Schrägstrecke σc (d1 = 1.04), in Zeile 8 der Zenitwinkel (d1 = 38.0), in Zeile 9 die Schrägstrecke σa (d1 = 40.97) usw. untersucht.

Wie kommen aber d1 und d2 für die Zeilen 1-6 zustande? Wieso ist in Zeile 2, 3 und 6 d2 nicht ∞? Wieso sind es 12 Zeilen obwohl ich nur 9 Beobachtungsgruppen in der Varianzkomponentenanalyse habe?

Wie ist das Zusammenspiel der beiden Tests? Bei Baarda wird ja scheinbar Wert daraufgelegt, dass der Fehler 2. Art gering bleibt (dafür Alphafehler-Kumulierung?) und bei der Sidak Korrektur der Fehler 1. Art. Sollte man also immer beide zusammen betrachten?

Ich hoffe ich habe es verständlich erklärt und nicht zu viel durcheinandergebracht.


Zwei Kleinigkeiten sind mir noch bei der Handhabung des Programms aufgefallen:

1) Der Shortcut Alt+I führt nicht zu den Importeinstellungen sondern zum Reiter Import.
2) Unter EinstellungenProjektionen & Reduktionen steht Refefenzhöhe statt Referenzhöhe wenn man mit dem Cursor über dem Eingabefeld für Bezugshöhe hovert.

Schöne Grüße
Felix :-)

Interpretation Teststatistik

by Micha ⌂, Bad Vilbel, Saturday, April 17, 2021, 16:12 (28 days ago) @ FelixE

Hallo Felix,

1) Der Shortcut Alt+I führt nicht zu den Importeinstellungen sondern zum Reiter Import.

Stimmt. Alt + Buchstabe ist gefährlich, da Alt eine andere Funktion haben kann. Ich habe es nun als Kombination Strg + Alt + I definiert.

2) Unter EinstellungenProjektionen & Reduktionen steht Refefenzhöhe statt Referenzhöhe wenn man mit dem Cursor über dem Eingabefeld für Bezugshöhe hovert.

Danke. Ich habe es korrigiert.

Beide Änderungen sind in der nächsten Version dann drin. Danke für Deine Hinweise.

Zu Deiner eigentlichen Frage:

Wie kommen aber d1 und d2 für die Zeilen 1-6 zustande? Wieso ist in Zeile 2, 3 und 6 d2 nicht ∞? Wieso sind es 12 Zeilen obwohl ich nur 9 Beobachtungsgruppen in der Varianzkomponentenanalyse habe?

Die Tabelle mit den Teststatistiken enthält alle Quantile, die irgendwo im Projekt benötigt wurden. Beachte bitte, dass dies nicht nur die Prüfung der Varianzkomponenten darstellt sondern allg. alle Hypothesentests (z.B. die Suche nach Modellstörungen (Ausreißern) in den Beobachtungen oder Anschlußpunkten). Weiterhin werden Quantile benötigt, um die Überdeckungswahrscheinlichkeit von Konfidenzbereichen festzulegen bspw. für Punkte oder Zusatzparameter.

Für die Freiheitsgrade eine kurze Erklärung. Betrachten wir die Zeile eins und drei aus Deinem Screenshot:

Die erste Zeile ist der kritische Wert für den Test eine Beobachtung mit Tprio. Wenn also bei einer Deiner terrestrischen Beobachtungen Tprio größer als 10,83 ist, wird diese als vermutete Modellstörung markiert in der letzten Spalte (Signifikant).

Die dritte Zeile ist der kritische Wert für den Test einer Beobachtung mit Tpost. Wenn bei einer terrestrischen Beobachtung bei Dir Tpost größer als 11,36 ist, wird diese als vermutete Modellstörung markiert in der letzten Spalte (Signifikant).

Tprio ist äquivalent zu Baardas w-Test (der Test der normierten Verbesserung NV) bei den terrestrischen Beobachtungen. Bei diesem Test wird davon ausgegangen, dass Du den a-priori Varianzfaktor $\sigma_0^2$ kennst. $\sigma_0^2$ entspricht hierbei der Varianz der Grundgesamtheit. Die Grundgesamtheit ist eine unendliche Menge.

Deine Messungen stellen eine Stichprobe eines Zufallsexperimentes dar. Du ziehst Werte aus der Grundgesamtheit - aber natürlich nicht alle sondern nur eine endliche Teilmenge. Aus dieser Stichrobe kannst Du nun natürlich auch eine Varianz bestimmen. Dies ist $\hat{\sigma}_0^2$ und stellt eine Schätzung für $\sigma_0^2$ dar. $\hat{\sigma}_0^2$ resultiert aus Deiner (endlichen) Stichrobe.

Statt mit $\sigma_0^2$ kannst Du auch einen Test mit $\hat{\sigma}_0^2$ formulieren. Der t-Test ist bspw. ein solcher Test; und dieser ist äquivalent zu Tpost bei den Beobachtungen in JAG3D.

Der zweite Freiheitsgrade $d2$ in der Tabelle Teststatistik richten sich demnach nach der Varianz, die verwendet wird. Bezieht sich der Test auf $\sigma_0^2$, so ist $d2 = \infty$. Wird hingegen die geschätzte Varianz $\hat{\sigma}_0^2$ verwendet, dann ergibt sich $d2$ aus der endlichen Stichprobengröße (aus der Redundanz Deiner Messung).

Der erste Freiheitsgrad $d1$ gibt die Dimension des Testproblems an. Wenn es eine terrestrische Beobachtung ist, dann ist $d1 = 1$. Wird hingegen ein Lagepunkt getestet wird, dann werden gleichzeitig die x- und die y-Komponente geprüft. Die Dimension ist demnach $d1 = 2$. Bei einem Raumpunkt kommt zusätzlich noch die z-Komponente dazu, sodass hier $d1 = 3$ ist. Bei den Varianzkomponenten wird der Freiheitsgrad (Redundanz) verwendet, die zur Bestimmung der jeweiligen Varianzkomponente verwendet wurde. Dies sind dann meist krumme Werte wie bspw. Deine gezeigte $d1 = 1,04$.

Ich verwende die F-Verteilung, welche durch zwei Freiheitsgrade definiert wird, weshalb ich beide in der Tabelle auch angebe.

Sollte man also immer beide zusammen betrachten?

Ich empfehle das Verfahren, dass einem selbst am sinnvollsten erscheint. In vielen Ausgleichungsprogrammen wird man vermutlich gar nicht die Wahl haben und muss mit unabgestimmten Werten arbeiten. Auch diese Option ist in JAG3D möglich. Wenn Dir also die anderen beiden Verfahren nicht zusagen, kannst Du auch auf eine Abstimmung verzichten.
Die Abstimmung soll allgemein dazu führen, dass Du weniger widersprüchliche Ergebnisse erhältst. Wenn der Globaltest verworfen wurde, sollte (idealerweise) auch ein Einzeltest verworfen werden und umgedreht.

Viele Grüße
Micha

--
applied-geodesy.org - OpenSource Least-Squares Adjustment Software for Geodetic Sciences

Tags:
JAG3D, Redundanz, Teststatistik, Baarda, Tprio, Tpost, w-Test, t-Test, Freiheitsgrad, Varianzkomponenten, F-Verteilung

Interpretation Teststatistik

by FelixE, Monday, April 19, 2021, 06:31 (26 days ago) @ Micha

Hallo Micha,

vielen vielen Dank für deine ausführliche Antwort! Die Teststatistik ist jetzt deutlich verständlicher.

Jetzt ist mir auch klar an welcher Stelle die Dimensionen der Teststatistik zum Tragen kommen. Dahingehend habe ich allerdings noch eine andere Frage.

Ich vergleiche im Zuge meiner Masterarbeit Neptan und JAG3D. In Neptan spielt die normierte Verbesserung (NV) eine große Rolle und wird auch für Lage- und Raumpunkte angegeben. Dem Wiki zufolge ist die Berechnung von NV für Lage- und Raumpunkte (also m = 2 bzw. 3) nicht ohne Weiteres möglich.

Gibt es einen anderen Weg um die NV für Lage- und Raumpunkte aus Neptan mit Kenngrößen aus JAG3D zu vergleichen?

Schöne Grüße
Felix

Interpretation Teststatistik

by Micha ⌂, Bad Vilbel, Monday, April 19, 2021, 07:30 (26 days ago) @ FelixE

Hallo Felix,

Ich vergleiche im Zuge meiner Masterarbeit Neptan und JAG3D. In Neptan spielt die normierte Verbesserung (NV) eine große Rolle und wird auch für Lage- und Raumpunkte angegeben. Dem Wiki zufolge ist die Berechnung von NV für Lage- und Raumpunkte (also m = 2 bzw. 3) nicht ohne Weiteres möglich.

Ja, dass ist korrekt. Ich gehe mal davon aus, dass Dir Matlab zur Verfügung steht. Du kannst also folgendes nachvollziehen:

alpha = 0.001;
norminv(1-alpha/2)
ans =
 
       3.2905

Wenn Du eine Irrtumswahrscheinlichkeit von $\alpha = 0,1 \%$ hast, dann ist der kritische Wert (Quantil) ungefähr 3.3. Um diesen Wert zu ermitteln, musst Du lediglich die Wahrscheinlichkeit vorgeben. Du könntest den Wert auch aus der χ2-Verteilung ermitteln, indem Du den Freiheitsgrad dort zu Eins setzt, d.h.,

sqrt(chi2inv(1-alpha, 1))
 
ans =
 
       3.2905

Der Freiheitsgrad zeigt hierbei wiederum die Dimension des Testproblems an. Entsprechend gilt für den korrespondierenden F-Test

>> sqrt(finv(1-alpha, 1, 1000000))
 
ans =
 
       3.2905

wobei die 1,000,000 mal symbolisch für unendlich stehen soll.

Du siehst, man könnte für ein eindimensionales Testproblem den kritischen Wert aus verschiedenen Verteilungen entnehmen. Wenn die Dimension nun aber größer als Eins ist, dann geht das nicht mehr. Die Standardnormalverteilung gilt nur für den eindimensionalen Fall, wie leicht nachvollziehbar ist. Hier musst Du dann auf eine andere Verteilung zurückgreifen, bspw. χ2 oder F-Verteilung.

Gibt es einen anderen Weg um die NV für Lage- und Raumpunkte aus Neptan mit Kenngrößen aus JAG3D zu vergleichen?

Um Deine Frage direkt zu beantworten: Nein, dass ist nicht ohne weiteres möglich.

Wenn ein mehrdimensionales Testproblem mit einem w-Test (normierte Verbesserung NV) bearbeitet wird, dann bedeutet dies, dass dieses Testproblem zerlegt werden müsste in separate Einzeltests. Wenn also eine Lagepunkt geprüft wird, dann könnte man mit dem w-Test die x-Komponente prüfen (und davon ausgehen, das y unverändert ist). Anschließend könnte man die y-Komponente testen (unter der Annahme, dass x unverändert geblieben ist). Diese Vorgehensweise ist denkbar.

Das Problem hierbei ist, dass die Verschiebung des Punktes entlang der Koordinatensystemachse erfolgen muss - entweder exakt in x- oder eben exakt in y-Richtung. Angenommen das würde tatsächlich zutreffen und die Verschiebung findet nur in x statt, dann hat man jedoch ein Problem, wenn man das Datum um 50 gon drehen würde. Nun würde sich die Verschiebung anteilig in x und y zeigen, jedoch jeweils mit $\sqrt{0,5}$ skaliert. Eine Folge könnte sein, dass nun keiner der beiden separat durchgeführten Tests sensitiv genug ist und anschlägt.

Ein Test, der gleichzeig beide Koordinatenkomponenten berücksichtigt, hat dieses Problem nicht und ist demnach unabhängig vom gewählten Datum. Ich unterstelle mal, dass dies vornehmlich gewünscht ist bei einer objektiven Analyse.

Ich würde mich übrigens freuen, wenn Du mir eine digitale Kopie Deiner Arbeit am Ende zukommen lässt - unabhängig vom Ergebnis. ;-) Wenn es an einer Stelle ein Problem in JAG3D gab, hätte ich so zumindest ein Anhaltspunkt, um dies in einer zukünftigen Version zu berücksichtigen. Ich würde mich daher sehr freuen.

Viele Grüße
Micha

--
applied-geodesy.org - OpenSource Least-Squares Adjustment Software for Geodetic Sciences

Tags:
JAG3D, Teststatistik, Deformation, w-Test, χ2, F, Normiert Verbesserung, Dimension, Punkttest

Interpretation Teststatistik

by FelixE, Monday, April 19, 2021, 11:12 (26 days ago) @ Micha

Hallo Micha,

nochmals danke für deine schnelle und ausführliche Antwort.

Wenn ein mehrdimensionales Testproblem mit einem w-Test (normierte Verbesserung NV) bearbeitet wird, dann bedeutet dies, dass dieses Testproblem zerlegt werden müsste in separate Einzeltests. Wenn also eine Lagepunkt geprüft wird, dann könnte man mit dem w-Test die x-Komponente prüfen (und davon ausgehen, das y unverändert ist). Anschließend könnte man die y-Komponente testen (unter der Annahme, dass x unverändert geblieben ist). Diese Vorgehensweise ist denkbar.

Das Problem hierbei ist, dass die Verschiebung des Punktes entlang der Koordinatensystemachse erfolgen muss - entweder exakt in x- oder eben exakt in y-Richtung. Angenommen das würde tatsächlich zutreffen und die Verschiebung findet nur in x statt, dann hat man jedoch ein Problem, wenn man das Datum um 50 gon drehen würde. Nun würde sich die Verschiebung anteilig in x und y zeigen, jedoch jeweils mit $\sqrt{0,5}$ skaliert. Eine Folge könnte sein, dass nun keiner der beiden separat durchgeführten Tests sensitiv genug ist und anschlägt.

Angenommen in Neptan wird das so umgesetzt (erfährt man ja wahrscheinlich nicht abschließend). Das würde bedeuten, dass die NV für Lage- und Raumpunkte später anschlagen würde und möglicherweise Fehler nicht erkannt werden oder? Ich möchte nur wissen ob ich das so richtig verstanden habe.


Ich spreche nochmal mit meinen Betreuern, aber ich denke es wird kein Problem sein dir die Arbeit zukommen zu lassen. Bis mindestens Oktober musst du dich allerdings noch gedulden. ;-)

Schöne Grüße
Felix

Interpretation Teststatistik

by Micha ⌂, Bad Vilbel, Monday, April 19, 2021, 11:42 (26 days ago) @ FelixE

Hallo Felix,

Angenommen in Neptan wird das so umgesetzt

Ich kann Dir diese Frage natürlich nicht beantworten, da ich lediglich mit den Informationen arbeite, die Du mir zur Verfügung stellst.

(erfährt man ja wahrscheinlich nicht abschließend).

Es könnte aus dem Report hervorgehen, wenn man die numerischen Werte versucht nachzuvollziehen (oder natürlich in einem Handbuch stehen).

Das würde bedeuten, dass die NV für Lage- und Raumpunkte später anschlagen würde und möglicherweise Fehler nicht erkannt werden oder? Ich möchte nur wissen ob ich das so richtig verstanden habe.

Das könnte passieren, muss aber nicht. Für den Fall, dass die Verschiebung in einem Punkt wirklich entlang einer Koordinatenachse erfolgt (also ausschließlich in x oder y), wäre der eindimensionale Test natürlich überlegen. Dieser beschreibt die Situation dann schließlich zutreffend. Jetzt musst Du jedoch abwägen, wie häufig diese Situation in der Wirklichkeit auch tatsächlich vorkommen wird - das ist der eigentliche Knackpunkt. Sobald beide Koordinatenkomponenten von der Deformation betroffen sind, beschreibt der Test die Situation nicht mehr zutreffend.

Ich spreche nochmal mit meinen Betreuern, aber ich denke es wird kein Problem sein dir die Arbeit zukommen zu lassen. Bis mindestens Oktober musst du dich allerdings noch gedulden. ;-)

Hoffentlich erinnerst Du Dich dann noch dran. ;-)

Viele Grüße
Micha

--
applied-geodesy.org - OpenSource Least-Squares Adjustment Software for Geodetic Sciences

Interpretation Teststatistik

by Micha ⌂, Bad Vilbel, Monday, April 19, 2021, 18:09 (26 days ago) @ FelixE

... vielleicht noch als Ergänzung. Möglicherweise lässt sich der Test umformen. Wenn $\mathbf{\nabla} = (\nabla_x, \nabla_y)^T$ der Vektor der geschätzten Verschiebung ist und $\mathbf{C_{\nabla\nabla}}$ die zugehörige Kovarianzmatrix, dann ergibt sich die Testgröße zu

$T_{\mathbf{\nabla}} = \frac{ \mathbf{\nabla}^{T} \mathbf{C_{\nabla\nabla}^{-1}} \mathbf{\nabla} } { 2 }$

die mit einem Quantil der F-Verteilung zu vergleichen ist.

Eine sinngemäße Testgröße sollte sich ergeben, wenn man statt $\mathbf{\nabla}$ die Länge $| \mathbf{\nabla}|$ und dessen Varianz $\sigma^2_{| \mathbf{\nabla}|}$ verwendet. Letzteres erhältst Du aus dem Varianz-Kovarianz-Fortpflanzungsgesetz. Die Teststatistik wäre nun

$T_{| \mathbf{\nabla}|} = \frac{| \mathbf{\nabla}|}{\sigma_{| \mathbf{\nabla}|}}$

die nun mit einem Quantil der Standardnormalverteilung zu vergleichen wäre.

Vielleicht ist dies noch eine Richtung, die Du Dir ansehen könntest.

Viele Grüße
Micha

--
applied-geodesy.org - OpenSource Least-Squares Adjustment Software for Geodetic Sciences

Tags:
Teststatistik, F-Verteilung, F-Test, Standardnormalverteilung

Interpretation Teststatistik

by FelixE, Wednesday, April 21, 2021, 17:28 (24 days ago) @ Micha

Hallo Micha,

vielen Dank für die Antworten, die Klarstellung und den möglichen Ansatz. Ich muss mal schauen in welche Richtung sich die Masterarbeit noch entwickelt.

Hoffentlich erinnerst Du Dich dann noch dran. ;-)

ich werde sicher noch die ein oder andere Frage in nächster Zeit stellen. Insofern glaube ich nicht, dass ich es vergesse. :-D


Nebenbei: Ich finde es super, dass du auch auf Youtube noch ein paar Videos hochlädst! Ich glaube da ist die ein oder andere Sache nochmal verständlicher.

Schöne Grüße
Felix

Videotutorials

by Micha ⌂, Bad Vilbel, Thursday, April 22, 2021, 09:19 (23 days ago) @ FelixE

Hallo Felix,

Nebenbei: Ich finde es super, dass du auch auf Youtube noch ein paar Videos hochlädst! Ich glaube da ist die ein oder andere Sache nochmal verständlicher.

Danke für die Rückmeldung. Ich sammle noch Erfahrungen mit der technischen Umsetzung, weshalb die Qualität der ersten Versuche vielleicht noch nicht perfekt ist. Aber man wächst ja mit seinen Aufgaben. Ich habe heute ein weiteres Video veröffentlicht.

Viele Grüße
Micha

--
applied-geodesy.org - OpenSource Least-Squares Adjustment Software for Geodetic Sciences

Tags:
JAG3D, Tutorial, Video, Play list

RSS Feed of thread