Schätzung a posteriori sigma_a, sigma_b, sigma_c

by gf, Tuesday, September 10, 2019, 18:53 (5 days ago)

Hallo Micha,

für jede Beobachtung wird im Rahmen der Ausgleichung auch die a posteriori Standardabweichung geschätzt und ausgegeben.

In der Varianzgruppenanalyse erscheinen sigma_a und sigma_c bereits als Komponenten.

Wäre es möglich, dass für jede Beobachtungsgruppe ebenfalls die a posteriori Standardabweichung der gesamten Gruppe geschätzt und ausgegeben wird, und diese dann zusätzlich noch aufgeschlüsselt in a posteriori sigma_a, sigma_b und sigma_c Komponenten?

Viele Grüße
gf

Schätzung a posteriori sigma_a, sigma_b, sigma_c

by Micha ⌂ @, Tuesday, September 10, 2019, 22:32 (4 days ago) @ gf

Hallo,

In der Varianzgruppenanalyse erscheinen sigma_a und sigma_c bereits als Komponenten.

Ja, σb würde dort auch stehen, wenn es > 0 definiert ist.

Wäre es möglich, dass für jede Beobachtungsgruppe ebenfalls die a posteriori Standardabweichung der gesamten Gruppe geschätzt und ausgegeben wird, und diese dann zusätzlich noch aufgeschlüsselt in a posteriori sigma_a, sigma_b und sigma_c Komponenten?

Theoretisch geht das. Man kann so viele Gruppen bilden, wie Überschüssigkeiten (Redundanz) vorliegen. Aber sinnvoll wird das nicht immer gehen. Nehmen wir einen klassischen Polygonzug. Man steht auf einem Punkt und misst zum zurückliegenden Punkt und zu nächsten. Es werden also in der Lage zwei Richtungen und zwei Strecken gemessen. Die Richtungen müssen, da diese einen Satz bilden, in eine eigene Gruppe. Gehen wir hypothetisch mal davon aus, dass diese beiden Richtungen gut kontrolliert sind und sagen wir eine Redundanz von r = 0.8 aufweisen. Dann ist die Gesamtredundanz dieser Gruppe 1,6 ≈ 2. Da wir durch diese Redundanz teilen, ist es so, als würdest Du einen Mittelwert aus zwei Messungen bilden und die Standardabweichung bestimmen. Ich glaube nicht, dass diese sonderlich repräsentativ ist. Den Wunsch, diese Standardabweichung bzw. Varianz nun noch in weitere einzelne Komponenten zu zerlegen mit noch kleinerer Redundanz ist sicher so zuverlässig wie das Horoskop von gestern. ;-)
Förstner (1979) gibt an, dass die Gruppenredundanz > 50 sein sollte, um sinnvolle Werte zu schätzen. Ich will diese Grenze nicht als harte verstanden wissen: Vielleicht reichen auch schon 30 oder erst 70. Aber << 10 ist vermutlich deutlich zu wenig.

Wenn Dich der Varianzfaktor der Gruppe interessiert, kannst Du diesen aber im Report ausgeben lassen. Unter jeder Tabelle wird die Summe der Redundanzen und die Verbesserungquadratsumme bereits ausgegeben. Hier müsste man nur noch den Quotient bilden. Das sollte das Template sogar rechnen können. Wenn Du willst, schaue ich mir das die Tage mal an und Du kannst es bei Dir ändern. In die offizielle Version würde ich es aus o.g. Gründen nicht mitaufnehmen.


Viele Grüße
Micha

--
applied-geodesy.org - OpenSource Least-Squares Adjustment Software for Geodetic Sciences

Tags:
JAG3D, Varianzkomponentenschätzung, Redundanz, Beobachtung

Schätzung a posteriori sigma_a, sigma_b, sigma_c

by gf, Wednesday, September 11, 2019, 06:11 (4 days ago) @ Micha

Hallo Micha,

Wenn Dich der Varianzfaktor der Gruppe interessiert, kannst Du diesen aber im Report ausgeben lassen. Unter jeder Tabelle wird die Summe der Redundanzen und die Verbesserungquadratsumme bereits ausgegeben. Hier müsste man nur noch den Quotient bilden.

Danke für die Info - der Varianzfaktor ist auch hilfreich.
Ist dieser eigentlich ein erwartungstreuer Schätzer?
Dividieren kann ich auch selbst - das musst Du nichts einbauen.

Wie wie ermittle ich sigma(post) einer Gruppe (also in mgon bzw. mm)?

Viele Grüße
gf

Schätzung a posteriori sigma_a, sigma_b, sigma_c

by Micha ⌂ @, Wednesday, September 11, 2019, 07:54 (4 days ago) @ gf

Hallo,

Ist dieser eigentlich ein erwartungstreuer Schätzer?

Ja, es handelt sich um eine unverzerrte Schätzung, siehe hier die Schlußbemerkungen S. 451f.

Dividieren kann ich auch selbst - das musst Du nichts einbauen.

Es ist kein Akt, ich musste es nur selbst mal machen, da ich am Template nicht jeden Tag arbeite. Du findest die einzelnen Files im Verzeichnis resources/ftl/jag3d/. Wenn Du das Default-Template nicht verlieren willst (z.B. nach einem Update), dann erstelle eine Kopie des Verzeichnis default und der Datei Report_(Default).ftlh.

Wenn diese Kopie nun my_default und My_Report_(Default).ftlh heißen, dann editiere bitte zunächst die My_Report_(Default).ftlh und passe dort die Pfade von default auf my_default an (Suchen und Ersetzen). Anschließend sollten Dir in JAG3D beide Reports zur Auswahl stehen.

Um die Varianzfaktoren der Gruppe unter der jeweiligen Tabelle auszugeben, musst Du die Datei observation_tfoot.ftlh editieren. Zeile 120f sieht wie folgt aus:

<td><@printFormattedNumber value=group.omega format=df_statistic/></td>
<td></td>

hier könntest Du die zweite Zeile ersetzen, sodass folgendes stehen bleibt:

<td><@printFormattedNumber value=group.omega format=df_statistic/></td>
<td><@printFormattedNumber value=((group.redundancy > 0)?then(group.omega / group.redundancy, 0)) format=df_statistic/></td>

In diesem Fall wird die Varianz in die 5 Spalte (von hinten gezählt) gesetzt. Du kannst es natürlich auch in jede andere Spalte setzen.

Wie wie ermittle ich sigma(post) einer Gruppe (also in mgon bzw. mm)?

Die Gleichungen findest Du im o.g. Paper bzw. im Wiki. Es muss zunächst der Anteil an der Verbesserungsquadratsumme bestimmt werden (im Program mit Ω abgekürzt) und der Anteil an der Gesamtredundanz r. Die Varianz ist dann der Quotient aus beiden σ² = Ω/r (siehe auch letzte Gleichung im Wiki bzw. Gl. 16 im Paper).

Wenn Du den Wert als Standardabweichung haben willst, dann müsste die modifizierte Zeile noch gewurzelt werden, d.h.,

<td><@printFormattedNumber value=((group.redundancy > 0)?then(Math.sqrt(group.omega / group.redundancy), 0)) format=df_statistic/></td>

Viele Grüße
Micha

--
applied-geodesy.org - OpenSource Least-Squares Adjustment Software for Geodetic Sciences

Tags:
JAG3D, freemarker, template, html, Varianzkomponentenschätzung

Schätzung a posteriori sigma_a, sigma_b, sigma_c

by gf, Wednesday, September 11, 2019, 19:49 (4 days ago) @ Micha

Hallo Micha, danke für die Informationen. Die mathematischen Details muss ich erst noch verdauen...

Es muss zunächst der Anteil an der Verbesserungsquadratsumme bestimmt werden (im Program mit Ω abgekürzt) und der Anteil an der Gesamtredundanz r. Die Varianz ist dann der Quotient aus beiden σ² = Ω/r

Für eine einzelne Beobachtung wären die anteilige Verbesserungsquadratsumme und die anteilige Redundanz dann einfach die zwei Werte aus den Spalten Ω und r des Reports, oder?

Ich picke mir aus dem Report einfach 'mal willkürlich eine Horizontalstreckenbeobachtung heraus:

Omega=0.70, r=0.71 und sigma=0.55mm

Wenn ich nachrechne, dann ergibt sqrt(Ω/r) = sqrt(0.7/0.71) jedoch nicht den Wert 0.55, sondern 0.99.

Wo liegt der Fehler?

Viele Grüße
gf

Schätzung a posteriori sigma_a, sigma_b, sigma_c

by Micha ⌂ @, Thursday, September 12, 2019, 07:00 (3 days ago) @ gf

Hallo gf,

Wo liegt der Fehler?

In meiner ungenügenden Erklärung. :-(

Das Ziel der Varianzkomponentenschätzung und der Berücksichtigung dieser Ergebnisse ist es, dass der (a-priori) Varianzfaktor der Grundgesamtheit mit dem geschätzten globalen (a-posteriori) Varianzfaktor übereinstimmt, d.h., dass beide Faktoren ein Verhältnis von 1 : 1 aufweisen. In JAG3D ist die Tabelle mit den globalen Ausgleichungsergebnissen auch korrekt überschrieben mit 1 : σ². (Streng müsste es sogar $\hat{\sigma}^2$ sein aber hierfür gibt es kein Zeichen und Bilder möchte ich nicht nehmen.)

Die Gleichung, die ich Dir genannt hatte, ist also die Skalierung, die Du anbringen müsstest, damit das Verhältnis von 1 : 1 erreicht wird. Du müsstest also Deine a-priori gewählte Varianz für Deine Strecke mit diesem Faktor multiplizieren und als modifiziertes stochastisches Modell in eine neue Ausgleichung wieder einführen. Der Faktor selbst strebt also gegen Eins. In Deinem Beispiel wäre dies also bereits (ziemlich gut) erfüllt.

Keine Ahnung, ob es nun besser beschrieben ist aber ein Beispiel ist sicher illustrativer als Formeln:
Vor der ersten Ausgleichung hast Du σ² = 4 mm² gewählt, weil dies das Datenblatt bspw. so hergibt. Nach der Ausgleichung ist Ω = 0,75 und r = 0,5, sodass das Verhältnis 1,5 ist. In einer weiteren Ausgleichung könntest Du nun Deine erste Annahme von 4 mm² überdenken und stattdessen σ² = 6 mm² nutzen.
So kannst Du Dich an das Verhältnis 1 : 1 ran iterieren.

Ich hoffe, dass hilft Dir bei Deiner Analyse weiter.

Der Vollständigkeit halber: Die Standardabweichung nach der Ausgleichung ergibt sich aus der geschätzten Varianz-Kovarianz-Matrix. Sie kann also direkt von der Hauptdiagonalen abgelesen werden.

Viele Grüße
Micha

--
applied-geodesy.org - OpenSource Least-Squares Adjustment Software for Geodetic Sciences

Schätzung a posteriori sigma_a, sigma_b, sigma_c

by gf, Thursday, September 12, 2019, 14:38 (3 days ago) @ Micha

Die Gleichung, die ich Dir genannt hatte, ist also die Skalierung, die Du anbringen müsstest, damit das Verhältnis von 1 : 1 erreicht wird. [...] So kannst Du Dich an das Verhältnis 1 : 1 ran iterieren.

Danke Micha, ist jetzt klar, dann ist also Ω/r doch der Varianzfaktor, und nicht die Varianz selbst.

Wie gehe ich damit um, wenn ich zur Erreichung eines Varianzfaktors von 1 eine deutlich geringere a priori Standardabweichung festlegen müsste, als es der vom Hersteller des Messgeräts spezifizierten Genauigkeit entspricht?

Die vom Hersteller spezifizierte Genauigkeit eines bestimmten Messgerätemodells beinhaltet ja nicht nur die Reproduzierbarkeit von Messungen, sondern z.B. auch Exemplarstreueungen, die sich bei meinen Messungen natürlich nicht als Zufallsvariable bemerkbar machen, sondern vielmehr als unbekannter systematischer Fehler, da ich ja alle Messungen mit dem selben Messgeräteexemplar durchführe, das nur eine einzige Stichprobe mit einem Sample aus der Exemplarstreuung darstellt. Auch wenn sich diser Fehleranteil nicht (oder nur partiell) in der geschätzten a posteriori Varianz niederschlägt, kann ich ihn ja dennoch nicht ignorieren?

Der Vollständigkeit halber: Die Standardabweichung nach der Ausgleichung ergibt sich aus der geschätzten Varianz-Kovarianz-Matrix. Sie kann also direkt von der Hauptdiagonalen abgelesen werden.

Ist das dann jener Wert, der im Report in der sigma-Spalte der Beobachtungen steht?

In welchem Zusammenhang steht die Standardabweichung nach der Ausgleichung zu sigma_0 und dem Varianzfaktor? Wenn nach ein paar Iterationen Varianzfaktor 1 erreicht ist, sollte dann sigma_0 mit der Standardabweichung nach der Ausgleichung übereinstimmen?

Btw, ist die geschätzte Kovarianzmatrix der Beobachtungen nach der Ausgleichung immer noch eine Diagonalmatrix?

Viele Grüße
gf

Schätzung a posteriori sigma_a, sigma_b, sigma_c

by Micha ⌂ @, Thursday, September 12, 2019, 15:34 (3 days ago) @ gf

Hallo,

Danke Micha, ist jetzt klar, dann ist also Ω/r doch der Varianzfaktor, und nicht die Varianz selbst.

Ja, das trifft es zutreffend.

Wie gehe ich damit um, wenn ich zur Erreichung eines Varianzfaktors von 1 eine deutlich geringere a priori Standardabweichung festlegen müsste, als es der vom Hersteller des Messgeräts spezifizierten Genauigkeit entspricht?

Allgemein gelten die Aussagen im Abschnitt Varianzkomponentenschätzung:

  • $\sigma^2 \gg 1.0$ eine zu optimistische Annahme des a-priori gewählten stochastischen Modells (oder das Vorliegen von Modellstörungen im funktionalen Modell)
  • $\sigma^2 \ll 1.0$ eine zu pessimistische Wahl des a-priori stochastischen Modells.

Pauschale Aussagen besitzen jedoch eine gewisse Gefahr, dass sie unreflektiert angewendet werden. Damit eine Varianz zuverlässig ist, sollte die Stichprobe einen ausreichenden Umfang (weitgehend unabhängiger) Beobachtungen aufweisen. Wenn die Redundanz also extrem klein ist, dann würde ich den Wert nicht beachten - siehe auch die Anmerkungen im anderen Posting.

Die Varianz wird grundsätzlich aus der Streuung der Residuen ermittelt. Die Residuen der Stichprobe müssen aber nicht zwangsläufig den gesamten Merkmalsraum der Verteilung abdecken. Insbesondere weisen Wiederholungsmessungen hohe Abhängigkeiten auf, die in der Ausgleichung aber nicht berücksichtigt werden. Aus diesem Grund werden in der Vermessung Vollsätze üblicherweise auch gemittelt. Weiterhin gelten die Spezifikationen häufig für einen sehr großen Anwendungsbereich, z.B. von -10 ℃ bis +40 ℃. Bei der erhobenen Stichprobe wird man diesen Bereich aber meist nicht abdecken können. Aus diesem Grund weisen die registrierten Messungen häufig eine (scheinbar) höhere Genauigkeit auf als der Hersteller spezifiziert. In der Norm wird hierfür der Begriff Präzision verwendet, der in Abbildung 2 zu sehen ist.

Es sollte Dich also nicht wundern, wenn Du die Spezifikation unterbietest. Solltest Du hingegen deutlich drüber liegen, sollte Dich das in jedem Fall stutzig machen.

Die vom Hersteller spezifizierte Genauigkeit eines bestimmten Messgerätemodells beinhaltet ja nicht nur die Reproduzierbarkeit von Messungen, sondern z.B. auch Exemplarstreueungen, die sich bei meinen Messungen natürlich nicht als Zufallsvariable bemerkbar machen, sondern vielmehr als unbekannter systematischer Fehler, da ich ja alle Messungen mit dem selben Messgeräteexemplar durchführe, das nur eine einzige Stichprobe mit einem Sample aus der Exemplarstreuung darstellt. Auch wenn sich diser Fehleranteil nicht (oder nur partiell) in der geschätzten a posteriori Varianz niederschlägt, kann ich ihn ja dennoch nicht ignorieren?

Im Konzept des Guide to the Expression of Uncertainty in Measurement (GUM) werden die erzielten Ergebnisse dem Typ A zu geordnet. Typ A meint hierbei, dass es statistisch ermittelte Werte sind. Dem gegenüber steht der Typ B, der aus nicht-statistischen Informationen resultiert wie bspw. Erfahrungen, Untersuchungen, Kalibrierungen usw. Der GUM kombiniert final beide Anteile zu einer Gesamtunsicherheit, sodass die Unsicherheiten der unbekannten Restsystematiken berücksichtigt sind. Vielleicht schaust Du Dir dieses Konzept an. Die englischen Fassungen sind kostenfrei verfügbar.

Der Vollständigkeit halber: Die Standardabweichung nach der Ausgleichung ergibt sich aus der geschätzten Varianz-Kovarianz-Matrix. Sie kann also direkt von der Hauptdiagonalen abgelesen werden.


Ist das dann jener Wert, der im Report in der sigma-Spalte der Beobachtungen steht?

Ja. Das ist der Wert, der auf der Oberfläche und im Report mit σ bezeichnet ist.

In welchem Zusammenhang steht die Standardabweichung nach der Ausgleichung zu sigma_0 und dem Varianzfaktor?

Ich bin mir nicht sicher, was Du mit sigma_0 meinst. Meinst Du hier die Standardabweichung der Beobachtung oder bezieht es sich auf die Standardabweichung der Gewichtseinheit?

Aus allen Residuen wird eine globale Varianz geschätzt $\hat{\sigma}^2_0$, die eine Schätzung der Varianz der Grundgesamtheit $\sigma^2_0$ darstellt. Nach der Ausgleichung lassen sich Kofaktormatizen für praktisch alle Unbekannten aufstellen. Neben den Koordinaten $\mathbf{x}$ sind die Residuen $\mathbf{v}$ selbst und damit auch die ausgeglichenen Beobachtungen $\mathbf{l}$ unbekannt. Es gibt hier also allein schon drei Matrizen, die in der Dokumentation mit $\mathbf{Q}$ bezeichnet sind. Der Index zeigt dann an, auf welchen Parameter diese Matrix sich jeweils bezieht. Da $\mathbf{Q}$ als Kofaktormatrix nur die relativen Informationen beinhaltet (Punkt A hat eine kleinere Varianz als B, ohne die Varianz im einzelnen jeweils zu kennen), muss diese mit einem Varianzfaktor noch skaliert werden. Dies kann $\sigma^2_0$ sein, dann werden Deine angenommenen Beobachtungsunsicherheiten auf die Unsicherheiten der Punkte direkt übertragen (Fehlerfortpflanzung), oder dessen Schätzwert $\hat{\sigma}^2_0$. In den Ausgleichungseinstellungen kannst Du dies festlegen. Die resultierende Matrix $\mathbf{C}={\sigma}^2_0\mathbf{Q}$ bzw. $\mathbf{C}=\hat{\sigma}^2_0\mathbf{Q}$ ist dann die Varianz-Kovarianz-Matrix.

Wenn nach ein paar Iterationen Varianzfaktor 1 erreicht ist, sollte dann sigma_0 mit der Standardabweichung nach der Ausgleichung übereinstimmen?

Dann gilt ${\sigma}^2_0 = \hat{\sigma}^2_0$, ja. Ob man diesen Status erreichen möchte, steht jedoch auf einem anderen Blatt. Wenn ich also bei einem Tachymeter, dass der Hersteller mit 2 mm spezifiziert hat, 2 µm einstellen müsste, damit diese Gleichung erfüllt wird, lasse ich es lieber und ignoriere den Test. Das steht mir als Anwender immer zu, da JAG3D nur das Werkzeug ist und mir das Denken nicht abnehmen soll.

Btw, ist die geschätzte Kovarianzmatrix der Beobachtungen nach der Ausgleichung immer noch eine Diagonalmatrix?

Nein. Diese Matrix ist i.A. vollbesetzt. Dies trifft auch auf die Varianz-Kovarianz-Matrix der Koordinaten zu, welche Du Dir sogar exportieren kannst, siehe Ausgleichungseinstellungen.

Viele Grüße
Micha

--
applied-geodesy.org - OpenSource Least-Squares Adjustment Software for Geodetic Sciences

Schätzung a posteriori sigma_a, sigma_b, sigma_c

by gf, Thursday, September 12, 2019, 16:39 (3 days ago) @ Micha

Ich bin mir nicht sicher, was Du mit sigma_0 meinst. Meinst Du hier die Standardabweichung der Beobachtung oder bezieht es sich auf die Standardabweichung der Gewichtseinheit?

Hallo Micha, ich meinte die vorgegebene Standardabweichung der Beobachtung (entweder aus $\sigma_a$, $\sigma_b$, $\sigma_c$ berechnet, oder explizit pro Beobachtung angegeben). Wenn ich mich nicht irre, wird im Report diese Spalte ebenfalls mit $\sigma_0$ bezeichnet (zumindest der Wert, den ich in dieser Spalte vorfinde, entspricht bei Strecken meinem vorgegebenen $\sigma_a$).

[...] muss diese mit einem Varianzfaktor noch skaliert werden. Dies kann $\sigma^2_0$ sein, dann werden Deine angenommenen Beobachtungsunsicherheiten auf die Unsicherheiten der Punkte direkt übertragen (Fehlerfortpflanzung), oder dessen Schätzwert $\hat{\sigma}^2_0$. In den Ausgleichungseinstellungen kannst Du dies festlegen. [...]

Du sprichst gerade einen Punkt an, der mir auch noch unklar war. Welche Ergebnisse werden von dieser Einstellung sonst noch beeinflusst? Hat diese Einstellung auch einen Einfluss auf den Statistik/Ausreißer-Test? Bei den geschätzten Punktlagen habe ich keinen Unterschied bemerkt.

Viele Grüße
gf

Schätzung a posteriori sigma_a, sigma_b, sigma_c

by Micha ⌂ @, Thursday, September 12, 2019, 18:21 (3 days ago) @ gf

Hallo,

ich meinte die vorgegebene Standardabweichung der Beobachtung (entweder aus $\sigma_a$, $\sigma_b$, $\sigma_c$ berechnet, oder explizit pro Beobachtung angegeben).

Diese Standardunsicherheit wird zur Gewichtung verwendet. Beobachtungen die ein hohes Vertrauen besitzen (kleine Standardunsicherheit aufwiesen) erhalten ein hohes Gewicht als Beobachtungen mit großen Standardunsicherheiten. Je höher das Gewicht, desto größer ist der Einfluss dieser Messung auf die Schätzwerte. Die Gewichtung ist Teil der Zielfunktion: gewichte Verbesserungsquadratsumme.

Mittels Varianz-Kovarianz-Fortpflanzungsgesetz werden die a-priori angenommenen Standardunsicherheit auf die Schätzwerte übertragen, sodass eine Varianz-Kovarianz-Matrix für die Parameter (Koordinaten) vorliegt. Nun wird die Betrachtung umgedreht, indem man die gerade geschätzte Varianz-Kovarianz-Matrix der Koordinaten auf die ausgeglichenen Beobachtungen (zurück) überträgt. Hierbei resultiert nicht die a-priori Matrix, weil die Ausgleichung letztlich auch einen Informationsverlust beinhaltet. Aus 10 Messungen lässt sich bekanntlich der Mittelwert als bester Schätzwert bestimmen, aus dem Mittelwert selbst lässt sich jedoch nicht mehr auf die 10 Messungen schließen. Die aus dieser Rücktransformation stammenden (geschätzten) Varianzen werden in den Ergebnistabellen der Beobachtungen dann ausgegeben. Entsprechende Gleichungen finden sich im Wiki oder in jedem Buch zum Thema Ausgleichung.

Hat diese Einstellung auch einen Einfluss auf den Statistik/Ausreißer-Test?

Ja, der auf den a-posteriori bezogene Test $T_{post}$ wird nicht mehr ausgewertet. Wenn $\hat{\sigma}_0^2 < {\sigma}_0^2$ wäre, dann sind die geschätzten Standardunsicherheiten für die Koordinaten bzw. Beobachtungen nun größer.

Viele Grüße
Micha

--
applied-geodesy.org - OpenSource Least-Squares Adjustment Software for Geodetic Sciences

RSS Feed of thread