Πίνακας προβολής

Στη στατιστική, ο πίνακας προβολής $(\mathbf {P} )$ ,^[1] που μερικές φορές ονομάζεται επίσης πίνακας επιρροής^[2] ή πίνακας καπέλου $(\mathbf {H} )$ , απεικονίζει το διάνυσμα των τιμών απόκρισης (τιμές εξαρτημένης μεταβλητής) στο διάνυσμα των προσαρμοσμένων τιμών (ή προβλεπόμενων τιμών). Περιγράφει την επιρροή που έχει κάθε τιμή απόκρισης σε κάθε προσαρμοσμένη τιμή.^[3]^[4] Τα διαγώνια στοιχεία του πίνακα προβολής είναι οι μοχλεύσεις, οι οποίες περιγράφουν την επιρροή που έχει κάθε τιμή απόκρισης στην προσαρμοσμένη τιμή για την ίδια παρατήρηση.

Ορισμός

Αν το διάνυσμα των τιμών απόκρισης συμβολίζεται με $\mathbf {y}$ και το διάνυσμα των προσαρμοσμένων τιμών με $\mathbf {\hat {y}}$ ,

\mathbf {\hat {y}} =\mathbf {P} \mathbf {y} .

Καθώς το $\mathbf {\hat {y}}$ συνήθως προφέρεται «y-hat», ο πίνακας προβολής $\mathbf {P}$ ονομάζεται επίσης πίνακας καπέλου καθώς «βάζει ένα καπέλο^[5] στο $\mathbf {y}$ ».

Εφαρμογή για τα υπόλοιπα

Ο τύπος για το διάνυσμα των υπολοίπων $\mathbf {r}$ μπορεί επίσης να εκφραστεί συμπαγώς χρησιμοποιώντας τον πίνακα προβολής:

\mathbf {r} =\mathbf {y} -\mathbf {\hat {y}} =\mathbf {y} -\mathbf {P} \mathbf {y} =\left(\mathbf {I} -\mathbf {P} \right)\mathbf {y} .

όπου $\mathbf {I}$ είναι ο πίνακας ταυτότητας. Ο πίνακας $\mathbf {M} :=\mathbf {I} -\mathbf {P}$ αναφέρεται μερικές φορές ως πίνακας υπολειμματικού δημιουργού ή πίνακας εξουδετέρωσης.

Ο πίνακας συνδιακύμανσης των υπολοίπων $\mathbf {r}$ , με διάδοση σφάλματος, ισούται με

\mathbf {\Sigma } _{\mathbf {r} }=\left(\mathbf {I} -\mathbf {P} \right)^{\textsf {T}}\mathbf {\Sigma } \left(\mathbf {I} -\mathbf {P} \right)

,

όπου $\mathbf {\Sigma }$ είναι ο πίνακας συνδιακύμανσης του διανύσματος σφάλματος (και κατ' επέκταση και του διανύσματος απόκρισης). Για την περίπτωση των γραμμικών προτύπων με ανεξάρτητα και πανομοιότυπα κατανεμημένα σφάλματα στα οποία $\mathbf {\Sigma } =\sigma ^{2}\mathbf {I}$ , αυτό ανάγεται σε:^[3]

\mathbf {\Sigma } _{\mathbf {r} }=\left(\mathbf {I} -\mathbf {P} \right)\sigma ^{2}

.

Διαίσθηση

Ένας πίνακας,

\mathbf {A}

έχει το χώρο των στηλών του απεικονιζόμενο ως πράσινη γραμμή. Η προβολή κάποιου διανύσματος

\mathbf {b}

στο χώρο των στηλών του

\mathbf {A}

είναι το διάνυσμα

\mathbf {x}

Από το σχήμα, είναι σαφές ότι το πλησιέστερο σημείο από το διάνυσμα $\mathbf {b}$ στο χώρο των στηλών του $\mathbf {A}$ , είναι το $\mathbf {Ax}$ , και είναι ένα σημείο όπου μπορούμε να σχεδιάσουμε μια ευθεία ορθογώνια στο χώρο των στηλών του $\mathbf {A}$ . Ένα διάνυσμα που είναι ορθογώνιο στο χώρο των στηλών ενός πίνακα βρίσκεται στο μηδενικό χώρο του μετασχηματισμού του πίνακα, οπότε

\mathbf {A} ^{\textsf {T}}(\mathbf {b} -\mathbf {Ax} )=0

.

Από εκεί και πέρα, αναδιατάσσεται, έτσι

{\begin{aligned}&&\mathbf {A} ^{\textsf {T}}\mathbf {b} &-\mathbf {A} ^{\textsf {T}}\mathbf {Ax} =0\\\Rightarrow &&\mathbf {A} ^{\textsf {T}}\mathbf {b} &=\mathbf {A} ^{\textsf {T}}\mathbf {Ax} \\\Rightarrow &&\mathbf {x} &=\left(\mathbf {A} ^{\textsf {T}}\mathbf {A} \right)^{-1}\mathbf {A} ^{\textsf {T}}\mathbf {b} \end{aligned}}

.

Επομένως, δεδομένου ότι ο $\mathbf {Ax}$ βρίσκεται στο χώρο των στηλών του $\mathbf {A}$ , του πίνακα προβολής, ο οποίος απεικονίζει τον $\mathbf {b}$ πάνω στον $\mathbf {x}$ είναι απλά $\mathbf {A}$ , ή $\mathbf {A} \left(\mathbf {A} ^{\textsf {T}}\mathbf {A} \right)^{-1}\mathbf {A} ^{\textsf {T}}$ .

Γραμμικό μοντέλο

Ας υποθέσουμε ότι επιδιώκουμε να εκτιμήσουμε ένα γραμμικό πρότυπο με τη χρήση γραμμικών ελαχίστων τετραγώνων. Το πρότυπο μπορεί να γραφεί ως εξής

\mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},

όπου $\mathbf {X}$ είναι ένας πίνακας επεξηγηματικών μεταβλητών (ο πίνακας σχεδιασμού), β είναι ένα διάνυσμα άγνωστων παραμέτρων προς εκτίμηση και ε είναι το διάνυσμα σφάλματος.

Πολλοί τύποι μοντέλων και τεχνικών υπόκεινται σε αυτή τη διατύπωση. Μερικά παραδείγματα είναι τα γραμμικά ελάχιστα τετράγωνα, τα splines εξομάλυνσης, τα splines παλινδρόμησης, η τοπική παλινδρόμηση, η παλινδρόμηση πυρήνα και το γραμμικό φιλτράρισμα.

Συνήθης μέθοδος ελαχίστων τετραγώνων

Όταν τα βάρη για κάθε παρατήρηση είναι πανομοιότυπα και τα σφάλματα είναι ασυσχέτιστα, οι εκτιμώμενες παράμετροι είναι

{\hat {\boldsymbol {\beta }}}=\left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {y} ,

έτσι οι προσαρμοσμένες τιμές είναι

{\hat {\mathbf {y} }}=\mathbf {X} {\hat {\boldsymbol {\beta }}}=\mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {y} .

Επομένως, ο πίνακας προβολής (και ο πίνακας καπέλου) δίνεται από τη σχέση

\mathbf {P} :=\mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}.

Σταθμισμένα και γενικευμένα ελάχιστα τετράγωνα

Τα παραπάνω μπορούν να γενικευτούν στις περιπτώσεις όπου τα βάρη δεν είναι ίδια ή/και τα σφάλματα συσχετίζονται. Ας υποθέσουμε ότι ο πίνακας συνδιακύμανσης των σφαλμάτων είναι Σ. Τότε αφού

{\hat {\mathbf {\beta } }}_{\text{GLS}}=\left(\mathbf {X} ^{\textsf {T}}\mathbf {\Sigma } ^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {\Sigma } ^{-1}\mathbf {y}

.

ο πίνακας καπέλου είναι συνεπώς

\mathbf {H} =\mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {\Sigma } ^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {\Sigma } ^{-1}

και πάλι μπορούμε να δούμε ότι $H^{2}=H\cdot H=H$ , αν και τώρα δεν είναι πλέον συμμετρική.

Ιδιότητες

Ο πίνακας προβολής έχει ορισμένες χρήσιμες αλγεβρικές ιδιότητες^[6]^[7]. Στη γλώσσα της γραμμικής άλγεβρας, ο πίνακας προβολής είναι η ορθογώνια προβολή στο χώρο των στηλών του πίνακα σχεδιασμού $\mathbf {X}$ .^[4] (Σημειώστε ότι $\left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}$ είναι το ψευδοαντίστροφο του X). Ορισμένα γεγονότα του πίνακα προβολής σε αυτό το περιβάλλον συνοψίζονται ως εξής:^[4]

$\mathbf {u} =(\mathbf {I} -\mathbf {P} )\mathbf {y} ,$ και $\mathbf {u} =\mathbf {y} -\mathbf {P} \mathbf {y} \perp \mathbf {X} .$
$\mathbf {P}$ είναι συμμετρικός, και το ίδιο ισχύει και για το $\mathbf {M} :=\mathbf {I} -\mathbf {P}$ .
$\mathbf {P}$ είναι αδύναμος: $\mathbf {P} ^{2}=\mathbf {P}$ , και έτσι είναι $\mathbf {M}$ .
Αν $\mathbf {X}$ είναι ένας n × r πίνακας με $\operatorname {rank} (\mathbf {X} )=r$ , τότε $\operatorname {rank} (\mathbf {P} )=r$
Οι ιδιοτιμές του $\mathbf {P}$ αποτελούνται από r μονάδες και n - r μηδενικά, ενώ οι ιδιοτιμές της $\mathbf {M}$ αποτελούνται από n - r μονάδες και r μηδενικά.^[8]
$\mathbf {X}$ είναι αναλλοίωτος κάτω από $\mathbf {P}$ : $\mathbf {PX} =\mathbf {X} ,$ ως εκ τούτου $\left(\mathbf {I} -\mathbf {P} \right)\mathbf {X} =\mathbf {0}$ .
$\left(\mathbf {I} -\mathbf {P} \right)\mathbf {P} =\mathbf {P} \left(\mathbf {I} -\mathbf {P} \right)=\mathbf {0} .$
$\mathbf {P}$ είναι μοναδικός για ορισμένους υποχώρους.

Ο πίνακας προβολής που αντιστοιχεί σε ένα γραμμικό πρότυπο είναι συμμετρικός και ιδιοσυστατικός, δηλαδή, $\mathbf {P} ^{2}=\mathbf {P}$ . Ωστόσο, αυτό δεν ισχύει πάντα- στην εξομάλυνση τοπικά σταθμισμένων διασπορών (LOESS), παραδείγματος χάριν, ο πίνακας καπέλου δεν είναι γενικά ούτε συμμετρικός ούτε ιδιοσυστατικός.

Για τα γραμμικά πρότυπα, το ίχνος του πίνακα προβολής είναι ίσο με την τάξη του $\mathbf {X}$ , η οποία είναι ο αριθμός των ανεξάρτητων παραμέτρων του γραμμικού προτύπου^[9]. Για άλλα πρότυπα όπως το LOESS που εξακολουθούν να είναι γραμμικά στις παρατηρήσεις $\mathbf {y}$ , ο πίνακας προβολής μπορεί να χρησιμοποιηθεί για τον ορισμό των πραγματικών βαθμών ελευθερίας του μοντέλου.

Οι πρακτικές εφαρμογές του πίνακα προβολής στην ανάλυση παλινδρόμησης περιλαμβάνουν τη μόχλευση και την απόσταση του Κουκ, οι οποίες αφορούν τον εντοπισμό παρατηρήσεων με επιρροή, δηλαδή παρατηρήσεων που έχουν μεγάλη επίδραση στα αποτελέσματα μιας παλινδρόμησης.

Blockwise πρότυπο

Ας υποθέσουμε ότι ο πίνακας σχεδιασμού $\mathbf {X}$ μπορεί να αναλυθεί ανά στήλες ως X $\mathbf {X} ={\begin{bmatrix}\mathbf {A} &\mathbf {B} \end{bmatrix}}$ . Ορίζουμε τον τελεστή καπέλου ή προβολής ως $\mathbf {P} [\mathbf {X} ]:=\mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}$ . Ομοίως, ορίστε τον τελεστή υπολοίπου ως $\mathbf {M} [\mathbf {X} ]:=\mathbf {I} -\mathbf {P} [\mathbf {X} ]$ . Τότε ο πίνακας προβολής μπορεί να αναλυθεί ως εξής:^[10]

Τότε ο πίνακας προβολής μπορεί να αναλυθεί ως εξής:^[10]

\mathbf {P} [\mathbf {X} ]=\mathbf {P} [\mathbf {A} ]+\mathbf {P} {\big [}\mathbf {M} [\mathbf {A} ]\mathbf {B} {\big ]},

όπου, π.χ., $\mathbf {P} [\mathbf {A} ]=\mathbf {A} \left(\mathbf {A} ^{\textsf {T}}\mathbf {A} \right)^{-1}\mathbf {A} ^{\textsf {T}}$ και $\mathbf {M} [\mathbf {A} ]=\mathbf {I} -\mathbf {P} [\mathbf {A} ]$ . Υπάρχουν πολλές εφαρμογές μιας τέτοιας αποσύνθεσης. Στην κλασική εφαρμογή $\mathbf {A}$ είναι μια στήλη όλων των μονάδων, η οποία επιτρέπει την ανάλυση των αποτελεσμάτων της προσθήκης ενός όρου παρεμβολής σε μια παλινδρόμηση. Μια άλλη χρήση είναι στο μοντέλο σταθερών επιδράσεων, όπου $\mathbf {A}$ είναι ένας μεγάλος αραιός πίνακας των ψευδομεταβλητών για τους όρους σταθερών επιδράσεων. Μπορεί κανείς να χρησιμοποιήσει αυτή την κατάτμηση για να υπολογίσει τον πίνακα καπέλου του $\mathbf {X}$ χωρίς να σχηματίσει ρητά τον πίνακα $\mathbf {X}$ , ο οποίος μπορεί να είναι πολύ μεγάλος για να χωρέσει στη μνήμη του υπολογιστή.

Ιστορία

Ο πίνακας καπέλου εισήχθη από τον Τζον Γουάιλντερ το 1972. Ένα άρθρο των Χόγκλιν, D.C. και Γουέλς, R.E. (1978) παρουσιάζει τις ιδιότητες του πίνακα καθώς και πολλά παραδείγματα εφαρμογής του.

Δείτε επίσης

Εξωτερικοί σύνδεσμοι

Δημοσιεύσεις

Μαυρογιάννης, Ν. Σ. (Μαΐου 2016). «Μία εισαγωγή στους μιγαδικούς αριθμούς». Εκθέτης Φύλλα Μαθηματικής Παιδείας (16): 1-8. http://ekthetis.gr/Ekthetis016.pdf.
Bronshtein, I. N.· Semendyayev, K. A. (29 Ιουνίου 2013). Handbook of Mathematics. Springer Science & Business Media. ISBN 978-3-662-21982-9.
Gray, Lawrence F.; Flanigan, Francis J.; Kazdan, Jerry L.; Frank, David H.; Fristedt, Bert (1990), Calculus two: linear and nonlinear functions, Berlin: Springer-Verlag, σελ. 375, ISBN 0-387-97388-5, https://archive.org/details/calculustwolinea00flan/page/375
Adkins, William A.; Weintraub, Steven H. (1992), Algebra: An Approach via Module Theory, Graduate Texts in Mathematics, 136, Springer-Verlag, ISBN 3-540-97839-9,
Zbl 0768.00003
Tridiagonal and Bidiagonal Matrices in the LAPACK manual.
Banerjee, Sudipto; Roy, Anindya (2014), Linear Algebra and Matrix Analysis for Statistics, Texts in Statistical Science (1st έκδοση), Chapman and Hall/CRC, ISBN 978-1420095388
Dunford, N.· Schwartz, J. T. (1958). Linear Operators, Part I: General Theory. Interscience.
Meyer, Carl D. (2000). Matrix Analysis and Applied Linear Algebra. Society for Industrial and Applied Mathematics. ISBN 978-0-89871-454-8.

Παραπομπές

↑ Basilevsky, Alexander (2005). Applied Matrix Algebra in the Statistical Sciences. Dover. σελίδες 160–176. ISBN 0-486-44538-0.
↑ «Data Assimilation: Observation influence diagnostic of a data assimilation system» (PDF). Αρχειοθετήθηκε από το πρωτότυπο (PDF) στις 3 Σεπτεμβρίου 2014.
↑ ^3,0 ^3,1 Hoaglin, David C.; Welsch, Roy E. (February 1978). «The Hat Matrix in Regression and ANOVA». The American Statistician 32 (1): 17–22. doi:10.2307/2683469. http://dspace.mit.edu/bitstream/1721.1/1920/1/SWP-0901-02752210.pdf.
↑ ^4,0 ^4,1 ^4,2 David A. Freedman (2009). Statistical Models: Theory and Practice. Cambridge University Press.
↑ Jidan (4 Μαρτίου 2021). «How to write a hat(^) symbol in LaTeX?». Physicsread (στα Αγγλικά). Ανακτήθηκε στις 27 Ιουλίου 2024.
↑ Gans, P. (1992). Data Fitting in the Chemical Sciences . Wiley. ISBN 0-471-93412-7.
↑ Draper, N. R.· Smith, H. (1998). Applied Regression Analysis. Wiley. ISBN 0-471-17082-8.
↑ Amemiya, Takeshi (1985). Advanced Econometrics . Cambridge: Harvard University Press. σελίδες 460–461. ISBN 0-674-00560-0.
↑ «Proof that trace of 'hat' matrix in linear regression is rank of X». Stack Exchange. 13 Απριλίου 2017.
↑ ^10,0 ^10,1 Rao, C. Radhakrishna· Toutenburg, Helge· Shalabh· Heumann, Christian (2008). Linear Models and Generalizations (3rd έκδοση). Berlin: Springer. σελ. 323. ISBN 978-3-540-74226-5.

Janko Bračič, Kolobar aritmetičnih funkcij (Ring of arithmetical functions), (Obzornik mat, fiz. 49 (2002) 4, pp. 97–108) (MSC (2000) 11A25)
Iwaniec and Kowalski, Analytic number theory, AMS (2004).

[1] Basilevsky, Alexander (2005). Applied Matrix Algebra in the Statistical Sciences. Dover. σελίδες 160–176. ISBN 0-486-44538-0.

[2] «Data Assimilation: Observation influence diagnostic of a data assimilation system» (PDF). Αρχειοθετήθηκε από το πρωτότυπο (PDF) στις 3 Σεπτεμβρίου 2014.

[Hoaglin1977-3] 3,0 ^3,1 Hoaglin, David C.; Welsch, Roy E. (February 1978). «The Hat Matrix in Regression and ANOVA». The American Statistician 32 (1): 17–22. doi:10.2307/2683469. http://dspace.mit.edu/bitstream/1721.1/1920/1/SWP-0901-02752210.pdf.

[Freedman09-4] 4,0 ^4,1 ^4,2 David A. Freedman (2009). Statistical Models: Theory and Practice. Cambridge University Press.

[5] Jidan (4 Μαρτίου 2021). «How to write a hat(^) symbol in LaTeX?». Physicsread (στα Αγγλικά). Ανακτήθηκε στις 27 Ιουλίου 2024.

[6] Gans, P. (1992). Data Fitting in the Chemical Sciences . Wiley. ISBN 0-471-93412-7.

[7] Draper, N. R.· Smith, H. (1998). Applied Regression Analysis. Wiley. ISBN 0-471-17082-8.

[8] Amemiya, Takeshi (1985). Advanced Econometrics . Cambridge: Harvard University Press. σελίδες 460–461. ISBN 0-674-00560-0.

[9] «Proof that trace of 'hat' matrix in linear regression is rank of X». Stack Exchange. 13 Απριλίου 2017.

[Linear_Models_and_Generalizations-10] 10,0 ^10,1 Rao, C. Radhakrishna· Toutenburg, Helge· Shalabh· Heumann, Christian (2008). Linear Models and Generalizations (3rd έκδοση). Berlin: Springer. σελ. 323. ISBN 978-3-540-74226-5.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]