Eksploracyjna analiza danych przestrzennych

Eksploracyjna analiza danych
przestrzennych - wprowadzenie
Plan wykładu:
Eksploracja danych – definicje, istota
Eksploracyjna analiza danych – zakres analiz i rodzajeEksploracyjna analiza danych przestrzennych ESDA
Etapy badań empirycznych
Heterogeniczność przestrzenna
Autokorelacja przestrzenna
Macierze wag
Globalna i lokalna autokorelacja
Eksploracja danych
Definicja
• Eksploracja danych to jeden z etapów odkrywania
wiedzy z baz danych (Knowledge Discovery in
Databases, KDD).
Inne określenia:
• Drążenie danych, pozyskiwanie wiedzy, ekstrakcja
danych (Data Mining)
Idea:
• Wykorzystanie szybkości komputera do znajdowania
ukrytych dla człowieka prawidłowości w danych
zgromadzonych w hurtowniach danych.
Eksploracyjna analiza danych
Zakres analiz:
• Ogólne informacje o danych źródłowych:
– Charakterystyka zjawisk/ procesów generujących
zmienność: przestrzenną/czasową analizowanych
cech,
– Typ próbkowania: przestrzenny/czasowy
– Relacje lokalizacji próbek do głównych czynników
zmienności przestrzennej/czasowej analizowanych
cech,
– Jednolitość metodyki: źródła i rozmiary błędów
pomiarowych.
Eksploracyjna analiza danych - rodzaje
Eksploracyjna analiza danych:
Nieprzestrzenna
• Jednej -
• dwóch zmiennych
Przestrzenna
• Jednej zmiennej
Eksploracyjna analiza danych - rodzaje
Nieprzestrzenna
• Jednej zmiennej:
– Typ rozkładu ze względu na maksimum:
• jedno-, wielomodalny,
– Typ rozkładu ze względu na symetryczność
• Symetryczny, potencjalnie normalny,
• Asymetryczny (skośny),
– Istnienie danych globalnych „odstających”,
istnienie ekstremów.
Eksploracyjna analiza danych - rodzaje
Nieprzestrzenna dwóch zmiennych:
Typ i siła korelacji zmiennych ilościowych
Istotność różnic grup zmiennych:
• Ilościowych wyróżnionych względem zmiennej
jakościowej.
Przestrzenna:
– Stosowana do wizualizacji i ilościowej analizy
danych przestrzennych (Exploratory Spatial Data
Analysis, ESDA)Eksploracyjna analiza danych przestrzennychESDA
Zastosowanie:
• Dla danych statystycznych o różnego typu obszarach i
punktach.
• Obserwacje dotyczą:
– Jednostek administracyjnych,
– Obiektów przyrodniczych.
• W zbiorze danych zawarte są informacje o:
– Wartościach analizowanych zmiennych,
– Granicach, sąsiedztwie,
– Długości i szerokości geograficznej,
– Współrzędnych innego typu.Eksploracyjna analiza danych przestrzennychEksploracja przestrzenna jednej zmiennej:
 Typ próbkowania (metoda poboru próbek):
• Próba regularna,
• Próba losowa,
• Próba profilowana,
• Próba losowa stratyfikowana,
• Próba preferencyjna (skupiona)
• Próba izolowana.Eksploracyjna analiza danych przestrzennychEksploracja przestrzenna jednej zmiennej cd:
Istnienie danych lokalnie odstających
(wykrywanie potencjalnych przyczyn),
 ogólny pogląd na zmienność przestrzenną
(wykorzystanie prostej automatycznej procedury
interpolacji),
Istnienie efektu proporcjonalności lokalnej,
Rozgrupowanie danych przy próbkowaniu
preferencyjnym.Eksploracyjna analiza danych przestrzennychESDA
ESDA:
• Zbiór technik wykorzystujących połączenie:
– map,
– tablic,
– mierników,
– wykresów.
Cel ESDA:
• Prawidłowe formułowanie przypuszczeń i hipotez oraz
• Możliwość ich weryfikacji przy zastosowaniu modeli
przestrzennych i ekonometrycznych.Eksploracyjna analiza danych przestrzennychESDA
ESDA jako zbiór technik służy do:
 wykrycia, opisu i prezentacji graficznej rozkładu
przestrzennego analizowanych:
• Zmiennych,
• Układu powiązań zmiennych,
• Wzorców współzależności.
 identyfikacji nietypowych obserwacji,
 zbadanie przestrzennych powiązań, interakcji i rodzajów
skupień,
 określenie reżimów przestrzennych
 określenie innych form heterogeniczności przestrzennej.Eksploracyjna analiza danych przestrzennychESDA
Metody ESDA:
• mogą być klasyfikowane jako grupa narzędzi
należących do:
– analizy danych EDA (Exploratory Data Analysis),
– Technik Data Mining:
• SDM – Spatial Data Mining,
• GDM – Geographical Data Mining
• Umożliwiają analizę:
- Specjalnych właściwości przestrzennych
- Geograficznych informacji statystycznych.Eksploracyjna analiza danych przestrzennychEtapy badania empirycznego
Podstawowe etapy badania empirycznego (wg
Anselina (1999) i Goodchilda (2000):
1. Zintegrowanie informacji (Data Integration),
2. Dokonanie szczegółowych charakterystyk
poszczególnych zmiennych,
3. Analiza potwierdzająca (Confirmatory Spatial
Data Analysis)Eksploracyjna analiza danych przestrzennychEtapy badania empirycznego
Integracja informacji pochodzących:
1) z różnych poziomów agregacji przestrzennej,
2) z różnych okresów
w jeden zbiór porównywalnych danych.
Dopuszczalne procedury:
– Standaryzacja,
– Normalizacja,
– Sprowadzanie do porównywalności.Eksploracyjna analiza danych przestrzennychEtapy badania empirycznego
Metody umożliwiające
- dokonanie szczegółowych charakterystyk zmiennych,
- określenie rodzaju i stopnia przestrzennej:
 Autokorelacji,
 Heterogeniczności,
 Współzależności.
Techniki wizualizacji pozwalają na:
– badanie przestrzennych rozkładów zmiennych,
– identyfikację nietypowych lokalizacji i obserwacji
– określenie:
• wzorców zależności przestrzennych
• skupień,
• miejsc specjalnych.Eksploracyjna analiza danych przestrzennychEtapy badania empirycznego
Celem etapu drugiego jest:
• dobre zrozumienie oraz opis danych,
• sformułowanie właściwych hipotez
badawczych,
• badanie heterogeniczności i przestrzennej
zależności,
• stosowanie metod zapewniających otrzymanie
właściwego, zgodnego z rzeczywistością
rezultatu.Eksploracyjna analiza danych przestrzennychEtapy badania empirycznego
Narzędzia i metody ESDA:
– narzędzia wizualizacji;
• Mapy i wykresy.
– metody:
• Opisu statystycznego,
• Klasyfikacji,
• Taksonometrii.Eksploracyjna analiza danych przestrzennychEtapy badania empirycznego
Analiza potwierdzająca w sensie:
• możliwości weryfikacji hipotez dotyczących:
• Współzależności,
• Kształtowania,
• Efektów wpływu analizowanych zmiennych.
Stosowane modele i procedury:
– modele regresji (w tym modele ekonometryczne)
– procedury:
• estymacji,
• diagnostyki,
• testy specyfikacji,
• predykcji przestrzennej.Eksploracyjna analiza danych przestrzennychEtapy badania empirycznego
Statystyczna analiza eksploracyjna:
 przypadek danych regionalnych (obszarowych
i punktowych)
 Wymaga:
• stosowania odpowiednich metod wizualizacji
danych,
• oszacowania i testowania odpowiednich
mierników autokorelacji i heterogeniczności
przestrzennej (autokorelacja lokalna, globalna,
macierze wag)Eksploracyjna analiza danych przestrzennychWarunki stosowania
Warunkiem stosowania ESDA jest uwzględnienie:
• Autokorelacji przestrzennej:
– zjawisko grupowania się podobnych wartości i
współzależności,
– interakcje zmiennych w zależności od położenia
geograficznego obiektów.
• Heterogeniczności przestrzennej:
– monotoniczne lub skokowe zmiany sposobów
rozmieszczenia przestrzennego wartości badanej
zmiennej.Eksploracyjna analiza danych przestrzennychHeterogeniczność przestrzenna
Heterogeniczność przestrzenna występuje gdy:
 średnia, wariancja, lub kowariancja (struktura
kowariancji) badanej zmiennej zmieniają się w
różnych miejscach analizowanej przestrzeni,
 nie ma wyraźnej zależności między wartościami
zmiennej w różnych punktach obszaru,
 występuje zmienność zależności między wartościami
zmiennej w różnych punktach obszaru.
Jest efektem braku stacjonarności przestrzennej.Eksploracyjna analiza danych przestrzennychHeterogeniczność przestrzenna – stacjonarność przestrzenna
• Stacjonarność przestrzenna wymaga, aby:
E[X(s)]= E[X (s +δ)]=μ,
E[X(s)]2= E[X (s +δ)]2=σ2,
E[X(si)X(sj)=ϒ (dij).
• Podstawowe narzędzia:
– odpowiednie kartogramy.
• Użyteczne mierniki:
– miary położenia (średnia i mediana przestrzenna, przestrzenna
średnia ruchoma),
– miary rozproszenia (standardowa odległość, elipsa odchylenia
standardowego.
Mierniki należy obliczać dla mniejszych, jednorodnych części
badanej powierzchni i następnie je porównywać.Eksploracyjna analiza danych przestrzennychAutokorelacja przestrzenna
Przyczyny autokorelacji przestrzennej:
• Aspekt techniczny – w przypadku zmiennej
wykraczającej poza ustalone granice, między
sąsiednimi jednostkami mogą tworzyć się związki
korelacyjne.
• Aspekt fundamentalny – siła oddziaływania
między obiektami w przestrzeni zależy w sposób
malejący od odległości między nimi.Eksploracyjna analiza danych przestrzennychAutokorelacja przestrzenna
ESDA może być przeprowadzona przy założeniu:
• Izotropowości – zależności w jednym kierunku,
autokorelacja przestrzenna jest funkcją tylko
odległości i zgodnie z prawem Toblera w miarę
wzrostu odległości intensywność interakcji
między obiektami przestrzennymi powinna
maleć.
• Anizotropowości- zależności w różnych kierunkach,
autokorelacja przestrzenna oznacza zmienność
wartości funkcji autokorelacyjnej w zależności
zarówno od odległości, jak i od kierunku w
przestrzeni.Eksploracyjna analiza danych przestrzennychMacierz wag
1. Podstawą konstrukcji miar interakcji
przestrzennych są wagi przestrzenne.
2. Wagi przestrzenne są elementami macierzy wag W.
3. Macierze wag powstają na podstawie macierzy
odległości lub sąsiedztwa.
4.Kilka różnych macierzy w jednym badaniu
stosujemy w przypadku:
• Analiz anizotropowych,
• Badań porównawczych dla różnych obszarów,
• Badania autokorelacji wyższego rzędu.Eksploracyjna analiza danych przestrzennychGlobalna i lokalna autokorelacja przestrzenna
Globalna
autokorelacja przestrzenna wynika z
występowania zależności przestrzennych
dla danej zmiennej w obrębie całego
badanego obszaru.
Lokalna
autokorelacja przestrzenna wskazuje na
zależności przestrzenne danej zmiennej w
lokalizacjach sąsiednich.