概念:
間數(shù)據(jù)挖掘是指從空間數(shù)據(jù)庫中抽取沒有清楚表現(xiàn)出來的隱含的知識和空間關(guān)系,并發(fā)現(xiàn)其中有用的特征和模式的理論、方法和技術(shù)。
嚴(yán)格地說,這一學(xué)科采用空間數(shù)據(jù)挖掘和知識發(fā)現(xiàn)(SDMKD)這一名稱更為確切。事實上,空間數(shù)據(jù)挖掘和知識發(fā)現(xiàn)的過程大致可分為以下多個步驟:數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)選擇、數(shù)據(jù)預(yù)處理、數(shù)據(jù)縮減或者數(shù)據(jù)變換、確定數(shù)據(jù)挖掘目標(biāo)、確定知識發(fā)現(xiàn)算法、數(shù)據(jù)挖掘、模式解釋、知識評價等,而數(shù)據(jù)挖掘只是其中的一個關(guān)鍵步驟。但是為了簡便,人們常常用空間數(shù)據(jù)挖掘來代替空間數(shù)據(jù)挖掘和知識發(fā)現(xiàn)。
空間數(shù)據(jù)的特點
空間數(shù)據(jù)挖掘是數(shù)據(jù)挖掘?qū)W科的一個重要分支,但它與普遍意義上的數(shù)據(jù)挖掘又有很大的差別,這是由空間數(shù)據(jù)固有的特點及其復(fù)雜性所決定的。
空間數(shù)據(jù)與其他類型數(shù)據(jù)的本質(zhì)區(qū)別是其空間屬性??臻g屬性包括空間位置、距離、幾何形狀、大小等內(nèi)容,并且可引伸為空間個體之間的相互關(guān)系,如拓?fù)潢P(guān)系、方位關(guān)系、度量關(guān)系等,從而使得空間數(shù)據(jù)比其他類型的數(shù)據(jù)要更為復(fù)雜,主要表現(xiàn)在:空間屬性之間的非線性關(guān)系;空間數(shù)據(jù)的多尺度特征,即空間數(shù)據(jù)在不同觀察層次上所遵循的規(guī)律以及所體現(xiàn)出的特征不盡相同;空間信息的不確定性,空間位置、空間相關(guān)性及其他屬性均可能存在不確定性;空間數(shù)據(jù)屬性空間的高維數(shù),與空間數(shù)據(jù)相關(guān)聯(lián)的可能很多(如遙感傳感器波段的數(shù)目可能多達(dá)上百個),從而使屬性空間的維數(shù)非常之高;空間數(shù)據(jù)的不完備性,在數(shù)據(jù)獲取和加工過程中,都有可能發(fā)生數(shù)據(jù)丟失或者無法獲取的現(xiàn)象,導(dǎo)致空間數(shù)據(jù)缺失的現(xiàn)象非常嚴(yán)重;海量數(shù)據(jù),空間數(shù)據(jù)庫或數(shù)據(jù)倉庫中存儲著各種類型的柵格數(shù)據(jù)、矢量數(shù)據(jù)、空間個體的屬性數(shù)據(jù)等,其數(shù)據(jù)量異常巨大。 空間數(shù)據(jù)的這些特點使其中隱含著更多、更為復(fù)雜的知識,因而也使空間數(shù)據(jù)挖掘的研究更加困難和更具挑戰(zhàn)性。
空間數(shù)據(jù)挖掘的任務(wù)
空間數(shù)據(jù)挖掘的任務(wù)可以概括如下: 在空間數(shù)據(jù)庫和數(shù)據(jù)倉庫的基礎(chǔ)上,綜合利用統(tǒng)計學(xué)、模式識別、人工智能、粗集、模糊數(shù)學(xué)、機(jī)器學(xué)習(xí)、專家系統(tǒng)、可視化等領(lǐng)域的相關(guān)技術(shù)和方法,以及其他相關(guān)的信息技術(shù)手段,從大量的空間數(shù)據(jù)、管理數(shù)據(jù)、經(jīng)營數(shù)據(jù)或遙感數(shù)據(jù)中析取出可信的、新穎的、感興趣的、隱藏的、事先未知的、潛在有用的和最終可理解的知識,從而揭示出蘊含在空間數(shù)據(jù)背后客觀世界的本質(zhì)規(guī)律、內(nèi)在聯(lián)系和發(fā)展趨勢,實現(xiàn)知識的自動或半自動獲取,為管理和經(jīng)營決策提供依據(jù)(李德仁,2001年)。簡言之,空間數(shù)據(jù)挖掘的任務(wù)就是要從空間數(shù)據(jù)庫和數(shù)據(jù)倉庫發(fā)現(xiàn)知識,并提供相關(guān)的決策支持。那么,我們究竟希望從中發(fā)現(xiàn)哪些類型的知識呢?
一般而言,從空間數(shù)據(jù)庫和數(shù)據(jù)倉庫中可能發(fā)現(xiàn)的知識類型包括以下幾種類型:
普遍的幾何知識,即某類目標(biāo)的數(shù)量、大小、形態(tài)特征等普遍的幾何特征;
規(guī)則型知識,即包括空間關(guān)聯(lián)規(guī)則、空間特征規(guī)則、空間區(qū)分規(guī)則和演變規(guī)則等在內(nèi)的知識,可用產(chǎn)生式規(guī)則、語義網(wǎng)絡(luò)、模擬表示及其他可能的方法來加以表示;
空間聚類與分類知識,是指將特征相近的空間對象進(jìn)行聚類或者分類處理,進(jìn)而對空間對象進(jìn)行概括和綜合的知識,例如,將具有嵌套關(guān)系的一組等高線聚合成一座山或者一個山脈等;
空間分布規(guī)律,即關(guān)于空間對象在地理空間的分布規(guī)律方面的知識,包括各種維度的分布規(guī)律:如垂直方向、水平方向、以及整個空間的聯(lián)合分布規(guī)律等,甚至還可包括屬性空間的任何一個維度上的分布規(guī)律,如軍事基地、防御工事的分布規(guī)律、電子戰(zhàn)中電磁頻譜的分布規(guī)律等;
空間對象的發(fā)展趨勢,即空間對象的某個或者某些屬性的規(guī)律性變化,戰(zhàn)場態(tài)勢的發(fā)展變化趨勢等;
空間對象的結(jié)構(gòu)型知識,指關(guān)于復(fù)雜對象的普遍特征及其構(gòu)成關(guān)系的知識;
空間偏差型知識,即關(guān)于空間對象或現(xiàn)象偏離常規(guī)的異常情況的知識,如戰(zhàn)場態(tài)勢中某些要素的異常變化等;
空間數(shù)據(jù)挖掘的任務(wù)是要在不同的空間概念層次(從微觀到宏觀)挖掘出上述各種類型的知識,并用相應(yīng)的知識模型表示出來??晒┻x用的知識表示方法包括:基于規(guī)則的表示法(如產(chǎn)生式規(guī)則)、基于邏輯(如命題邏輯和一階謂詞邏輯)的知識表示、基于關(guān)系的知識表示、面向?qū)ο蟮闹R表示、基于模型的知識表示、語義網(wǎng)絡(luò)表示、腳本表示、模擬表示、基于過程的表示以及基于本體的知識表示等。
不僅如此,空間數(shù)據(jù)挖掘的任務(wù)還包括根據(jù)所采用的知識表示方法設(shè)計出相應(yīng)的推理模型,這樣才能為不同領(lǐng)域、不同層次、具有不同應(yīng)用需求的用戶提供行之有效的輔助決策支持。
目前,常用的空間數(shù)據(jù)挖掘方法主要有:
1. 基于概率論的方法。這是一種通過計算不確定性屬性的概率來挖掘空間知識的方法,所發(fā)現(xiàn)的知識通常被表示成給定條件下某一假設(shè)為真的條件概率。在用誤差矩陣描述遙感分類結(jié)果的不確定性時,可以用這種條件概率作為背景知識來表示不確定性的置信度。
2. 空間分析方法。指采用綜合屬性數(shù)據(jù)分析、拓?fù)浞治?、緩沖區(qū)分析、密度分析、距離分析、疊置分析、網(wǎng)絡(luò)分析、地形分析、趨勢面分析、預(yù)測分析等在內(nèi)的分析模型和方法,用以發(fā)現(xiàn)目標(biāo)在空間上的相連、相鄰和共生等關(guān)聯(lián)規(guī)則,或挖掘出目標(biāo)之間的最短路徑、最優(yōu)路徑等知識。目前常用的空間分析方法包括探測性的數(shù)據(jù)分析、空間相鄰關(guān)系挖掘算法、探測性空間分析方法、探測性歸納學(xué)習(xí)方法、圖像分析方法等。
3. 統(tǒng)計分析方法。指利用空間對象的有限信息和/或不確定性信息進(jìn)行統(tǒng)計分析,進(jìn)而評估、預(yù)測空間對象屬性的特征、統(tǒng)計規(guī)律等知識的方法。它主要運用空間自協(xié)方差結(jié)構(gòu)、變異函數(shù)或與其相關(guān)的自協(xié)變量或局部變量值的相似程度實現(xiàn)包含不確定性的空間數(shù)據(jù)挖掘。
4. 歸納學(xué)習(xí)方法。即在一定的知識背景下,對數(shù)據(jù)進(jìn)行概括和綜合,在空間數(shù)據(jù)庫(數(shù)據(jù)倉庫)中搜索和挖掘一般的規(guī)則和模式的方法。歸納學(xué)習(xí)的算法很多,如由Quinlan提出的著名的C5.0決策樹算法、Han Jiawei教授等提出的面向?qū)傩缘臍w納方法、裴健等人提出的基于空間屬性的歸納方法等。
5. 空間關(guān)聯(lián)規(guī)則挖掘方法。即在空間數(shù)據(jù)庫(數(shù)據(jù)倉庫)中搜索和挖掘空間對象(及其屬性)之間的關(guān)聯(lián)關(guān)系的算法。最著名的關(guān)聯(lián)規(guī)則挖掘算法是Agrawal提出的Apriori算法;此外還有程繼華等提出的多層次關(guān)聯(lián)規(guī)則的挖掘算法、許龍飛等提出的廣義關(guān)聯(lián)規(guī)則模型挖掘方法等。
6. 聚類分析方法。即根據(jù)實體的特征對其進(jìn)行聚類或分類,進(jìn)而發(fā)現(xiàn)數(shù)據(jù)集的整個空間分布規(guī)律和典型模式的方法。常用的聚類方法有K-mean, K-medoids方法、Ester等提出的基于R—樹的數(shù)據(jù)聚焦法及發(fā)現(xiàn)聚合親近關(guān)系和公共特征的算法、周成虎等提出的基于信息熵的時空數(shù)據(jù)分割聚類模型等。
7. 神經(jīng)網(wǎng)絡(luò)方法。即通過大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)來實現(xiàn)自適應(yīng)非線性動態(tài)系統(tǒng),并使其具有分布存儲、聯(lián)想記憶、大規(guī)模并行處理、自學(xué)習(xí)、自組織、自適應(yīng)等功能的方法;在空間數(shù)據(jù)挖掘中可用來進(jìn)行分類和聚類知識以及特征的挖掘。
8. 決策樹方法。即根據(jù)不同的特征,以樹型結(jié)構(gòu)表示分類或決策集合,進(jìn)而產(chǎn)生規(guī)則和發(fā)現(xiàn)規(guī)律的方法。采用決策樹方法進(jìn)行空間數(shù)據(jù)挖掘的基本步驟如下:首先利用訓(xùn)練空間實體集生成測試函數(shù);其次根據(jù)不同取值建立決策樹的分支,并在每個分支子集中重復(fù)建立下層結(jié)點和分支,形成決策樹;然后對決策樹進(jìn)行剪枝處理,把決策樹轉(zhuǎn)化為據(jù)以對新實體進(jìn)行分類的規(guī)則。
9. 粗集理論。一種由上近似集和下近似集來構(gòu)成粗集,進(jìn)而以此為基礎(chǔ)來處理不精確、不確定和不完備信息的智能數(shù)據(jù)決策分析工具,較適于基于屬性不確定性的空間數(shù)據(jù)挖掘。
10. 基于模糊集合論的方法。這是一系列利用模糊集合理論描述帶有不確定性的研究對象,對實際問題進(jìn)行分析和處理的方法?;谀:险摰姆椒ㄔ谶b感圖像的模糊分類、GIS模糊查詢、空間數(shù)據(jù)不確定性表達(dá)和處理等方面得到了廣泛應(yīng)用。
11. 空間特征和趨勢探側(cè)方法。這是一種基于鄰域圖和鄰域路徑概念的空間數(shù)據(jù)挖掘算法,它通過不同類型屬性或?qū)ο蟪霈F(xiàn)的相對頻率的差異來提取空間規(guī)則。
12. 基于云理論的方法。云理論是一種分析不確定信息的新理論,由云模型、不確定性推理和云變換三部分構(gòu)成?;谠评碚摰目臻g數(shù)據(jù)挖掘方法把定性分析和定量計算結(jié)合起來,處理空間對象中融隨機(jī)性和模糊性為一體的不確定性屬性;可用于空間關(guān)聯(lián)規(guī)則的挖掘、空間數(shù)據(jù)庫的不確定性查詢等。
13. 基于證據(jù)理論的方法。證據(jù)理論是一種通過可信度函數(shù)(度量已有證據(jù)對假設(shè)支持的最低程度)和可能函數(shù)(衡量根據(jù)已有證據(jù)不能否定假設(shè)的最高程度)來處理不確定性信息的理論,可用于具有不確定屬性的空間數(shù)據(jù)挖掘。
14. 遺傳算法。這是一種模擬生物進(jìn)化過程的算法,可對問題的解空間進(jìn)行高效并行的全局搜索,能在搜索過程中自動獲取和積累有關(guān)搜索空間的知識,并可通過自適應(yīng)機(jī)制控制搜索過程以求得最優(yōu)解??臻g數(shù)據(jù)挖掘中的許多問題,如分類、聚類、預(yù)測等知識的獲取,均可以用遺傳算法來求解。這種方法曾被應(yīng)用于遙感影像數(shù)據(jù)中的特征發(fā)現(xiàn)。
15. 數(shù)據(jù)可視化方法。這是一種通過可視化技術(shù)將空間數(shù)據(jù)顯示出來,幫助人們利用視覺分析來尋找數(shù)據(jù)中的結(jié)構(gòu)、特征、模式、趨勢、異常現(xiàn)象或相關(guān)關(guān)系等空間知識的方法。為了確保這種方法行之有效,必須構(gòu)建功能強大的可視化工具和輔助分析工具。
16. 計算幾何方法。這是一種利用計算機(jī)程序來計算平面點集的Voronoi圖,進(jìn)而發(fā)現(xiàn)空間知識的方法。利用Voronoi圖可以解決空間拓?fù)潢P(guān)系、數(shù)據(jù)的多尺度表達(dá)、自動綜合、空間聚類、空間目標(biāo)的勢力范圍、公共設(shè)施的選址、確定最短路徑等問題。
17. 空間在線數(shù)據(jù)挖掘。這是一種基于網(wǎng)絡(luò)的驗證型空間來進(jìn)行數(shù)據(jù)挖掘和分析的工具。它以多維視圖為基礎(chǔ),強調(diào)執(zhí)行效率和對用戶命令的及時響應(yīng),一般以空間數(shù)據(jù)倉庫為直接數(shù)據(jù)源。這種方法通過數(shù)據(jù)分析與報表模塊的查詢和分析工具(如OLAP、決策分析、數(shù)據(jù)挖掘等)完成對信息和知識的提取,以滿足決策的需要。