數據挖掘又稱從數據庫中發現知識(KDD)、數據分析、數據融合(Data Fusion)以及決策支持。KDD一詞首次出現在1989年8月舉行的第11屆國際聯合人工智能學術會議上。隨后在1991年、1993年和1994年都舉行KDD 專題討論會，匯集來自各個領域的研究人員和應用開發者，集中討論數據統計、海量數據分析算 法、知識表示、知識運用等問題。隨著參與人員的不斷增多，KDD國際會議發展成為年會。1998 年在美國紐約舉行的第四屆知識發現與數據 挖掘國際學術會議不僅進行了學術討論，并且有30多家軟件公司展示了他們的數據挖掘軟件產品，不少軟件已在北美、歐洲等國得到應用。
一、什么是數據挖掘
1.1、數據挖掘的歷史
近十幾年來,人們利用信息技術生產和搜集數據的能力大幅度提高,千萬萬個數據庫被用于商業管理、政府辦公、科學研究和工程開發等等,這一勢頭仍將持續發展下去。于是,一個新的挑戰被提了出來:在這被稱之為信息爆炸的時代,信息過量幾乎成為人人需要面對的問題。如何才能不被信息的汪洋大海所淹沒,從中及時發現有用的知識,提高信息利用率呢?要想使數據真正成為一個公司的資源,只有充分利用它為公司自身的業務決策和戰略發展服務才行,否則大量的數據可能成為包袱,甚至成為垃圾。因此,面對”人們被數據淹沒,人們卻饑餓于知識”的挑戰。另一方面計算機技術的另一領域——人工智能自1956年誕生之后取得了重大進展。經歷了博弈時期、自然語言理解、知識工程等階段，目前的研究 熱點是機器學習。機器學習是用計算機模擬人類學習的一門科學，比較成熟的算法有神經網絡、遺傳算法等。用數據庫管理系統來存儲數據，用機器學習的方法來分析數據，挖掘大量數據背后的知識，這兩者的結合促成了數據庫中的知識發現(KDD：Knowledge Discovery in Databases)的產生，因此，數據挖掘和知識發現(DMKD)技術應運而生,并得以蓬勃發展,越來越顯示出其強大的生命力。
數據挖掘又稱從數據庫中發現知識(KDD)、數據分析、數據融合(Data Fusion)以及決策支持。KDD一詞首次出現在1989年8月舉行的第11屆國際聯合人工智能學術會議上。隨后在1991年、1993年和1994年都舉行KDD 專題討論會，匯集來自各個領域的研究人員和應用開發者，集中討論數據統計、海量數據分析算 法、知識表示、知識運用等問題。隨著參與人員的不斷增多，KDD國際會議發展成為年會。1998 年在美國紐約舉行的第四屆知識發現與數據 挖掘國際學術會議不僅進行了學術討論，并且有30多家軟件公司展示了他們的數據挖掘軟件產品，不少軟件已在北美、歐洲等國得到應用。
2.2 數據挖掘的概念
從1989年到現在，KDD的定義隨著人們研究的不斷深入也在不斷完善，目前比較公認的定義是Fayyad 等給出的：KDD是從數據集中識別出有效的、新穎的、潛在有用的以及最終可理解模式的高級處理過程。從定義可以看出，數據挖掘(Data Mining)就是從大量的、不完全的、有噪聲的、模糊的、隨機的數據中,提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。人們把原始數據看作是形成知識的源泉,就像從礦石中采礦一樣。原始數據可以是結構化的,如關系數據庫中的數據,也可以是半結構化的,如文本、圖形、圖像數據,甚至是分布在網絡上的異構型數據。發現知識的方法可以是數學的,也可以是非數學的;可以是演繹的,也可以是歸納的。發現了的知識可以被用于信息管理、查詢優化、決策支持、過程控制等,還可以用于數據自身的維護。因此,數據挖掘是一門很廣義的交叉學科,它匯聚了不同領域的研究者,尤其是數據庫、人工智能、數理統計、可視化、并行計算等方面的學者和工程技術人員。
特別要指出的是,數據挖掘技術從一開始就是面向應用的。它不僅是面向特定數據庫的簡單檢索查詢調用,而且要對這些數據進行微觀、中觀乃至宏觀的統計、分析、綜合和推理,以指導實際問題的求解,企圖發現事件間的相互關聯,甚至利用已有的數據對未來的活動進行預測。
一般來說在科研領域中稱為KDD，而在工程領域則稱為數據挖掘。
二、數據挖掘的步驟
KDD包括以下步驟：
1、數據準備
KDD的處理對象是大量的數據，這些數據一般存儲在數據庫系統中，是長期積累的結果。但往往不適合直接在這些數據上面進行知識挖 掘，需要做數據準備工作，一般包括數據的選擇(選擇相關的數據）、凈化（消除噪音、冗余數據）、推測（推算缺失數據）、轉換（離散值 數據與連續值數據之間的相互轉換，數據值的分組分類，數據項之間的計算組合等）、數據縮減（減少數據量）。如果KDD的對象是數據倉 庫，那么這些工作往往在生成數據倉庫時已經準備妥當。數據準備是KDD 的第一個步驟，也是比較重要的一個步驟。數據準備是否做好將影 響到數據挖掘的效率和準確度以及最終模式的有效性。
2、數據挖掘
數據挖掘是KDD最關鍵的步驟，也是技術難點所在。研究KDD的人員中大部分都在研究數據挖掘技術，采用較多的技術有決策樹、分類、 聚類、粗糙集、關聯規則、神經網絡、遺傳算法等。數據挖掘根據KDD的目標，選取相應算法的參數，分析數據，得到可能形成知識的模式 模型。
3、評估、解釋模式模型
上面得到的模式模型，有可能是沒有實際意義或沒有實用價值的，也有可能是其不能準確反映數據的真實意義，甚至在某些情況下是與事 實相反的，因此需要評估，確定哪些是有效的、有用的模式。評估可以根據用戶多年的經驗，有些模式也可以直接用數據來檢驗其準確性。 這個步驟還包括把模式以易于理解的方式呈現給用戶。
4、鞏固知識
用戶理解的、并被認為是符合實際和有價值的模式模型形成了知識。同時還要注意對知識做一
致性檢查，解決與以前得到的知識互相沖 突、矛盾的地方，使知識得到鞏固。
5、運用知識
發現知識是為了運用，如何使知識能被運用也是KDD的步驟之一。運用知識有兩種方法：一種是只需看知識本身所描述的關系或結果，就 可以對決策提供支持；另一種是要求對新的數據運用知識，由此可能產生新的問題，而需要對知識做進一步的優化
三、數據挖掘的特點及功能
3.1、數據挖掘的特點
數據挖掘具有如下幾個特點，當然，這些特點與數據挖掘要處理的數據和目的是密切相關的。
1、處理的數據規模十分巨大。
2、查詢一般是決策制定者(用戶)提出的即時隨機查詢，往往不能形成精確的查詢要求。
3、由于數據變化迅速并可能很快過時，因此需要對動態數據作出快速反應，以提供決策支持。
4、主要基于大樣本的統計規律，其發現的規則不一定適用于所有數據
3.2、數據挖掘的功能
數據挖掘所能發現的知識有如下幾種:
廣義型知識,反映同類事物共同性質的知識;
特征型知識,反映事物各方面的特征知識;
差異型知識,反映不同事物之間屬性差別的知識 ;關聯型知識,反映事物之間依賴或關聯的知識;
預測型知識,根據歷史的和當前的數據推測未來數據;偏離型知識,揭示事物偏離常規的異常現象。
所有這些知識都可以在不同的概念層次上被發現,隨著概念樹的提升,從微觀到中觀再到宏觀,以滿足不同用戶、不同層次決策的需要。例如,從一家超市的數據倉庫中,可以發現的一條典型關聯規則可能是”買面包和黃油的顧客十有八九也買牛奶”,也可能是”買食品的顧客幾乎都用信用卡”,這種規則對于商家開發和實施客戶化的銷售計劃和策略是非常有用的。至于發現工具和方法,常用的有分類、聚類、減維、模式識別、可視化、決策樹、遺傳算法、不確定性處理等。歸納起來，數據挖掘有如下幾個功能：
預測/驗證功能：預測/驗證功能指用數據庫的若干已知字段預測或驗證其他未知字段值。預測方法有統計分析方法、關聯規則和決策樹預測方法、回歸樹預測方法等。
描述功能：描述功能指找到描述數據的可理解模式。描述方法包括以下幾種：數據分類、回歸分析、簇聚、概括、構造依賴模式、變化和偏差分析、模式發現、路徑發現等。
四、數據挖掘的模式
數據挖掘的任務是從數據中發現模式。模式是一個用語言L來表示的一個表達式E，它可用來描述數據集F中數據的特性，E 所描述的數據是集 合F的一個子集FE。E作為一個模式要求它比列舉數據子集FE中所有元素的描述方法簡單。例如，“如果成績在81 ～90之間，則成績優良”可稱 為一個模式，而“如果成績為81、82、83、84、85、86、87、88、89 或90，則成績優良”就不能稱之為一個模式。
模式有很多種，按功能可分有兩大類：預測型（Predictive）模式和描述型（Descriptive）模式。
預測型模式是可以根據數據項的值精確確定某種結果的模式。挖掘預測型模式所使用的數據也都是可以明確知道結果的。例如，根據各種 動物的資料，可以建立這樣的模式：凡是胎生的動物都是哺乳類動物。當有新的動物資料時，就可以根據這個模式判別此動物是否是哺乳動物。
描述型模式是對數據中存在的規則做一種描述，或者根據數據的相似性把數據分組。描述型模式不能直接用于預測。例如，在地球上，70 ％的表面被水覆蓋，30 ％是土地。
在實際應用中，往往根據模式的實際作用細分為以下6 種：
1、分類模式
分類模式是一個分類函數（ 分 類 器），能夠把數據集中的數據項映射到某個給定的類上。分類模式往往表現為一棵分類樹，根據數據的 值從樹根開始搜索，沿著數據滿足的分支往上走，走到樹葉就能確定類別。
2、回歸模式
回歸模式的函數定義與分類模式相似，它們的差別在于分類模式的預測值是離散的，回歸模式的預測值是連續的。如給出某種動物的特征，可以用分類模式判定這種動物是哺乳動物還是鳥類；給出某個人的教育情況、工作經驗，可以用回歸模式判定這個人的年工資在哪個范圍內，是在6000元以下，還是在6000元到1萬元之間，還是在1萬元以上。
3、時間序列模式
時間序列模式根據數據隨時間變化的趨勢預測將來的值。這里要考慮到時間的特殊性質，像一些周期性的時間定義如星期、月、季節、年 等，不同的日子如節假日可能造成的影響，日期本身的計算方法，還有一些需要特殊考慮的地方如時間前后的相關性（過去的事情對將來有 多大的影響力）等。只有充分考慮時間因素，利用現有數據隨時間變化的一系列的值，才能更好地預測將來的值。
4、聚類模式
聚類模式把數據劃分到不同的組中，組之間的差別盡可能大，組內的差別盡可能小。與分類模式不同，進行聚類前并不知道將要劃分成幾 個組和什么樣的組，也不知道根據哪一（幾）個數據項來定義組。一般來說，業務知識豐富的人應該可以理解這些組的含義，如果產生的模式無法理解或不可用，則該模式可能是無意義的，需要回到上階段重新組織數據。
5、關聯模式
關聯模式是數據項之間的關聯規則。關聯規則是如下形式的一種規則：“在無力償還貸款的人當中，60％的人的月收入在3000元以下。”
6、序列模式
序列模式與關聯模式相仿，而把數據之間的關聯性與時間聯系起來。為了發現序列模式，不僅需要知道事件是否發生，而且需要確定事件 發生的時間。例如，在購買彩電的人們當中，60％的人會在3個月內購買影碟機
五、數據挖掘的發現任務
數據挖掘涉及的學科領域和方法很多,有多種分類法。根據挖掘任務分,可分為分類或預測模型發現、數據總結、聚類、關聯規則發現、序列模式發現、依賴關系或依賴模型發現、異常和趨勢發現等等;根據挖掘對象分,有關系數據庫、面向對象數據庫、空間數據庫、時態數據庫、文本數據源、多媒體數據庫、異質數據庫、遺產數據庫以及環球網Web;根據挖掘方法分,可粗分為:機器學習方法、統計方法、神經網絡方法和數據庫方法。機器學習中,可細分為:歸納學習方法(決策樹、規則歸納等)、基于范例學習、遺傳算法等。統計方法中,可細分為:回歸分析(多元回歸、自回歸等)、判別分析(貝葉斯判別、費歇爾判別、非參數判別等)、聚類分析(系統聚類、動態聚類等)、探索性分析(主元分析法、相關分析法等)等。神經網絡方法中,可細分為:前向神經網絡(BP算法等)、自組織神經網絡(自組織特征映射、競爭學習等)等。數據庫方法主要是多維數據分析或OLAP 方法,另外還有面向屬性的歸納方法。
從挖掘任務和挖掘方法的角度而言有數據總結、分類發現、聚類和關聯規則發現四種非常重要的發現任務。
5.1、數據總結
數據總結目的是對數據進行濃縮,給出它的緊湊描述。傳統的也是最簡單的數據總結方法是計算出數據庫的各個字段上的求和值、平均值、方差值等統計值,或者用直方圖、餅狀圖等圖形方式表示。數據挖掘主要關心從數據泛化的角度來討論數據總結。數據泛化是一種把數據庫中的有關數據從低層次抽象到高層次上的過程。由于數據庫上的數據或對象所包含的信息總是最原始、基本的信息(這是為了不遺漏任何可能有用的數據信息)。人們有時希望能從較高層次的視圖上處理或瀏覽數據,因此需要對數據進行不同層次上的泛化以適應各種查詢要求。數據泛化目前主要有兩種技術:多維數據分析方法和面向屬性的歸納方法。
1、多維數據分析方法是一種數據倉庫技術,也稱作聯機分析處理(OLAP)。數據倉庫是面向決策支持的、集成的、穩定的、不同時間的歷史數據集合。決策的前提是數據分析。在數據分析中經常要用到諸如求和、總計、平均、最大、最小等匯集操作,這類操作的計算量特別大。因此一種很自然的想法是,把匯集操作結果預先計算并存儲起來,以便于決策支持系統使用。存儲匯集操作結果的地方稱作多維數據庫。多維數據分析技術已經在決策支持系統中獲得了成功的應用,如著名的SAS數據分析軟件包、Business Object公司的決策支持系統Business Object,以及IBM公司的決策分析工具都使用了多維數據分析技術。
采用多維數據分析方法進行數據總結,它針對的是數據倉庫,數據倉庫存儲的是脫機的歷史數據。
2、為了處理聯機數據,研究人員提出了一種面向屬性的歸納方法。它的思路是直接對用戶感興趣的數據視圖(用一般的SQL查詢語言即可獲得)進行泛化,而不是像多維數據分析方法那樣預先就存儲好了泛化數據。方法的提出者對這種數據泛化技術稱之為面向屬性的歸納方法。原始關系經過泛化操作后得到的是一個泛化關系,它從較高的層次上總結了在低層次上的原始關系。有了泛化關系后,就可以對它進行各種深入的操作而生成滿足用戶需要的知識,如在泛化關系基礎上生成特性規則、判別規則、分類規則,以及關聯規則等。
5.2、分類發現
分類在數據挖掘中是一項非常重要的任務,目前在商業上應用最多。分類的目的是學會一個分類函數或分類模型(也常常稱作分類器),該模型能把數據庫中的數據項映射到給定類別中的某一個。分類和回歸都可用于預測。預測的目的是從利用歷史數據紀錄中自動推導出對給定數據的推廣描述,從而能對未來數據進行預測。和回歸方法不同的是,分類的輸出是離散的類別值,而回歸的輸出則是連續數值。
要構造分類器,需要有一個訓練樣本數據集作為輸入。訓練集由一組數據庫記錄或元組構成,每個元組是一個由有關字段(又稱屬性或特征)值組成的特征向量,此外,訓練樣本還有一個類別標記。一個具體樣本的形式可為:( v1, v2, …, vn; c );其中vi表示字段值,c表示類別。
分類器的構造方法有統計方法、機器學習方法、神經網絡方法等等。統計方法包括貝葉斯法和非參數法(近鄰學習或基于事例的學習),對應的知識表示則為判別函數和原型事例。機器學習方法包括決策樹法和規則歸納法,前者對應的表示為決策樹或判別樹,后者則一般為產生式規則。神經網絡方法主要是BP算法,它的模型表示是前向反饋神經網絡模型(由代表神經元的節點和代表聯接權值的邊組成的一種體系結構),BP算法本質上是一種非線性判別函數。另外,最近又興起了一種新的方法:粗糙集(rough set),其知識表示是產生式規則。
不同的分類器有不同的特點。有三種分類器評價或比較尺度:1 預測準確度;2 計算復雜度;3 模型描述的簡潔度。預測準確度是用得最多的一種比較尺度,特別是對于預測型分類任務,目前公認的方法是10番分層交叉驗證法。計算復雜度依賴于具體的實現細節和硬件環境,在數據挖掘中,由于操作對象是巨量的數據庫,因此空間和時間的復雜度問題將是非常重要的一個環節。對于描述型的分類任務,模型描述越簡潔越受歡迎;例如,采用規則表示的分類器構造法就更有用,而神經網絡方法產生的結果就難以理解。
另外要注意的是,分類的效果一般和數據的特點有關,有的數據噪聲大,有的有缺值, 有的分布稀疏,有的字段或屬性間相關性強,有的屬性是離散的而有的是連續值或混合式的。目前普遍認為不存在某種方法能適合于各種特點的數據。
5.3、聚類
聚類是把一組個體按照相似性歸成若干類別,即”物以類聚”。它的目的是使得屬于同一類別的個體之間的距離盡可能的小,而不同類別上的個體間的距離盡可能的大。聚類方法包括統計方法、機器學習方法、神經網絡方法和面向數據庫的方法。
在統計方法中,聚類稱聚類分析,它是多元數據分析的三大方法之一(其它兩種是回歸分析和判別分析)。它主要研究基于幾何距離的聚類,如歐式距離、明考斯基距離等。傳統的統計聚類分析方法包括系統聚類法、分解法、加入法、動態聚類法、有序樣品聚類、有重疊聚類和模糊聚類等。這種聚類方法是一種基于全局比較的聚類,它需要考察所有的個體才能決定類的劃分;因此它要求所有的數據必須預先給定,而不能動態增加新的數據對象。聚類分析方法不具有線性的計算復雜度,難以適用于數據庫非常大的情況。
在機器學習中聚類稱作無監督或無教師歸納;因為和分類學習相比,分類學習的例子或數據對象有類別標記,而要聚類的例子則沒有標記,需要由聚類學習算法來自動確定。很多人工智能文獻中,聚類也稱概念聚類;因為這里的距離不再是統計方法中的幾何距離 ,而是根據概念的描述來確定的。當聚類對象可以動態增加時,概念聚類則稱是概念形成。
在神經網絡中,有一類無監督學習方法:自組織神經網絡方法;如Kohonen自組織特征映射網絡、競爭學習網絡等等。在數據挖掘領域里,見報道的神經網絡聚類方法主要是自組織特征映射方法,IBM在其發布的數據挖掘白皮書中就特別提到了使用此方法進行數據庫聚類分割。
5.4、關聯規則發現
關聯規則是形式如下的一種規則,”在購買面包和黃油的顧客中,有90%的人同時也買了牛奶”(面包+黃油 ( 牛奶 )。用于關聯規則發現的主要對象是事務型數據庫,其中針對的應用則是售貨數據,也稱貨籃數據。一個事務一般由如下幾個部分組成:事務處理時間 ,一組顧客購買的物品,有時也有顧客標識號(如信用卡號)。
由于條形碼技術的發展,零售部門可以利用前端收款機收集存儲大量的售貨數據。因此,如果對這些歷史事務數據進行分析,則可對顧客的購買行為提供極有價值的信息。例如,可以幫助如何擺放貨架上的商品(如把顧客經常同時買的商品放在一起),幫助如何規劃市場(怎樣相互搭配進貨)。由此可見,從事務數據中發現關聯規則,對于改進零售業等商業活動的決策非常重要。
如果不考慮關聯規則的支持度和可信度,那么在事務數據庫中存在無窮多的關聯規則。事實上,人們一般只對滿足一定的支持度和可信度的關聯規則感興趣。在文獻中,一般稱滿足一定要求的(如較大的支持度和可信度)的規則為強規則。因此,為了發現出有意義的關聯規則,需要給定兩個閾值:最小支持度和最小可信度。前者即用戶規定的關聯規則必須滿足的最小支持度,它表示了一組物品集在統計意義上的需滿足的最低程度;后者即用戶規定的關聯規則必須滿足的最小可信度,它反應了關聯規則的最低可靠度。
在實際情況下,一種更有用的關聯規則是泛化關聯規則。因為物品概念間存在一種層次關系,如夾克衫、滑雪衫屬于外套類,外套、襯衣又屬于衣服類。有了層次關系后,可以幫助發現一些更多的有意義的規則。例如,”買外套，買鞋子”(此處,外套和鞋子是較高層次上的物品或概念,因而該規則是一種泛化的關聯規則)。由于商店或超市中有成千上萬種物品,平均來講,每種物品(如滑雪衫)的支持度很低,因此有時難以發現有用規則;但如果考慮到較高層次的物品(如外套),則其支持度就較高,從而可能發現有用的規則。另外,關聯規則發現的思路還可以用于序列模式發現。用戶在購買物品時,除了具有上述關聯規律,還有時間上或序列上的規律,因為,很多時候顧客會這次買這些東西,下次買同上次有關的一些東西,接著又買有關的某些東西。
核心關注：拓步ERP系統平臺是覆蓋了眾多的業務領域、行業應用，蘊涵了豐富的ERP管理思想，集成了ERP軟件業務管理理念，功能涉及供應鏈、成本、制造、CRM、HR等眾多業務領域的管理，全面涵蓋了企業關注ERP管理系統的核心領域，是眾多中小企業信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處：拓步ERP資訊網http://www.guhuozai8.cn/
本文標題：數據挖掘概念綜述
本文網址：http://www.guhuozai8.cn/html/consultation/10820512239.html
相關文章
