1 基本概念介紹

    1.1 大數(shù)據(jù)

    2011 年 5 月，麥肯錫全球研究院在《大數(shù)據(jù)：創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的下一個(gè)新領(lǐng)域》中指出，數(shù)據(jù)已經(jīng)滲透到每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為重要的生產(chǎn)要素；而人們對(duì)于大數(shù)據(jù)的運(yùn)用預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)。2012 年 3 月 29 日，美國(guó)政府在白宮網(wǎng)站上發(fā)布了《大數(shù)據(jù)研究和發(fā)展倡議》，表示將投資 2 億美元啟動(dòng)“大數(shù)據(jù)研究和發(fā)展計(jì)劃”，增強(qiáng)從大數(shù)據(jù)中分析提取信息．“大數(shù)據(jù)”到底有多大？根據(jù)統(tǒng)計(jì)，僅在 2011 年，全球數(shù)據(jù)增量就達(dá)到了 1.8 ZB，相當(dāng)于全世界的每個(gè)人產(chǎn)生200 GB 以上的數(shù)據(jù)。而且這種增長(zhǎng)趨勢(shì)仍在快速增長(zhǎng)，據(jù)估計(jì)，在未來(lái)，數(shù)據(jù)將至少保持每年 50%的增長(zhǎng)速度。

    1.2 數(shù)據(jù)挖掘

    數(shù)據(jù)挖掘是一門新興的學(xué)科，它誕生于 20 世紀(jì) 80 年代，主要面向商業(yè)應(yīng)用的人工智能研究領(lǐng)域。從技術(shù)角度看，數(shù)據(jù)挖掘就是從大量的、復(fù)雜的、不規(guī)則的、隨機(jī)的、模糊的數(shù)據(jù)中獲取隱含的、人們事先沒(méi)有發(fā)覺(jué)的、有潛在價(jià)值的信息和知識(shí)的過(guò)程．從商業(yè)角度來(lái)說(shuō)，數(shù)據(jù)挖掘就是從龐大的數(shù)據(jù)庫(kù)中抽取、轉(zhuǎn)換、分析一些潛在規(guī)律和價(jià)值，從中獲取輔助商業(yè)決策的關(guān)鍵信息和有用知識(shí)。

2 數(shù)據(jù)挖掘的基本分析方法

    分析方法是數(shù)據(jù)挖掘的核心工作，通過(guò)科學(xué)可靠的算法才能實(shí)現(xiàn)數(shù)據(jù)的挖掘，找出數(shù)據(jù)中潛在的規(guī)律。通過(guò)不同的分析方法，將解決不同類型的問(wèn)題，在現(xiàn)實(shí)中針對(duì)不同的分析目標(biāo)，找出相對(duì)應(yīng)的方法。目前常用的分析方法主要有聚類分析、分類和預(yù)測(cè)、關(guān)聯(lián)分析等。

    2.1 聚類分析

    聚類分析就是將物理或抽象對(duì)象的集合進(jìn)行分組，然后組成為由類似或相似的對(duì)象組成的多個(gè)分類的分析過(guò)程，其目的就是通過(guò)相似的方法來(lái)收集數(shù)據(jù)分類．它是一種無(wú)先前知識(shí)，無(wú)監(jiān)督的學(xué)習(xí)過(guò)程，從數(shù)據(jù)對(duì)象中找出有意義的數(shù)據(jù)，然后將其劃分在一個(gè)未知的類。這不同于分類，因?yàn)樗鼰o(wú)法獲知對(duì)象的屬性。“物以類聚，人以群分”，通過(guò)聚類來(lái)分析事物之間類聚的潛在規(guī)律．聚類分析廣泛運(yùn)用于心理學(xué)、統(tǒng)計(jì)學(xué)、醫(yī)學(xué)、生物學(xué)、市場(chǎng)銷售、數(shù)據(jù)識(shí)別、機(jī)器智能學(xué)習(xí)等領(lǐng)域。

    聚類分析根據(jù)隸屬度的取值范圍可分為硬聚類和模糊聚類兩種方法．硬聚類就是將對(duì)象劃分到距離最近聚類的類，非此即彼，也就是說(shuō)屬于一類，就必然不屬于另一類．模糊聚類就是根據(jù)隸屬度的取值范圍的大小差異來(lái)劃分類．一個(gè)樣本可能屬于多個(gè)類．常見(jiàn)的聚類算法主要有密度聚類算法、層次聚類算法、劃分聚類算法、網(wǎng)格聚類算法、模型聚類算法等。

    2.2 分類和預(yù)測(cè)

    分類和數(shù)值預(yù)測(cè)是問(wèn)題預(yù)測(cè)的兩種主要類型。分類是預(yù)測(cè)分類（離散、無(wú)序的）標(biāo)號(hào)，而預(yù)測(cè)則是建立連續(xù)值函數(shù)模型。分類是數(shù)據(jù)挖掘的重要基礎(chǔ)，它是對(duì)已知的訓(xùn)練數(shù)據(jù)集表現(xiàn)出來(lái)的特性，獲得每個(gè)類別的描述或?qū)傩詠?lái)構(gòu)造相應(yīng)的分類器或者分類。分類是一種有監(jiān)督的學(xué)習(xí)過(guò)程，它是根據(jù)訓(xùn)練數(shù)據(jù)集發(fā)現(xiàn)準(zhǔn)確描述來(lái)劃分類別。常見(jiàn)的分類算法主要有決策樹(shù)、粗糙集、貝葉斯、遺傳算法、神經(jīng)網(wǎng)路等．預(yù)測(cè)就是根據(jù)分類和回歸來(lái)預(yù)測(cè)將來(lái)的規(guī)律。常見(jiàn)的預(yù)測(cè)方法主要有局勢(shì)外推法、時(shí)間序列法和回歸分析法。

    2.3 關(guān)聯(lián)分析

    在自然界，事物之間存在著千絲萬(wàn)縷的聯(lián)系，當(dāng)某一事件發(fā)生時(shí)，可能會(huì)帶動(dòng)其它事件的發(fā)生。關(guān)聯(lián)分析就是利用事物之間存在的依賴或關(guān)聯(lián)知識(shí)來(lái)發(fā)現(xiàn)事物之間存在的規(guī)律性，然后通過(guò)這種規(guī)律性進(jìn)行預(yù)測(cè)。如經(jīng)典實(shí)例購(gòu)物籃分析，就是通過(guò)分析顧客購(gòu)物籃中物品的管理規(guī)律，來(lái)分析顧客的購(gòu)物心理和習(xí)慣，然后根據(jù)這種規(guī)律來(lái)幫助營(yíng)銷人員制定營(yíng)銷策略。

    2.4 人工神經(jīng)網(wǎng)絡(luò)

    神經(jīng)網(wǎng)絡(luò)通過(guò)復(fù)雜的大批量數(shù)據(jù)進(jìn)行分析，實(shí)現(xiàn)對(duì)于計(jì)算機(jī)或人腦而言非常復(fù)雜的模式抽取及趨勢(shì)分析，它是建立在自學(xué)習(xí)的數(shù)學(xué)模型基礎(chǔ)之上的，神經(jīng)網(wǎng)絡(luò)既可以是有指導(dǎo)的學(xué)習(xí)，也可以是無(wú)指導(dǎo)聚類，但無(wú)論哪種，輸入到神經(jīng)網(wǎng)絡(luò)中的值都是數(shù)值型的。目前在數(shù)據(jù)挖掘中，最常使用的是BP 網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)兩種神經(jīng)網(wǎng)絡(luò)。

    2.5 遺傳基因算法

    在數(shù)據(jù)挖掘中，遺傳算法經(jīng)常被用作評(píng)估其他算法的適合度．它是一種由生物進(jìn)化而啟發(fā)的一種學(xué)習(xí)方法，通過(guò)對(duì)當(dāng)前已知的最好假設(shè)變異和重組來(lái)生成后續(xù)的假設(shè)．每一步，用目前適應(yīng)性最高的假設(shè)的后代來(lái)代替群體的某個(gè)部分，來(lái)更新當(dāng)前群體的一組假設(shè)，以便實(shí)現(xiàn)各個(gè)個(gè)體的適應(yīng)性的提高．遺傳算法由三個(gè)基本過(guò)程組成：繁殖（選擇）、交叉（重組）、變異（突變）。

    2.6 可視化技術(shù)

    可視化技術(shù)是數(shù)據(jù)挖掘中應(yīng)用非常廣泛的一種輔助技術(shù)。它借助圖形、圖像、動(dòng)畫等手段形象地指導(dǎo)操作、引導(dǎo)挖掘和表達(dá)結(jié)果等．這種手段很好地解決了數(shù)據(jù)挖掘中涉及的比較復(fù)雜的數(shù)學(xué)方法和信息技術(shù)的表現(xiàn)形式，方便了用戶理解和使用技術(shù)，為數(shù)據(jù)挖掘技術(shù)的推廣普及起到很大的作用。

3 數(shù)據(jù)挖掘的基本過(guò)程

    數(shù)據(jù)挖掘的基本過(guò)程如下：
 

.
圖1.數(shù)據(jù)挖掘的基本過(guò)程圖

    3.1 數(shù)據(jù)準(zhǔn)備

    數(shù)據(jù)準(zhǔn)備，是從海量的原始數(shù)據(jù)中準(zhǔn)備要據(jù)挖掘的數(shù)據(jù)，它是長(zhǎng)期的、無(wú)規(guī)律的數(shù)據(jù)積累的結(jié)果。由于原始數(shù)據(jù)不適合數(shù)據(jù)挖掘，所以要先進(jìn)行預(yù)處理，包括數(shù)據(jù)選擇、清洗、推測(cè)、轉(zhuǎn)換等操作。數(shù)據(jù)準(zhǔn)備的好壞直接決定著數(shù)據(jù)挖掘的質(zhì)量和效率。

    3.2 數(shù)據(jù)挖掘

    數(shù)據(jù)挖掘是整個(gè)程序的關(guān)鍵過(guò)程，按照數(shù)據(jù)挖掘的目標(biāo)要求，選擇合適的算法，來(lái)挖掘數(shù)據(jù)規(guī)律，常見(jiàn)的算法有決策樹(shù)、分類、神經(jīng)網(wǎng)絡(luò)、Apriori 算法等。

    3.3 模式的評(píng)價(jià)、分析

    對(duì)挖掘過(guò)的數(shù)據(jù)結(jié)果進(jìn)行解釋、分析、提取有意義或有使用價(jià)值的規(guī)律，還原成人們能夠理解的數(shù)據(jù)語(yǔ)言。

     3.4 知識(shí)運(yùn)用

    知識(shí)運(yùn)用就是對(duì)挖掘的評(píng)估結(jié)果在現(xiàn)實(shí)決策中的運(yùn)用，這是一個(gè)非常重要的過(guò)程，也是數(shù)據(jù)挖掘的最終目標(biāo)，價(jià)值的體現(xiàn)。

4 大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘的應(yīng)用領(lǐng)域

    4.1 市場(chǎng)營(yíng)銷領(lǐng)域

    市場(chǎng)營(yíng)銷是數(shù)據(jù)挖掘技術(shù)應(yīng)用最早和最多的領(lǐng)域。通過(guò)分析和挖掘用戶的消費(fèi)習(xí)慣和消費(fèi)特點(diǎn)，來(lái)提高商品的銷售業(yè)績(jī)。目前，數(shù)據(jù)挖掘在市場(chǎng)營(yíng)銷方面已經(jīng)不僅僅限于超市購(gòu)物等方面，已經(jīng)普及到各個(gè)金融領(lǐng)域，如保險(xiǎn)、電子商務(wù)、銀行、電信零售等行業(yè)。利用數(shù)據(jù)挖掘技術(shù)來(lái)分析顧客的消費(fèi)行為，為本行業(yè)帶來(lái)潛在的客戶和效益。

    4.2 科學(xué)研究

    在科學(xué)研究中，經(jīng)常需要分析各種大量的實(shí)驗(yàn)和觀測(cè)數(shù)據(jù)，并找出相關(guān)的規(guī)律和知識(shí)。這些數(shù)據(jù)分析和挖掘都需要一定的算法，利用數(shù)據(jù)挖掘技術(shù)能科學(xué)的找出數(shù)據(jù)之間的規(guī)律以及找出我們未發(fā)現(xiàn)的知識(shí)。例如，對(duì)外空星體的探索、對(duì) DNA 數(shù)據(jù)的分析等等。

    4.3 制造業(yè)

    在制造業(yè)領(lǐng)域，通過(guò)對(duì)零部件生產(chǎn)的各種數(shù)據(jù)分析，來(lái)提高生產(chǎn)效率和提高良品率，如分析造成產(chǎn)品缺陷的環(huán)節(jié)及數(shù)據(jù)，找出生產(chǎn)過(guò)程影響生產(chǎn)率的因素，暴露制造和裝配操作過(guò)程中變化情況等各種因素，從而通過(guò)重點(diǎn)改進(jìn)相關(guān)環(huán)節(jié)及工藝，來(lái)提高企業(yè)的生產(chǎn)效率及利益。

    4.4 電信業(yè)

    近些年，隨著電信業(yè)的蓬勃發(fā)展，電信業(yè)的技術(shù)和服務(wù)已經(jīng)成為一個(gè)非常龐大的混合載體，它不僅關(guān)系市場(chǎng)，也關(guān)系到技術(shù)及服務(wù)。在將企業(yè)有效資源整合，實(shí)現(xiàn)無(wú)縫連接的過(guò)程中，將產(chǎn)生大量的復(fù)雜數(shù)據(jù)集合，如何從龐雜的數(shù)據(jù)中找尋出規(guī)律和知識(shí)，已成為電信業(yè)的重要問(wèn)題．通過(guò)數(shù)據(jù)挖掘的運(yùn)用，能很好的解決上述問(wèn)題，為行業(yè)的發(fā)展起到很好的作用，如系統(tǒng)負(fù)載、數(shù)據(jù)通信速率和容量、用戶行為、利潤(rùn)率等；采用孤立點(diǎn)分析和聚類方法，查找出盜用模式和異常狀態(tài)；利用關(guān)聯(lián)和序列模式，找出影響電信發(fā)展的相關(guān)因素，更好的推動(dòng)電信業(yè)務(wù)的發(fā)展。

    4.5 Internet 的應(yīng)用

    目前這方面的應(yīng)用比較多，如搜索引擎、電子商務(wù)等。通過(guò)數(shù)據(jù)挖掘技術(shù)在海量的數(shù)據(jù)中，找到符合用戶需求的信息，例如利用預(yù)測(cè)分類算法來(lái)預(yù)知用戶可能需要搜索的信息等。

    4.6 教育領(lǐng)域

    在教學(xué)管理過(guò)程中，如何全面掌握學(xué)生的學(xué)習(xí)狀況、心理狀況、選課情況以及教學(xué)評(píng)價(jià)等信息以及教學(xué)資源的最優(yōu)化配置等，都可以使用數(shù)據(jù)挖掘技術(shù)來(lái)解決。

    伴隨著大數(shù)據(jù)的數(shù)據(jù)管理，檢索技術(shù)研究的進(jìn)步，數(shù)據(jù)挖掘技術(shù)將迎來(lái)巨大的發(fā)展機(jī)遇，數(shù)據(jù)挖掘技術(shù)的應(yīng)用也將更加廣泛，數(shù)據(jù)挖掘的工具也將更加強(qiáng)大。

核心關(guān)注：拓步ERP系統(tǒng)平臺(tái)是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用，蘊(yùn)涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務(wù)管理理念，功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。

轉(zhuǎn)載請(qǐng)注明出處：拓步ERP資訊網(wǎng)http://www.guhuozai8.cn/

本文標(biāo)題：大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘技術(shù)與應(yīng)用/ERP

本文網(wǎng)址：http://www.guhuozai8.cn/html/consultation/10819916550.html