1.概述

　　日前，數據正以前所未有的、驚人的速度產出，根據國際數據公司的“數字宇宙研究報告”， 2011 年全球被創建和被復制的數據總量已達到了1.8ZB，預測在2020 年，世界的數據量將可能增加到了50倍。傳統數據庫等存儲工具都難以滿足如此大規模要求，維基百科把“無法在一定時間內用常規軟件工具對其內容進行抓取、管理和處理的數據集合”稱為大數據。一般地，大數據能正確地反映全球的本質和運行的規律，利于人們充分的、有效的配置資源。所以，大數據具有極高的利用價值，譽為“未來的新石油”。

　　大數據的價值問題已不是僅停留在一個話題上了，已引起全球地區和企業的高度重視。在2012年3 月， 美國發布了《Big Data Research andDevelopment Initiative》，旨在提升利用大量復雜數據集合獲取知識和洞見的能力，并投入兩億美元以上資金鼓勵各企業進行探究及開發。微軟、IBM、谷歌等商業巨頭相繼進軍該領域。在大數據時代構建及借助功能全面的企業系統具有非常重要的現實意義。因此，挖掘數據中有用的價值，用于決策，贏得優勢是企業開展競爭的一個關鍵。

　　2.大數據的產生背影和特征

　　2.1 大數據發展背影

　　伴隨著信息技術的發展，各種傳感器、攝像頭、手機和個人電腦的普及，世界更容易被感知了，所以產生的數據量越來越大。談及大數據產生的根本原因，首先是爆發式的數據增長，量膨脹式增加。量大包含實時的數據會越來越多，非結構化數據極其多；第二個原因是數據的社會化趨勢，如UGC 及碎片化的信息。

　　大數據的發展大致可劃分兩個階段，第一個階段主要是大型的互聯網企業。包括谷歌、百度、阿里巴巴等走在大數據的前列的原因來源于本身擁有大數據，沒有現成的解決方案，資本市場對大數據非常敏感和火熱的學術界，成立各種各樣大數據的機構。第二個階段，這里面很重要的一點還是大型的互聯網企業是大數據這里面主要的力量，經過大數據轉型的IT 廠商。

　　2.2 大數據的特征

　　大數據是指無法再可容忍的時間內用于傳統IT 技術和軟硬件工具對其進行感知、獲取、管理、處理和服務的數據集合。大數據的特點可以總結為5V， 即數量（Volume）、多樣性（Variety）、速度（Velocity）、價值（Value） 以及真實性（Veracity)。

　　海量的數據，聚合在一起供分析的數據規模非常龐大。谷歌執行董事長艾瑞特·施密特曾說，現在全球每兩天創造的數據規模等同于從人類文明至2003年間產生的數據量總和。“大”是相對而言的概念，對于搜索引擎，EB 屬于比較大的規模，但是對于各類數據庫或數據分析軟件而言，其規模量級會有比較大的差別。

　　多樣性的數據，數據形態多樣，從生成類型上分為交易數據、交互數據、傳感數據；從數據來源上分為社交媒體、傳感器數據、系統數據；從數據格式上分為文本、圖片、音頻、視頻、光譜等；從數據關系上分為結構化、半結構化、非結構化數據；從數據所有者分為公司數據、政府數據、社會數據等。

　　井噴式增長的數據，一方面是數據的呈井噴式增長，另一方面是要求數據訪問、處理、交付等速度極快。美國的馬丁·希爾伯特說，數字數據儲量每3年就會翻1倍。人類存儲信息的速度比世界經濟的增長速度快4倍。

　　價值不可估量的數據，盡管我們擁有大量數據，但是發揮價值的僅是其中非常小的部分。大數據背后潛藏的價值巨大，被譽為“未來的新石油”。美國社交網站Facebook有10億用戶，網站對這些用戶信息進行分析后，廣告商可根據結果精準投放廣告。對廣告商而言，10億用戶的數據價值上千億美元。據資料報道，2012年，運用大數據的世界貿易額已達60億美元。

　　真實性的數據，一方面，對于虛擬網絡環境下如此大量的數據需要采取措施確保其真實性、客觀性，這是大數據技術與業務發展的迫切需求；另一方面，通過大數據分析，真實地還原和預測事物的本來面目也是大數據未來發展的趨勢。經過社會的大范圍在調查對于大數據特性關注度，統計如圖1。

圖1 大數據特征的關注度

　　從圖中我們不難看出，在大數據的幾個特征中，“多樣性”和“價值”極受人們關注。“多樣性”之所以被最為關注，在于數據的多樣性使得其存儲、應用等各個方面都發生了變化，大數據類型繁多，包括結構化數據、半結構化數據。同時，由于數據顯性或隱性的網絡化存在，使得數據之間的復雜關聯無所不在。針對于多樣化數據的處理需求也成為了技術重點攻關方向。而“價值”則不言而喻，不論是數據本身的價值還是其中蘊含的價值都是企業、部門、政府機關所希望的。

　　因此，如何將如此多樣化的數據轉化為有價值的存在，是大數據所要解決的重要問題。

　　3.大數據的價值利用

　　近年來，微軟、甲骨文、惠普、IBM、SAP 等公司已經在數據管理和分析領域投入超出150 億美元。據Gartner 最新預測，大數據產業2014年將在全球范圍內帶來近千億美元的IT 開支；2015 年，大數據將為全球帶來440 萬個IT 崗位，這將帶來一個空前的大躍進。

　　大數據作為一種重要的戰略資產，已經不同程度地滲透到每個行業領域和部門，其深度應用不僅有助于企業經營活動和競爭，還有利于推動國民經濟發展。大數據使經濟決策部門能夠更敏銳地把握經濟走向，及時制定并實施科學的經濟政策。大數據可以提高企業經營決策水平和效率，推動創新，給企業、行業領域帶來不可估量的價值。大數據技術作為一種重要的信息技術，對于提高安全保障能力、應急能力、優化公共事業服務，提高社會管理水平的作用正在日益凸顯。

　　自2008年11月IBM 提出“智慧地球”概念以來，2009年1月，美國奧巴馬總統公開肯定了IBM“智慧地球”思路，2009 年8 月，IBM 又發布了《智慧地球贏在中國》計劃書，正式揭開IBM“智慧地球”中國戰略的序幕。智慧城市是大數據的源頭，大數據是智慧城市的內核。以智慧交通為例，智慧交通領域的海量數據融合了各類數據，并以城市交通為主題，在海量變化數據中建立關聯關系，找到所需數據的準確信息，并被及時推送到對象手中，提高了城市管理的精確性，提升了城市居民的幸福感受。

　　數據挖掘是一種重要的戰略行為，它就像“石油”一樣具有極不可估量的開采價值，非常有利于幫助企業、行業及政府機構做出更為精準、更為科學的決策，實現更大的商業利益。所以，有效利用大數據并不等同于簡單使用決策支撐，而是一種產生高、快、準的效益決策。

　　在數據迸發時代，若是仍墨守成規的再依靠簡單的經驗來做決策，將是白白浪費一個將企業乃至一個行業進行質的飛躍的大好機會，現在企業要的是以數據為依據，挖掘數據的價值，借助數據，做出精準的判斷，進行科學的決策，贏得提升的先機。

　　4.數據的標準化探究

　　在大量快速變化、多樣化、低價值密度、低質數據中提取數據價值。在大數據上開掘城市智慧。大數據猶如大儲油罐，分析數據多樣性，解決數據爆炸的問題，解決數據垃圾的問題，進行數據標準化與增強、補全數據資源，避免數據垃圾化，實現數據資產化。

圖2 數據標準化結

　　不以規矩，無以成方圓，制定數據標準為解決之道。一切數據，皆應有標準。在生活中數據不乏規范及標準，如：

　　數據名址標準：人名、機構名、商品名、地址；數據編碼標準：身份證號碼，工商注冊號，車牌號，手機號，工號；

　　國際標準國家標準行業標準地方標準企業標準；

　　數據標準布局；

　　數據實體標準；

　　數據庫表結構及數據字典規范；

　　數據交換標準： 多為XML 標準（XML vocabulary）；

　　數據表示標準：如CSS；

　　行業數據標準。

圖3 數據標準化流程

　　創新的數據標準制定與評估，自底向上的標準制定。傳統的自頂向下，自底向上與自頂向下相結合!

　　數據標準依賴數據規則來落地、實施，數據規則則輔助人來制定數據標準和輔助人來評估數據標準。涉及的人力資源配置及工作分工的問題，因此，需要明權責的跟進數據治理規范，指導數據處理過程規范，使數據稽查規范可落地。

　　大數據時代的到來極大地改變既有的技術與商業格局，改變了企業的競爭模式.TRS 公司開推出了大數據管理系統，采用分布式并行計算、多副本機制、沒有單點的高可靠體系架構，兼容Hadoop 標準，支持PB 級海量數據管理；支持實時及用戶行為數據的高效管理和分析；創新的多檢索引擎機制；支持線性擴展，充分釋放硬件潛力，為大數據管理提供支撐，規范了數據。

　　結語

　　大數據已成為企業的一種資產，像石油一樣驅動生產力的發展，對其分析與管理已經成為企業獲取競爭優勢制高點、產業轉型和及智慧城市等的推動的重要途徑�，F在只有適應數據變革，標準先行，抓住先機，實現低成本、高效率的競爭優勢，才能贏得先機，乃至實現先知、先行、先贏！

核心關注：拓步ERP系統平臺是覆蓋了眾多的業務領域、行業應用，蘊涵了豐富的ERP管理思想，集成了ERP軟件業務管理理念，功能涉及供應鏈、成本、制造、CRM、HR等眾多業務領域的管理，全面涵蓋了企業關注ERP管理系統的核心領域，是眾多中小企業信息化建設首選的ERP管理軟件信賴品牌。

轉載請注明出處：拓步ERP資訊網http://www.guhuozai8.cn/

本文標題：大數據的標準化研究

本文網址：http://www.guhuozai8.cn/html/consultation/10839716648.html