引 言
伴隨著移動互聯(lián)、社交網絡、電子商務、云計算等新服務的新起,大大拓展了互聯(lián)網的疆界和應用領域,使得數(shù)據(jù)來源的渠道逐漸增多,半結構化及非結構化數(shù)據(jù)成幾何倍增長,數(shù)據(jù)規(guī)模和數(shù)據(jù)種類正以前所未有的速度增長,大數(shù)據(jù)時代已經來臨。大數(shù)據(jù)已經成為了計算機行業(yè)爭相傳誦的熱門概念,甚至引起了工商界和金融界的高度關注。早在 1980 年,著名未來學家阿爾文·托夫勒便在《第三次浪潮》一書中,將大數(shù)據(jù)熱情地贊頌為“第三次浪潮的華彩樂章”。從 2009 年開始,“大數(shù)據(jù)”才成為互聯(lián)網信息技術行業(yè)的流行詞匯,2012 年,大數(shù)據(jù)概念炙手可熱,2013 年,大數(shù)據(jù)走向實踐,有的專家稱之為“大數(shù)據(jù)元年”。
1 數(shù)據(jù)管理技術的回顧
數(shù)據(jù)管理技術主要經歷了人工管理階段、文件系統(tǒng)階段和數(shù)據(jù)庫系統(tǒng)階段。隨著數(shù)據(jù)應用領域的不斷擴展,數(shù)據(jù)管理所處的環(huán)境也越來越復雜,目前廣泛流行的數(shù)據(jù)庫技術開始暴露出許多弱點,面臨著許多新的挑戰(zhàn)。
1.1 人工管理階段
20 世紀 50 年代中期,計算機主要用于科學計算。當時沒有磁盤等直接存取設備,只有紙帶、卡片、磁帶等外存,也沒有操作系統(tǒng)和管理數(shù)據(jù)的專門軟件。該階段管理的數(shù)據(jù)不保存、由應用程序管理數(shù)據(jù)、數(shù)據(jù)不共享和數(shù)據(jù)不具有獨立性等特點。
1.2 文件系統(tǒng)階段
20 世紀 50 年代后期到 60 年代中期,隨著計算機硬件和軟件的發(fā)展,磁盤、磁鼓等直接存取設備開始普及,這一時期的數(shù)據(jù)處理系統(tǒng)是把計算機中的數(shù)據(jù)組織成相互獨立的被命名的數(shù)據(jù)文件,并可按文件的名字來進行訪問,對文件中的記錄進行存取的數(shù)據(jù)管理技術。數(shù)據(jù)可以長期保存在計算機外存上,可以對數(shù)據(jù)進行反復處理,并支持文件的查詢、修改、插入和刪除等操作。其數(shù)據(jù)面向特定的應用程序,因此,數(shù)據(jù)共享性、獨立性差,且冗余度大,管理和維護的代價也很大。
1.3 數(shù)據(jù)庫階段
20 世紀 60 年代后期以來,計算機性能得到進一步提高,更重要的是出現(xiàn)了大容量磁盤,存儲容量大大增加且價格下降。在此基礎上,才有可能克服文件系統(tǒng)管理數(shù)據(jù)時的不足,而滿足和解決實際應用中多個用戶、多個應用程序共享數(shù)據(jù)的要求,從而使數(shù)據(jù)能為盡可能多的應用程序服務,這就出現(xiàn)了數(shù)據(jù)庫這樣的數(shù)據(jù)管理技術。數(shù)據(jù)庫的特點是數(shù)據(jù)不再只針對某一個特定的應用,而是面向全組織,具有整體的結構性,共享性高,冗余度減小,具有一定的程序與數(shù)據(jù)之間的獨立性,并且對數(shù)據(jù)進行統(tǒng)一的控制。
2 大數(shù)據(jù)時代的數(shù)據(jù)管理技術
大數(shù)據(jù)(big data),或稱巨量資料,指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具,在合理時間內達到擷取、管理、處理、并整理成為幫助企業(yè)經營決策更積極目的的資訊。大數(shù)據(jù)有 3 個 V,一是大量化(Volume),數(shù)據(jù)量是持續(xù)快速增加的,從 TB級別,躍升到 PB 級別;二是多樣化(Variety),數(shù)據(jù)類型多樣化,結構化數(shù)據(jù)已被視為小菜一碟,圖片、音頻、視頻等非結構化數(shù)據(jù)正以傳統(tǒng)結構化數(shù)據(jù)增長的兩倍速快速創(chuàng)建;三是快速化 (Velocity),數(shù)據(jù)生成速度快,也就需要快速的處理能力,因此,產生了“1 秒定律”,就是說一般要在秒級時間范圍內給出分析結果,時間太長就失去價值了,這個速度要求是大數(shù)據(jù)處理技術和傳統(tǒng)的數(shù)據(jù)挖掘技術最大的區(qū)別。
2.1 關系型數(shù)據(jù)庫(RDBMS)
20 世紀 70 年代初,IBM 工程師 Codd 發(fā)表了著名的論文“A Relational Model of Data for Large Shared DataBanks”,標志著關系數(shù)據(jù)庫時代來臨。關系數(shù)據(jù)庫的理論基礎是關系模型,是借助于集合代數(shù)等數(shù)學概念和方法來處理數(shù)據(jù)庫中的數(shù)據(jù),現(xiàn)實世界中的實體以及實體之間的聯(lián)系非常容易用關系模型來表示。容易理解的模型、容易掌握的查詢語言、高效的優(yōu)化器、成熟的技術和產品,使得關系數(shù)據(jù)庫占據(jù)了數(shù)據(jù)庫市場的絕對的統(tǒng)治地位。隨著互聯(lián)網 web2.0 網站的興起,半結構化和非結構化數(shù)據(jù)的大量涌現(xiàn),傳統(tǒng)的關系數(shù)據(jù)庫在應付 web2.0 網站特別是超大規(guī)模和高并發(fā)的 SNS(全稱 Social Networking Services,即社會性網絡服務) 類型的 web2.0 純動態(tài)網站已經顯得力不從心,暴露了很多難以克服的問題。
2.2 noSQL 數(shù)據(jù)庫
順應時代發(fā)展的需要產生了 noSQL 數(shù)據(jù)庫技術,其主要特點是采用與關系模型不同的數(shù)據(jù)模型,當前熱門的 noSQL 數(shù)據(jù)庫系統(tǒng)可以說是蓬勃發(fā)展、異軍突起,很多公司都熱情追捧之,如:由 Google 公司提出的 Big Table 和 MapReduce 以及 IBM 公司提出的 Lotus Notes 等。不管是那個公司的 noSQL 數(shù)據(jù)庫都圍繞著大數(shù)據(jù)的 3 個 V,目的就是解決大數(shù)據(jù)的 3個 V 問題。因此,在設計 noSQL 時往往考慮以下幾個原則,首先,采用橫向擴展的方式,通過并行處理技術對數(shù)據(jù)進行劃分并進行并行處理,以獲得高速的讀寫速度;其次,解決數(shù)據(jù)類型從以結構化數(shù)據(jù)為主轉向結構化、半結構化、非結構化三者的融合的問題;再次,放松對數(shù)據(jù)的 ACID 一致性約束,允許數(shù)據(jù)暫時出現(xiàn)不一致的情況,接受最終一致性;最后,對各個分區(qū)數(shù)據(jù)進行備份(一般是 3 份),應對節(jié)點失敗的狀況等。
對數(shù)據(jù)的應用可以分為分析型應用和操作型應用,分析型應用主要是指對大量數(shù)據(jù)進行分類、聚集、匯總,最后獲得數(shù)據(jù)量相對小的分析結果;操作型應用主要是指對數(shù)據(jù)進行增加、刪除、修改和查詢以及簡單的匯總操作,涉及的數(shù)據(jù)量一般比較少,事務執(zhí)行時間一般比較短。目前數(shù)據(jù)庫可分為關系數(shù)據(jù)庫和 noSQL數(shù)據(jù)庫,根據(jù)數(shù)據(jù)應用的要求,再結合目前數(shù)據(jù)庫的種類,所以目前數(shù)據(jù)庫管理方式主要有以下 4 類。
(1)面向操作型的關系數(shù)據(jù)庫技術。
首先,傳統(tǒng)數(shù)據(jù)庫廠商提供的基于行存儲的關系數(shù)據(jù)庫系統(tǒng),如 DB2、Oracle、SQL Server 等,以其高度的一致性、精確性、系統(tǒng)可恢復性,在事務處理方面仍然是核心引擎。其次,面向實時計算的內存數(shù)據(jù)庫系統(tǒng),如 Hana、Timesten、Altibase 等通過把對數(shù)據(jù)并發(fā)控制、查詢和恢復等操作控制在內存內部進行,所以獲得了非常高的性能,在很多特定領域如電信、證券、網管等得到普遍應用。另外,以 VoltDB、Clustrix 和NuoDB 為代表的 new SQL 宣稱能夠在保持 ACDI 特性的同時提高了事務處理性能 50 倍 ~60 倍。
(2)面向分析型的關系數(shù)據(jù)庫技術。
首先,TeraData 是數(shù)據(jù)倉庫領域的領頭羊,Teradata 在整體上是按 Shared Nothing 架構體系進行組織的,定位就是大型數(shù)據(jù)倉庫系統(tǒng),支持較高的擴展性。其次,面向分析型應用,列存儲數(shù)據(jù)庫的研究形成了另一個重要的潮流。列存儲數(shù)據(jù)庫以其高效的壓縮、更高的 I/O 效率等特點,在分析型應用領域獲得了比行存儲數(shù)據(jù)庫高得多的性能。如:MonetDB 和 Vertica是一個典型的基于列存儲技術的數(shù)據(jù)庫系統(tǒng)。
(3)面向操作型的 noSQL 技術。
有些操作型應用不受 ACID 高度一致性約束,但對大數(shù)據(jù)處理需要處理的數(shù)據(jù)量非常大,對速度性能要求也非常高,這樣就必須依靠大規(guī)模集群的并行處理能力來實現(xiàn)數(shù)據(jù)處理,弱一致性或最終一致性就可以了。這時,操作型 noSQL 數(shù)據(jù)庫的優(yōu)點就可以發(fā)揮的淋漓盡致了。如,Hbase 一天就可以有超過 200 億個到達硬盤的讀寫操作,實現(xiàn)對大數(shù)據(jù)的處理。另外,noSQL 數(shù)據(jù)庫是一個數(shù)據(jù)模型靈活、支持多樣數(shù)據(jù)類型,如對圖數(shù)據(jù)建模、存儲和分析,其性能、擴展性是關系數(shù)據(jù)庫無法比擬的。
(4)面向分析型的 noSQL 技術。
面向分析型應用的 noSQL 技術主要依賴于Hadoop 分布式計算平臺,Hadoop 是一個分布式計算平臺,以 HDFS 和 Map Reduce 為用戶提供系統(tǒng)底層細節(jié)透明的分布式基礎架構。《Hadoop 經典實踐染技巧》傳統(tǒng)的數(shù)據(jù)庫廠商 Microsoft,Oracle,SAS,IBM 等紛紛轉向 Hadoop 的研究,如微軟公司關閉 Dryad 系統(tǒng),全力投入 Map Reduce 的研發(fā),Oracle 在 2011 年下半年發(fā)布 Big Plan 戰(zhàn)略計劃,全面進軍大數(shù)據(jù)處理領域,IBM 則早已捷足先登“,沃森(Watson)”計算機就是基于 Hadoop 技術開發(fā)的產物,同時 IBM 發(fā)布了 BigInsights 計劃,基于 Hadoop,Netezza 和 SPSS(統(tǒng)計分析、數(shù)據(jù)挖掘軟件)等技術和產品構建大數(shù)據(jù)分析處理的技術框架。同時也涌現(xiàn)出一批新公司來研究Hadoop 技術,如 Cloudera、MapRKarmashpere 等。
3 數(shù)據(jù)管理方式的展望
通過以上分析,可以看出關系數(shù)據(jù)庫的 ACID 強調數(shù)據(jù)一致性通常指關聯(lián)數(shù)據(jù)之間的邏輯關系是否正確和完整,而對于很多互聯(lián)網應用來說,對這一致性和隔離性的要求可以降低,而可用性的要求則更為明顯,此時就可以采用 noSQL 的兩種弱一致性的理論 BASE 和 CAP。關系數(shù)據(jù)庫和 noSQL 數(shù)據(jù)庫并不是想到對立的矛盾體,而是可以相互補充的,根據(jù)不同需求使用不同的技術,甚至二者可以共同存在,互不影響。最近幾年,以 Spanner 為代表新型數(shù)據(jù)庫的出現(xiàn),給數(shù)據(jù)庫領域注入新鮮血液,這就是融合了一致性和可用性的 newSQL,這種新型思維方式或許會是未來大數(shù)據(jù)處理方式的發(fā)展方向。
4 結束語
隨著云計算、物聯(lián)網等的發(fā)展,數(shù)據(jù)呈現(xiàn)爆炸式的增長,人們正被數(shù)據(jù)洪流所包圍,大數(shù)據(jù)的時代已經到來。正確利用大數(shù)據(jù)給人們的生活帶來了極大的便利,但與此同時也給傳統(tǒng)的數(shù)據(jù)管理方式帶來了極大的挑戰(zhàn)。文章首先對傳統(tǒng)數(shù)據(jù)管理方式進行了全面的回顧和總結,其次,介紹了大數(shù)據(jù)的基本概念和目前對大數(shù)據(jù)的幾種管理方式,最后,對大數(shù)據(jù)未來的管理方式作出了展望。
核心關注:拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務領域、行業(yè)應用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業(yè)務管理理念,功能涉及供應鏈、成本、制造、CRM、HR等眾多業(yè)務領域的管理,全面涵蓋了企業(yè)關注ERP管理系統(tǒng)的核心領域,是眾多中小企業(yè)信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處:拓步ERP資訊網http://www.guhuozai8.cn/
本文標題:大數(shù)據(jù)時代數(shù)據(jù)管理方式的研究
本文網址:http://www.guhuozai8.cn/html/consultation/10819416505.html