企業在部署Hadoop時總會遇到一些問題。例如,企業要在生產環境中使用Hadoop,但是很難找到熟悉Sqoop、Hive、Pig和MapReduce編程語言的開發人員。為了使大數據項目中Hadoop的價值最大化,企業需要重視一些關鍵步驟。
你可能準備在公司啟動一個大數據項目,但是你對Hadoop并不熟悉,并且不確定這樣的項目是否可以帶來價值。別著急,許多企業都會遇到類似的問題。在SAS公司與國際研究所攜手發布的《企業應用Hadoop現狀》報告中,提出了可以幫助企業發揮Hadoop大數據項目最大價值的五個步驟:
1.識別和定義可提供競爭優勢和戰略的用例
首先要選擇目標。假設你想研究客戶行為,應該關注新的數據類型,而不是研究其它項目,比如企業
數據倉庫;假設你想獲取用戶在線行為信息,應該分析點擊量數據;假設你想了解客戶對公司品牌的看法,你需要分析社交媒體數據。
還要確保你的Hadoop項目擁有高知名度,并提供可度量價值。例如銷量提升或者很快擁有回頭客戶。這將有助于證明你的項目有價值并為未來的新項目鋪路。
推薦一個幫助識別和定義用例的好方法:SAS商業分析現代評估(BAMA)服務,該服務旨在幫助擴大企業對分析的應用。BAMA是完成IT和業務單元之間對話的一個工作組,雙方可以積極合作,共同面對分析流程方面的巨大挑戰。
2.評估Hadoop是否適用于現有數據和分析架構
對于許多企業而言,商業智能和分析項目(如數據倉庫)已經持續了幾十年。盡管Hadoop數據存儲成本可能遠遠低于數據倉庫,但是也不應該廢棄數據倉庫方面的投資轉而讓Hadoop承擔數據倉庫的角色。雖然Hadoop是存儲傳感器數據的理想選擇,但它不擅長實時處理少量數據。分析專家Tom Davenport表示,許多公司都在Hadoop集群中存儲大量新的數據類型,然后把這些數據存儲到企業數據倉庫來滿足產品應用的需求。
假設你已經完成評估,并考慮實施分析客戶行為的Hadoop項目,那么你需要評估支持行為分析的數據存儲在哪里。使用傳統數據倉庫存儲點擊量數據可能使成本飛漲。Hadoop可以存儲大量數據而只消耗合理的成本,但仍然需要考慮其他的存儲方式。企業想要更好地理解客戶行為,需要強大的分析以便利用存儲在Hadoop集群中的客戶點擊流數據。
3.利用數據管理、數據發現和分析提供價值
一旦你決定了要在數量最大且移動最快的數據項目中使用Hadoop,你需要工具管理、操作和分析數據,并且保證使用的工具必須跟得上節奏。假設你將傳感器數據存儲在Hadoop中,你想從數據中得到哪些信息呢?只是擁有數據不會獲得太多信息,但是如果你可以把它與第三方數據關聯,構建基于分析的數據表,就可以獲得一些有價值的信息。如果涉及機械設備,帶來的衍生價值會更多。例如,分析師預測飛機可能發生的故障以便做好維修工作保證飛機的飛行,增加收入的同時也節約了成本。這種基本的收益對于項目的成功至關重要。
簡化你的整體時間值將幫助你進一步了解Hadoop的價值。不論數據存儲在Hadoop還是其它地方,首先要確保你可以根據需求盡快地訪問并加載數據。在幾秒鐘之內查詢數十億行數據,并在Hadoop中進行操作,無需把數據轉移到單獨的分析平臺。要確保分析流程自上向下的高效性,這是Hadoop實施交付價值的關鍵。
4.重新評估你的數據集成和數據管理需求
數據分析項目的結果可能用于商業戰略的決策。數據整合和管理也同樣重要,你需要了解數據的來源并保證數據的可靠性。數據管理可以領先技術一步實現人與程序的結合。我們應該尋找像SAS這樣的技術合作伙伴,SAS在整合IT和業務部門方面有豐富經驗,可以幫助企業制定數據標準以便適用您特定的企業文化。數據管理實踐會給你帶來更大的信心,數據分析帶來的價值也是顯而易見的。
5.盡早評估技能人才缺口并制定彌補空白的計劃
大數據仍然是相對較新的領域,有效管理項目所需的技巧少得可憐。生產環境中使用Hadoop需要有Sqoop、Hive、Pig和MapReduce等編程語言經驗。
你應該結合企業需求和戰略,確定是否需要數據科學家以便使你的大數據項目更有意義。當然傳統的業務分析師也許就能滿足需求。例如,就像包含在SAS數據加載機中的Hadoop工具那樣,使用直觀的界面,用戶就可以獲取、發現、轉換、清理、集成并交付數據,無需Sqoop、Hive或者Pig方面的專家。但是如果你聘請了數據科學家,應該讓他專注于建模等最擅長的領域,而非編寫MapReduce,這樣才能獲得最大的價值。最終,企業得到最好的結果就是牢固掌握了所需技能,并在Hadoop項目實施之前制定計劃來彌補技能欠缺。
核心關注:拓步ERP系統平臺是覆蓋了眾多的業務領域、行業應用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業務管理理念,功能涉及供應鏈、成本、制造、CRM、HR等眾多業務領域的管理,全面涵蓋了企業關注ERP管理系統的核心領域,是眾多中小企業信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處:拓步ERP資訊網http://www.guhuozai8.cn/
本文標題:五大步驟幫你實現Hadoop價值最大化
本文網址:http://www.guhuozai8.cn/html/news/10515519977.html