說到大數(shù)據(jù)，人們很多還停留在概念的階段，不過對于一些企業(yè)來說，大數(shù)據(jù)已經(jīng)就在眼前，業(yè)務(wù)的需求驅(qū)使著IT部門不得不去做大數(shù)據(jù)的分析與處理。企業(yè)需要大數(shù)據(jù)的分析和處理，但是大數(shù)據(jù)并不是想象中的那么簡單，在實(shí)際部署實(shí)施的過程中會遇到很多方面的問題。

      尤其是目前社交網(wǎng)絡(luò)的興起帶來了更多的數(shù)據(jù)量，企業(yè)需要面對的挑戰(zhàn)就越來越高，因?yàn)樯缃痪W(wǎng)絡(luò)的數(shù)據(jù)本身就是一個無底洞。一位企業(yè)CTO說：“目前我們的數(shù)據(jù)來源基本都是在社交網(wǎng)絡(luò)上面，我么收集這些數(shù)據(jù)加以分析，幫助企業(yè)理解這些人的消費(fèi)規(guī)律以及個人偏好。”
      這位CTO所在的團(tuán)隊運(yùn)營著一個可以產(chǎn)生12億美元的數(shù)據(jù)平臺，以及每天超過400萬人的PB級數(shù)據(jù)集群。所在團(tuán)隊的大數(shù)據(jù)環(huán)境中包括了大量的開源平臺，他們所用的技術(shù)包括：Hadoop、HBase，Hive， ElasticSearch， Scala， Storm， Node.js以及其他的很多工具。這確實(shí)是一個非常嚴(yán)峻的挑戰(zhàn)。

      我們通過企業(yè)大數(shù)據(jù)項目的具體實(shí)施過程不難看出，在實(shí)施的過程中技術(shù)與人是最關(guān)鍵的兩個問題。選擇一個成熟的技術(shù)，并且讓最合適的人來進(jìn)行實(shí)施，這樣才會有一個比較合理的結(jié)果。

      目前，以及有不少的企業(yè)開始進(jìn)行部署自己的大數(shù)據(jù)項目，下面我們就為大家總結(jié)一下企業(yè)在部署大數(shù)據(jù)項目過程中遇到的那些難題與挑戰(zhàn)。
復(fù)雜的數(shù)據(jù)計算與存儲

      大數(shù)據(jù)，顧名思義海量的數(shù)據(jù)是不可避免的。這項對于傳統(tǒng)的數(shù)據(jù)分析而言，大數(shù)據(jù)需要大量的存儲空間來進(jìn)行數(shù)據(jù)存儲，現(xiàn)在數(shù)據(jù)的產(chǎn)生量已經(jīng)不是人們所能想象的，傳統(tǒng)的存儲介質(zhì)與存儲方式并不能滿足如此快速的數(shù)據(jù)產(chǎn)生量。換句話來說，看看新浪微博、Facebook每分鐘產(chǎn)生的數(shù)據(jù)量你就會明白了，電商更是夸張，阿里雙十一，百億的交易額，這樣的數(shù)據(jù)量需要具有針對性的數(shù)據(jù)存儲方式。

      而從項目的整體出發(fā)，只是存儲并不能算得上大數(shù)據(jù)。在存儲之后還需要對海量的數(shù)據(jù)進(jìn)行分析與計算，只有最后得出的分析結(jié)果才會對企業(yè)有所幫助。存儲只是萬里長征的第一步，大數(shù)據(jù)處理團(tuán)隊需要弄清楚這些數(shù)據(jù)背后的價值，需要合理的對數(shù)據(jù)進(jìn)行歸檔，并且數(shù)據(jù)價值是需要進(jìn)行計算分析得出的，龐大的數(shù)據(jù)量需要更加龐大的計算能力才能完成。

技術(shù)的成熟度的挑戰(zhàn)

       開源技術(shù)就好比一只小狗，它很可愛，也很好。但你需要養(yǎng)活它。就目前的技術(shù)發(fā)展而言，開源的大數(shù)據(jù)技術(shù)還并不是十分成熟，商業(yè)的大數(shù)據(jù)解決方案價格有非常昂貴，所以對于大部分企業(yè)來講，開源貌似是唯一的解決方向。但開源技術(shù)并不能很好的適應(yīng)每一個企業(yè)的具體業(yè)務(wù)線，所以企業(yè)還要投入大量的技術(shù)力量進(jìn)行維護(hù)與二次開發(fā)。開源技術(shù)是條可愛的小狗，但是你需要養(yǎng)活他。

      許多大數(shù)據(jù)技術(shù)是在建工程。雖然基礎(chǔ)技術(shù)日趨完善，管理和配置的工具都處于起步階段，讓IT專業(yè)人員做工作解決的差距。企業(yè)的IT團(tuán)隊不得不開發(fā)工具，從管理的角度，從工作流程的角度，從配置等不同的角度出發(fā)。

期待，努力發(fā)現(xiàn)人才

      之前講了，大數(shù)據(jù)需要成熟的技術(shù)以及合適的人來執(zhí)行，這里指的合適的人是一個真正的數(shù)據(jù)分析專家。而這樣的人往往是可遇而不可求的，除非你花重金去其他公司去挖人，而且還不能確定這個人是否能適應(yīng)這個團(tuán)隊。

      其實(shí)從技術(shù)的角度出發(fā)，大數(shù)據(jù)的技術(shù)與工具正在迅速發(fā)展，但是這些技術(shù)與工具只掌握在少數(shù)人的手里，并不能得到大規(guī)模的應(yīng)用。所以對于企業(yè)來講，大數(shù)據(jù)的技術(shù)與人同樣重要。擁有了成熟穩(wěn)定的技術(shù)，但是沒有可以執(zhí)行它的人，那么大數(shù)據(jù)項目也會相當(dāng)危險，沒準(zhǔn)什么時候就成為了企業(yè)財政的累贅。
想想模塊化，準(zhǔn)備投資

      任何一個項目的組建都不可能是無成本的。每一個項目都會意味著人力與財力的投入。尤其是在大數(shù)據(jù)項目上，每一個關(guān)鍵的業(yè)務(wù)點(diǎn)都意味著大量的資源投入。相比于其他項目，大數(shù)據(jù)項目耗費(fèi)的資源會更多，在基礎(chǔ)設(shè)施上的投入，服務(wù)器、存儲以及計算資源和開發(fā)人員的投入都是相當(dāng)龐大的。

      模塊化的基礎(chǔ)設(shè)施一直是重要的，因?yàn)樗梢宰孖T團(tuán)隊能夠處理的業(yè)務(wù)優(yōu)先級的變化，并提供業(yè)務(wù)透明度。企業(yè)的IT團(tuán)隊有必要投資的管理和生產(chǎn)力工具。這就是20％，25％都集中在我的工程資源，生產(chǎn)力工具和工作流程管理。

將產(chǎn)品與業(yè)務(wù)線做對接

       在企業(yè)中項目需要圍繞著業(yè)務(wù)進(jìn)行實(shí)施，再好的產(chǎn)品項目如果不能很好的與業(yè)務(wù)進(jìn)行對接，也是不能實(shí)現(xiàn)其真正的價值。這很容易讓大數(shù)據(jù)的專家緊密合作，產(chǎn)品專家和業(yè)務(wù)利弊談，但它可以是難以貫徹的想法。越來越多在？？過去的幾年中，我們已經(jīng)給他們帶來了起來，因?yàn)殡p方都需要了解的另一邊。

       在很多失敗的案例中我們不難看出，企業(yè)大數(shù)據(jù)產(chǎn)品的最終失敗原因有一條就是產(chǎn)品不能很好的服務(wù)于企業(yè)核心業(yè)務(wù)，這樣就會導(dǎo)致大量投入的資源變成沒有價值體現(xiàn)的投入。

       而成功的大數(shù)據(jù)產(chǎn)品就不是這樣子。一個成功的大數(shù)據(jù)分析產(chǎn)品可以為企業(yè)揭示風(fēng)險并且識別新的商業(yè)機(jī)會，并且可以根據(jù)客戶的喜好進(jìn)行商業(yè)活動，并獲得洞察客戶情緒 - 然后與該公司分享成果。大數(shù)據(jù)展示業(yè)務(wù)和IT事件有助于創(chuàng)造一個時髦圍繞大數(shù)據(jù)分析的潛力。

領(lǐng)導(dǎo)層到技術(shù)人的思想貫徹

       這里說的還是與人有關(guān)，大數(shù)據(jù)項目在企業(yè)中算是一個牽動企業(yè)發(fā)展戰(zhàn)略的大項目。這需要從企業(yè)領(lǐng)導(dǎo)層到開發(fā)人員的整體投入。企業(yè)花了很多的時間映射可以利用大數(shù)據(jù)在我們的承保和理賠流程，并回饋業(yè)務(wù)線。項目團(tuán)隊需要企業(yè)從領(lǐng)導(dǎo)層到技術(shù)層從上倒下的支持。ACE集團(tuán)的督導(dǎo)委員會，負(fù)責(zé)領(lǐng)導(dǎo)公司的大數(shù)據(jù)議程。令人驚訝的是，它不是堆疊技術(shù)人員。“這是很難得的任何科技。有四個技術(shù)人員和大約20商界領(lǐng)袖在那個隊。

       關(guān)鍵的事情之一是投資建設(shè)第一的技能和資源，在我們開始這段旅程。如果沒有，我們將不得不一個不可接受的滯后值回業(yè)務(wù)。一位成功部署大數(shù)據(jù)項目的CTO說。
 把業(yè)務(wù)人員下放到項目中去

       既然大數(shù)據(jù)項目是為了企業(yè)業(yè)務(wù)服務(wù)的，而對企業(yè)業(yè)務(wù)最為熟悉就是業(yè)務(wù)人員，在整個項目中業(yè)務(wù)人員的需求往往是必然的需求。

      企業(yè)需要進(jìn)行完全嵌入的做法，將一線的業(yè)務(wù)人員下派到項目的每一個關(guān)鍵環(huán)節(jié)。只要這樣，整個項目完成之后才能更好的為業(yè)務(wù)服務(wù)。企業(yè)通過建立核心競爭力，搭配新的技能，在我們的業(yè)務(wù)統(tǒng)計人員，數(shù)據(jù)洗滌器，數(shù)據(jù)分析，工藝專家我們的賠款及承保專長。其實(shí)這是一只搭配的意識，分享知識，發(fā)展和創(chuàng)新，我們利用大數(shù)據(jù)幫助業(yè)務(wù)發(fā)展。

不要小看管理供應(yīng)商或系統(tǒng)集成商

       對于一些技術(shù)力量有限的企業(yè)來說，他們更喜歡尋找一個系統(tǒng)集成商或者方案供應(yīng)商來進(jìn)行外包。在這期間會進(jìn)行方案招標(biāo)，而每一家集成商的方案都不盡相同，而且沒有一家可以提供即用的解決方案，對于供應(yīng)商的管理也是一個挑戰(zhàn)，整合所有不同的系統(tǒng)，將這些系統(tǒng)整合成為一個巨大的方案進(jìn)行協(xié)同運(yùn)行。

   獨(dú)立評估投資回報率

      在很多企業(yè)中，使用大數(shù)據(jù)分析，改進(jìn)和驗(yàn)證的營銷活動的有效性。當(dāng)大數(shù)據(jù)項目是成功的，每個人都希望它的一部分，當(dāng)你走在你開始為公司創(chuàng)造新的收入，項目帶來這么多錢，大家突然出來的木制品和希望聲稱。對于他的團(tuán)隊，問題解決了，當(dāng)CFO加強(qiáng)仲裁，提供獨(dú)立意見的投資回報率，公司就會更加承認(rèn)大數(shù)據(jù)計劃。

      轉(zhuǎn)變并不會在一夜之間發(fā)生。從多來源的數(shù)據(jù)采集，到通過深度分析獲取洞察力，之間會是一段并不平坦的征程。毫無疑問，Hadoop等技術(shù)的日趨成熟，讓企業(yè)用戶可以更方便地、在更大的范圍內(nèi)收集業(yè)務(wù)的相關(guān)數(shù)據(jù)，但同時真正的挑戰(zhàn)也會接踵而至。這就是如何高效地處理多來源的海量數(shù)據(jù)，并且為其找到適合的商業(yè)用途。