近日，賽迪顧問正式發(fā)布了國(guó)內(nèi)首份《湖倉一體技術(shù)研究報(bào)告》。對(duì)此，巨杉數(shù)據(jù)庫特邀賽迪顧問軟件與信息服務(wù)業(yè)研究專家，對(duì)《湖倉一體技術(shù)研究報(bào)告》進(jìn)行了深入解讀。
伴隨數(shù)字化在各行各業(yè)的深化發(fā)展，企業(yè)不但需要面向業(yè)務(wù)的「交易核心」，同時(shí)更需要構(gòu)建面向企業(yè)全量數(shù)據(jù)價(jià)值的「數(shù)據(jù)核心」。不同于傳統(tǒng)「交易核心」往往僅針對(duì)特定業(yè)務(wù)系統(tǒng)解決其交易需求不同的是，「數(shù)據(jù)核心」需要匯聚從多個(gè)「交易核心」產(chǎn)生的實(shí)時(shí)交易流水?dāng)?shù)據(jù)，為全企業(yè)跨業(yè)務(wù)的多個(gè)系統(tǒng)提供高并發(fā)的實(shí)時(shí)對(duì)客全量數(shù)據(jù)查詢及數(shù)據(jù)探索分析能力。湖倉一體技術(shù)借助海量、實(shí)時(shí)、多模的數(shù)據(jù)處理能力，實(shí)現(xiàn)全量數(shù)據(jù)價(jià)值的持續(xù)釋放，正成為企業(yè)數(shù)字化轉(zhuǎn)型過程中的備受關(guān)注焦點(diǎn)。
本次解讀分享，結(jié)合湖倉一體技術(shù)的發(fā)展歷程，對(duì)現(xiàn)階段業(yè)界重點(diǎn)產(chǎn)品，典型案例，未來趨勢(shì)等多方面內(nèi)容進(jìn)行了剖析，綜合評(píng)判了湖倉一體技術(shù)的發(fā)展階段及未來應(yīng)用場(chǎng)景。
· 湖倉一體技術(shù)的發(fā)展歷程
從數(shù)據(jù)管理架構(gòu)的發(fā)展來看，湖倉一體技術(shù)的發(fā)展可分為三個(gè)階段。第一階段是上世紀(jì)80年代開始的“數(shù)據(jù)倉庫”階段，第二階段是2011年伴隨著大數(shù)據(jù)發(fā)展而產(chǎn)生的“數(shù)據(jù)湖”技術(shù)，第三階段就是近年來開始的數(shù)據(jù)湖與數(shù)據(jù)倉庫的融合趨勢(shì)，業(yè)界稱為“湖倉一體”。
數(shù)據(jù)管理架構(gòu)的革新，是在企業(yè)需求的推動(dòng)下進(jìn)行的，新興技術(shù)催生新的市場(chǎng)需求，從而導(dǎo)致數(shù)據(jù)管理架構(gòu)相應(yīng)調(diào)整。以湖倉一體為例，當(dāng)下企業(yè)海量大數(shù)據(jù)場(chǎng)景下的實(shí)時(shí)處理，非結(jié)構(gòu)化數(shù)據(jù)治理等需求，都是推動(dòng)數(shù)據(jù)湖與數(shù)據(jù)倉庫融合的重要?jiǎng)恿Α?/p>
數(shù)據(jù)倉庫是決策支持系統(tǒng)（dss）和聯(lián)機(jī)分析應(yīng)用數(shù)據(jù)源的結(jié)構(gòu)化數(shù)據(jù)環(huán)境。數(shù)據(jù)倉庫產(chǎn)生的背景主要在于傳統(tǒng)交易核心數(shù)據(jù)庫腦容量不足，擅長(zhǎng)事務(wù)型工作，但不擅長(zhǎng)分析型工作，無法滿足企業(yè)對(duì)于數(shù)據(jù)分析的發(fā)展需求。
從數(shù)據(jù)倉庫架構(gòu)圖可以看出，數(shù)據(jù)倉庫的主要功能，是將企業(yè)信息化管理系統(tǒng)中聯(lián)機(jī)事務(wù)處理所積累的大量數(shù)據(jù)，通過數(shù)據(jù)倉庫特有的信息存儲(chǔ)架構(gòu)，系統(tǒng)化分析整理，進(jìn)而支持如決策支持系統(tǒng)、主管資訊系統(tǒng)的創(chuàng)建，幫助決策者快速有效的從大量數(shù)據(jù)中分析出有價(jià)值的信息，以利于后期決策擬定及對(duì)外在環(huán)境變化的快速回應(yīng)，幫助其構(gòu)建商業(yè)智能。
在大數(shù)據(jù)時(shí)代數(shù)據(jù)量劇增背景下，催生了數(shù)據(jù)湖技術(shù)。數(shù)據(jù)湖是一個(gè)存儲(chǔ)企業(yè)各種各樣原始數(shù)據(jù)的大型倉庫，可供數(shù)據(jù)存取、處理、分析以及傳輸，可看作一種大型數(shù)據(jù)存儲(chǔ)庫和處理引擎。相比于數(shù)據(jù)倉庫而言，數(shù)據(jù)湖存儲(chǔ)容量更大，數(shù)據(jù)類型更為豐富，增加了對(duì)半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的支持，同時(shí)對(duì)所有數(shù)據(jù)進(jìn)行集中式存儲(chǔ)。并具有龐大的PB級(jí)數(shù)據(jù)存儲(chǔ)規(guī)模以及計(jì)算能力，提供多元化數(shù)據(jù)信息交叉分析，及大容量高速度的數(shù)據(jù)管道。
湖倉一體則是一種新型的開放式架構(gòu)，打通了數(shù)據(jù)倉庫和數(shù)據(jù)湖，并融合了兩種架構(gòu)的優(yōu)勢(shì)。其底層支持多種數(shù)據(jù)類型并存，且實(shí)現(xiàn)數(shù)據(jù)間的相互共享。上層可以通過統(tǒng)一封裝的接口進(jìn)行訪問，可同時(shí)支持實(shí)時(shí)查詢和分析。湖倉一體使得數(shù)據(jù)入湖后可原地進(jìn)行數(shù)據(jù)處理加工，避免數(shù)據(jù)多份冗余以及流動(dòng)導(dǎo)致的算力、網(wǎng)絡(luò)及成本開銷，可作為超大型的數(shù)據(jù)存儲(chǔ)資源池，實(shí)現(xiàn)對(duì)全量數(shù)據(jù)的實(shí)時(shí)處理。
相比于數(shù)據(jù)湖，湖倉一體架構(gòu)的主要功能是增強(qiáng)了實(shí)時(shí)業(yè)務(wù)處理以及非結(jié)構(gòu)化數(shù)據(jù)的治理能力。湖倉一體的優(yōu)勢(shì)主要體現(xiàn)在四個(gè)方面，一是具備完善的數(shù)據(jù)管理能力，二是數(shù)據(jù)可實(shí)現(xiàn)及時(shí)追溯，三是支持豐富的計(jì)算引擎，四是更高的數(shù)據(jù)實(shí)時(shí)性。
· 湖倉一體解決了用戶哪些痛點(diǎn)？
隨著數(shù)字經(jīng)濟(jì)時(shí)代的快速發(fā)展，獨(dú)立構(gòu)建數(shù)據(jù)湖與數(shù)據(jù)倉庫兩套平臺(tái)的架構(gòu)設(shè)計(jì)，在某些場(chǎng)景已經(jīng)無法滿足客戶需求，新興技術(shù)發(fā)展、“數(shù)據(jù)沼澤”問題及數(shù)字化轉(zhuǎn)型三大痛點(diǎn)，催生了湖倉一體技術(shù)的發(fā)展。
新興技術(shù)發(fā)展主要指隨著5G、大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等技術(shù)的飛速發(fā)展，數(shù)據(jù)量呈現(xiàn)出大規(guī)模、多樣性的特點(diǎn)，為應(yīng)對(duì)多變的業(yè)務(wù)訴求，政企客戶對(duì)數(shù)據(jù)處理分析的實(shí)時(shí)性和融合性提出了更高的要求。
“數(shù)據(jù)沼澤”則是指隨著企業(yè)逐漸發(fā)展壯大，數(shù)據(jù)量與業(yè)務(wù)量不斷遞增，處理數(shù)據(jù)的成本也在不斷增加，但卻無法有效利用數(shù)據(jù)資源來產(chǎn)生價(jià)值。而數(shù)據(jù)湖架構(gòu)本身就缺少對(duì)數(shù)據(jù)監(jiān)管、控制和必要的治理手段，導(dǎo)致運(yùn)維成本不斷增加，數(shù)據(jù)治理效率降低。長(zhǎng)此以往，企業(yè)落入了“數(shù)據(jù)沼澤”的境地。
而數(shù)字化轉(zhuǎn)型的核心要義，就是實(shí)現(xiàn)「釋放全量數(shù)據(jù)價(jià)值」。隨著企業(yè)數(shù)字化轉(zhuǎn)型的深化，跨多業(yè)務(wù)、多數(shù)據(jù)類型的新型應(yīng)用場(chǎng)景不斷涌現(xiàn)，海量大數(shù)據(jù)場(chǎng)景下的實(shí)時(shí)處理、非結(jié)構(gòu)化數(shù)據(jù)治理等需求，給企業(yè)數(shù)據(jù)基礎(chǔ)設(shè)施帶來了新的挑戰(zhàn)。
湖倉一體技術(shù)的出現(xiàn)，在實(shí)現(xiàn)了對(duì)數(shù)據(jù)湖與數(shù)據(jù)倉庫技術(shù)融合的同時(shí)，也為用戶帶來了新的意義價(jià)值。
一是彌補(bǔ)原架構(gòu)的不足。相比數(shù)據(jù)湖來說，湖倉一體架構(gòu)能夠支撐實(shí)時(shí)查詢和實(shí)時(shí)分析場(chǎng)景，彌補(bǔ)了Hadoop技術(shù)對(duì)于數(shù)據(jù)實(shí)時(shí)處理能力的不足。而相比數(shù)據(jù)倉庫來說，湖倉一體架構(gòu)作為支持實(shí)時(shí)處理的統(tǒng)一數(shù)據(jù)底座，具備多引擎實(shí)時(shí)處理多類型數(shù)據(jù)的能力，避免了數(shù)據(jù)倉庫無法分析非結(jié)構(gòu)化數(shù)據(jù)的問題，以及不同平臺(tái)間數(shù)據(jù)移動(dòng)所帶來的成本。
二是能夠降低企業(yè)成本，提高效率。湖倉一體架構(gòu)能夠降低數(shù)據(jù)流動(dòng)帶來的開發(fā)成本及計(jì)算存儲(chǔ)開銷，提升企業(yè)效率。
三是助力企業(yè)數(shù)字化轉(zhuǎn)型。在企業(yè)數(shù)字化轉(zhuǎn)型的過程中，企業(yè)需要根據(jù)自身業(yè)務(wù)場(chǎng)景及發(fā)展訴求來設(shè)計(jì)系統(tǒng)架構(gòu)，單一模式已然無法滿足。而湖倉一體架構(gòu)能夠幫助企業(yè)構(gòu)建起全新的數(shù)據(jù)融合平臺(tái)，打破了數(shù)據(jù)湖與數(shù)據(jù)倉庫割裂的體系，將數(shù)據(jù)湖的靈活性、數(shù)據(jù)多樣性以及豐富的生態(tài)與數(shù)據(jù)倉庫的企業(yè)級(jí)數(shù)據(jù)分析能力進(jìn)行了融合。
四是湖倉一體架構(gòu)能降低能耗，實(shí)現(xiàn)低碳節(jié)能。湖倉一體技術(shù)能夠從基礎(chǔ)架構(gòu)上打通數(shù)據(jù)湖與數(shù)據(jù)倉庫，提供實(shí)時(shí)查詢以及實(shí)時(shí)分析能力，從而有效的降低了能耗。
更多內(nèi)容，歡迎搜索《湖倉一體技術(shù)研究報(bào)告》，下載完整版報(bào)告。
推薦閱讀
十三屆全國(guó)人大常委會(huì)第三十五次會(huì)議6月24日表決通過關(guān)于修改反壟斷法的決定,自2022年8月1日起施行。國(guó)家建立健全公平競(jìng)爭(zhēng)審查制度,制定和實(shí)施與社會(huì)主義市場(chǎng)經(jīng)濟(jì)相適應(yīng)的競(jìng)>>>詳細(xì)閱讀
本文標(biāo)題：都在喊的湖倉一體是什么？深度解讀《湖倉一體技術(shù)研究報(bào)告》
地址：http://www.sh-jijian.com/a/05/314153.html
網(wǎng)友點(diǎn)評(píng)
精彩導(dǎo)讀
科技快報(bào)
品牌展示