近日，賽迪顧問正式發布了國內首份《湖倉一體技術研究報告》。對此，巨杉數據庫特邀賽迪顧問軟件與信息服務業研究專家，對《湖倉一體技術研究報告》進行了深入解讀。
伴隨數字化在各行各業的深化發展，企業不但需要面向業務的「交易核心」，同時更需要構建面向企業全量數據價值的「數據核心」。不同于傳統「交易核心」往往僅針對特定業務系統解決其交易需求不同的是，「數據核心」需要匯聚從多個「交易核心」產生的實時交易流水數據，為全企業跨業務的多個系統提供高并發的實時對客全量數據查詢及數據探索分析能力。湖倉一體技術借助海量、實時、多模的數據處理能力，實現全量數據價值的持續釋放，正成為企業數字化轉型過程中的備受關注焦點。
本次解讀分享，結合湖倉一體技術的發展歷程，對現階段業界重點產品，典型案例，未來趨勢等多方面內容進行了剖析，綜合評判了湖倉一體技術的發展階段及未來應用場景。
· 湖倉一體技術的發展現狀
現階段，數據湖與數據倉庫的融合發展主要有三個技術路徑，根據不同路徑的技術特性，可以滿足不同場景下的客戶需求。
第一個是基于Hadoop體系的數據湖向數據倉庫能力擴展，在數據湖中建數據倉庫，通過引入數據倉庫的分析功能，從數據湖直接進化到湖倉一體。
第二個是基于自身云平臺進行架構構建，主要是公有云廠商基于自身云平臺或相關產品，通過自研技術打通數據湖與數據倉庫，實現湖倉一體功能。
第三個是以獨立數據庫廠商為代表的梯隊，其以數據庫技術為基礎，自研分布式平臺，從調度、計算到存儲不依賴第三方平臺，形成可以靈活在公有云、私有云、裸金屬等場景獨立部署的湖倉一體平臺。這類的代表廠商如海外的Snowflake，Databricks及國內的巨杉數據庫等。
報告選取了業界比較主流的6個湖倉一體產品進行對比分析，包括海外廠商Snowflake、Databricks及亞馬遜AWS智能湖倉，國內廠商巨杉數據庫SequoiaDB、阿里云MaxCompute湖倉一體方案、華為云FusionInsight。
從設計初衷來看，各家產品雖然技術路線不同，或自研，或基于開源，或基于自身云平臺的產品組合，但最終目的均一致是為了降低數據在不同平臺間的流動，這樣做的好處一方面是技術上可以降低客戶的管理成本，另一方面在商業上也提升了客戶粘性和操作體驗。比如像亞馬遜AWS、阿里云、華為云，會通過各類云上的工具打通不同產品或組件間的數據流通，而Snowflake、Databricks、巨杉數據庫則會盡可能讓同一平臺上的數據具備更豐富的應用場景。
從特性上來看，各個廠商均強調了ACID事物一致性，因為在湖倉一體中，數據不再如同傳統數據倉庫中的離線分析數據，客戶的業務數據將更實時的以數據流的方式寫入。雖然湖倉一體不需要如同事務型數據庫一樣，擁有低延遲的在線交易能力，但是在數字化轉型需求下，系統同樣需要提供實時的數據查詢分析能力，及保證在某一時間點上數據的準確性。
整體分析后不難看出，Snowflake從數據倉庫逐步提供多元化的數據處理，其最新版本也進一步強化了數據實時服務能力。Databricks的優勢在于對非結構化數據處理的AI機器學習及科學計算上，并持續擴展其數據倉庫的分析能力。巨杉數據庫以統一平臺下跨結構化、半結構化、非結構化的多模數據處理能力為基礎，重點提供高并發的實時對客查詢，并持續擴展實時湖倉的分析能力。亞馬遜AWS、阿里云、華為云則更注重于其基于自身云生態的技術能力整合，簡化了云平臺客戶在數據處理上的復雜度。
在報告中，也對湖倉一體的典型應用案例進行了分析，具體內容可下載報告后進行閱讀。
· 湖倉一體技術的未來趨勢
分析來看，“湖倉一體”架構在數據管理中呈現出六大技術特性。
一是支持分析多種數據類型，包括結構化、半結構化和非結構化數據。
二是數據可治理，在保證數據完整性的同時，具有健全的治理和審計機制，能夠避免數據沼澤現象。
三是事務支持，企業數據往往要為業務系統提供并發的讀取和寫入，對事物ACID的支持，可確保數據并發訪問的一致性、正確性。
四是BI支持，能夠支持直接在源數據上使用BI工具，加快分析效率，降低數據延遲。
五是存算分離，使系統能夠擴展到更大規模的并發能力和數據容量。
六是開放型，采用開放、標準化的存儲格式，并提供豐富的API支持。
與此同時，隨著湖倉一體技術的不斷成熟，未來將在四大應用場景中發揮作用。
場景一：服務于數據中臺的實時數倉。由于數據中臺要求其數據庫在分析處理過程中，需強調事物一致性，并保持低延遲與提升實時處理能力，這些都是湖倉一體的典型技術特性。
場景二：支撐微服務的數據融合底座?？捎行Ы鉀Q擴展困難以及維護困難的問題。
場景三：全量數據實時訪問平臺。在數字化轉型過程中，對客實時查詢，歷史數據服務平臺，或IoT物聯網系統中，會產生實時處理海量數據的需求，湖倉一體的彈性擴展能力能夠很好滿足這一需求。
場景四：進行非結構化數據處理，數字化轉型中通過AI機器學習及比對分析，非結構化數據將包含更多元化的業務屬性，為各類業務系統提供信息輸入。湖倉一體能夠有效提升非結構化數據的處理能力。
更多內容，歡迎搜索《湖倉一體技術研究報告》，下載完整版報告。
申請創業報道，分享創業好點子。點擊此處，共同探討創業新機遇！
