今年上半年,Gartner發布2021年度數據管理領域的成熟度模型報告—Hype Cycle,湖倉一體(Lakehouse)作為近兩年的新興技術熱點,成為了首次進入成熟度模型的五個新軍之一,備受業界關注。本篇文章,我們將介紹什么是湖倉一體,湖倉一體架構的特點和技術優勢。
湖倉一體,其含義是指將數據湖的語義靈活性與數據倉庫的生產優化和交付相結合。它是一個融合的基礎設施環境,支持從原始數據到精煉數據的整個過程,并最終提供優化后的數據以供消費。
湖倉一體將使業務從簡化的交付流程、數據的快速訪問中受益,同時滿足了用戶對于性能和易用性的更高要求,降低了大數據分析的技術復雜度和成本,同時滿足了用戶對性能和易用性的更高要求。通過構建整合的數據管理平臺,服務于各種各樣的職能角色,包括專業的數據科學家、數據工程師和業務分析師等,甚至包括通過數據看板來使用數據的臨時用戶。湖倉一體本質上為數據科學的創新提供了定義明確、可落地的發展途徑。
湖倉一體作為企業未來數據平臺的重要基礎架構,需要一種強有力的分布式數據庫支撐其海量、多模、多態的數據。巨杉數據庫SequoiaDB基于100%自研的分布式數據庫內核,提供了湖倉一體萬億級數據服務平臺,適用于歷史數據平臺、全量數據平臺、實時數據中臺等需要將海量多模數據用于對客服務的場景。
巨杉數據庫基于湖倉一體的架構特性,構建數據基礎設施平臺,整合結構化、半結構化、非結構化數據的統一存儲與管理,為面向全量數據業務提供:SQL、NoSQL、Object等多種接口。此外,通過特有的跨引擎事務能力,可以有效簡化多團隊開發流程中對不同引擎、不同結構的數據管理,打通ACID事務支持,提升業務開發、數據處理、運維管理能力,釋放全量數據價值,提升企業數據處理的“人效”及“能效”。
基于SequoiaDB分布式數據庫的湖倉一體平臺,除了具備多模能力,兼容多種數據引擎以外,還提供包括流式計算、高性能列存分析引擎等能力,適用于需構建融合數據平臺及在保持事務一致性的基礎上,進行高性能實時分析的場景。通過SequoiaDB可打破數據湖與數據倉庫割裂的體系,為上層應用提供一數一源的數據基礎設施,助力客戶實現提升數據管理水平、降低成本、提升運營效率、提升用戶體驗等目標。
目前,巨杉數據庫已經在超過100家金融銀行客戶規?;暇€使用,覆蓋國有銀行、股份制銀行、省級農信、城商行、保險、證券等金融客戶,已經正式生產上線的系統中最大運行集群,數據量達1.2萬億行,容量達3PB,規模超過400臺服務器,積累了豐富的最佳實踐及案例,幫助客戶構建起數據平臺最佳底座。
數據湖和數據倉庫,原本是大數據技術條件下構建分布式系統的兩種數據架構設計取向。而融合后的湖倉一體,為業界和用戶展現了一種湖與倉互相補充、協同工作的架構。未來,巨杉數據庫將不斷優化湖倉一體數據服務平臺,探索和嘗試更多湖倉一體解決方案,幫助企業釋放全量數據價值。
了解更多內容可關注微信公眾號:巨杉數據庫
申請創業報道,分享創業好點子。點擊此處,共同探討創業新機遇!
隨著數字中國戰略的步步落實,大數據已經成為錨定戰略定位、搶得市場先機的重要基礎元素。為彰顯行業發展現狀,遴選、推薦優秀企業,長城戰略咨詢近日在2023中國國際大數據產業博覽會期間,重磅發布《中國大數據獨角獸企業榜單》,根據獨角獸企業國家推薦性標準,篩選出259家2022年中國大數據(潛在)獨角獸企業
2023年6月15日至18日,2023北京健康醫療大數據論壇、醫促會華夏健康數據與數字醫學高峰論壇、第三屆中華預防醫學會腎臟病預防與控制專業委員會學術會議將同期于北京舉行。論壇以“學術引領數智健康”為主題,著眼國家戰略需求,聚焦前沿科技在健康醫療領域的發展與實踐,薈萃全球頂尖學術觀點,促進多方跨界融
在今年的韌性新時代·新品發布會上,愛數正式發布了AnyBackupFamily8,從數據保護邁向業務數據生命周期管理的征途。針對備受組織關注的開發測試場景,愛數于4月20日下午舉辦“測試數據管理”神盾會(九),以創新方案和領先技術突破測試數據管理的重重枷鎖,助力組織釋放備份數據價值,以數據重塑生產力
2023年3月,全球領先的時間序列數據庫廠商DolphinDB與洲際交易所集團(IntercontinentalExchange,Inc.,NYSE:ICE)達成協議,將為高性能時間序列數據庫DolphinDB提供訪問ICEConsolidatedFeed和Tick級歷史數據服務接口。本次合作將為D
近日,由中國電子信息行業聯合會主辦的“首屆中國數據治理年會”在北京隆重召開。大會現場公布了2022年數據管理百項優秀案例榜單,佰聆數據【基于大數據標簽的電力數據質量優化提升項目】成功入選。證書來源于官方本次年會主題為【貫徹“數據二十條”,做強做優做大我國數字經濟】,參會人員涉及工信部直屬單位、部分省
把脈中國數據智能化
2023年,幾乎可以被定義為中國互聯網公司的“大模型元年”。ChatGPT的全球爆紅,徹底點燃國內的大模型賽道,曾經的“創業英雄”、如今的商業領袖們親自下場,接連發布生成式人工智能產品與大模型布局。大模型火了,沉寂許久的互聯網行業又有了新的“戰事”。同時,大模型的快速發展也改變了云市場的現狀,企業對
近日,數字化市場研究咨詢機構愛分析發布了《2022愛分析·數據智能廠商全景報告》,愛分析從技術研發能力、服務客戶數量、收入規模等維度對廠商進行了全面專業的評估
2022年11月18日,首個國家級大數據產業創新賽事——2022第一屆中國大數據大賽圓滿落幕。工業和信息化部信息技術發展司數字經濟推進處處長張建倫,中國電子技術標準化研究院副院長孫文龍出席頒獎典禮并致辭
2022年11月17日,在廈門市工業和信息化局的指導下,以“數據確權”為主題的2022數據資產(廈門)論壇在廈門成功舉辦。本次論壇以“數據確權”為主題,由廈門市互聯網域名應用服務產業協會和構信網(公信.中國)聯合主辦
近日,國內知名數字化市場研究咨詢機構愛分析正式發布《2022愛分析·信創廠商全景報告》(以下簡稱“報告”)。報告綜合考慮企業關注度、行業落地進展等因素,遴選出在信創市場中具備成熟解決方案和落地能力的廠商。
10月31日下午,由數博會執委會主辦、數據觀(北京)傳媒科技有限公司承辦、貴陽大數據交易所協辦的第四期數博思享會“實踐先行觀公共數據價值與應用”活動成功舉辦。
近日,由中國國際數字經濟博覽會組委會主辦,中國電子技術標準化研究院、河北省工業和信息化廳承辦的“第一屆中國大數據大賽”(簡稱大數據大賽)正式啟動。
廣州光點信息科技有限公司自主研發的數據中臺產品GI大數據中臺V2.0產品是國內率先推出符合新創標準的中臺產品,基于“大數據+AI”等技術全新打造,集數據采集、融合、治理、服務、管理為一體的旗艦平臺。
廣州光點信息科技有限公司自主研發的數據中臺產品GI大數據中臺V2.0產品是國內率先推出符合新創標準的中臺產品,基于“大數據+AI”等技術全新打造,集數據采集、融合、治理、服務、管理為一體的旗艦平臺