<bdo id="vljxk"><rt id="vljxk"><noframes id="vljxk"><noframes id="vljxk"><noframes id="vljxk"><rt id="vljxk"></rt><rt id="vljxk"></rt><noframes id="vljxk"><rt id="vljxk"><delect id="vljxk"></delect></rt><noframes id="vljxk"><rt id="vljxk"></rt><noframes id="vljxk"><noframes id="vljxk"><rt id="vljxk"></rt>

  1. 創業頭條
  2. 前沿領域
  3. 大數據
  4. 正文

睿帆科技于海中:PB級異構數據處理將是未來大數據公司的核心競爭力

 2019-03-25 20:09  來源:互聯網  我來投稿 撤稿糾錯

  阿里云優惠券 先領券再下單

大數據技術與行業應用融合正在加速,企業對大數據的需求變得日益旺盛,當其他公司還在大談大數據解決方案概念時,一家由Teradata、華為、阿里等知名企業大數據科學家創辦的創業公司——睿帆科技,早已研發出大數據科學平臺、分布式分析型數據庫等產品,并在通信、政府、公安安防、旅游等領域形成落地案例。

基于大數據產品,構建全新決策引擎

作為一家業內技術領先的一站式大數據解決方案公司,睿帆科技研發的底層大數據科學平臺產品Baymax經過多年打磨,已經能夠提供PB級的異構數據接入、存儲、清洗、治理等數據處理能力,從而支持睿帆科技在面對通信、政府、公安安防、旅游等領域多樣化的大數據需求時都能輕松應對。

與各個領域客戶深度合作過程中,睿帆科技發現,目前客戶對大數據技術的需求正在發生深刻的變化:

首先,傳統數據倉庫更多是對結構化數據處理能力強,對非結構化數據處理能力較弱,但大數據深度落地行業時,需要進行行業深度數據挖掘,處理非結構化數據能力不可或缺。

其次,大數據技術的落地從監測、洞察逐步邁向分析、決策過程中,不再是像傳統BI一樣,給出報表和分析結果,由業務人員做進一步決策,而是機器本身要能做一些簡單決策,需要機器更加智能,能夠理解業務邏輯。

第三,當大數據更加貼近應用時,客戶群體正逐步由IT人員變成業務人員,需要降低大數據的使用門檻,讓技術平民化,獲得更好的用戶體驗。

基于上述需求的出現,睿帆科技逐步將大數據科學平臺、分布式分析型數據庫等產品加入到決策引擎中,滿足不斷產生的新需求。

在公安、政府等行業,睿帆科技采用分布式分析型數據庫(雪球DB)應用方案,滿足了客戶對極速高并發在線即席數據查詢的需求;而在通訊領域,睿帆的大數據科學平臺(Baymax),可以使中國移動、中國聯通、中國電信很好的解決數據日增PB級數據量的難題,從而極大提升客戶對大數據的應用分析能力。

目前,睿帆科技是中國移動最大的大數據合作伙伴,為全國近一半的省份提供大數據服務支持。

睿帆科技CEO兼聯合創始人 于海中先生

近期,記者來到位于北京的睿帆科技總部,與公司CEO兼聯合創始人于海中先生進行了一場關于大數據技術和行業趨勢的暢談,他對睿帆科技的產品當前落地場景、面臨的挑戰,以及睿帆科技在大數據領域的實踐進行了分享:

記者:當年創建睿帆科技的初衷是什么?

于海中:我在日本留學碩士畢業后,工作于日本最大的軟件集成商NTT Data。工作中接觸到車聯網技術,此后從事了8年的車聯網系統開發及運營,在這過程中充分認識到大數據技術發展及運用將會給企業帶來革命性的發展。恰逢其時,我和幾個就職于阿里巴巴、華為、Teradata的小伙伴商討創業想法,大家一致認為,中國的信息技術發展速度全球領先,并且隨著互聯網、物聯網、人工智能等技術的深度融合,必將催生龐大的大數據技術應用需求,大數據創業正當其時!于是,一拍即合果斷選擇創辦了這家睿帆科技。

記者:睿帆科技的業務發展戰略是怎樣的?

于海中:睿帆科技的目標是成為全領域全行業的一站式大數據解決方案供應商。所以第一階段,我們將業務主要聚焦在通信領域,服務于三大運營商,深耕結構化數據領域。目前,我們是中國移動最大的大數據解決方案供應商,為全國近一半的省份提供大數據支持服務。

下一步,我們要繼續深耕通信運營商領域的同時加大公安安防、政府、軌道交通、金融等行業的投入,切入非結構化數據領域。18年我們已經與廣東公安、廣州地鐵的重要供應商達成合作,相關產品和方案已經在落地試點,相信很快能夠看到我們在這個領域的新突破。

遠期,我們將打通大數據產業鏈上下游,目標成為全領域全行業的一站式大數據解決方案供應商。

記者:為什么會有這樣的選擇呢?

于海中:我們的產品優勢在于比其他大數據產品處理數據量級要更大、穩定性更強和運行速度更快,只有在PB級數據、應用復雜的領域才能發揮優勢,而運營商領域恰巧滿足這些點。但運營商的數據多半都是以結構化數據為主,要想成為全領域全行業的一站式大數據解決方案供應商,還需要面對非結構化數據,所以我們的第二階段戰略是切入公安安防行業。

政府、金融和軌道交通行業也是時下對大數據需求比較高的行業,我們現有的產品即可滿足這些行業的需求。

記者:能夠服務像中國移動、中國聯通、中國電信這種大客戶,其核心的壁壘是什么?

于海中:首當其沖的當然是過硬的技術實力,我們是少數真正在實際環境中能夠處理PB級數據的企業??v觀整個大數據行業,大數據處理產品競爭是相當激烈的,各家企業都以開拓市場為目的,利潤空間有限。為了方便公司業務拓展,這些大數據公司對外宣傳都具有PB級數據處理的能力,實則只是在模擬環境下做過相關測試。

實驗環境和應用環境的大數據承載量、數據復雜程度及數據質量是不一樣的,盡管在實驗室場景下能完成PB級別以上的數據處理,但在實際應用場景下就會出現意想不到的問題,這些問題有時只會造成服務器卡頓,有時會出現宕機,甚至硬件損毀。

我們在實驗室環境下早已具備PB級數據處理的能力,但在實際環境中第一次日增數據量達到500TB時,我們很緊張。當時專門增加了兩名運維工程師24小時輪班觀測。果不其然,在連續2天日增數據量超過500TB時,出現了在模擬環境下從未遇到過的問題。我們對此也作了充分的準備,按照預案一點點排查一直加班到凌晨2點,順利解決。

后來當日增數據量達到700TB的時候,我們依舊有些小緊張。為了防止意外我們依舊安排了運維團隊值守,但運維團隊在觀測3天以后服務器沒有出現問題,我們就確信PB級以下數據都可以穩定的運行了。

直到現在,日增數據量已經達到近PB級別,我們的大數據科學平臺在服務器上依舊保持穩定運行。

記者:長期來講,客戶群體定位都會以頭部企業大客戶為主嗎?

于海中:基本上可以這么說。因為大數據行業的特殊性,注定在客群定位上睿帆科技傾向于大客戶。在重點布局的通信領域,其對大客戶的定義主要是三大運營商,在公安安防領域主要是一二線城市,這些客戶大數據制度及標準完善,具有很強的大數據業務需求。

大數據科學平臺Baymax截圖

記者:能否重點介紹一下大數據科學平臺Baymax?

于海中:大數據科學平臺Baymax是我們自主研發的大數據處理平臺。我們在長期與客戶的接觸中發現,企業客戶對大數據的需求不明確,且引入大數據產品通常需要較高的人力成本用來開發。因此,我們在平臺的“易用性”和“可視化”方面下了不少功夫,將大數據科學平臺Baymax設定成可拖拽流程圖形式,同時為其預置了多種數據處理節點和常用算法,使得企業技術人員無需擁有大數據底層開發經驗,即可自主完成數據處理、數據分析、數據融合、數據管理、數據檢索、流程開發、交互查詢、模型部署、任務監控、流程管理、業務管理等多項功能,并加快項目實施進度。

記者:除了大數據科學平臺Baymax,睿帆科技還有哪些產品?

于海中:我們還有分布式分析型數據庫雪球DB。雪球DB主要服務于對查詢效率及速度需求比較高的客戶,雪球DB支持高并發在線即席查詢,百億級數據數百并發查詢速度在毫秒之間。

記者:如此優秀的性能,適用于哪些場景呢?

于海中:比如公安安防領域的交通卡口。據統計每個交通卡口每天上傳的數據超過1億條,常規的大數據技術很難支持在這么高的數據量下極速查詢,而分布式分析型數據庫雪球DB剛好可以滿足這個需求,目前已經在某省公安的安防系統中上線。

記者:能研發出來如此高性能產品的團隊,我很好奇公司的團隊架構是什么樣的?

于海中:2018年我們團隊擴大了一倍,目前有近60人,其中技術團隊有30人,業務團隊23人。從人數上就可以看出我們的團隊架構有別于技術導向性企業,是業務和技術五五開,齊頭并重。作為一家大數據企業來說,技術能力是絕對的核心,但既然是做TO B或者TO G的業務,業務服務能力也是決定企業長遠發展的核心。

記者:您認為,做Hadoop相關業務的公司未來有機會做大么?

于海中:可能純做Hadoop發行版機會不大了,但做更廣泛一點的Hadoop服務商是很有前景的,比如說,公司有大規模團隊幫客戶做維護,或者找到更好地具體應用場景,提供一站式的大數據解決方案。

記者:睿帆科技2019年在哪些行業落地進展更快一些?

于海中:從發展速度來看,公安安防、軌道交通領域的大數據發展速度應該是最快的,公安安防領域在2019年將大數據作為非常重要的戰略方向,大數據的需求非常旺盛,發展很快。其它行業,包括政府、金融等領域也齊頭并進,不斷地有項目落地。

申請創業報道,分享創業好點子。點擊此處,共同探討創業新機遇!

相關文章

編輯推薦