大數據分析手段的廣泛應用,助推數據快速增長,存儲形態相繼經歷了從傳統存儲到大數據存儲1.0再到大數據存儲2.0的變遷,以應對海量數據的挑戰。1.0時代解決了海量存儲的問題,通過分布式架構和軟件定義,讓數據能夠存得下。2.0時代解決了便捷管理的問題,通過多協議訪問、生命周期管理、異構存儲管理、混合云管理,讓企業管好數據。
存儲引擎 + 智能引擎:更強大的MOS對象存儲
企業耗費資本存儲數據,最終是為了利用數據價值創造經濟效益。存儲倘若仍是一個“傻盒子”,只能存儲卻不能感知數據,是無法滿足企業真正需要的。企業對數據價值利用的強烈訴求,驅動大數據存儲步入3.0時代。這要求存儲足夠智能,可基于數據感知實現數據處理和智能調度,基于應用感知實現訪問加速,通過存儲自身的智能運維減少人力依賴。如此,才能幫助企業用好數據,以智能存儲為數字底座,構建面向未來的IT基礎架構。而杉巖MOS海量對象存儲的智能數據處理引擎,正是承載了這一使命。
圖1.海量數據增長催生存儲形態變遷
從杉巖的產品戰略來看,海量存儲核心引擎和智能數據處理引擎,支撐起了更為強大的MOS對象存儲。前者依托分布式架構、多樣化管理策略以及全面的企業級特性,滿足企業存儲和管理海量數據的需求;后者依托開放式平臺和強大的數據處理能力,并基于數據感知實現智能調度,滿足智能處理數據、挖掘數據價值的需求。雙引擎驅動,讓MOS對象存儲集海量數據存儲、管理、價值挖掘于一體,無疑是企業應對大數據挑戰的極佳選擇。
圖2:MOS雙引擎驅動智能應用
智能數據處理引擎:加速智能應用,釋放數據價值
數字化浪潮來襲,大數據、人工智能的發展超出預期,在各行業的落地應用也逐漸鋪開,企業利用AI挖掘數據價值的需求是不言而喻的。在傳統模式下,對數據庫文件等結構化數據進行價值挖掘相對容易,但是對于圖像、影音等非結構化數據的價值挖掘是比較困難的。
MOS的智能數據處理引擎,正是為此而生。通過對非結構化數據的多維度標簽化和結構化處理,讓有價值的數據更容易被發現,實現更高效的價值挖掘。有了智能數據處理引擎,數據處理能力下沉到存儲內部,通過與海量存儲核心引擎高效聯動,并基于數據感知實現智能調度,極大地簡化業務流程,提升業務效率。
圖3.智能數據處理引擎工作流程
目前,智能數據處理引擎幫助許多行業客戶實現了數據的高效價值挖掘,提升收益。
智能管理10億文件,幫助廣發證券打造內容管理平臺
廣發證券原來的檔案管理往往需要業務員人眼篩查,耗時長、易出錯,檔案查詢不夠精準。采用智能數據處理引擎后,當客戶電子檔案存入時,通過身份證識別插件,將客戶的姓名、出生年月、身份證號等信息提取出來并打上標簽,后續營業廳工作人員可直接通過檔案檢索界面,根據標簽信息進行檔案的精細化檢索,也可以自定義檢索模板,方便高效。此外,為滿足合規要求,需將合同文件(Word文檔)轉為PDF文檔并添加水印后再存檔。該項目中對相關文件設定生命周期策略,自動調用智能數據處理引擎的文檔格式轉換(Word轉PDF)和添加水印功能,處理后的文件自動轉存至目標桶,整個過程基于生命周期策略自動觸發,無需人工介入,極大提升了業務效率。
圖4.智能數據處理引擎對證件照片和文檔的加工處理
智能存儲助力質檢效率提升,幫助UTAC節省20%存儲空間
UTAC是全球十大芯片封測廠商之一。在其芯片封測產線上,通過工業攝像機拍攝芯片的高清圖像(BMP格式,單張30MB以上)進行智能質檢,每天數據增量80TB,每月文件增量1.3億個,存儲3-4個月,預計需要PB級存儲空間。進一步交流得知,部分圖片僅前三天需要高清格式,以便于人工復核,三天之后僅作歸檔和檢索,或者直接刪除。利用智能數據處理引擎將BMP圖片轉為JPG圖片(單張10MB以內),并基于圖片標簽實現生命周期自動化管理(如圖片到期自動刪除,轉碼后歸檔到冷池)。該方案幫助用戶節省20%存儲空間,且數據處理效率相比傳統方案提升了30%,總體成本降低了60%以上。
圖5.智能數據處理引擎對圖像文件的自動化處理
智能數據處理引擎在機器學習場景的應用
機器學習場景下,訓練素材以圖片為主。如果原始素材是視頻文件,可以通過MOS智能數據處理引擎,在存儲內部對視頻進行抽幀,抽幀后產生的圖片用于訓練推理。如果有特殊需要,可以對抽幀圖片進行二次處理或自定義標簽,再用于推理訓練,顯著提升訓練效率。
開放生態,打造強大的智能處理平臺
杉巖MOS智能數據處理引擎就像應用市場一樣,是一個開放式平臺,可以集成豐富的第三方插件,比如合合信息的身份證識別、票據識別等插件,微模式公司的人臉識別、車輛識別等插件,用戶可以按需添加插件,擴展數據處理能力。
目前,MOS智能數據處理引擎支持圖片轉碼、圖片裁剪、添加水印、身份證識別、人臉識別、車牌識別、票據識別、文檔識別、語音識別、內容提取、文件格式轉換等20余項處理功能,為用戶提供更強大的智能處理平臺,滿足不同場景的數據處理需求。
智能數據處理引擎的使用有多簡單?請戳視頻,一睹為快
智能數據處理引擎是杉巖數據面對大數據存儲發展趨勢的應對方案,在海量存儲和便捷管理的基礎上,讓存儲“理解”數據,基于數據感知實現數據預處理和智能調度,簡化業務流程;基于應用感知實現訪問加速,快速響應業務需求;依托智能運維減少人力依賴,打造更強大的智能數字底座,構建面向未來的智能IT基礎架構。
申請創業報道,分享創業好點子。點擊此處,共同探討創業新機遇!
日前,北京佳格天地科技有限公司與農業農村部大數據發展中心簽訂聯合實驗室協議。雙方將充分利用遙感、AI等技術,以及人才隊伍、技術產品等優質資源,開展農業農村領域相關基礎模型、作物農情遙感監測產品及農業氣象服務等方面的合作研究。
日前,2022世界數字農業大會舉行。大會以“種鑄強芯,數領未來”為主題,開設多場數字農業云端專題論壇,北京佳格天地科技有限公司受邀出席”農業農村大數據應用論壇“,同與會嘉賓分享了農業大數據的創新應用。
毫無疑問,隨著以Kubernetes為代表的云原生技術得到廣泛應用和普及,云原生數據量和重要性不斷提高,使得企業對云原生數據庫服務的需求日漸增長。
近期,由中國工業設計協會、中國技術交易所雙重指導,UXPA中國主辦的2022年第六屆GXA好體驗獎評選結果揭曉,元年科技憑借元年數據智能管理平臺榮獲“最佳企業賦能獎”,該獎項旨在挖掘當代杰出用戶體驗作品,表彰利用創新思維、堅持以用戶體驗為中心的企業,填補了國內專業級別用戶體驗社會化獎項的空白。
近日,秦淮數據集團位于馬來西亞柔佛州的秦淮數據馬來柔佛超大規模數據中心(以下簡稱“MY06”)一期盛大開園。從規劃、設計到建造,秦淮數據集團中國、新加坡、馬來西亞三地團隊緊密合作,共同完成馬來西亞最大的國際超大規模數據中心交付
把脈中國數據智能化
2023年,幾乎可以被定義為中國互聯網公司的“大模型元年”。ChatGPT的全球爆紅,徹底點燃國內的大模型賽道,曾經的“創業英雄”、如今的商業領袖們親自下場,接連發布生成式人工智能產品與大模型布局。大模型火了,沉寂許久的互聯網行業又有了新的“戰事”。同時,大模型的快速發展也改變了云市場的現狀,企業對
近日,數字化市場研究咨詢機構愛分析發布了《2022愛分析·數據智能廠商全景報告》,愛分析從技術研發能力、服務客戶數量、收入規模等維度對廠商進行了全面專業的評估
2022年11月18日,首個國家級大數據產業創新賽事——2022第一屆中國大數據大賽圓滿落幕。工業和信息化部信息技術發展司數字經濟推進處處長張建倫,中國電子技術標準化研究院副院長孫文龍出席頒獎典禮并致辭
2022年11月17日,在廈門市工業和信息化局的指導下,以“數據確權”為主題的2022數據資產(廈門)論壇在廈門成功舉辦。本次論壇以“數據確權”為主題,由廈門市互聯網域名應用服務產業協會和構信網(公信.中國)聯合主辦
近日,國內知名數字化市場研究咨詢機構愛分析正式發布《2022愛分析·信創廠商全景報告》(以下簡稱“報告”)。報告綜合考慮企業關注度、行業落地進展等因素,遴選出在信創市場中具備成熟解決方案和落地能力的廠商。
10月31日下午,由數博會執委會主辦、數據觀(北京)傳媒科技有限公司承辦、貴陽大數據交易所協辦的第四期數博思享會“實踐先行觀公共數據價值與應用”活動成功舉辦。
近日,由中國國際數字經濟博覽會組委會主辦,中國電子技術標準化研究院、河北省工業和信息化廳承辦的“第一屆中國大數據大賽”(簡稱大數據大賽)正式啟動。
廣州光點信息科技有限公司自主研發的數據中臺產品GI大數據中臺V2.0產品是國內率先推出符合新創標準的中臺產品,基于“大數據+AI”等技術全新打造,集數據采集、融合、治理、服務、管理為一體的旗艦平臺。
廣州光點信息科技有限公司自主研發的數據中臺產品GI大數據中臺V2.0產品是國內率先推出符合新創標準的中臺產品,基于“大數據+AI”等技術全新打造,集數據采集、融合、治理、服務、管理為一體的旗艦平臺