時下,大數據產業的發展,已經滲透到傳統行業的方方面面。比如交通行業、汽車行業、能源行業,等等。進入數字時代,我們主要做什么?我們該怎么認識大數據?該怎么運營數據?數據怎樣才能變成有價值資產?大數據的未來會是什么樣子?
圖注:工信部中國信息通信研究院大數據與區塊鏈業務主管、通信標準協會大數據技術標準推進委員會工作組長馬鵬瑋:大數據產業發展的問題和風向
在剛閉幕的2019首屆全球能源新基礎設施峰會上,工信部中國信息通信研究院大數據與區塊鏈部業務主管、信標準協會大數據技術標準推進委員會工作組長馬鵬瑋作為特邀嘉賓出席,并發表題為《大數據產業發展的問題和風向》的主旨演講,就大數據整個的產業現狀和問題進行深入淺出的分析,并就大數據相關的謎題,帶來了個人的所思所想。
據悉,本次峰會由日照市政府主辦,日照市發改委、日照市工信局、日照市商務局、日照市東港區人民政府、日照中央活力區辦公室、能鏈集團(車主邦/團油/快電)、山東數字能源交易中心、日照市財金投資集團承辦,石油觀察、石油觀察智庫協辦。
馬鵬瑋分享主要觀點如下:
1.究竟該怎么認識大數據?可從三種層次看待:第一個層次是一種戰略資源;第二個層次是一套數據處理工具;第三個層次,是一種思維理念。
2.數據一定是從現實世界產生的,也就是我們的實體世界,產生之后去了哪里?去了我們的虛擬世界,也就是數字網絡、數字設施里面,也就是現實到數字,從數字里面經過一串轉化、衍生、挖掘之后,最后要回饋到現實領域。
3.大數據產業當下的三個問題:一個是技術,一個是管理,一個是安全。
4.分布式,以前從單一硬件向大集群、大數據中心的轉換,這是未來基礎設施的必然的方向。
5.未來,我們如果說真的要把數據轉化到資產,我們需要"兩條腿"走路,第一個是管理手段,第二是技術手段,也就是我們管理要建立相應的數據管理模式才可以數據到資產化進行平穩的過渡。
6.為了實現隱私保護,我們要做"兩條腿",也就是管理和技術。
以下為馬鵬瑋演講實錄:(略有刪改)
尊敬的各位領導、各位專家,大家上午好!
很榮幸今天能來到咱們非常隆重的盛會,首先我簡單自我介紹一下,我是來自中國信息通信研究院云計算與大數據研究所。我個人研究大數據領域大概5-6年的時間,信通院作為第三方的相當于研究機構、研究組織。我們做行業的動態研究,做行業的標準制訂,做企業的產品測試,做整個政策支撐,在5-6年工作時間里面,我個人覺得有一些不同的思考角度來看待這個行業、領域、技術的發展,所以我今天想給大家分享一些我工作中的一些思考,來幫助大家更好的認識大數據整個當前的產業現狀和問題。
首先,我提出第一個問題,怎么來認識大數據?這其實是值得大家非常長時間的討論,因為大數據從2017年被提到國家戰略為止到現在有兩年的時間,從技術的發展路線來看已經經過很長周期的迭代演進,所以我認為可以從三種層次看待,大數據究竟是什么東西。
我們看第一個層次是一種戰略資源。數字時代,我們主要做什么?互聯網、移動支付、電商等等,這些主要輸入是什么?數據,我們認識到第一個層次,這是一種戰略資源。認識到這個層次之后我們會做很多的事情。
第二個層次是一套數據處理工具。把數據留到整個存儲設備以后就可以用它了嗎?就可以真正產生價值了嗎?沒有,還浪費了存儲資源,我們需要一套數據處理資源,我們一定要有一套數據處理的工具,而且是瞄準大數據的,如果沒有專門的數據處理工具,未來的應用根本不可能長出來,我們針對它研發,比如說數據計算的工具、數據存儲工具、數據應用工具、數據管理工具、數據服務工具、數據運營工具等等。
我們再看第三個層次,是一種思維理念。我們想數據從哪來?數據一定是從現實世界產生的,也就是我們的實體世界,產生之后去了哪里?去了我們的虛擬世界,也就是數字網絡、數字設施里面,也就是現實到數字,從數字里面經過一串轉化、衍生、挖掘之后,最后要回饋到現實領域,也就是先進去再出來的整個工作思路,所以最終目的一定是指導未來現實世界的發展,所以這是整個閉環,也就是用數據指導現實世界理論的一個思想方法論。這也是我們最近常說的一種"數字孿生、數字城市"的概念,這就是如何認識大數據的三個層次。
2019年大數據產業地圖,其實可以明顯的看出來針對剛剛三個層次有很多的針對性企業在做相關的事情,比如我們總結上游數據、中游產品、下游服務。上游數據是做數據的收集、流通,比如幫助你采集數據,幫助你把數據從一個單位流轉到另外一個單位,這是上游數據干的事情。
中層產品做什么?專門做數據處理、數據存儲、數據運營的一套工具以及服務,比如阿里、華為提供了很多的大數據平臺給到各地的地方政府、國企單位,告訴他們用數據產生之后就可以把數據進行轉化、抽取、存儲。
下游服務,針對某個具體領域把數據產生真正的價值,也就是第三個理念,比如金融的風控,有了數據、工具,加上行業屬性之后就可以判斷出怎么做,也就是形成三個層次,每個領域都有非常多的公司做相關的事情。
一個大數據產業鏈的思維,其實是講的如何思考大數據產業鏈,我們其實把它可以類比成石油產業鏈,究竟是干什么?我們建機構、建平臺、數據加工與應用,這是整個流程化的東西,比如我們組建隊伍,做石油的勘探,這樣其實看究竟哪里有石油才可以干這個事情,還有就是鉆井,接入數據,建設油庫和煉化廠,然后煉制成產品,最后定價營銷,這就是數據運營。
接下來三個點看一下大數據當下的問題:一個是技術,一個是管理,一個是安全。
首先講一下技術,其實大數據發展非常早,從2003年就開始已經有相關的公司做事情了,標志性事情就是谷歌發布了DFS論文,以前的大數據為什么發展不起來?是因為我們根本存不下,我們沒有相應的技術存下,連存下都做不到怎么發展?2003年發展谷歌發布了DFS論文,2004年谷歌發布了MapReduce論文,存下來以后沒有用,2004年開始終于有了一項技術,可以把它算出來,可以把里面的價值進行挖掘,我們沒有技術難點之后,后續的應用才會快速的發展,一直到2014年、2018年,以前的批處理、流處理慢慢成為最新的趨勢。
未來,大數據技術層面有很多關注的動向,比如開源。我們很多的大數據產品經過我們的觀察,國內的一些企業都是借鑒了國外的一些企業的思想,這不是不對,開源從上世紀末期開始互聯網領域非常時興的做法,做法是把產品的一部分開放出去,讓整個社會的智力不斷的填充,而不是依靠公司自己的人力、智囊把這個產品完善,而是依靠整個社會的智囊力量發展的非???。未來,中國也一定要重視整個開源的發展,包括開源模式的創新。
分布式,以前從單一硬件向大集群、大數據中心的轉換,這是未來基礎設施的必然的方向。比如數據倉儲OLAP/OLTP的融合,現在出現新的融合技術,不需要建兩套系統,購買兩次成本,現在因為實時的技術發展用一套系統解決兩個問題。同時,模塊化、運維自動化、容器化、專用硬件等,這是未來可能關注的技術動向,這是技術層面,我們要思考的問題。
第二個問題,管理層面,數據接入進來之后,要怎么去用?有一句話是過去三年我只知道數據是資產,我只知道資產,真正變成資產了嗎?為你產生價值了嗎?我們要看兩個關鍵特征,一個是為企業帶來經濟效益,無論是節省成本、增加額外收入也好都是增加經濟效益,第二是可計量成本收益,比如存了1T數據值多少錢?以后能帶來多少錢?這些其實我們沒有量化的標準,都沒有一個計算的模式,所以其實這兩個問題我們都沒有解決,未來,我們如果說真的要把數據轉化到資產,我們需要兩條腿走路,第一個是管理手段,第二是技術手段,也就是我們管理要建立相應的數據管理模式才可以數據到資產化進行平穩的過渡。
第一是盤點數據;首先起碼要知道有什么數據,然后還有什么細分的數據類別,這是第一步,也就是自來水服務里面的水源和水質了解。
第二是質量提升;因為以前沒有重視這塊工作,所以很多的數據是不能用的,出現臟數據、假數據、壞數據,所以第二步是質量提升,從源頭開始,之后要進行污水處理。
第三是打通壁壘;以前我們說是數據孤島,各單位之間的數據是互相不流通的,怎么能讓他們交叉產生價值呢?也就是建立管道打通壁壘。
第四是提升數據的可得性;要給每一個終端用戶建設數據可用的模式,如果沒有這個模式,根本達不到可用的范圍。
第五是保障安全;自來水工程或者是下水道工程隨著時間的推移一定會出現很多的污垢和問題,所以要定期的檢查管道還有沒有好。
第六是數據運營。當所有的工作做完之后,我們可以做最后的事情,給數據進行定價,這塊數據值多少錢,用人民幣或者是其他的法幣模式衡量,有了這個定價之后才可以真正的變為一種資產可以進行交易和流通等模式。
第三點是合規,也就是安全,數據安全最近越來越重要。近兩年很多的互聯網案件當中都有這樣的體現,國家安全、用戶隱私、便利性其實是三者不可兼容的關系。所以,為了實現隱私保護,我們要做"兩條腿",也就是管理和技術。歐盟出臺了一個GDPR的整套流程,告訴你什么可用什么不可用,國內有大量的機構做大量的研究。我們除了通過規章制度做這個事情之外,還可以通過技術,比如群簽名、環簽名、差分隱私、區塊鏈、同態加密等,比如比爾蓋茨和王健林互相比誰有錢,互相補知道有多少錢的情況下,通過這個技術可以比出來,我不知道數據長什么樣,但是可以因為數據可以為業務做服務,目前我們院進行相關的研究,也得到了一些成果,這是我們認為的兩條腿走路的方式。
大數據產品能力評測。從上圖可以看到,橫向是國內做這些產品的企業大概是什么規模,如有華為、阿里、騰訊、百度??v坐標看產品體系的豐富度。如知識圖譜、用戶行為分析、商務智能等,縱坐標越長,代表國內產品體系越繁榮,紅色點是代表這個企業在這個基礎方向上完成的測試,企業的紅點越多,代表這個企業的綜合產品能力越強,也就是產品體系越豐富。
我的演講就到這里,謝謝大家!
申請創業報道,分享創業好點子。點擊此處,共同探討創業新機遇!
日前,北京佳格天地科技有限公司與農業農村部大數據發展中心簽訂聯合實驗室協議。雙方將充分利用遙感、AI等技術,以及人才隊伍、技術產品等優質資源,開展農業農村領域相關基礎模型、作物農情遙感監測產品及農業氣象服務等方面的合作研究。
日前,2022世界數字農業大會舉行。大會以“種鑄強芯,數領未來”為主題,開設多場數字農業云端專題論壇,北京佳格天地科技有限公司受邀出席”農業農村大數據應用論壇“,同與會嘉賓分享了農業大數據的創新應用。
毫無疑問,隨著以Kubernetes為代表的云原生技術得到廣泛應用和普及,云原生數據量和重要性不斷提高,使得企業對云原生數據庫服務的需求日漸增長。
近期,由中國工業設計協會、中國技術交易所雙重指導,UXPA中國主辦的2022年第六屆GXA好體驗獎評選結果揭曉,元年科技憑借元年數據智能管理平臺榮獲“最佳企業賦能獎”,該獎項旨在挖掘當代杰出用戶體驗作品,表彰利用創新思維、堅持以用戶體驗為中心的企業,填補了國內專業級別用戶體驗社會化獎項的空白。
近日,秦淮數據集團位于馬來西亞柔佛州的秦淮數據馬來柔佛超大規模數據中心(以下簡稱“MY06”)一期盛大開園。從規劃、設計到建造,秦淮數據集團中國、新加坡、馬來西亞三地團隊緊密合作,共同完成馬來西亞最大的國際超大規模數據中心交付
把脈中國數據智能化
2023年,幾乎可以被定義為中國互聯網公司的“大模型元年”。ChatGPT的全球爆紅,徹底點燃國內的大模型賽道,曾經的“創業英雄”、如今的商業領袖們親自下場,接連發布生成式人工智能產品與大模型布局。大模型火了,沉寂許久的互聯網行業又有了新的“戰事”。同時,大模型的快速發展也改變了云市場的現狀,企業對
近日,數字化市場研究咨詢機構愛分析發布了《2022愛分析·數據智能廠商全景報告》,愛分析從技術研發能力、服務客戶數量、收入規模等維度對廠商進行了全面專業的評估
2022年11月18日,首個國家級大數據產業創新賽事——2022第一屆中國大數據大賽圓滿落幕。工業和信息化部信息技術發展司數字經濟推進處處長張建倫,中國電子技術標準化研究院副院長孫文龍出席頒獎典禮并致辭
2022年11月17日,在廈門市工業和信息化局的指導下,以“數據確權”為主題的2022數據資產(廈門)論壇在廈門成功舉辦。本次論壇以“數據確權”為主題,由廈門市互聯網域名應用服務產業協會和構信網(公信.中國)聯合主辦
近日,國內知名數字化市場研究咨詢機構愛分析正式發布《2022愛分析·信創廠商全景報告》(以下簡稱“報告”)。報告綜合考慮企業關注度、行業落地進展等因素,遴選出在信創市場中具備成熟解決方案和落地能力的廠商。
10月31日下午,由數博會執委會主辦、數據觀(北京)傳媒科技有限公司承辦、貴陽大數據交易所協辦的第四期數博思享會“實踐先行觀公共數據價值與應用”活動成功舉辦。
近日,由中國國際數字經濟博覽會組委會主辦,中國電子技術標準化研究院、河北省工業和信息化廳承辦的“第一屆中國大數據大賽”(簡稱大數據大賽)正式啟動。
廣州光點信息科技有限公司自主研發的數據中臺產品GI大數據中臺V2.0產品是國內率先推出符合新創標準的中臺產品,基于“大數據+AI”等技術全新打造,集數據采集、融合、治理、服務、管理為一體的旗艦平臺。
廣州光點信息科技有限公司自主研發的數據中臺產品GI大數據中臺V2.0產品是國內率先推出符合新創標準的中臺產品,基于“大數據+AI”等技術全新打造,集數據采集、融合、治理、服務、管理為一體的旗艦平臺