一直以來,Smartbi回饋用戶的最好方式是提供更好的產品和更好的服務。V9作為Smartbi最新發布的版本,眾多實用功能就是從用戶的實際情況出發,急用戶之所急,想用戶之所想。從今天開始,小麥會用系列文章和大家一起分享。本期介紹V9在【數據準備】方面的一些新功能亮點。
分批次和多線程并發,提高數據抽取效率
之前的Smartbi版本,數據抽取存在以下兩種情況:
1、一次性將所有數據從數據庫寫入到緩存庫中,在數據量較大的情況下,會出現占用內存太大的問題。V9支持分批次將數據寫入到緩存庫中,既能保證查詢速度又避免占用太大內存,達到最高效率;
2、當抽取億級數據量時,如果為單線程抽取,容易出現抽取緩慢,抽取不成功甚至環境崩潰的情況。V9增加多線程并發抽取,在用戶抽取較大數據量時,可設置多線程并發抽取。以Smartbi從MPP抽取1億條數據為例,單線程抽取需要耗時2.5小時,設置10個線程進行抽取時,僅需48分鐘,速度提升了3倍。
支持各種數據集的增量抽取,避免資源浪費
之前的版本,只有自助數據集支持增量抽取。V9除了自助數據集,對可視化數據集、原生SQL數據集、SQL數據集、存儲過程數據集、Java數據集等也支持增量抽取。在“抽取設置界面”中的“增量抽取按時間戳”選項可進行設置。
支持MPP集群抽取,適用性進一步增強
當高速緩存庫連接的驅動程序類型是“SmartbiMPP”時,V9支持集群抽取。在“抽取設置”界面增加“高級設置”,對“分區字段”和“分區類型”進行設置。其中,分區字段要求為日期類型。
支持自定義表名,查找更加直觀
之前的版本,數據集和即席查詢抽取保存在高速緩存庫的表,默認以“數據集ID”作為表名稱,“數據集名稱”作為表別名,在數據庫查看表時,以數據集ID作為表名稱,不利于用戶直觀查找需要的表。V9支持數據集和即席查詢抽取保存在高速緩存庫的表自定義表名。
時間管理增加維度,滿足各種統計周期
業務人員經常需要做統計分析報表,如月匯報、周匯報等。為了滿足更多維度的統計分析,V9維度管理增加支持“半年”“旬”“周”。 其中,“半年”的顯示格式為:上半年、下半年;“旬”為:上、中、下;“周”為:Www(W不變,就是一個字母,ww標識第幾周,如2019年第一周為:2019-W01。
提供標準函數檢驗,減少數據抽取報錯
之前的版本自助數據集計算字段支持的函數是根據其所屬數據庫類型決定的,這種方式會存在函數不兼容的問題,導致在抽取時報SQL錯誤。針對這一弊端,也結合產品的使用,V9基于SQL92為標準,封裝一套Smartbi自身的函數語法,用于適配Smartbi所支持的數據庫,校驗輸入的函數是否在提供的函數列表中。如果函數不在函數列表中,則會提示該函數不是標準函數庫語法,在其他數據庫可能無法使用。
除了以上介紹的新功能點,Smartbi V9在【數據準備】方面還有很多小優化。如自助數據集的數據來源為“hana數據源”時,自助數據集支持其所帶參數;增加“多維數據集”作為自助數據集的數據來源;數據集的抽取日志采取分頁加載等等,大家有興趣可以登錄V9體驗中心進行試用,親自感受V9的全新UI、全新功能。
V9體驗中心:PC登錄官網->體驗中心
概括如下:
1、 分批次讀數據和多線程并發抽取
2、 支持各種數據集的增量抽取
3、 支持MPP集群抽取
4、 抽取支持自定義表名
5、 時間維度管理增加“半年”“旬”“周”
6、 提供標準函數檢驗
申請創業報道,分享創業好點子。點擊此處,共同探討創業新機遇!
2023年6月1日至4日,第三屆全國生物相分離和相變學術研討會暨中國生物物理學會生物大分子相分離與相變分會年會在上海成功舉辦,榮聯科技集團攜冷凍電鏡數據分析整體解決方案亮相活動,云生數據副總經理田鳳進行了精彩的報告分享。本次盛會由中國生物物理學會生物大分子相分離與相變分會主辦,中國科學院上海有機化學
中國經濟周刊-經濟網訊(記者宋杰)4月27日,第六屆數字中國建設峰會在福州開幕,同期舉行的還有數字中國建設成果展覽會,本屆峰會以“加快數字中國建設,推進中國式現代化”為主題,集中展示數字中國建設最新成果和優秀實踐案例,分享發展經驗。其中,作為央企中國電科集團旗下的數據庫國家隊,人大金倉今年展出面積從
如今,諸多企業開始進入數據應用階段,開始追求數據對業務的實質性提升。然而,一些企業雖然認識到了數據的價值,卻由于缺乏一套高效好用的數據分析工具,導致數據應用效果并不理想。在一些企業中,尤其是中小企業,由于缺乏預算,仍然在使用Excel等傳統工具進行數據分析和可視化展現,需要手動整合和處理數據,耗時耗
數據收集的操作行為受到越來越多的關注,也變得越來越復雜。網絡抓取以及自動獲取過程總體來說極大地改變了數據收集的性質,舊的挑戰得到解決,而新的問題也隨之浮現出來。
近日,由中國團隊研發的“一種基于共享內存和多進程的支持高并發的分布式數據庫架構”通過美國商標專利局審查核準。這是易鯨捷年內第三次獲得美國商標專利局授權專利,再次驗證了易鯨捷多年來在分布式數據庫領域的自研成果
把脈中國數據智能化
2023年,幾乎可以被定義為中國互聯網公司的“大模型元年”。ChatGPT的全球爆紅,徹底點燃國內的大模型賽道,曾經的“創業英雄”、如今的商業領袖們親自下場,接連發布生成式人工智能產品與大模型布局。大模型火了,沉寂許久的互聯網行業又有了新的“戰事”。同時,大模型的快速發展也改變了云市場的現狀,企業對
近日,數字化市場研究咨詢機構愛分析發布了《2022愛分析·數據智能廠商全景報告》,愛分析從技術研發能力、服務客戶數量、收入規模等維度對廠商進行了全面專業的評估
2022年11月18日,首個國家級大數據產業創新賽事——2022第一屆中國大數據大賽圓滿落幕。工業和信息化部信息技術發展司數字經濟推進處處長張建倫,中國電子技術標準化研究院副院長孫文龍出席頒獎典禮并致辭
2022年11月17日,在廈門市工業和信息化局的指導下,以“數據確權”為主題的2022數據資產(廈門)論壇在廈門成功舉辦。本次論壇以“數據確權”為主題,由廈門市互聯網域名應用服務產業協會和構信網(公信.中國)聯合主辦
近日,國內知名數字化市場研究咨詢機構愛分析正式發布《2022愛分析·信創廠商全景報告》(以下簡稱“報告”)。報告綜合考慮企業關注度、行業落地進展等因素,遴選出在信創市場中具備成熟解決方案和落地能力的廠商。
10月31日下午,由數博會執委會主辦、數據觀(北京)傳媒科技有限公司承辦、貴陽大數據交易所協辦的第四期數博思享會“實踐先行觀公共數據價值與應用”活動成功舉辦。
近日,由中國國際數字經濟博覽會組委會主辦,中國電子技術標準化研究院、河北省工業和信息化廳承辦的“第一屆中國大數據大賽”(簡稱大數據大賽)正式啟動。
廣州光點信息科技有限公司自主研發的數據中臺產品GI大數據中臺V2.0產品是國內率先推出符合新創標準的中臺產品,基于“大數據+AI”等技術全新打造,集數據采集、融合、治理、服務、管理為一體的旗艦平臺。
廣州光點信息科技有限公司自主研發的數據中臺產品GI大數據中臺V2.0產品是國內率先推出符合新創標準的中臺產品,基于“大數據+AI”等技術全新打造,集數據采集、融合、治理、服務、管理為一體的旗艦平臺