Oxylabs 首席執行官：了解靜態和動態數據

　 阿里云優惠券 先領券再下單

數據收集的操作行為受到越來越多的關注,也變得越來越復雜。網絡抓取以及自動獲取過程總體來說極大地改變了數據收集的性質,舊的挑戰得到解決,而新的問題也隨之浮現出來。

其中一個問題就是關于動態性的數據選擇。由于現在我們能夠在幾秒內收集難以想象的巨量信息,進行特定采樣不再是問題。此外,在業務上,我們常常會反復搜尋相同來源,以監控友商、品牌以及對于行業相關的其他任何內容。

因此,數據動態性就是一個優化問題。在一些情況下,特定字段可能不會頻繁更新,或者對于用例來說這些更改并不重要,因此可能不需要每次刷新數據。

靜態與動態數據

靜態數據可以通過兩個方面來定義。作為信息對象,靜態數據是不會(頻繁)變化的對象。這種來源的例子可能包括社論文章、國家/地區或城市名稱、活動和場所說明,等等。事實新聞報道一經發表,就不大可能在未來發生改動。

另一方面,動態數據是不斷變動中的對象,常常是由于外部因素而發生變化。經常遇到的動態數據類型可能是產品定價、庫存數量、預訂數量,等等。

它們中間存在兩大定義的模糊地帶,正如企圖將一切東西都放入整整齊齊的小盒子那樣。產品說明、文章元標題和內容商業片段等信息對象有一定的變化頻率。

這些到底屬于靜態還是動態數據,取決于預期用途。無論數據類型如何,項目或多或少會利用具體的參考來源。例如,SEO 工具可能發現定價數據的價值較低,但會希望更新元標題、描述和其他許多功能。

另一方面,定價模型則很少用到頻繁更新的產品描述。它們可能需要抓取該信息一次,以進行產品匹配。如果將來出于 SEO 目的對其進行更新,那么仍然沒有理由再次訪問描述。

規劃數據

每個數據分析和收集項目都有其必要性?；氐角懊娴亩▋r模型例子,這需要兩個技術功能:產品比對和定價數據。

產品需要進行比對,因為任何自動定價實施都需要準確性。錯配的產品和變化的定價可能會對營收造成巨大損失,尤其是如果這些變化得不到解決的情況下。

大部分比對工作是通過產品標題、描述和規格進行的。前兩者會經常變化,尤其是在電商平臺中,其中關鍵詞優化是一項重要的排名因素。不過,它們不會影響比對產品編號的能力,因為基礎功能不會變化(例如,iPhone 始終是 iPhone)。

因此,描述和標題可以視為靜態數據,即使它們有一點動態性質。就項目用途而言,變化的影響力不夠大,不值得繼續監控。

可能顯而易見的是,定價數據不僅自然而然地在不斷變化,而且捕捉發生的任何變化對于項目也十分重要。因此,它當然應該視為動態數據。

通過規劃降低成本

無論采用的是內部還是外部集成方法,數據收集和存儲實踐的成本都非常高。此外,大部分公司將使用基于云的存儲解決方案,其中可能會將所有寫入操作包括到總體成本中,這意味著更新數據將會削減預算。

規劃數據類型(即靜態還是動態)可以通過多個途徑優化數據收集過程。首先,頁面可以分為靜態數據、動態數據或混合數據。雖然第一個類別可能有點膚淺,但它仍表示不需要頻繁再訪問這些頁面。

利用混合頁面可能也更容易降低寫入操作和存儲成本。降低從一個地方傳輸到另一個地方的數據量,這本身就是一種優化形式,但這些在考慮到帶寬、讀寫和存儲成本時會變得更加有意義。

不過,由于爬蟲通常會下載整個 HTML,對 URL 的任何訪問都會將整個對象存儲在內存中。使用外部提供商時,通常會針對每個請求分配成本,因此更新所有數據字段與僅更新動態字段之間沒有區別。

然而,在一些應用場景中,歷史數據可能是必要的。每個時間段下載并更新含有相同數據的相同字段會無緣無故地增加寫入操作和存儲成本?？梢詫崿F一個簡單的比較函數來檢查是否有任何更改,并僅在更改時執行寫入操作。

最后,使用內部抓取系統時,上述全部情況仍然適用,但程度要大得多。想要優化成本,可以減少不必要的抓取,限制寫入操作數量,并僅解析 HTML 的必要部分。

最后,開發框架是實現真正優化的第一步措施。它們可能一開始過于理論化,就像這個框架那樣,但框架讓我們能夠更好地解讀已經實施到位的過程。

作者:Julius Cerniauskas,Oxylabs 首席執行官

申請創業報道，分享創業好點子。點擊此處，共同探討創業新機遇！