更貼近企業需求的「資料倉儲局部更新」,大幅提升資料建置與更新效率!
Michel, Anny 2020-10-29
更貼近企業需求的「資料倉儲局部更新」,大幅提升資料建置與更新效率!

  資料倉儲(Data Warehouse,以下簡稱:DW)的資料處理速度極快,是許多大量資料客戶的第一選擇,因為是將整合後的資料暫存於記憶體中,所以不需再回後端撈資料庫,以企業實務來說,每年或每月的資料動輒都是好幾GB的資料量,尤其是連鎖零售商更甚。

而這些大量資料當中,某部份是需依據時間週期性而變動的,舉個例子,在Smart eVision平台上,已建置好一訂單資料的DW,當增加新訂單或更新部份資料時,若每次都需重新建置所有資料,這樣資料變更的建置過程必然會花費Server龐大的資源與時間。

  因此,聯銓研發團隊讓DW加入「局部更新」的概念,在短時間內即可完成指定變動資料更新,不需額外花費時間建置所有歷史資料,還可搭配排程功能,定時自動更新DW資料,省時又省力!

接下來將會依序介紹以下局部更新的好處!

  • 依資料性質彈性更新DW
  • 不需複雜設定即可達成
  • 大幅提升DW建置效率
  • 演算下次局部更新時機

提供以下兩種DW局部更新方式:

僅附加新資料

  當建置DW的資料是隨時都在新增且不做修改,例如:即時交易資料。每次執行局部建置時系統都會依日期維度判斷只將新增的資料加入建置。

DW局部更新-僅附加新資料 圖1. DW局部更新-僅附加新資料

附加新資料且重建指定日期之後的資料

  當建置DW的資料有結帳或關帳的需求,在下一個結帳日或關帳日之間的「變動資料」隨時都可以異動更新,然而在結帳日或關帳日之前的資料皆為穩定「歷史資料」不再異動。例如:會計資料。每次執行局部更新時系統會依自訂的日期維度判斷哪些是結帳日或關帳日之間的資料並只針對此範圍資料做重新建置。

附加新資料且重建指定日期之後的資料 圖2. 附加新資料且重建指定日期之後的資料

備註:

不論選擇何種局部建置方式,首次建置DW皆是將所有資料完整建置。

  傳統ETL工具或ERP系統也有類似逐步更新資料的功能,但在設定上都相對複雜,可能還需搭配SQL語法設計執行。 為了減少IT人員維護工作,在DW設計只需啟用局部建置功能並設定更新資料的日期維度即可。

  在企業每年或每月的資料動輒都是好幾GB的資料量,尤其是連鎖零售商更甚。若為了更新部份資料,每次都需重新建置所有資料想必會花費系統大量資源與時間,而局部建置只針對更新的資料做重建更新,資料量相對滅少進而增加建置DW效率。

  在不同類型的資料更新的頻率與時機都不盡相同,透過變動週期設定在每次執行局部建置後,即可演算出下一次更新資料的時間點, 如此一來,在下一次執行局部建置時就可以依演算的時機決定哪些時間範圍的資料需要重新建罝。

  因應大數據時代的來臨,聯銓DW建置導入「局部更新」概念,除了不需複雜設定,也可依不同的資料類型選擇更新方式,還能增加DW建置效率及演算下次局部更新時機。此外,搭配排程功能自動在指定時間執行DW資料更新,排定在離峰時間執行也不會影響日常系統執行效能,資料更新達到事半功倍!

還沒有接收到聯銓最新消息?點選「註冊」加入會員,最新消息第一時間寄信通知您!

資料處理(Data Model)介面改版囉!給您更流暢的資料整合、偵錯、維護新體驗 技術文章

資料處理(Data Model)介面改版囉!給您更流暢的資料整合、偵錯、維護新體驗

還在煩惱使用版本控管不易嗎?聯銓BI部署及審核,提供您完整上版流程 技術文章

還在煩惱使用版本控管不易嗎?聯銓BI部署及審核,提供您完整上版流程

快速頁面轉換:一鍵複製「資料規格」,立即套用到不同頁面類型! 技術文章

快速頁面轉換:一鍵複製「資料規格」,立即套用到不同頁面類型!

文章分類:聯銓資訊 Smart BI平台 商業智慧 Smart eVision 局部更新 DW 資料倉儲

聯絡

我們

Alternate Text