如何提昇企業資訊即戰力

前言及介紹

企業在不同時期因應業務發展及營運需求，開發了許多系統，使用的資料庫也並非事先經過統整，例如在 ERP 上的客戶與 CRM 的客戶代碼可能不同，造成長期以來各系統資料無法整合的現象。

Smart eVision 平台可以透過資料庫原生驅動程式、OleDB 或 ODBC 等方式，同時連接來自各系統的資料庫。例如：SQL Server、Oracle、Informix、Sybase、Dbase、Access、Excel、AS400、DB2...等資料庫。

透過In-Memory Computing 技術，將資料建置在 Smart eVision 的 In-memory Data Warehouse ，解決企業面臨數據孤島的問題。




In-memory Data Warehouse介紹

Smart eVision 的 In-memory Data Warehouse (以下簡稱 In-memory DW )，能將資料存放在記憶體中以加快處理速度，透過壓縮技術降低佔用記憶體，藉由預先運算出的結果，減少資料的硬碟讀取，達到更好的執行效能。

In-memory DW 中可以建置多個階層維度與時間維度，提供設計者與使用者多維度的資料來源。

*建置完成的DW規格樹：
量值欄位(Measure)：可進行彙總，計算的欄位。
維度欄位(Dimension)：放置階層欄位及一般欄位，分析資料時，階層欄位有展開、收合效果。
時間欄位(Time)：建置時會自動建立階層。

DW的特性：

• 讓 Power User 自主設計查詢、報表、Dashboard及分析

• 比 Cube 更容易設計及維護

• 可將建置好的資料存放在記憶體中，加快處理的速度

• 透過壓縮技術減少佔用記憶體

• 非即時性，不重新讀取資料庫，資料以建置時間為主

• 支援Offline Data及Real-Time Data

Smart eVision 資料倉儲建置：

資料倉儲可以分為 Online 與 Offline ，而建置方式又分為以下三種

• 標準 In-Memory DW

• 自訂 ln-Memory DW

• Real-Time In-memory DW

標準 In-Memory DW

標準 In-Memory DW建置，無需撰寫SQL語法，只要幾個步驟，透過拖拉、點選、設定讓資訊人員快速建置。



*標準 In-Memory DW設定畫面

標準 In-Memory DW設定步驟：



1.選取資料表：資料表關聯類型提供 Inner Join、Left Join、Right Join、Full Join 四種資料關係，資料表關聯的結果，系統會在畫面上顯示 SQL 語法，方便設計者查看。

2.設定欄位：IT 可以在資料表上選取需要的欄位，也可以自行新增運算欄位，欄位的標題可以調整為使用者看得懂的名稱。型別分為三種：Number、String、Date，系統會依據型別判定資料類型，若是 Date 型別，系統自動建立日期階層。資料的類型分別為 Dimension (階層的建立)、Measure (量值的建立)。

3.建立階層 ( Hierarchy ): 定義欄位之間的階層關聯，如：地區階層可分為國家、地區、城市，產品階層：產品類別、產品欄位，另外，日期階層(系統自動產生)：年、半年、季、月、日，也可以建立年+月、年+季+月的一般欄位格式，方便使用者分析。

4.建置DW：系統會產生 SQL 語法取得資料，在建置過程中會將資料進行索引、壓縮，建置方式採三種方式：手動建置、命令式建置、排程建置。

自訂 In-Memory DW

自訂 In-Memory DW 建置，適合熟悉 SQL 語法的建置者，可以直接寫 SQL 語法取得想要的資料表和關聯建置。



*自訂In-Memory DW設定畫面

自訂In-Memory DW 設定步驟：



自訂 In-Memory DW跟標準 In-Memory DW 設定步驟的差異撰寫 SQL及資料組合流程(於上圖紅框標示)。

撰寫SQL：可以直接透過撰寫SQL語法，取得想要的資料表與欄位。

資料組合流程：提供了圖形式的資料流程介面。

設計者在設計上能更直覺透過圖形化介面做資料間的組合，建置 In-Memory DW，功能如下圖所示：



• 資料來源：可連接多個資料來源，設計者可以新增不同的資料來源，例如連結Excel 的資料來源與不同資料庫。

• 過濾條件：可事先過濾條件值並將最後的處理結果存回 Dataset。

• 群組加總：選擇資料彙總方式，再依據Key值做資料分群。

• 聯結資料：可將各個獨立的 Dataset 將資料作 Join 的效果。

• 合併資料：將處理完的資料結果做合併效果並將最後結果存回Dataset。

• 分類統計：將資料以分項歸類的概念做分類統計。

• 樞紐分析：可以組合資料結果做到 Excel 的樞紐分析呈現。

自訂 In-memory DW 的異質資料結合，透過資料表間的拖拉、點選，搭配圖形式資料組合功能
就可以完成資料間的整合。

　　



*自訂 In-Memory DW設定流程

自訂In-memory DW 除了「圖形式的資料組合」功能，還提供了 ETL 功能，讓建置的資料可以再利用，

將資料萃取（extract）、轉置（transform）、載入（load）回資料庫中。



Real-Time DW

取得資料庫中即時的資料達成即時性資料倉儲應用，可以使用Real-Time DW，無需透過排程定時更新DW及建置



*Real-Time DW設定畫面

Real-Time DW 設定步驟：



建置的方式與「標準」In-memory DW的建置的相同，Real-Time DW 只要選成「直接查詢」建立資料倉儲，就可達到即時性資料倉儲應用。

Smart eVision 資料倉儲使用時機

Smart eVision 提供了三種資料倉儲，各有其優點，以下幫忙各位整理出使用時機。



Smart eVision 資料倉儲其他特色

「標準」與「自訂」In-Memory DW 可連結其他資料來源

除了資料庫的資料來源可以連結外，提供了「檔案」類型與「服務」類型的資料來源

• 檔案類型：提供Excel 、XML 資料來源

• 服務類型：這邊有點不同，可以連接 REST Data、Mongo DB、SAP 資料來源，自訂 In-Memory DW 會再多 IoT 、IoT Hub，滿足來自多個不同資料來源的 In-Memory DW 建置需求。

In-Memory DW 載入方式

標準、自訂 In-Memory DW 可連接多個資料來源，存取大量資料，透過資料壓縮至記憶體進行分析，提升計算效能。提供兩種載入方式。

• 開啟頁面載入：當設計頁面使用此載入類型資料倉儲資料來源時，開啟頁面時，資料才會載入記憶體，適合用來建置過去大量的歷史資料 ( 例如：過去十年的營運資料 )，開啟頁面才做載入動作。

• 啟動服務載入：預設為此載入類型，當 Smart eVison 平台中有頁面使用此載入類型，就會將資料倉儲載入記憶體，方便即時性的資料倉儲使用。

可再新增運算欄位

DW 都能做運算欄位的新增，解決原始資料缺少的欄位，彈性導出客製化欄位 (運算欄位、彙總欄位...等) 。

資料倉儲管理

建置完成的建置資訊會顯示在畫面上，並可帶來以下優點：

• 資料倉儲管理資訊介面： 可查看資料倉儲建置狀況，包含資料倉儲的名稱、建置時間、載入時間、記憶體用量(K)、線上DW使用者人數以及當下使用者使用那個資料倉儲都會在載入監控頁面上顯示，讓管理者管理所有資料倉儲使用狀況。

• 資料倉儲管理：建置的資料倉儲會在 Smart eVision Server的資料倉儲管理中統一管理，管理者可以在資料倉儲管理查看所有的資料倉儲。

• 有資料倉儲的權限者：Smart eVision Server 上的資料倉儲只要有權限，設計者都可以隨時透過瀏覽器直接拿來設計使用。

• 資料倉儲管理不會因使用者職務異動而遺失：所有建立的資料倉儲統一放在資料倉儲管理中。

資料倉儲系統設定

企業在營運上的競爭環境日漸險峻，所需要分析的資料及報表也變得複雜，在營運管理上從原有「IT 主導的報表/儀表板」 開始轉變為「業務主導的自助分析模式」，營運人員並不具有資訊技術背景，透過 IT 建置的DW，便可從數據中獲得分析見解，因應競爭環境的快速變化。

完全開放數據給使用者進行資料分析，但是沒有一個好的數據治理方式，對企業資料安全性而言，也是一大隱憂。Smart eVison 的 In-Memory DW 可以讓 IT 事先規劃維度及量值權限，以及在視覺化報表中顏色的定義，如報表中藍色表示公司手機產品的銷售，再加上經常使用的欄位運算公式及資料格式化條件設定，建立公司的數據使用方式，符合資料一致性及安全性原則。



• 維度授權、量值授權：可對於資料倉儲中的維度、量值授權使用者使用，使資料權限可以有效管控。

• 資料顏色： 不同的資料在企業中可能有不同顏色的定義，可在這邊設定好，當資料使用時就會直接顯示顏色，改善資料顏色一再設定的問題。

• 授權設計者：除了可以針對資料倉儲的維度、量值進行授權，也可以對整個資料倉儲授權，誰有權可以去使用設計。

• 共用物件管理： 可在資料倉儲管理底下的共用物件管理先定義好運算成員、彙總欄位、格式化條件、燈號、條件的公式，之後設計者、使用者使用該資料倉儲就可以直接套用。

In-Memory DW 建置方式

更貼近企業需求的建置：可以選擇完整建置、局部兩種建置方式。



• 完整建置：一次重新更新所有的資料

使用時機：第一次建置使用

建置資料：完整

建置時間：長

• 局部建置：只建置新的資料至資料倉儲

使用時機：舊資料沒有異動，資料筆數大

建置資料：累加建置

建置時間：短

排程建置In-Memory DW

In-Memory DW建置方式除了手動建置，可以透過排程自動建置：

• 透過Command line執行

  Smart eVision提供建置 In-Memory DW 程式供呼叫使用，執行程式的指令可以撰寫 Bat 批次檔，加上 Windows 排程，可以定期建置 In-Memory DW。

• 透過Smart eVision排程模組定時建置

排程模組提供 DW 定時更新功能，能在 DW 資料更新後立即執行報表，若是預警報表，則可立即發送 Mail 及通知訊息至相關使用者，可使用連結、報表內嵌或是圖片、PPT 、Word 、PDF 檔案格式派送。

資料倉儲搭配 Smart eVision 平台模組

資料倉儲搭配查詢/報表模組、分析模組及儀表板模組的呈現。

查詢/報表模組 (Query)

專案資料夾新增查詢頁面，選擇Data Warehouse 資料來源，就可以連到資料倉儲。



從量值與維度階層中拉想要的欄、列、資料區域，資料就會顯示在右手邊。



想要將資料倉儲中的欄位當條件，對維度階層右鍵就可以新增，時間維度會直接有年+月、年+季的條件可以快速新增



查詢條件，頁面就設定完成。



一個查詢頁面可以新增多個設計報表，切到查詢的報表頁籤就可以開始設計新的報表。



透過報表工具箱搭配 Excel 模板就可以設計出精準的 web 報表。



分析模組(Analysis)

In-memory DW 搭配分析頁面，拖拉想要的欄位，就可以做出分析頁面，滑鼠右鍵還可以再往下做運算、彙總、期間的欄位新增，多樣的指標顏色可呈現不同分析效果。



分析頁面可以做出分析欄位搭配分析統計圖，一起在同個畫面上面顯示



分析頁面可以做FacetChart的顯示，可以做到多群的比較分析



儀表板模組(Dashboard)

選擇新增儀表板頁面，選擇 In-memory DW 拖拉想要顯示的欄位套用視覺化物件，設計者就可以快速將資料視覺化呈現在 web 上。



儀表板設計頁面提供不同的視覺化元件，設計者搭配 In-memory DW 設計，設計完的視覺化元件之間還可以具有互動的效果。



以上就是 Smart eVision 的資料倉儲( In-memory DW) 特色與好處，搭配Smart eVision 平台模組做出企業中不同階層想要的資料呈現。

改善 OLAP 效能及部署時間，提供給使用者設計報表、資料分析及儀表板設計。不需建Cube 即可讓Power User 拖拉設計多維度報表。同一版面上可匯整多系統、多公司或是跨廠區異質資料庫，快速整合企業資訊及具有互動與連結功能。

還沒有評估過的客戶，請立即與我們連繫!!

聯銓資訊科技有限公司 www.lcnet.com.tw

連絡電話 : 886-02-2726-0885

E-mail : service@lcnet.com.tw

還沒有接收到聯銓最新消息？可以點選官網右上角的「註冊」加入會員，有最新消息第一時間寄信通知您。

此篇分類於：#聯銓資訊 Smart 平台 #SmarteVision#SmartQuery #In-Memory Data Warehouse #商業智慧BI工具 #Web 化報表設計工具 #資料倉儲 #資料視覺化

更多Smart eVision學習資訊

我們的官方網站

我們的臉書粉絲團

我們的官方YouTube頻道