我們都有過這樣的經驗 — 有些儀表板異常過時,但您可能仍然需要緊急取得這些數據以進行報告。
如何快速讓儀表板恢復運作? 歸根究底,資料中斷可歸納為 3 個主要方面。 請沿著這些思路思考,以幫助您進行探索
- 輸入: 饋入資料管道的資料已變更。
- 轉換: 轉換邏輯已變更。
- 運作: 由於排程變更、權限變更、執行階段錯誤和基礎架構故障等問題,資料系統無法如預期般運作。
若要準確找出問題可能出在哪裡,請按照以下步驟操作。
從源頭開始
通常,儀表板是從多個資料來源的一系列轉換建立而成的。 目標是追溯到上游第一個出現問題的節點。 在最好的情況下,最直接的節點導致錯誤,您可以立即修復它。 在最壞的情況下,問題源於原始節點,您需要回填每個損壞的資料表,直到到達有問題的節點。
如果您可以存取資料血緣檔案,就能鳥瞰儀表板中所有資料庫的相互關聯方式。 從最直接的上游節點開始,向後追溯以檢查哪個節點面臨問題。
檢查查詢
既然您已確定中斷的源頭,下一步是找出資料表建立背後的邏輯。
1) 搜尋日誌: 最近修改或重寫了哪個查詢? 這些變更如何影響資料集?
2) 調查邏輯: 任何查詢中是否存在可能導致錯誤的漏洞?
深入研究資料
希望到目前為止,您對導致資料錯誤的原因有了一些概念。 但是,如果完成上述步驟後仍未找出問題的根本原因,您可以檢查資料集,並注意以下事項,例如
- 時間週期 - 資料是否在特定期間內遇到錯誤?
- 時間戳記 - 資料是否在正確的時區?
- 貨幣 - 您的貨幣換算是否錯誤?
- 分隔 - 是否有任何查詢未涵蓋的新分隔?例如:桌上型電腦、行動裝置;網域;
- 格式 - 應該是數字的欄位中是否有任何文字?
調查生產環境
如果不是資料問題,那麼錯誤很可能出現在運作環境中。 資料系統日誌可以突顯潛在的中斷區域,例如
- ETL 工具和資料庫之間資料同步延遲;
- 執行工作中發生錯誤;
- 工作排程變更;
- 處理時間過長;
- 網路、存取權限和/或資料基礎架構變更;