身為 Netguru 的 BI 專家，我經常遇到無法直接用於分析的資料。當這種情況發生時，我必須重新整理資料以提高其品質，並確保使用這些資料建立的所有儀表板都能呈現有意義的洞見。為了達到這個目的，我首先要準備資料。
什麼是資料準備流程？
資料準備是在處理和分析之前，清理和轉換原始資料的過程。它通常包含清理、合併不同資料來源、轉換和彙總資料。
這可能很耗時。然而，您透過此步驟獲得的成果，對於稍後從商業智慧分析中獲得最大價值至關重要。
為什麼資料準備很重要？
原始資料往往是非結構化且雜亂的。為了讓您的資料發揮價值，您需要消除錯誤，以便您的視覺化呈現真實的洞見。您可以透過篩選和彙總資料集來最佳化資料集，以確保您的儀表板更有效率。
如果您在分析之前沒有準備資料，可能會發生很多問題。例如，您可能會在一個類別中得到幾個意義相同的名稱，例如「雜貨」、「雜貨店」、「食品雜貨」。另一個例子可能是欄中使用的度量單位不同。當您將其加總時，儀表板上呈現的值就會錯誤。
清理資料消除了這些風險，確保資料的一致性。
資料準備的 5 個步驟
識別您的視覺化需要哪些資料。 首先，您必須確定您知道建立有洞察力且有價值的視覺化需要哪些資料。
確保您可以存取所需的資料。 下一步是確保您可以存取包含您之前識別的資料的所有資料庫和檔案。必須採取適當的安全措施，以防止任何資料外洩和未經授權的存取。
檢查資料品質並清理您的資料。 接下來，您必須識別資料中的所有問題 — 空值、重複項、欄位錯誤。下一步是修正這些問題，這可以透過以下方式達成
- 處理遺失值；
- 篩選離群值和異常值；
- 將資料轉換為通用格式；
- 將欄位變更為一致的資料類型；
轉換資料。 清理資料後，您可以使用合併 (join) 和附加 (union) 等操作來轉換資料。此外，重塑和資料彙總有助於您根據最相關的欄位來彙總資料。
載入資料。 最後，您會得到建立正確視覺化所需的高品質資料。然後需要將其載入到選定的 BI 工具可輕鬆存取的目的地。