現今，一般公司的每個部門都處理資料。這些部門使用的每種工具也是如此。無論您處理的是廣告活動、產品分析工具或當機記錄工具，都有一件事很清楚：您有大量可供挖掘的實用資料。

但是，當您的每個資料集都位於不同的工具中時，您該怎麼辦？如果可以將所有資料集中在一個地方，以便您可以將它們結合在一起、執行 SQL 和建立儀表板，這樣不是更輕鬆嗎？

我們將討論將所有資料整合到一個地方的最常見方法，並從成本、工程資源和一般多功能性的角度評估每種方法。

將所有資料集中在一個地方的最常見方法

資料倉儲是一種專門用於分析目的的資料庫。您的產品不會在它上面運行，但您的企業可以使用它來建立所有查詢和儀表板。倉儲讓您可以進行快速分析，而無需查詢您的產品資料庫，這可能會導致您的產品速度變慢。常用資料倉儲的範例包括 Redshift (AWS 的一部分)、BigQuery (Google Cloud 的一部分) 和 Snowflake。

直接整合

許多工具都提供與資料倉儲或 BI 工具的直接整合。例如，Mixpanel 有一個「資料管線」附加元件，可讓您輕鬆將其所有資料匯出到您選擇的倉儲。客戶資料平台工具 Segment 將資料倉儲作為您可以傳送所有擷取資料的可能目的地。因此，如果您希望將多個工具的資料放入一個位置，請先檢查看看是否有任何或所有工具都與您的倉儲或 BI 工具建立了內建整合。

直接整合通常非常快速，而且成本也不高 (有些工具免費提供)，但缺點是它們的多功能性不高。只有一小部分工具提供此類整合，因此如果您需要的工具未提供，您就沒辦法了。

ETL 工具

多年來，從多個來源整合資料一直是公司的長期需求，這耗費了公司大量的時間和金錢，這就是為什麼近年來我們出現了一整類專門為以無程式碼方式處理此需求而建置的工具。這些工具通常稱為「ETL 工具」；一些範例包括 Fivetran、Hevo 和 Stitch。

ETL 工具擁有一組針對「來源」和「目的地」的預先建置整合。「來源」是指任何資料來源，例如行銷分析或產品分析工具，顧名思義。「目的地」是指將從來源取得的資料存放到的任何位置，通常是資料倉儲。

ETL 工具的好處是它們是無程式碼的。您通常可以在幾分鐘內設定好管線，然後監控管線的效能。ETL 工具為您節省了大量的時間和資源，而且它們的管線始終具有高品質。缺點是如果您的資料量非常大，它們可能會非常昂貴。但對於大多數新創公司而言，您每月只需花費約 200-300 美元即可使用 ETL 工具。它們的其他限制是選擇：您只能將這些工具用於工具支援的資料來源和目的地。因此，在您決定使用 ETL 工具之前，請先查看它們的整合清單，以確保您的工具已涵蓋在其中。

總而言之，ETL 工具佔用的工程資源非常少，而且通常非常通用。它們唯一的缺點是在資料量大的情況下成本很高。

自訂腳本

最後但並非最不重要的是，我們擁有移動資料的最經得起時間考驗的方法：自訂腳本。幾乎每個工具都提供可用於匯出/匯入資料的 API。因此，如果您的工具未提供自己的整合，而且您的 ETL 工具也未涵蓋它，那麼您始終可以編寫一個腳本，透過其 API 將資料匯出到您選擇的目的地。

通常，這些類型的腳本是用 Python 或 JavaScript 編寫的，並且設定為定期執行。它們的頻率取決於您的需求，通常是每天。

自訂腳本是最通用的，也是所有選項中最便宜的，就您必須直接支付才能啟動並運作系統的金額而言，但它們佔用了最多的工程資源。這似乎是一個很有吸引力的權衡，但在我的經驗中，團隊往往低估了建置和維護腳本所涉及的工作。因此，只有在您的工程團隊有頻寬且已嘗試上述其他選項後，才繼續使用此方法。

您應該採取哪種方法？

您如何處理這個問題取決於您的資料來源、您的工程資源和您的財務資源。在許多情況下，一家公司最終會結合使用上述所有方法。但在您開始使用任何這些方法之前，請確保您檢查以查看相關資料來源是否適合您選擇的方法：它們是否與您的 ETL 工具整合？它們是否提供良好的 API？此外，請確保您有資源來實施該解決方案。