什麼是數據目錄？
自從我加入 Meisterlabs 擔任數據工程師以來，我很快意識到讓新成員加入數據團隊有多麼困難。有太多的表格、定義或系統在運行，很難追蹤所有這些。
數據目錄在此時發揮作用。它是什麼？它是一個有組織的公司數據資產庫存，可讓您索引、理解和依賴您管理的數據資產。
擁有數據目錄非常重要，但許多公司沒有。
我喜歡將公司擁有數據目錄比作人體鍛煉。很多人都知道鍛煉對你的健康有益，但由於沒有立即的效果，很難理解你願意投入多少努力來開始這樣做。數據目錄也是如此。如果您不知道從中提取什麼，您就不會進行投資。
入門相當困難，而且等待的時間越長，難度就越高，因為您有更多的數據需要記錄。
最後但並非最不重要的一點是，不使用某些工具的主要問題是，在您擁有它之前，您不知道自己錯過了什麼。想像一下印刷機發明之前的時代，您怎麼會知道其他人是如何做您想學習的事情的？此外，您將如何與其他人分享相同的資訊？
既然我們生活在數位資訊存在的時代，我們就無法想像沒有數位資訊的生活。
擁有數據目錄有什麼好處？
在發現並實施數據目錄後，我們已經看到了這個工具所能提供的所有好處。
以下您可以找到數據目錄為我們提供的好處列表
可發現性： 當您聘請數據團隊的新成員（或當您組織中的另一個團隊需要有關數據的一些資訊時），提供他們一個像搜尋引擎這樣的工具來指向正確的數據源會容易得多。
數據治理： 您可以定義組織中哪些特定人員可以管理數據集中的哪些表格、視圖，甚至特定欄位。請注意，數據存取的實際配置需要在數據源本身中完成。
可靠性： 當組織中的人員更容易存取和理解數據時，它會產生透明度。而透明度建立信任。
新鮮度： 讓利害關係人隨時了解最新情況，並讓他們知道您的數據是否符合 SLA。
關聯性： 有些數據目錄允許您建立數據的沿襲視圖。它們還將您的數據視覺化工具與底層 SQL 請求連接起來，以便您可以查看您的數據被聯結和操作的頻率。
目的： 透過建立「數據字典」，您可以讓人員快速了解最初創建某些數據集的原因以及現在如何使用它們。
合規性： 如果您知道哪些表格具有隱私敏感資訊，則更容易協助利害關係人（例如產品團隊或法律部門）保證數據符合當地法規（如 RGPD）。
如何選擇數據目錄？
如果您和您的公司已經達到了解數據目錄好處的階段，那麼重要的是選擇正確的標準，以便從現有的多種選項中選擇一個。
以下是我們在 Meister 使用的標準
定價： 您為什麼付費？這與您的數據結構高度相關。如果是開放原始碼替代方案，您需要預期內部資源（工程師/時間）來設定和維護基礎架構。
必備功能： 在我們的案例中，沿襲或數據新鮮度是數據目錄的必備功能。
投資報酬率： 一個被忽略的項目是投資報酬率。我建議您盡快問自己這個問題。這將定義您願意投入選擇的時間和金錢量。您花費多少時間尋找數據目錄擁有的資訊？這非常重要，但也很難估計。例如，當您讓新的數據分析師加入時，他/她花費多少時間來理解公司的數據資產？另一個例子是公司兩個部門對「客戶」或「每月收入」沒有相同定義的後果。
互操作性： 另一個要素是數據目錄與您公司使用的不同工具的互連程度。人們討厭在許多不同的系統中寫入相同的資訊。您的數據目錄應與您的其他工具溝通。例如，如果您使用 Metabase，您的數據目錄應該能夠恢復查詢和儀表板的使用情況。
使用者體驗： 操作數據目錄有多容易？
接下來是什麼？
即使在您做出選擇並開始使用數據目錄後，您也需要知道該工具的好處與您花費在使用它的時間相關。重要的是您接受它並相應地計劃。