有效且快樂的資料團隊的建立與擴展建議

太多公司對數據職位的期望超出其能力範圍。新創公司的數據分析師被期望修復管線和數據倉儲，或者單獨聘請數據工程師來控制公司難以駕馭的現代數據堆疊，這樣的故事並不少見。

每間公司的數據仍然一團糟嗎？
作者 u/Reddit_Account_C-137 於 dataengineering

有時人們不太了解數據團隊面臨的挑戰，以及他們如何完成工作。但更重要的是，他們為公司帶來的價值。

如果您是數據團隊的一員，您可能知道這種感受。但如果您領導數據團隊或公司，則很難在問題失控之前發現它。

我們可以深入探討公司為何讓其數據團隊失敗的具體原因。但相反，我們從自己的數據團隊和網路上的數據專家那裡收集了寶貴的回饋，以便在建立或擴展團隊時，就如何應對這些問題提供建議。

在收集數據之前，先釐清並理解業務問題

如果沒有正確的數據，您將無法解決問題。釐清您想從數據中獲得哪些問題和價值，將有助於避免常見的浪費性錯誤，例如投資不必要的工具或基礎架構，或收集大量錯誤的數據。

有些數據團隊沒有被告知要關注哪些業務問題，或者公司為何要收集數據，這使得數據職位無法有效率地工作。這可能是人員流動的原因之一。

如果您領導數據團隊或公司，請向任何數據職位的人員詳細說明業務問題。與團隊合作解釋您收集和使用數據的願景。沒有這些資訊，他們將無法幫助您。而且，在進一步擴大團隊之前，向現有員工釐清這一點至關重要。自 2020 年以來，各種規模公司的離職率一直在上升。

如果您是數據團隊的一員，並且無法總結您為何收集和處理特定數據的原因，請要求管理階層釐清業務問題以及他們收集和使用數據的想法。如果他們沒有答案或時間，這可能表示公司沒有足夠的結構來支持數據文化、您的職位或數據團隊。

了解每個數據職位的優勢並據此分配工作量

不設定數據職位的期望可能會導致高人員流動率。如果您在一家較小的公司或新創公司工作，您在預算和團隊規模等方面可能有限制，這使得職位範圍難以界定。

但是，您需要設定每個職位的上限，以避免未來倦怠和人員流失，這可能會對您的團隊或公司產生持久的影響。

在您創建新的數據團隊職位描述，或擴展和晉升您的團隊之前，您應該清楚了解覆蓋範圍的差距。找出每個數據職位的上限，並以這種方式填補差距。

職位的範圍不需要定義得如此明確，以至於數據分析師永遠不能從事他們感興趣的其他事情，但您需要為團隊的工作設定實際的界線。否則，大家都會爭先恐後地填補覆蓋範圍的差距，這是導致倦怠的最快途徑。

讓我們分解一些更常見的數據團隊職位，以及它們的優勢，以便更清楚地了解如何在不要求過多的情況下界定需求範圍。

分析工程師可以是建立數據文化的良好起點

如果您是一家規模較小的公司，希望建立數據文化，則分析工程師可以幫助清除數據團隊在實施新的數據架構和流程時遇到的大部分早期障礙。

分析工程師具備彌合業務需求和團隊需求之間差距的技能。適合這項任務的數據工程師將能夠強調核心軟體技能，但同時具備通才態度和對業務需求的深刻理解。

一旦您有了數據工程師，並轉向需要建立自訂數據管線或優化效能的階段，數據工程師就可以提供協助。

數據工程師可以提供專業的基礎架構，同時領導數據治理

自 Hadoop 時代以來，數據工程師的角色發生了很大變化。公共雲改變了我們看待數據架構的方式，因此今天的許多數據工程師都被期望遵循傳統的 SWE 最佳實踐，而不是數據可觀測性的最佳實踐。這可能成為挫敗感的來源。

為了避免這種情況，請了解數據工程師通常負責將原始數據儲存在適當的數據倉儲中，然後為其他工程師（例如分析工程師）提供基礎架構和工具，以將數據轉換為模型。他們還可以透過執行資料庫和結構描述調整來負責優化數據模型的儲存和查詢。

數據工程師透過新增從 API 等來源引入數據的新管線來確保數據的完整性和合規性，並且可以修剪不再需要維護的過時管線。這就是為什麼如果您正在尋找一些數據治理，他們是您團隊的完美補充。

借助數據工程師建立的架構和一些建模數據，數據分析師可以幫助您從數據中提取意義，開始制定業務決策。

如果您給予數據分析師空間，他們可以幫助做出明智的決策

數據分析師處理複雜的業務問題。他們是從您的數據中找出真相，並使用證據幫助您做出決策的關鍵。

鼓勵分析師離職的一個好方法是聘請他們從頭開始數據計畫，或者讓他們承擔像建立數據架構這樣的大型任務而感到不知所措。初級數據分析師市場可能非常飽和，因此規模較小的公司很容易犯錯，聘請一位雄心勃勃的分析師，並期望他們從事工程工作。避免這種情況，讓您的分析師專注於數據分析。

數據分析師的優勢在於他們能夠看到和追蹤模式。如果您給予他們空間專注於此，您的整個公司將能更好地從不同的角度（包括客戶的角度）理解數據。

如果您希望擴展到更大的數據專案，例如計算未來預測或 ML 或 AI，數據科學家可以提供協助。

數據科學家將領域知識與其技術經驗相結合，以建模和驗證數據

數據科學家可能是最被誤解和爭議的角色。他們是否需要與數據工程師相同程度的深入工程知識？某些公司聘請數據科學家是否僅僅因為「這是應該做的事情」？很難回答圍繞數據科學家角色的問題，因為它在不同產業之間可能差異很大。

但是，一般來說，數據科學家的角色與數據分析師的角色並行，有些公司對同一個角色使用這兩個名稱。數據科學家通常是技術性更強的數據分析師版本，在建模和實驗（例如機器學習）方面擁有更多經驗。

分析師傾向於關注理解歷史（例如，六月份的客戶註冊發生了什麼？），而數據科學家傾向於關注建立模型以預測未來（例如，假設我們知道 X，我們可以創建一個模型來預測我們應該聯繫哪些潛在客戶，以及我們應該關注哪些市場）。

數據科學家的優勢，例如清理和預處理數據、評估、創建和維護模型以及驗證數據的能力，可以讓他們與多個利害關係人合作，從產品和工程部門到財務和業務領導階層。

隨著您的團隊持續成長，接下來該怎麼做實際上取決於需求，但如果您擴展到更大的公司，則在某個時候應考慮與其他團隊合作。

隨著您的成長，數據職位應與其他團隊合作

當公司規模較小時，數據團隊往往更集中或作為一個團隊工作。隨著您的成長，分散某些職位及其工作將變得更加重要。

數據工程師和分析工程師幾乎總是集中管理，而數據分析師和科學家通常會隨著公司規模擴大而變得更加分散。這是因為數據分析師和科學家需要與其他人互動以獲得領域知識，並且經常需要在數據差異和問題發生時可用。

在這個階段，這些職位越接近其領域，他們的工作就會越好。例如，如果數據分析師的領域是特定類型的產品，您的產品、設計和工程團隊將對客戶有很多有價值的見解。讓他們與這些團隊合作，以便緊密且有效率地協同工作。

持續朝著讓整個公司都能使用數據的方向邁進

隨著您的擴展，自助式分析可以減輕數據團隊的一些負擔。致力於提高公司層級的數據素養，以便每個人都可以學習和欣賞使用數據，並專注於簡化臨時請求的方法，以避免倦怠。

最重要的是，追蹤圍繞數據職位和流程的內部數據點。數據團隊的回饋非常寶貴。傾聽他們的意見，並努力改善環境。這將對您公司的數據文化產生最大的影響。