新創公司常犯的十大分析錯誤

在引導啟動分析時,您將會犯錯。以下是如何減少錯誤的方法。

本文涵蓋新創公司在將資料應用於決策制定時常犯的十個錯誤。這些是許多善意人士會發現自己身處的情況,而檢視這些情況的目的不是要貶低自己,而是要加強在您的(以及您組織的)決策制定過程中保持自覺的必要性,並不斷努力改進。我們在管理您的資訊預算中涵蓋了更多關於決策制定的內容。

1. 混淆相關性和因果關係

是的,您已經知道它了,但仍然很容易犯錯。當探索歷史資料,或者沒有明確的假設要證偽時,混淆相關性和因果關係尤其危險。最好將過去發生的任何常見模式視為暗示因果關係,而不是在證明之前視為原因。

2. 期望資料能為您提供您無法提出的問題的答案

太多公司認為他們可以只收集資料,使用最新的潮流技術,並聘請昂貴的資料科學家/分析師/MBA 來弄清楚他們的業務。現實情況是,您的商業智慧的品質與您的組織能夠多好地闡明需要回答的問題成正比。更多資料和有才華的資料分析師可以為具有明確決策和產品流程的組織提供超能力,但加倍投入大數據不會成為拯救缺乏焦點的組織的奇蹟。

3. 尋找資料來支持您已經做出的決定

當您(或團隊中的其他人)已經下定決心時,走過收集資料、分析資料和做出決定的過程是很常見的。相反,您應該制定假設,看看您是否可以證偽它們,並在資料朝另一個方向發展時更新您的觀點。

4. 撈取正面資訊

尋找資料以支持決策的一個子集:尋找資料以支持美好的前景。總有一些東西正在向上發展,即使是在病入膏肓的公司中也是如此。如果您認為重要的所有指標都在走下坡路,請避免尋找講述更美好故事的指標的誘惑。

5. 期望結果過於清晰

即使您看過很多動作片,當您觀看一場實際拳擊比賽時,您可能也無法理解太多。如果您習慣於看到精心設計的打鬥序列,從完美的角度拍攝,並具有完美的照明和剪輯,那麼現實生活中打鬥的混亂和速度可能會令人困惑。

對於習慣於 MBA 課程或高度理想化的部落格文章的人們來說,當他們在現實生活中遇到量化決策制定時,情況也是如此。在現實世界中,效果可能很小、混亂且多模式(我們將在下面討論平均值的陷阱)。您需要使用您擁有的資料,而不是您想像中的完美資料。

6. 期望透過 A/B 測試走向成功

雖然仔細計畫、良好運作的 A/B 測試可以改變一家公司,但它們也經常導致原地打轉。在您開始 A/B 測試之前,請確保您知道什麼是顯著的結果。不要在其中一個選項似乎表現更好時立即停止測試,並且始終包含一個對照組。並且效果越小,您需要的用戶數量就越多。如果您每月只有 1 萬名活躍用戶,您最好延遲任何形式的 A/B 測試,直到您有更多可以測試的對象。

此外,A/B 測試不會為您確定最佳產品功能或廣告文案。結果僅與您測試的選項一樣好,並且結果對初始設計的優劣非常敏感。不要讓「我們將 A/B 測試」成為關閉決定您的產品實際是什麼的過程的口頭禪。A/B 測試最好用於添加最後一點潤飾。

7. 使用錯誤的時間週期

如果您的客戶以多個月的時間範圍進行購買,並且您的產品週期以兩週的衝刺週期移動,則您不需要即時分析。同樣地,如果您嘗試診斷網路營運中的錯誤,而停機成本以每分鐘數千萬美元衡量,那麼您最好不要查看每小時圖表。將報告時間週期與您的決策制定的自然時間週期聯繫起來非常重要。如果您以過於精細的時間週期查看您的資料,您最終會變得焦躁不安,並在決策之間來回切換。如果您使用過大的時間週期,您將永遠落後三步。

8. 只看平均值

平均值是隱藏令人不安真相的好地方。如果您只使用跨越自然管道和付費管道的混合平均值,您最終可能會忽略您的付費獲取管道正變得難以持續的事實。如果您查看所有網頁的平均延遲,您可能不會注意到您最重要的網頁隨著時間的推移而變慢。作為規則,當平均值告訴您情況正在惡化時,就該擔心了。當平均值告訴您情況看起來不錯時,就該深入挖掘了。

當您將資料分解為直方圖時,大多數受平均值啟發的錯覺都會消失。例如,當您按管道細分成本時,關於客戶獲取平均成本的美好預測可能會消失。

9. 專注於總數而不是變化率

每個人都喜歡向上和向右移動的圖表。「註冊總數」、「累積收入」和「商品銷售總價值」可以成為良好的新聞稿,但在大多數情況下,您應該查看變化率,甚至可能是該比率的成長率。如果指標所攜帶的 95% 的資訊與數月或數年前發生的事件有關,這是否有助於您評估您今天的表現?或者明天的情況會如何?

10. 不評估決策的結果

在做出重大決策之前,想要收集大量資訊是很常見的。但是,一旦您做出決定,並且結果開始慢慢顯現,就很容易假設事情進展順利。糟糕的決策是不可避免的,但是您不接受和糾正的糟糕決策最終會對您造成最大的傷害。最好立即了解您做出了錯誤的決定,而不是發現您已經錯了好幾個月。

下一步:嵌入式分析五階段

所以您想將資料放在您的客戶面前... 但代價是什麼?

下一篇文章