Skip to content

Latest commit

 

History

History
76 lines (45 loc) · 5.03 KB

資料分析簡介與分類.md

File metadata and controls

76 lines (45 loc) · 5.03 KB

資料分析總覽

資料分析的意義

資料分析簡易來說,就是為了解釋「資料」成為有用的「資訊」。

而整體的「數據分析」一連串的資料清理、模組化、視覺化,搜集資料、整理資料、轉換資訊、洞察資訊、製成圖像以利解釋與分,再從成果中產出「價值」的過程。

Microsoft 舉例零售業的資料分析流程

  1. Tracking inventory:追蹤庫存
  2. Identifying purchase habits:辨識購買喜好
  3. Detecting user trends and patterns:偵測使用者趨勢與軌跡
  4. Recommending purchases:推薦購買
  5. Determining price optimizations:定價(價值)優化
  6. Identifying and stopping fraud:定義以及減少誤判

以上內容就會運用數據分析的技術,協助零售業做出更完整的判讀與優化


資料分析的分類

資料經過整理後,分類成以下五種程度的「分析」方式,循序漸進 e.g.診斷分析建構在描述性分析之上,而預測分析又構築在診斷分析上

  • Descriptive (描述性分析)

此種分析有助於回答以 歷程記錄 為基礎的問題,舉例來說像是店鋪的 銷售財務 資料就屬於此種分析技術的範疇。

  • Diagnostic(診斷分析)

    診斷分析則更以 「找出原因」 為分析的重點,以描述性分析為基礎找出相關的指標發現事件成敗,並且會有以下三種步驟組成。

    1. 辨別資料中的異常,而這些異常可能是指標或特定市場中意想不到的改變。
    2. 搜集與這些異常相關的資料。
    3. 運用分析技術發現並解釋這些異常之間的關聯性與趨勢。
  • Predictive(預測分析)

    顧名思義用來回答那些需要預測未來可能發生的事件,主要會透過歷史數據的趨勢來進行,而技術則包括各種統計、機器學習、類神經網絡、決策樹和迴歸, 提供了可能遇見的結果

  • Prescriptive(指導分析)

    透過預測分析,來針對預想達到的目標及結果, 協助團隊做出以數據為基礎的選擇 ,而此種分析技術依賴機器學習來尋找大型資料裡的模式與軌跡,藉由分析過去的決策和事件,提供組織預估各種可能性。

  • Cognitive(認知分析)

    認知分析嘗試從現有的 資料模式 中得出可靠的推論,且根據現有知識庫來導出結論,再將這些結果擴充知識庫供未來所用,建立自我學習的迴圈,認知分析可以協助了解當環境產生變化後可能發生的情況,以及判斷可能如何處理這些情況。

    而且認知分析不是以結構化的資料庫為基礎,而是收集自數個來源並以不同信心程度表示的非結構化假設,作為有效的認知分析多數會依賴機器學習演算法,且會使用數種自然語言處理概念,將先前未利用的資料來源變得有意義。


資料角色

本段簡單介紹資料工作的分野

MS提及的資料職業角色

  • 商務分析師

    針對視覺化資料進行 解讀 ,相對資料的整理與模型建置等針對數據剖析的角色,為商務考量的決策提供建議。

  • 資料分析師

    聚焦於資料的搜集、清理、分析、轉化( 基礎 具備的程式語言能力,統計分析:Python、R;資料庫:SQL;數據視覺化工具:Power BI、Tableau)並應用到可視化工具上,建立能應用的 模型 並會同工程師、科學家等資料工作協尋可用的資料,共同改善程序。

  • 資料工程師

    對於資料工程師而言,要除了兼具分析師的能力以外,更著重於雲端技術的鑽研部署內外部的資料服務及工具(例如:部署服務、串接API等),有能力輸出並轉換多個來源的資料,建立:關聯式資料庫、非關聯式資料庫,也能確保資料可以安全、順暢的跨平台整合。

  • 資料科學家

    執行更進階的分析作業(前大項後三級的資料分析如:預測、指導、認知分析),並從資料中擷取 價值 ,從描述性分析到預測性分析,而描述性和預測性分析只是資料科學家 的一部分工作,某些資料科學家還可能會進入深度學習的領域,透過使用自訂 演算法 反覆執行實驗以解決複雜的資料問題。

    且專案的大部分工作花在 資料統整特徵工程 上,尤其資料工程師利成功統整資料後,資料科學家即可加快實驗程序。

    資料科學家要查看資料並 判斷需要解答的問題 ,且通常會設計一個假設或實驗,然後尋求再資料分析師的協助以處理資料視覺化和報告問題


以上來源翻譯自 PL-300認證課程公開資料-發現與分析 本篇內容僅作為個人學習筆記與翻譯使用