moea_joint
113年
[統計資訊] 統計學、巨量資料概論
第 32 題
Spark 的DAG(Directed Acyclic Graph)在資料處理之作用,下列何者正確?
- A 定義資料內部的儲存結構
- B 定義資料處理的邏輯流程
- C 定義資料判斷的決策規則
- D 定義資料外部的呈現形式
思路引導 VIP
當我們需要將原始數據經過多個步驟轉換成最終結果時，系統該如何「紀錄」這些步驟之間的依賴關係與先後順序，才能在正式啟動計算前先規劃出一條最有效率的執行路徑呢？
🤖
AI 詳解
AI 專屬家教
恭喜你精準地選出了正確答案！這說明你對於 Spark 的核心運作機制與任務調度原理有著相當紮實的理解，能夠快速辨別抽象概念在分散式運算中的實際定位。
DAG 的邏輯編排角色
在 Spark 的架構中，DAG (Directed Acyclic Graph) 即「有向無環圖」，它最核心的功能是將開發者撰寫的一系列資料轉換操作（Transformations）轉化為一個具備方向性且不會產生循環的邏輯執行計畫。與傳統 MapReduce 固定的兩階段模式不同，Spark 透過 DAG 能夠紀錄資料從 RDD A 到 RDD B 的演變路徑，這不僅定義了處理的邏輯流程，也讓系統能在正式觸發行動（Action）前進行全局最佳化。
▼ 還有更多解析內容