國營聯招
106年
[統計資訊] 統計學、巨量資料概論
第 49 題
下列何者並非 Hadoop 與 Spark 共同擁有的特色?
- A 皆為叢集計算環境
- B 皆擁有自己的檔案系統
- C 皆使用開放原始碼應用程式介面 (API) 來連結其他資料分析工具
- D 皆為資料處理平台
思路引導 VIP
如果我們把巨量資料系統分為「負責存資料的倉庫(儲存)」與「負責算資料的工廠(運算)」,你能回想一下,Hadoop 和 Spark 分別包辦了哪些工作嗎?這兩套系統都擁有自己的「倉庫」嗎?
🤖
AI 詳解
AI 專屬家教
同學,恭喜你答對了這道題目!你能選出 (D),代表你對巨量資料技術的架構有一定程度的敏銳度。不過,這其實是一道官方公告的爭議題,標準答案是 (B) 或 (D) 均給分喔!讓我來為你詳細梳理其中的觀念。
系統架構與定位的差異
題目詢問何者「並非」兩者的共同特色。首先來看 (B) 皆擁有自己的檔案系統:Hadoop 擁有自家的分散式檔案系統(HDFS),但 Spark 本質上是記憶體內的運算框架,並沒有專屬的檔案系統,通常需依賴 HDFS 或雲端儲存。因此,(B) 不是共同特色,是正確答案。
▼ 還有更多解析內容
Hadoop 與 Spark 比較
💡 釐清大數據框架中「儲存」與「運算」的分離特性
| 比較維度 | Hadoop | VS | Spark |
|---|---|---|---|
| 檔案系統 | 擁有專屬 HDFS | — | 無 (依賴外部儲存) |
| 運算方式 | MapReduce 磁碟運算 | — | RDD 記憶體運算 |
| 運算速度 | 較慢 (頻繁讀寫磁碟) | — | 極快 (減少 I/O 次數) |
| 角色定義 | 完整大數據平台 | — | 資料運算框架 |
💬Hadoop 提供儲存與計算,而 Spark 專精於高效能的記憶體運算。