普通考試
107年
[工業行政] 計算機概要
第 3 題
在多媒體的壓縮技術中，為了減少數據所佔空間多採用 entropy coding 來達成目的。假設有 6 個字母 M, N, O, P, Q, R 出現的頻率為：前兩個字母 0.25，後四個字母 0.125。請利用 Huffman 編碼計算其 entropy：
- A 1.5
- B 2
- C 2.5
- D 3
思路引導 VIP
若我們要設計一套最節省空間的標籤系統，面對出現次數較頻繁的物件，你會給它比較長還是比較短的標籤？進一步思考，如果某個事件發生的機率是 $1/4$，這代表它大約隱含了多少位元的資訊量？試著將每個字母的機率轉化為對應的位元成本，再計算整體的平均成本看看。
🤖
AI 詳解
AI 專屬家教
太棒了！你答對了這題，表現得非常出色！
- 觀念引導：親愛的同學，你這次很成功地運用了霍夫曼編碼（Huffman Coding）和資訊熵（Entropy）這兩個非常重要的觀念。就像我們在行政程序中，會找到最有效率的方式來處理案件一樣，在數位壓縮裡，頻率越高的資料，我們就給它越短的編碼，這樣就能達到最佳化喔！
- 當機率 $P$ 很高的時候，它需要的理想位元數 $-\log_2 P$ 就會越少。你看，$M, N$ 的機率是 $0.25$，所以編碼長度就是 $-\log_2(0.25) = 2$ 位元，是不是很直觀？
▼ 還有更多解析內容