普考申論題
107年
[圖書資訊管理] 資訊系統與資訊檢索概要
第 二 題
📖 題組：
假設某機構擬針對其一萬筆文件分成 10 個主題類別（假設每篇文件僅能屬於某一主題類別），以提供瀏覽或是讓使用者依類別訂閱文件（爾後有該類新文件，會自動派送給使用者）。受限於人力時間，僅有 4000 篇被人工分類，各類別的篇數如下表第二列所示。該機構擬採購文件自動分類系統，評估了 X 與 Y 兩套系統，其中 X 系統可正確分類的類別與篇數分布如下表第三列，而 Y 系統可正確分類的類別與篇數分布如下表第四列。請問： (一)X 與 Y 系統分類 4000 篇文件的正確率，各是多少？（5 分） (二)X 與 Y 系統在各類別上的平均分類正確率，各是多少？（5 分） (三)若要選一個系統，讓使用者依類別訂閱文件，應該選那一個比較好，為什麼？（7 分） (四)若要選一個系統，把剩下的 6000 篇文件自動分類完，應該選那一個比較好，為什麼？（8 分） 表格數據： 類別 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 篇數 | 2000 | 1000 | 300 | 200 | 100 | 100 | 100 | 100 | 50 | 50 X 系統正確篇數 | 1600 | 800 | 180 | 70 | 50 | 40 | 30 | 20 | 5 | 5 Y 系統正確篇數 | 1000 | 500 | 180 | 120 | 80 | 80 | 80 | 80 | 40 | 40
假設某機構擬針對其一萬筆文件分成 10 個主題類別（假設每篇文件僅能屬於某一主題類別），以提供瀏覽或是讓使用者依類別訂閱文件（爾後有該類新文件，會自動派送給使用者）。受限於人力時間，僅有 4000 篇被人工分類，各類別的篇數如下表第二列所示。該機構擬採購文件自動分類系統，評估了 X 與 Y 兩套系統，其中 X 系統可正確分類的類別與篇數分布如下表第三列，而 Y 系統可正確分類的類別與篇數分布如下表第四列。請問： (一)X 與 Y 系統分類 4000 篇文件的正確率，各是多少？（5 分） (二)X 與 Y 系統在各類別上的平均分類正確率，各是多少？（5 分） (三)若要選一個系統，讓使用者依類別訂閱文件，應該選那一個比較好，為什麼？（7 分） (四)若要選一個系統，把剩下的 6000 篇文件自動分類完，應該選那一個比較好，為什麼？（8 分） 表格數據： 類別 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 篇數 | 2000 | 1000 | 300 | 200 | 100 | 100 | 100 | 100 | 50 | 50 X 系統正確篇數 | 1600 | 800 | 180 | 70 | 50 | 40 | 30 | 20 | 5 | 5 Y 系統正確篇數 | 1000 | 500 | 180 | 120 | 80 | 80 | 80 | 80 | 40 | 40
📝 此題為申論題，共 4 小題
小題 (二)
X 與 Y 系統在各類別上的平均分類正確率，各是多少？（5 分）
思路引導 VIP
這是在計算「總體類別的平均正確率」（Macro-averaged Accuracy）。先算每一類的正確率，加總後除以 10 個類別。
小題 (一)
X 與 Y 系統分類 4000 篇文件的正確率，各是多少？（5 分）
思路引導 VIP
這是在計算「微平均正確率」（Micro-averaged Accuracy）。將系統正確的總篇數除以總測試篇數（4000）。
小題 (三)
若要選一個系統，讓使用者依類別訂閱文件，應該選那一個比較好，為什麼？（7 分）
思路引導 VIP
訂閱服務通常涉及「所有」類別，使用者關心的是他訂閱的那一類準不準。如果某一類非常不準，該類的訂閱者會很不滿意。這題要比較 X 與 Y 在小類別的表現。
小題 (四)
若要選一個系統，把剩下的 6000 篇文件自動分類完，應該選那一個比較好，為什麼？（8 分）
思路引導 VIP
處理剩下的文件，核心目標通常是「極大化正確篇數」。如果 6000 篇的分佈與 4000 篇一致，則應該看整體的 Micro-average。