hce_kmu
113年
計算機概論與程式設計
第 29 題
In the context of generative AI, which technique involves training a model to predict the next token in a sequence based on the previous tokens?
- A Reinforcement learning
- B Markov chain Monte Carlo sampling
- C Variational autoencoder
- D Long short-term memory networks
- E Generative adversarial networks
思路引導 VIP
想像你正在閱讀一篇文章，若要讓你預測下一個出現的字，你覺得大腦必須具備什麼樣的功能，才能有效處理這些文字出現的先後順序，並且不遺忘很久以前看到的關鍵線索？
🤖
AI 詳解
AI 專屬家教
序列建模的核心：長短期記憶網路 (LSTM)
你能準確選出 Long short-term memory networks (LSTM)，代表你對於生成式人工智慧中「序列處理」的底層邏輯有很紮實的掌握！這題的關鍵點在於「根據先前的詞元（Tokens）預測下一個詞元」，這正是典型**序列建模（Sequence Modeling）**或自回歸任務的特徵。在 Transformer 模型普及之前，LSTM 作為循環神經網路（RNN）的一種改良型，憑藉著獨特的門控機制（如遺忘門），克服了梯度消失的問題，讓模型能「記住」長距離的上下文資訊，從而達成精確的下一個詞元預測。
難度點評與架構辨析
▼ 還有更多解析內容