第1回:チャットボットを超えて - LLMの解剖学
O
Oiyo Contributor
1. AIはどう「考える」のか?
(LLMの解剖学)
私たちが毎日使っているChatGPTやClaudeのようなサービスの裏側には、**大規模言語モデル(LLM, Large Language Model)**という巨大な確率地図が入っています。
次トークン予測 (Next Token Prediction)
AIの動作原理は驚くほど単純です。
「与えられた文脈の次に続く最も確率の高い 単語(トークン) を探すこと」
例えば、「海に遊びに……」という文章が与えられると、AIは次に続く単語として 「行こう」 、 「行きたい」 、 「行った」 などの確率を計算します。数兆個のパラメータを持つモデルは、この確率を非常に精巧に計算し、人間のように自然な文章を作り出します。
🤖 AI Prompt Playground (Interactive Module Placeholder)
2. トークン(Token):AIの言語単位
AIはテキストを文字単位や単語単位で読まず、 トークン(Token) という単位に分割して理解します。
- 英語の場合、平均的に1単語=1.3トークン程度です。
- 言語やアーキテクチャによってトークンの効率は異なります。
3. プロンプト工学が重要な理由
AIは文脈(Context)に非常に依存します。
- 曖昧な質問: AIにあまりに多くの確率的選択肢を与えてしまいます。結果が毎回変わったり、曖昧になったりします。
- 構造化された質問: AIの確率地図を狭めることで、私たちが望む正確な回答経路を辿らせることができます。
今日の実習 普段AIに投げかけている質問の中で、最も結果が良くなかったものを選んでみてください。その質問に [役割] 、 [制約事項] 、 [出力形式] を追加して再質問してみましょう。AIの応答がいかに変化するか確認してください。