chatgptへの質問は背景情報　条件情報　オープン・クローズ情報をうまく使って希望する答えを引き出す。

GPTを支える技術はdeep　learningと距離から単語同士の関係をつかむtransformer
transformerは単語をベクトルに変換し内積計算で単語同士の距離を計算し、意味が近いほど距離は小さくなる。単語は５万元のベクトルに変換されている。長い文章の離れた位置の単語同士の意味の結びつきを見抜ける。

事前学習とファインチューニング

ファインチューニングは教師あり、報酬モデル、強化学習のステップで行う。