GPT-3について考えてみる
OpenAIが開発している、「Generative Pretrained Transformer」の『文章生成言語モデル』で、３番目のバージョンです。
「文章生成言語モデル」とは、人の自然言語を使い指示を与えると、その意図に近い形でアウトプットを得られるAIということです。
このAIは、基本的には、文章をアウトプットが最大の特徴ですが、その応用として、プログラムのソースコード/音楽/画像などの自動生成も行える可能性を備えています。
この情報に触れ、そのデモを友人に体験させてもらうと、その出力される文章の出来のすばらしさに、驚きを感じました。
そのことを発端に、GPT-3をメタバース内の自動応答を行うオブジェクトへの利用ができるのではないか？
さらには、アバターの姿をしたBOTを作ってみたいと思うようになり、このテーマに取り組もうと考えました。
集めた情報を自分なりに解釈を踏まえて、整理していきたいと思います。
GPT-3とは…
GPT-3は、OpenAIが開発した、ラメータを使用した『文章生成言語モデル』AI機能です。
GPT(2018/6/11 1.x億パラメータ) ～ GPT-2(2019/2/14 15億パラメータ) ～ GPT-3(2020/5/28 1750億パラメータ)へとパラメータが拡張してきた経緯があります。
GPT-2の登場した頃、生成された文章の精度があまりにも高精度なため、生成文章が、AIが生成したとは気づかないということで、危険な技術とも評されたようです。
GPTの文章生成の考え方は、元の文章をインプットとして、その続きになる可能性のある単語や文章を予想するというものだそうです。
危険な技術と思われた理由は、インターネットなどにある大量な情報を学習した結果、もっともらしい文章を大量に生成できてしまい、その生成された文章が、インターネットに拡散される可能性にあるようです。
インターネット上の情報が、GPTによりどんどんバイアスがかかるようになると、何が本当なのか、人間にも判断できない状況になってしまうという懸念ということです。
ついに、GPT-3がが、パラメータが、1750億個という、天文学的数の学習結果が結実したといえます。
GPTのコードがOSSであったとしても、膨大な学習を行いモデルを作るには、これまた、膨大な時間とコストが必要となりますので、GPT-3を自分で作りだすことは、大きなハードルがあるということです。
これほどの情報から学習したGPT-3であっても、「人の言葉を理解していることはない」ということが最大のポイントです。
つまり、出来上がった文章は、内容として整合性が取れているとは限らないということで、それらしい文章であるが、本当に正しいことを述べているわけではないということです。
GPT-3の使いどころ…
引き続き、この点を調べてから、情報をUpateしていきますので、お待ちください。