イノベーション事業部の山です。
技術者向きなニュースや技術に関するあれこれを発信するエンジニアブログ、第39回目となります。
今回はAI言語モデルの1つである「PaLM 2」についてご紹介します。
「PaLM(Pathways Language Model)」について第35回のブログでご紹介しました。
「PaLM 2」は「PaLM」を発展させたもので、多言語、推論、およびコーディング機能が向上した最先端の言語モデルです。
・多言語
「PaLM 2」は100以上の言語にわたる多言語テキストに、より重点をおいて学習しています。
そのため、慣用句、詩、なぞなぞなど、ニュアンスを含む表現を数多くの言語で
理解、生成、翻訳するという難しい問題に対する性能が大幅に向上しました。
・推論
「PaLM 2」で学習に利用した広範なデータセットには、数式を含む科学論文やウェブページが含まれています。
その結果、ロジック、常識に基づく推論、数学に関する能力が向上しています。
・コーディング
「PaLM 2」は、公開されている大量のソースコードデータセットで事前学習しています。
結果として、PythonやJavaScriptなどのよく使われるプログラミング言語だけでなく、
Prolog、Fortran、Verilogなどの言語でコードを生成することもできます。
また、「PaLM 2」の言語モデルは用途に応じて、Gecko、Otter、Bison、Unicorn という4種類が用意されています。
最も軽量なGeckoは非常に軽量なためモバイル端末で動作させることも可能となります。
この汎用性のおかげで、「PaLM 2」は幅広い製品をカバーする形でファインチューニングすることができ、
より多様な形でより多くの方の役に立つことができます。
「PaLM」は2022年4月に発表され、「PaLM 2」は2023年5月に発表されました。
1年しか経っていないのにどんどん進化していく技術には驚かされますね！
それでは次回をお楽しみに！
