【書評】『大規模言語モデルを使いこなすためのプロンプトエンジニアリングの教科書』～すぐに役立つテクニックが満載！AIの比較も楽しい一冊！

はじめに

ChatGPTを始めとする大規模言語モデルは、プログラミングのエラー解析から日常の文書作成まで、私たちの作業を大きく支援してくれるようになりました。

プロンプトエンジニアリングは、AIにどのように質問や指示を出すかによって、得られる回答の質が変わるという技術です。

また、APIやオープンソースモデルを使う利点とその使い方も詳しく説明されていて、特にコストパフォーマンスを考えたときに低コストでも高性能を引き出すプロンプトの工夫が非常に役に立ちます。

この本では、さまざまなプロンプトテクニックの紹介はもちろん、プロンプトを工夫してLLMが苦手な計算問題を解かせたり、また、ChatGPTだけでなく、GoogleのGeminiやbing（現Copilot）などのChat AIの応答比較があり、楽しかったです。また、すぐに役立つキーフレーズも豊富に書かれています。

最後に、本書で最も力が入っていたのは後半のAPIを使った実装のところで、APIを使うことにより複数のLLMを組み合わせたToTを行うなどの実装はなるほどと思いました。

クジラ飛行机さんの本全般に言えることですが、新しい技術をワクワクしながら触っている様子が伝わってきて、読んでいてとても楽しかったです。

第1章　プロンプトエンジニアリングと大規模言語モデル

この章では、大規模言語モデルの基礎知識や、プロンプトエンジニアリングを学ぶ意義について書かれていました。

プロンプトエンジニアリングの技術を活用することで、AIモデルの性能を最大限に引き出し、コストを削減し、エラーを減らすことができます。

特に、大規模言語モデルの挙動とその弱点についての部分は、私たちがデータを扱う上で非常に参考になります。例えば、モデルが生成する「ハルシネーション」や一貫性の問題など、LLMを扱う場合の注意点にも言及しています。

第2章 プロンプトエンジニアリング入門

大規模言語モデルが単語間の確率を計算して「もっともらしい」語句を選ぶプロセスは、AIのテキスト生成の基礎ですが、しかし、それが事実と異なる情報を生み出す原因にもなっていることは、注意が必要です。モデルが生成する内容がどれほどリアルに見えても、その情報の正確性や信頼性を常に検証することが重要ですね。

「temperature」というパラメータは、生成されるテキストの多様性や創造性を制御します。低い「temperature」値では予測可能な文章が、高い値では創造的な文章が生成されます。また、「top_p」パラメータも同様にテキストの多様性に影響し、確率的な選択を制限する方法で動作します。

Chat形式ではtemperatureやtop_pをプロンプトの形で与えることができます。

これにより、生成されるテキストがどのくらい予想外なものにするか調整できます。

プロンプトのQ&Aフォーマットや入力の指示を明確にするなどのテクニックは、思った通りの応答をさせるためには必要不可欠です。プロンプトを正しく設計することで、モデルの応答の精度を大幅に向上させることができます。

第3章 大規模言語モデルの基本タスク

この章では、大規模言語モデルがどのように基本的なタスクに対応しているかを学ぶことができます。特に、要約タスクにおける多様なスタイルや、それを可能にする技術的な背景が詳しく説明されています。

まず、要約タスクでは、文章の目的や対象に応じて要約の方法を変えるべきだと強調されています。これは、単に情報を短くするだけでなく、読者のニーズに合わせて内容をカスタマイズすることが重要であることを示しています。また、大規模言語モデルを使用する際の具体的なアプローチとして、文章を分割して段階的に要約する方法が提案されており、計算リソースの制限を効果的に管理する方法として示されています。

次に、推論タスクにおいては、テキスト分類や感情分析が取り上げられています。これらのタスクでは、大規模言語モデルがどのようにして広範なデータから情報を抽出し、分析するかが説明されており、AIがどれだけ高度な推論を行うかが示されています。特に、感情分析では、文章の隠れた感情を読み取ることができ、マーケティングやカスタマーサービスなど多岐にわたる分野で応用できる可能性があります。

変換タスクでは、翻訳やパラフレーズ、データ形式の変換など、言語やフォーマットを自在に操る能力が強調されています。大規模言語モデルがどのようにして多様なニーズに応えるかがよくわかります。

そして、拡張タスクでは、物語創作やプログラム生成といった、創造的な活動におけるAIの利用が探求されています。ここでのポイントは、大規模言語モデルがただ情報を処理するだけでなく、新たなアイデアや物語を生み出すことができるということです。

個人的には、AIの創造的な利用についての部分が特に興味深く、これからの展開がとても楽しみです。

第4章 Few-shot プロンプトと性能向上のテクニック

大規模言語モデルを効率的に使うための様々なプロンプトテクニックと性能向上の方法が解説されています。特に注目すべきは、Few-shotプロンプトや思考の連鎖（CoT）、自己整合性などで、推論プロセスを改善するための具体的なアプローチが豊富に紹介されています。

Few-shotプロンプトは複数のヒントを使うことで、より精度の高い回答が期待できます。

思考の連鎖（CoT）では、中間推論ステップを明示的に加えることで、複雑な問題解決能力を高める手法が紹介されています。これは、推論プロセスを段階的に進めることで、より論理的で精度の高い答えを導き出すことができるというわけです。

Zero-shot CoTを誘発するための具体的なフレーズの使用例も示されており、実際にどのようにプロンプトを改善するかの参考になります。たとえば「ステップに分けて考えてください」もその一つです。そして、プロンプトに「深呼吸して」と付け加えると、さらに精度が向上するというのは面白いですね。

自己整合性は、同じ質問を複数回行うことで、一貫性のある回答を得る方法です。これにより、たまたまの誤答を避け、最も可能性の高い正解を抽出することが可能になります。この手法は、特に情報が矛盾しているかどうかを判断する際に有効です。

さらに、思考の木（ToT）やMAGIシステムなど、より高度な推論を可能にするフレームワークも導入されています。これらは、複数の可能性を探索しながら最適な解答を導くためのもので、特に複雑な問題に対して強力です。

第5章  テンプレートを使った10倍役立つプロンプト集

この章では、日常業務を効率化し、クリエイティブな作業を支援するための様々なプロンプトが紹介されています。特に、プロフィール生成や命名、アイデア生成など、具体的なシナリオに応じたテンプレートが提供されている点が非常に役立ちます。

プロフィールと履歴書の生成プロンプトは、個人の経歴やスキルを効果的に表現するためのツールとして紹介されています。このプロンプトは、求職活動や自己紹介の場でのコミュニケーションを円滑にし、印象的なプロフィールを作成する手助けをしてくれます。

命名プロンプトでは、ペットの名前からブログのタイトルまで、さまざまな命名ニーズに応じたアイデアを生成する方法が提案されています。これにより、クリエイティブな命名が求められる場面での時間と労力を節約できます。

アイデア発想法を駆使したアイデア生成プロンプトは、特に注目すべきです。ブレインストーミングやマインドマッピング、SCAMPERなど、効果的なアイデア発想法を用いて新しいアイデアを生み出すプロセスを支援します。これは、プロジェクトの企画段階や問題解決の際に非常に有効で、多様な視点からアイデアを得ることができるでしょう。

業務自動化のプロンプトに分けて、Excelやファイル処理、ブラウザ制御やスクレイピングに関する自動化技術が紹介されています。これらは、繰り返し行う作業を自動化することで、業務の効率化を図り、より価値の高い作業に時間を割くことが可能になります。

第6章 Web APIとオープンLLMの使い方

この章では、OpenAIのChatGPT APIの使い方とオープンソースの言語モデルを自分のPCで動かす方法が書かれています。

APIを活用することで、自然言語処理を用いて既存のシステムやアプリケーションにChatGPTの機能を組み込むことが可能になります。また、APIの課金体系や安全な使い方に関する具体的なアドバイスも提供されていて、APIキーの扱い方には特に注意が必要であることが強調されています。

オープンソースの大規模言語モデルの活用方法では、特にMetaのLLaMAモデルが取り上げられています。このモデルはオープンソースで提供されており、誰でも自由に利用できる点が大きな魅力です。また、GPUがない環境でも使用できるようにするための「llama.cpp」のようなプロジェクトも紹介されており、これによりリソースが限られた環境でも大規模モデルを扱うことが可能になります。また、Google Colabを使用することで、高性能なコンピュータがなくてもこれらのモデルを試すことができるため、初学者やリソースに限りがある研究者にとって非常に有益です。

第7章 AGIを目指した高度なプロンプトエンジニアリング

この章では、AGIに向けた高度なプロンプトエンジニアリングに焦点を当てています。特に、APIを利用した自己整合性、MAGIシステムの構築、計画と解決プロンプト、そして外部リソースを活用したグラウディングなどのテクニックが紹介されています。

7-1節で紹介された自己整合性は、大規模言語モデルが一貫性のある答えを出力するための重要な手法です。プログラムが質問に対して異なる答えを生成し、それを組み合わせて最も確からしい答えを導くプロセスは、データサイエンスにおけるアンサンブル学習に似ていると言えるでしょう。これにより、モデルの信頼性が向上します。

7-2節では、専門家の意見を統合するMAGIシステムをAPIで実装する方法が説明されています。このシステムは、異なる視点からの意見を集約することで、より精度の高い結論を導き出すことが可能です。これは、実世界の意思決定プロセスに似たアプローチですね。

7-3節の「計画と解決プロンプト」は、問題解決の過程を段階的に実行する手法です。具体的には、大規模な問題を小さなサブタスクに分割し、一つずつ解決していくという戦略です。このアプローチはプロジェクト管理やソフトウェア開発にも適用可能で、効率的なタスク処理を促進します。

7-4節のグラウディングによる外部リソースの活用は、特に重要です。検索エンジンやデータベースといったツールを使って最新の情報を取り入れることで、モデルの出力の正確性と関連性が大幅に向上します。これにより、モデルが提供する情報の現実性が保たれ、誤情報のリスクを減少させることができます。

最後に、ベクトルデータベースを用いた情報の効率的な検索と管理についても触れられています。この技術を使うと、必要な情報だけを効率的に取り出すことが可能です。

プログラムの具体的な実装方法が詳細に解説されているため、実務にも役立つ内容だと感じました。

おわりに

プロンプトエンジニアリングの基本的な技術について学べて、すぐに役立つキーフレーズもまとまっており、とても役に立つ本でした。ChatGPTを使ってみたい人にもオススメです。