ニュースチェックしていますが、特定のトピックについて追跡調査した結果をここに書き溜めていこうと思います。後から検索用。
あたらしいLLM・OpenAI
2023/7/11 Claude2：Anthropicの最新のLLM。Amazon Bedrockで使える。
2023/9/1 WizardCoder：コード生成AI
2023/9/13 MathGLM：算術タスク向けLLM
2023/9/15 Gemini：GoogleのチャットAI
2023/9/15 DeciLM：Llama2の15倍速いLLM
2023/9/21 Xwin-LM：中国語のオープンLLM。GPT-4よりも良い性能
2023/9/28 星火認知（SparkDesk）：中国で最も人気のあるLLM
2023/9/28 PLaMo-13B：日本のベンチャーPFNのLLM
2023/9/28 Mistral 7B：オープンソースのライセンスで利用できるLLM
LLMに関する技術
- SFT（Supervised Fine-Tuning）：教師ありファインチューニング
- RLHF（Reinforcement Learning from Human Feedback）：人間のフィードバックでLLMを調整
- RAG (Retrieval-augmented Generation)：LLMモデル外の知識を利用してLLMに解答を生成させる
- LLM-as-a-judge：LLMを用いてLLMの評価をするアプローチ
- CoVe：LLMの出力からハルシネーションを減らす手法
- Nougat：数式なども認識するOCR
- Flash Attention：長いSequenceでのTransformer学習ができるようにする
- Vision-Languageモデル：視覚情報とテキストを組み合わせて処理できるモデル（BLIP, Flamingo, Git, BLIP-2）
- CoT (Chain-of-Thought)：問題を解く一連の手順を細かく分けて与えることでLLMの回答の質を上げる技術。https://arxiv.org/abs/2201.11903
- ToT (Tree of Thoughts)：CoTと古典的なツリー探索を組み合わせることにより、LLMの回答の質を上げる技術。https://arxiv.org/abs/2305.10601 Tree of Thoughts (ToT) Tree-of-Thoughts プロンプト
- AoT (Algorithm of Thoughts)：CoTの派生系。少ないクエリと計算で高度な推論が可能になる技術。https://arxiv.org/abs/2308.10379 推論能力をさらに強める戦略『AoT』で、LLMが「直感」に似た能力を示すようになった
- MP (Metacognitive Prompoting)：LLMにメタ認知させる手法。https://arxiv.org/abs/2308.05342
- LogiCoT（Logical Chain-of-Thought）：CoTの派生系。既存のLLMの出力を外部プログラムで制御したり、LLM自体をLogiCoTフレームワークに基づいて訓練させる。https://arxiv.org/abs/2309.13339 GPT-4などのLLMに「自らの論理的な整合性をチェック」させるフレームワーク『LogiCoT』と実行プロンプト
- ReConcile：異種LLMs円卓会議のアプローチ。 https://arxiv.org/abs/2309.13007
- RE2 (Re-reading)：https://arxiv.org/pdf/2309.06275.pdf
- ChatGPTにおいて音声による対話、画像についての質問 (ChatGPT-4V）が可能に
- ChatGPTがwebブラウジング機能を搭載
Amazon Bedrock関係
ついにきましたAmazon Bedrock！2023年4月にプレビュー版が発表されていましたが、2023/9/29に一般公開されました。OpenAIのGPT-4は使えませんが、代わりにAnthropic社のClaude 2が使えます。Bedrockの強みはAWSのさまざまなサービスと連携できるところですね。MicrosoftはOpenAIと協業してAzure OpenAI Serviceを提供しているので、これから競争が激しくなりそうです。
2023/9/29 AWSの生成AIサービスである Amazon Bedrock がGAになったので早速使ってみた
2023/9/29 AWS上で生成AIを使用するためのツール「Amazon Bedrock」が正式リリースへ、日本語を話せるClaudeや画像生成のStable Diffusionを利用可能
2023/9/29 AWS提供の生成AIサービスが一般開放 新たにLlama 2も利用可能に
2023/9/29 【速報】AWSの生成AIサービスであるAmazon Bedrock がリリースされたので朝イチで触ってみた
2023/9/29 Amazon Bedrock “Claude 2” と、ChatGPT “GPT-4” を比較してみる
2023/9/29 Amazon Bedrockのモデル仕様やその料金について整理してみた
2023/9/29 Amazon Bedrock正式リリースの公式ブログを日本語で簡潔にまとめました
2023/9/29 Amazon BedrockのAPIをPythonアプリから呼んでみよう。LangChainにも挑戦！
2023/9/29 [Amazon Bedrock] 話題の Amazon Bedrock をインターフェイス型 VPC エンドポイントでプライベートに利用したい
2023/9/29 Amazon Bedrock Workshop (テキスト生成ラボ編、動くようにしておいたよ！
2023/9/30 Amazon Bedrock が GA されたのでモデルのプロバイダー概要と料金体系を調べてみた
2023/9/30 Amazon Bedrock をマネジメントコンソールからちょっと触ってみたいときは Base Models（基盤モデル）へのアクセスを設定しましょう
2023/10/2 [プレビュー] Amazon Bedrock のモデル呼び出しのログ記録設定を試してみた
話題のOpen Interpreter関係の記事
最近、Open Interpreterが話題になっていますね！ローカル環境で動かせるChatGPTの「Advanced Data Analysis(旧Code Interpreter)」といった感じです。
2023/9/8 Open Interpreter – 自然言語でコーディングを実現するオープンソースツール
2023/9/8 OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる
2023/9/11 凄すぎると話題の「Open Interpreter」の始め方・使い方まとめ
2023/9/12 Open Interpreterを使ってデータ分析ができるかやってみる
2023/9/12 （YouTube動画）Open Interpreterの実力は？GPT-4との連携で最新ニュース取得＆ゲーム制作にチャレンジ！
2023/9/13 Open Interpreter
2023/9/14 Open Interpreterのログ解析して、何が行われているのか確認してみた
2023/9/15 Open InterpreterをDev Containerで動かす
2023/9/16 話題のOpen Interpreterを使ってみた、そして、驚いたw
2023/9/27 Open Interpreterに別のお題を出してみた、結果、色々と使えそうだw
2023/9/27 Open Interpreterのアップデート – 2023年9月26日
2023/9/27 ついに来たローカルAIデータ分析！ Open InterpreterとAzure OpenAI Serviceで機密データも安全にハンドリング
2023/9/29 MacでOpen-interpreterのインストールとR言語の実行について: Macターミナル上でLLMを動かしてみよう
話題のMojo言語関係の記事
「Pythonのライブラリが使えて、C言語のように速い」という触れ込みのMojo言語が話題になっています。https://www.modular.com/mojo 今後のデータサイエンス領域の主要言語に躍り出る可能性もありますね。
2023/5/6 Mojoは「C言語のように速いPython」なのか
2023/8/29 Mojoプログラミング言語の紹介
2023/9/8 Mojo入門 (1) – 事始め
2023/9/10 Mojo入門 (2) – Mojo言語の基本
2023/9/11 Mojo入門 (3) – MojoモジュールとMojoパッケージ
2023/9/11 Pythonの高速なスーパーセットをうたう新言語「Mojo」、コンパイラなど公開、ローカル環境で利用可能に
2023/9/18 Pythonと互換性を保ちつつ、非常に高速に動作することで話題のMojoをGoogle Colab上で動作させる方法
RAG (Retrieval Augumented Generation)
LLMモデル外の知識を利用してLLMに解答を生成させる手法。
2023/6/9 Retrieval Augmented Generationを改良する2つの方法
2023/6/14 OpenAIのAPIを使って自社ブログ(DevelopersIO)の記事をベクトル検索するボットをつくってみた
2023/6/27 OpenAIのAPIを使って営業資料をベクトル検索するボットをつくってみた
2023/7/10 ベクトル検索で「以外」や「数字の大小」を試してみたら難しそうだった
2023/7/16 ベクトル検索で欲しい情報が得られないときの問題点と改良方法を考えてみた
2023/8/29 【Google Cloud】Enterprise Searchで社内ドキュメントを検索してみた
2023/9/1 Google Cloud Enterprise SearchとRetrieveReadCompose方式RAGを利用して社内公式情報を全部質問できるようにしてみた
2023/9/22 RAGを使った社内情報を回答できる生成AIボットで業務効率化してみた
2023/9/23 RAG処理の改善: langchainでハイブリッド検索を実装してみる(勉強メモ)
2023/9/25 RAGのGが必要か不要かに関する一考察
リーダー・マネージャー向け記事
2023/9/12 優秀なエンジニアの採用成功に近づける６つのステップをプロが解説！
2023/9/19 メンターを始める時に考えていること
2023/9/20 【産業医が教える】ストレスによるメンタル不調の自己ケアと、雇用する企業側に求められる対策
2023/9/26 そのコードはユーザーに価値を届けているか？少数精鋭で生産性の高い開発組織を目指す10Xの挑戦
2023/9/30 【学生必見】メンターが見た学生向け夏インターン2023（ドコモハッカソン）の裏側
コメント