2024年2月のテクノロジーニュースピックアップ！【2024/2/29更新】

はじめに

2/12から、とくに気になるニュースについては公式のプレスリリースをチェックし、「概要」としてアコーディオンブロックにまとめています。

アコーディオンブロックの例（▶ボタン付近をクリックすると詳細が見れます）

• ここにリスト形式でニュースの要約を記載しています。
• 簡単に内容を把握するのにご各様ください。

2024/2/29のピックアップ

【新技術】2024-02-28 “1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も” https://wirelesswire.jp/2024/02/86094/

【つくって・つかってみた】 2024-02-29 驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z https://note.com/shi3zblog/n/n58b0a2252727

→ The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits https://arxiv.org/abs/2402.17764

Microsoftの研究チームが「BitNet b1.58」という名前の1ビット大規模言語モデル（LLM）の新しいバージョンを開発しました。このモデルでは、LLMの各パラメータが-1、0、1のいずれかの値を取ります。この新しいモデルは、以前のモデルが使用していた全精度（FP16やBF16）と比較しても、モデルのサイズやトレーニングに使用されるトークンの数が同じであるにもかかわらず、計算の複雑さやタスクの遂行能力が同等です。また、処理速度、使用メモリ量、データ処理速度、エネルギー消費量の点で、以前のモデルよりも大幅に改善されています。さらに、この技術は新しい計算方法を可能にし、1ビットLLM専用に最適化されたハードウェアを設計するための新しい可能性を開きます。

———————————

【新サービス】Azure OpenAI On Your Data https://learn.microsoft.com/ja-jp/azure/ai-services/openai/concepts/use-your-data?tabs=ai-search

「Azure OpenAI On Your Data」は、企業が持つデータを用いて、GPT-35-TurboやGPT-4のような高度なAIモデルで分析や対話を行うためのサービスです。このサービスを利用することで、モデルを新たにトレーニングしたり微調整したりすることなく、自社のデータを使った分析が可能になります。REST API、SDK、またはAzure OpenAI StudioのWebベースインターフェースを通じてアクセスできます。Azureのロールベースのアクセス制御を設定し、特定のデータソースを追加することによって、独自のデータをAzure OpenAIモデルと統合できます。キーワード検索、意味検索（セマンティック検索）、ベクトル検索を利用することで、データ検索と情報取得を最適化します。

———————————

【新技術】VoltSchemer: Use Voltage Noise to Manipulate Your Wireless Charger https://arxiv.org/abs/2402.11423

「VoltSchemer」と呼ばれるこの新しい攻撃方法は、電源からの電圧のノイズを調節することで、無線充電器を攻撃者がコントロールすることを可能にします。これは無線充電器自体に悪意ある変更を加える必要がない、初めての攻撃方法です。この攻撃によって、充電器を使って音声アシスタントを不可聴の声で制御したり、過充電や過熱によって充電中のデバイスを損傷させたり、外物検出メカニズムを無効にして貴重品を磁場で損傷させるなど、いくつかの攻撃が可能です。9つの売れ筋の商用無線充電器に対する攻撃が成功し、この発見が持つセキュリティ上の影響と、潜在的な脅威を緩和するための対策について議論しています。

———————————

【機械学習モデル】Vision Transformer with Deformable Attention https://arxiv.org/abs/2201.00520

Transformerモデルは、畳み込みニューラルネットワーク（CNN）よりも広範囲を捉えることができるため、画像タスクにおいて高い性能を発揮しますが、その広範囲を捉える能力が原因で、計算量が多くなったり、必要のない情報にも影響を受けやすくなります。

密な注意メカニズムを使用すると、計算コストが高くなり、画像の関係のない部分からの影響を受けやすくなります。疎な注意メカニズムは、長い距離の関係をうまく捉えることができない可能性があります。

これらの問題を克服するために、自己注意機構におけるキーと値のペアの位置をデータに基づいて選択する、新しい形の自己注意モジュールを提案します。これにより、重要な領域に注目し、より有益な特徴を捉えることができます。

提案された変形可能な自己注意を利用することで、画像分類や密な予測タスクに適用可能な新しいモデル「Deformable Attention Transformer」を開発し、多くのベンチマークテストで一貫して良い成績を収めています。

———————————

【LLMの評価・比較】 2024-02-28 “LLM 評価メトリクス: LLM 評価に必要なものすべて” https://qiita.com/ayoyo/items/50a64d47802d927142da

→ LLM Evaluation Metrics: Everything You Need for LLM Evaluation https://www.confident-ai.com/blog/llm-evaluation-metrics-everything-you-need-for-llm-evaluation

LLM評価指標は、LLMの出力を特定の基準に基づいてスコアリングするための指標です。評価指標は定量的、信頼性があり、人間の期待とできるだけ一致することが求められます。スコアリングには統計的手法とモデルベースの手法がありますが、統計的手法では論理的推論が必要な場合に性能が落ち、モデルベースの手法では意味を考慮できるものの、その確実性に欠けることがあります。

• G-Evalは、GPT-4を使用してLLMの出力を評価するためのフレームワークで、人間の判断と高い相関を持つスコアを生成することができます。これは、LLMの出力のセマンティクス（意味）を完全に考慮に入れることができるためです。
• Prometheusは、評価をオープンソース化し、特定の基準や参照結果をプロンプトに提供することで機能する、fine-tuningされたLLMです。
• DeepEvalは、LLM評価に必要な指標を簡単に実装できるオープンソースのフレームワークで、Pythonライブラリを通じて利用できます。

———————————

【日本のTech産業の未来】「AIと著作権に関する考え方について（素案）」に関するパブリックコメントの結果についてhttps://www.bunka.go.jp/seisaku/bunkashingikai/chosakuken/hoseido/r05_07/pdf/94011401_01.pdf

———————————

【IT・AIの活用】 2024-02-29 「タワマンの配達大変過ぎ問題」解決へ　ロボ活用で配送員負担を軽減 https://www.watch.impress.co.jp/docs/news/1572380.html

【IT・AIの活用】 2024-02-29 【小寺信良のくらしDX】マイナンバーカードでどこまでDX化できる? https://www.watch.impress.co.jp/docs/series/kodera/1572400.html

【IT・AIの活用】 2024-02-29 目指すは「1億人のパーソナルアシスタント」　LINEヤフーと生成AI https://www.watch.impress.co.jp/docs/news/1572373.html

———————————

【人間とAIの未来】 2024-02-29 国内初「生成AI専用保険」を提供へ　あいおいニッセイらが発表　情報漏えい時の費用などを負担 https://www.itmedia.co.jp/news/articles/2402/29/news122.html

———————————

【技術解説】 2024-02-29 いまこそ学ぶLLMベースのAIエージェント入門―基本的なしくみ／開発ツール／有名なOSSや論文の紹介 https://speakerdeck.com/os1ma/imakosoxue-bullmbesunoaiezientoru-men-ji-ben-de-nasikumi-slash-kai-fa-turu-slash-you-ming-naossyalun-wen-noshao-jie

———————————

【データセット】 2024-02-29 “【C4 データセット】Google が作った Common Crawl の派生データセット” https://qiita.com/kernelian/items/f3f458bd1894c054764e

2024/2/28のピックアップ

【新サービス】Announcing Windows 11 Insider Preview Build 26058 (Canary and Dev Channels) https://blogs.windows.com/windows-insider/2024/02/14/announcing-windows-11-insider-preview-build-26058-canary-and-dev-channels/

Microsoftは、Windows 11の最新プレビュー版をテストするためのプログラムであるWindows Insider Programを通じて、新しいバージョンのWindows 11（Build 26058）をリリースしました。このバージョンは、開発者や早期アダプターが新機能を試すためのものです。

Power Automateは、Microsoftが提供するツールで、簡単な操作で様々な作業を自動化できるものです。例えば、Excelファイルの編集やPDFファイルの名前変更など、繰り返し行う作業を自動で行ってくれます。WindowsのCopilotという機能を使うと、Power Automateの機能をもっと手軽に使えるようになります。Copilotは、コンピュータ上での作業を支援するためのアシスタントです。

これを使うには、まずMicrosoft StoreからPower Automate Desktopを最新版にアップデートする必要があります。そして、Copilotにサインインして、プラグインを有効にする必要があります。

———————————

【LangChain】LCEL (LangChain Expression Language） 入門 https://note.com/npaka/n/nc9598129ca3f

LCELは、LLMを含む様々な処理を「ブロックを組み合わせるように」簡単につなげることができる特別な方法です。通常のLangChainよりも、もっと直感的に、何をしたいかを「宣言する」だけで作業が進められます。LCELは、LangServeというツールを使ってプロトタイプから本番環境へと、変更することなく移行できるように設計されています、また、作業を効率的に進めるための便利な機能がたくさんあります。例えば、結果を少しずつ早く受け取れる「ストリーミング」、同時に多くの作業をこなせる「非同期サポート」、ステップを同時に進めることができる「並列実行」、失敗した時に自動でやり直す「リトライとフォールバック」などです。作業の入出力をチェックするためのルール（スキーマ）を自動で作ってくれたり、作業の各ステップを追跡して問題を見つけやすくする（トレーシング）機能があります。これは、仕事の流れをスムーズにし、問題があった時にすぐに対処できるようにするためです。

———————————

【ニュース】 2024-02-28 アップル、EV開発中止へ　ブルームバーグ報道 https://www.watch.impress.co.jp/docs/news/1572146.html

———————————

【データセット】 2024-02-27 “GitHub – japan-opendata/awesome-japan-opendata: Awesome Japan Open Data – 日本のオープンデータ情報一覧・まとめ” https://github.com/japan-opendata/awesome-japan-opendata

———————————

【国内ニュース】 2024-02-28 ダイソー、店舗ごとの在庫がわかるアプリ https://www.watch.impress.co.jp/docs/news/1572136.html

【国内ニュース】 2024-02-28 マスクみたいな減音デバイス、キヤノン「プライバシートーク」　使って分かった“普通に使えるすごさ” https://www.itmedia.co.jp/news/articles/2402/28/news125.html

【国内ニュース】2024-02-27 生成AI搭載「しまじろう」ベネッセとソフトバンクが共同開発　幼児と話したり遊んだり https://www.itmedia.co.jp/news/articles/2402/27/news166.html

———————————

【IT・AIの活用】 2024-02-28 “ゲーミング“匂い”デバイス「GameScent」登場。AIがゲーム内の音声を認識し、銃撃・爆発・森の匂いなどを放出 – AUTOMATON” https://automaton-media.com/articles/newsjp/20240228-284143/

———————————

【マネジメント】 2024-02-27 新入社員の呪いの解き方 https://speakerdeck.com/rockymanobi/xin-ru-she-yuan-nozhou-inojie-kifang

2024/2/27のピックアップ

【新サービス】信頼できるデータで構築した基盤モデルGraniteの日本語版を提供開始し、日本のお客様の生成AI活用を加速 https://jp.newsroom.ibm.com/2024-02-27-IBM-launches-Granite-Japanese-built-on-trusted-data-to-accelerate-Japanese-clients-adoption-of-generative-AI

日本IBMが、ビジネス関連のさまざまなデータセットで学習したGraniteという生成AI用基盤モデルの日本語版をリリースします。80億パラメーターを持つこのモデルは、高精度で効率的な日本語処理を可能にし、インフラストラクチャーの要求も低く抑えられます。IBMでは、ビジネス向けの独自モデルだけでなく、選択されたオープンソースモデルも提供しており、顧客が自社のニーズに最適なモデルを選べるようにしています。

———————————

【新サービス】 2024-02-27 “画像1枚から操作可能なゲームを生成できるAIモデル「Genie」　Google DeepMindなど開発【研究紹介】” https://levtech.jp/media/article/column/detail_392/

→ Genie: Generative Interactive Environments https://sites.google.com/view/genie-2024/home

Genieは、インターネット上のラベル付けされていない動画から学んだ、ゲーム世界を作り出す技術です。この技術を使って、文章、画像、写真、スケッチなどを使い、様々な動きができる仮想世界を作ることができます。Genieは110億のパラメータを持ち、これにより非常に複雑な世界を作成する基盤となります。このシステムは、動画の時系列データを処理するツール、動きの予測をするモデル、そして簡単に拡張できる行動モデルから成り立っています。重要なのは、Genieが特別なデータやラベル無しで学習でき、ユーザーが作った世界で自由に動き回ることができる点です。

———————————

【ニュース】 2024-02-27 “Microsoftと提携発表のMistral AI、LLM「Large」とAIチャット「Chat」の提供開始” https://www.itmedia.co.jp/news/articles/2402/27/news102.html

→ Microsoft and Mistral AI announce new partnership to accelerate AI innovation and introduce Mistral Large first on Azure https://azure.microsoft.com/en-us/blog/microsoft-and-mistral-ai-announce-new-partnership-to-accelerate-ai-innovation-and-introduce-mistral-large-first-on-azure/

MicrosoftとMistral AIがAIの革新を加速させるために新しいパートナーシップを結びました。この提携により、Azureプラットフォーム上で最初にMistral Largeが導入されます。Mistral Largeは、先端技術を駆使した大規模言語モデルで、複数言語の処理能力や高度な推論・知識能力を備えています。両社はAI研究開発で協力し、Azure AI StudioとAzure Machine Learningを通じてMistral AIのモデルを市場に提供します。

———————————

Announcing Microsoft’s open automation framework to red team generative AI Systems https://www.microsoft.com/en-us/security/blog/2024/02/22/announcing-microsofts-open-automation-framework-to-red-team-generative-ai-systems/

MicrosoftがPyRITというツールを開発しました。これは生成AIシステムのセキュリティリスクと責任あるAIのリスクを同時に探るためのオープンソースの自動化フレームワークです。このツールは、生成AIシステムが持つ独特の性質、すなわち確率的な出力と多様なアーキテクチャに対応するための新しいアプローチを提供します。このツールは、セキュリティの専門家が自動化を使ってリスクをより効率的に特定できるようにすることを目的としていますが、手動での探索を完全に置き換えるものではありません。

———————————

【LLM新技術】OpenToM: A Comprehensive Benchmark for Evaluating Theory-of-Mind Reasoning Capabilities of Large Language Models https://arxiv.org/abs/2402.06044

OpenToMは、AIが他者の心理状態を理解し追跡する能力、いわゆる「心の理論」を評価するために開発された新しいベンチマークです。従来の基準には、物語のあいまいさや人工感、性格や好みの描写がない、登場人物の心理状態への質問が不足しているなどの問題がありました。OpenToMでは、より長くてわかりやすい物語や、性格特性が明示されたキャラクター、キャラクターの意図に基づく行動、そしてキャラクターの心理的および物理的な世界の心理状態を理解する能力を問う質問が用意されています。

———————————

【つくって・つかってみた】2024-02-27 LLM(gemma)&LangChainで会社のQABotっぽい物を作成する https://qiita.com/t_kamiya78/items/659d156c4a88e6a37de9

2024/2/26のピックアップ

【LLM新技術】SLANG: New Concept Comprehension of Large Language Models https://arxiv.org/abs/2401.12585

本研究では、インターネット上で新しく出現する言語的な概念や表現を理解することで、この問題を解決しようとしています。特に、新しいデータを継続的に再訓練することなくモデルに統合する方法を模索しています。SLANGは、新しい言語の表現を理解するためのモデルの能力をテストするための新しいベンチマークです。FOCUSは、新しいフレーズやその使用状況をモデルが理解できるようにするためのアプローチで、因果推論を利用しています。

———————————

【技術解説】 2024-02-26 日本語LLMをDPOと派生手法でファインチューニングする https://qiita.com/jovyan/items/6767c9fd944a636fdf88

———————————

→ Direct Preference Optimization: Your Language Model is Secretly a Reward Model https://arxiv.org/abs/2305.18290

大規模な教師なし学習モデル、特に言語モデルは、多くのデータから学習しますが、モデルが学習する内容を正確に制御するのが難しくなります。従来は強化学習からのフィードバック（RLHF）を使っていました。これは人間がモデルの出力の良し悪しを評価し、そのフィードバックを用いてモデルを再訓練する方法です。しかし、このプロセスは複雑で、学習が不安定になりがちです。本研究では、 RLHF問題に対して、報酬モデルの新しいパラメータ化を導入し、最適なポリシーを単純な分類損失を用いて解く方法直接嗜好最適化（DPO）を提案しています。この方法は、報酬モデルを用いて人間の好みに合わせてモデルを微調整することを目指しますが、従来のRLHFに比べてより安定しており、計算コストが低いです。

———————————

→ Proximal Policy Optimization Algorithms https://arxiv.org/abs/1707.06347

Proximal Policy Optimization (PPO)は、あるタスクをこなすエージェントがより良い行動方針（ポリシー）を見つけるためのもので、特にエージェントが環境と相互作用しながら学習を進める場合に有用です。強化学習における従来のポリシー勾配法では、収集されたデータサンプルごとに1回の更新しか行わないため、学習効率が低いという問題がありました。PPOの核となるのは、収集されたデータを用いて行動方針を複数回、効率的に更新する新しい目的関数です。この目的関数は、エージェントの行動がどれだけ人間の設定した好みや目標に合致しているかを測定し、確率的勾配上昇法を使ってこの関数を最大化します。

———————————

→ A General Theoretical Paradigm to Understand Learning from Human Preferences https://arxiv.org/abs/2310.12036

人間の好みを基にした強化学習（RLHF）は、人間のペアワイズ（二者間）の好みを点数報酬に置き換え、それを用いて学習する手法に依存しています。しかし、人間の好みを単純な数値報酬に置き換える近似と、学習された報酬モデルが収集データからポリシーによってサンプルされた未知のデータに一般化する近似の2つを仮定しています。本論文では、これらの近似を回避し、人間のペアワイズ好みから直接学習する新しい一般的な目的関数ΨPOを提案しています。この目的関数は、人間の好みのペアを直接利用し、従来のRLHFやDPOのアプローチを含むより広範な学習フレームワークを提供します。特に、Ψを単位として設定した特別なケースでは、効率的な最適化手順を導出し、その性能保証を証明し、実際の例でDPOに対する優位性を示すことができました。

———————————

→ Statistical Rejection Sampling Improves Preference Optimization https://arxiv.org/abs/2309.06657

人間の好みを学習し、それに基づいて言語モデルの行動を調整するために人間のフィードバックからの強化学習（RLHF）が利用されてきました。最近ではオフラインの手法であるSequence Likelihood Calibration（SLiC）やDirect Preference Optimization（DPO）が提案されています。しかし、DPOは最適なポリシーから好みのペアをサンプリングする能力が限られている点が課題となっています。この問題を解決するために、新しいアプローチとして統計的拒絶サンプリング最適化（RSO）が提案されました。RSOは、拒絶サンプリングを使用して最適なポリシーから好みのデータを得ることで、より正確な最適なポリシーの推定を可能にします。この手法により、SLiCやDPOで使用される損失関数を好みのモデリング観点から改善し、言語モデルが人間の好みにより適切に対応できるようになります。

———————————

【技術解説】 2024-02-26 “【Evol-Instruct】機械的にプロンプトを進化させ、LLM の学習データを作成する方法” https://qiita.com/kernelian/items/86a39c594b355cda6f36

———————————

【国内ニュース】2024-02-26 KDDI、ソニーホンダの次世代EV「AFEELA」にグローバル通信を提供 https://www.watch.impress.co.jp/docs/news/1571515.html

【国内ニュース】 2024-02-26 陽キャ向け？なAIアプリ「Cotomo」が話題　AIと雑談できる　「人と話しているみたい」など驚きの声 https://www.itmedia.co.jp/news/articles/2402/26/news134.html

【国内ニュース】 2024-02-26 「SLIM」月面の夜を超える　極寒に耐え、通信再開の快挙 https://www.itmedia.co.jp/news/articles/2402/26/news143.html

【国内ニュース】 2024-02-26 2020年にサイバー攻撃受けたNTTコムに聞く“当時の教訓”　反省を踏まえ、どう変わったか https://www.itmedia.co.jp/news/articles/2402/26/news035.html

【国内ニュース】2024-02-26 楽天とOpenAI、通信業界向けAIツールを共同開発・提供へ https://www.itmedia.co.jp/news/articles/2402/26/news153.html

———————————

【その他】 2024-02-26 “【西田宗千佳のイマトミライ】Echo Hubの狙いとiRobot買収断念の影 アマゾンスマートホーム戦略の今” https://www.watch.impress.co.jp/docs/series/nishida/1571277.html

【その他】 2024-02-26 松尾研究所テックブログをはじめます https://zenn.dev/mkj/articles/13d43896dcfa90

———————————

【スキルアップ】 2024-02-26 “製造業界隈の最新トレンドをコンパクトに知ることができる書籍「製造業DX EU/ドイツに学ぶ最新デジタル戦略」” https://dev.classmethod.jp/articles/books-manufacturing-dx/

2024/2/25のピックアップ

【LangChain】 2024-02-25 “langchainとDatabricksで(私が)学ぶAgent : LangGraphでベーシックなReflection” https://qiita.com/isanakamishiro2/items/574c3d90ece7581c4030

———————————

【つくって・つかってみた】 2024-02-24 “Amazon SageMaker上でText Generation InferenceのMessages APIを使って、オープンなLLMをOpenAI互換なAPIで使ってみた。” https://dev.classmethod.jp/articles/huggingface-tgi-on-amazon-sagemaker/

———————————

【ニュース】 2024-02-25 充電式バイブレータからマルウェア検出、USB充電デバイスに注意 https://news.mynavi.jp/techplus/article/20240224-2889949/

【ニュース】 2024-02-25 “How Does BlueSky Work?” https://steveklabnik.com/writing/how-does-bluesky-work

2024/2/24のピックアップ

【技術解説】Causal ML Book https://causalml-book.org/

この本では、機械学習やAIという最新の統計手法と、原因と結果を解析する因果推論をどう組み合わせるかを紹介します。統計や機械学習の基礎を学んだばかりの学生や、データ分析に関する応用研究を進める大学院生を対象としています。ただデータから未来を予測するのではなく、何が原因で結果が変わるのかを理解することが目標です。どのような機械学習技術があるか、そしてそれらがどのように役立つかを説明します。また、因果関係をどのように推定するか、そのための理論的枠組み（潜在的アウトカムやDAGなど）を学びます。本書は全文のPDFが無料で公開されています。

———————————

【DL技術】Revisiting Deep Learning Models for Tabular Data https://arxiv.org/abs/2106.11959

表データを扱う深層学習の分野で、たくさんの新しいモデルが提案されていますが、これらが十分に比較されていないため、どれが一番いいのかがわかりません。また、どの問題にもうまく対応できるシンプルで強力なモデル、つまり「ベースライン」として機能するものが不足しています。主要な深層学習アーキテクチャを見直し、表データに特に効果的な2つのモデルを見つけ出しました。1つは、過去の研究で見落とされがちだったResNet型アーキテクチャ、もう1つは表データ用に簡単に調整したTransformerモデルです。これらは他の多くのモデルよりも多くの場合、性能が良いことが示されました。

———————————

【LangChain】LangSmith https://docs.smith.langchain.com/

LangSmithは大規模言語モデル（LLM）を使ったアプリケーションを実際の業務で使うために開発、テスト、運用するためのツールです。このプラットフォームを使うと、デバッグ、テスト、評価、監視することができます。LangSmithはLangChainというフレームワークと一緒に使うことが想定されており、LangChainを使ってLLMアプリケーションを簡単に作れるようになっています。このツールは、LangChainフレームワークを開発したLangChain社によって作られました。

———————————

【AIツール】openvinotoolkit/openvino https://github.com/openvinotoolkit/openvino

OpenVINOツールキットはAIの推論を高速化し、様々なデバイスに展開するためのオープンソースのツール群です。Intel製のCPUやGPUなどで効率的にAIモデルを動かせるようにすることが可能です。モデルを変換し、推論を行うためのランタイムライブラリ、さまざまなデバイス上での推論を加速するプラグイン群が含まれています。TensorFlowやONNXなど、一般的なモデル形式に広く対応しており、多くのオープンソースモデルを利用可能です。Apache 2.0ライセンスのもとで公開されており、開発者は自由に利用、改変、再配布が可能です。

———————————

【ニュース】2024-02-24 グーグル、Geminiの人物画像生成を停止「歴史的な人物の描写が不正確」 https://www.watch.impress.co.jp/docs/news/1571225.html

———————————

【つくって・つかってみた】 2024-02-24 “Slack Boltを使ってGPUの使用状況を確認する方法” https://qiita.com/tommmmmy/items/10c119930537062bcd99

【つくって・つかってみた】 2024-02-24 【アロケーション戦略】ネットワークによる株価相関の可視化 https://qiita.com/ii_python/items/e376a2015a2454ef0a45

———————————

【スキルアップ】2024-02-23 “2024年版：独断と偏見で選ぶ、データ分析職の方々にお薦めしたいホットトピックス＆定番の書籍リスト – 渋谷駅前で働くデータサイエンティストのブログ” https://tjo.hatenablog.com/entry/2024/02/23/184619

2024/2/23のピックアップ

【新サービス】 2024-02-22 “Stable Diffusion 3 — Stability AI” https://stability.ai/news/stable-diffusion-3：Stability AIは「Stable Diffusion 3」という新しいテキストから画像を生成するモデルを発表しました。以前のモデルよりもさらに高い性能を持っており、とくにアルファベットや文字列を含むプロンプトに対する応答性が向上しています。このモデルは、800万から80億のパラメータを持つさまざまなバージョンがあり、ユーザーが必要に応じて選択できます。 不正使用を防ぐための対策が施されており、トレーニングからデプロイメントまで安全性が考慮されています。まだ一般には公開されていませんが、早期に試すことができる待機リストへの登録が開始されました。

【DL技術】Toward Equation of Motion for Deep Neural Networks: Continuous-time Gradient Descent and Discretization Error Analysis https://arxiv.org/abs/2210.15898：ディープニューラルネットワークがどのように学習していくかを正確に表す数学的な式、「運動方程式」を見つけ出しました。微分方程式は連続的ですが、離散最適化（勾配降下法（GD）アルゴリズム）の研究においても重要な役割を果たしています。学習の際に生じるズレ（離散化誤差）を修正するための追加項（カウンターターム）を見つけました。この方程式を特定の条件（モデルの層が特定の性質を持つ場合）に適用して、理論が実際に機能するかを確認し、提案した理論がデータサイエンスの実際の問題解決に役立つことを確かめました。

———————————

【技術まとめ】 2024-02-23 “日本語LLM の学習に関する技術記事まとめ” https://note.com/npaka/n/n23e2a05cb650

【技術まとめ】 2024-02-23 “RAG構築のためのAzure OpenAI Serviceリファレンスアーキテクチャ詳解 | SIOS Tech. Lab” https://tech-lab.sios.jp/archives/38900

———————————

【開発技術】 2024-02-23 “GraalVM を使って WebAssembly を実行してみる” https://qiita.com/caunu-s/items/b21596b6c3ac504e0c5b ：GraalVMは、Javaアプリケーションを効率的にコンパイル・実行するためのツールで、特にアプリケーションを軽量で高速なネイティブイメージに変換する機能があります。Javaアプリケーションをネイティブイメージに変換すると、Java実行環境が不要になり、アプリケーションの起動が速くなります。また、配布やインフラの保守が簡単になるため、コスト削減にも繋がります。GraalVMを使用すると、WebAssemblyコードもJavaアプリケーション内で実行できます。これにより、Webアプリケーションのパフォーマンス向上や、さまざまな言語で書かれたコードの利用が可能になります。利用できるバージョンとして、Oracleから提供されるOracle GraalVMと、コミュニティ版のGraalVM Community Editionがあります。それぞれ使用目的やライセンス条項に応じて選択できます。

【開発技術】 2024-02-22 “UIデザイナーが知っておきたい海外の優れたデザインシステム17選 | ベイジのUIラボ” https://baigie.me/blog-ui/2019/12/24/17-design-system/

———————————

【国内ニュース】 2024-02-22 radikoでポッドキャスト配信スタート https://www.itmedia.co.jp/news/articles/2402/22/news184.html

2024/2/22のピックアップ

【新サービス】iMessage with PQ3: The new state of the art in quantum-secure messaging at scale https://security.apple.com/blog/imessage-pq3/ ：AppleのiMessageは、PQ3という新しい暗号化プロトコルを導入し、量子コンピューターによる攻撃に対する最高水準のセキュリティを保ちます。このプロトコルでは、初期の鍵交換から通信の途中での鍵交換まで、ポスト量子暗号技術を使用してセキュリティを確保し、メッセージングデータを保護します。

【新サービス】エンタープライズ グレードの Gemini が、 Google Workspace のあらゆる規模のチームで利用可能に https://workspace.google.com/blog/ja/product-announcements/gemini-for-google-workspace：Googleが作った強力なLLM「Gemini」がGoogle Workspace（ビジネスや教育機関向けのサービス。Gmail, ドキュメント、スプレッドシート、ドライブカレンダー、Meetなど）で使えるようになりました。どんなサイズの会社でも、高機能なEnterpriseプランか、もっと手頃な価格のBusinessプランから選べます。Businessプランは月額2,260円、より高度なEnterpriseプランは月額3,400円です。

———————————

【人間とAIの未来】 2024-02-22 “NianticハンケCEOに聞く Vision ProからAR技術の未来” https://www.watch.impress.co.jp/docs/topic/1570730.html

———————————

【国内ニュース】 2024-02-22 “「LINE AIアシスタント」登場　LINEで要約・画像解析・カロリー計算” https://www.watch.impress.co.jp/docs/news/1570952.html

【国内ニュース】 2024-02-22 スキマバイトの「タイミー」、正社員登用を促す新サービス https://www.watch.impress.co.jp/docs/news/1570908.html

【国内ニュース】 2024-02-22 “国産AI基盤モデル開発支援「GENIAC」にMicrosoft Azureが採用” https://www.watch.impress.co.jp/docs/news/1570961.html

———————————

【マネジメント】 2024-02-22 検証の概要とデータを分けることで、新規スタッフの引き継ぎがスムーズになった話 https://techblog.zozo.com/entry/zozofit-qa-smooth-handover

【マネジメント】 2024-02-22 “大学のアジャイル教育に奮闘した10年からの学び─短期の集中授業でアジャイルをどう実践するか？ – Agile Journey” https://agilejourney.uzabase.com/entry/2024/02/22/103000

2024/2/21のピックアップ

【LLM新技術】LLM Agents can Autonomously Hack Websites https://arxiv.org/abs/2402.06664：本研究では、LLMエージェントが、データベースの構造を盲目的に抽出したり、SQLインジェクションなど、人間の介入なしにウェブサイトを攻撃する能力を持つことを明らかにしました。特に、GPT-4というモデルは、このような攻撃を実行できる能力を持っていますが、現在利用可能なオープンソースのモデルではこれができないことが示されました。さらに、GPT-4は実際にインターネット上のウェブサイトの脆弱性を自動で見つけることができるということもわかりました。

【LLM新技術】PEFT welcomes new merging methods https://huggingface.co/blog/peft_merging：LLMのパフォーマンスを向上させるために、異なるモデルやアダプターを組み合わせる「モデルマージング」がよく使われます。PEFTは、特にLoRAと呼ばれるアダプターを組み合わせるための新しい手法を提供しています。LoRAは、モデルの特定の部分を微調整するためのアダプターです。（アダプターは、ベースモデルに特定のタスクや言語の知識を追加するために使用される小さな追加モジュールで、モデルの再学習なしに特定の機能や性能の向上を可能にします。）マージングには「結合」や「線形」、「SVD」などのいくつかの方法があります。モデルをマージすることで、個々のアダプターでは達成できなかった新しい応用が可能になり、AIの応用範囲が広がります。

【LLM新技術】Kotomamba: Mamba State Space Model 分散学習ライブラリ https://zenn.dev/kotoba_tech/articles/3eb0984d8fdfb8：「kotomamba」は、長いテキストデータなどを効率的に扱う新しいAIモデル「Mamba」を複数のコンピュータで同時に学習させることができるツールです。Mambaは従来のAIモデル「Transformer」の問題点を改善し、大量のデータも素早く処理できるように設計されています。「kotomamba」を使うことで、Mambaモデルをより大きなデータセットで学習させることが可能になり、より精度の高いAIモデルを作成できます。

【LLM新技術】HBX-hbx/Mistral-Interact https://github.com/HBX-hbx/Mistral-Interact：Mistral-Interactは、コンピューターがユーザーのあいまいな指示を理解し、具体的な行動計画を立てる前に、ユーザーの真の意図を明確にするために設計されたツールです。Mistral-7Bなどの既存のLLMのパフォーマンスを向上させるためのものです。タスクのあいまいさを評価し、ユーザーの意図を理解する能力を向上させるために、IN3ベンチマークを使用して訓練および評価されています。

———————————

【LLMの活用】 The Shift from Models to Compound AI Systems https://bair.berkeley.edu/blog/2024/02/18/compound-ai-systems/：AI技術は、LLMだけでなく、複数のAIコンポーネントやツールを組み合わせた「複合AIシステム」へと進化しています。複合AIシステムは、異なるAIモデルやデータ検索ツールなどを連携させて、より複雑な問題を解決する方法です。単一のモデルを大きくするだけでは、コストに見合うだけの性能向上が難しくなってきたからです。また、特定の問題に対して、より具体的で効果的な解決策を提供できるからです。複合AIシステムを設計することは新しい挑戦であり、これを最適化し、効率的に運用するための方法を開発することは今後のAI分野の重要なトレンドとなるでしょう。

———————————

【新技術】Gemma: Introducing new state-of-the-art open models https://blog.google/technology/developers/gemma-open-models/：「Gemma」はGoogleが開発した、AIモデルを作るための新しいツールです。これは、Googleが以前に作ったLLM「Gemini」の技術を基にしています。Gemmaには、2種類のモデルサイズ（2Bと7B）があり、それぞれ事前に学習させたバージョンと、特定の指示に応じて調整したバージョンが提供されます。Gemmaを使うことで、開発者はAIの開発をより簡単に、そして安全に行うことができるようになります。また、Gemmaは商業的なプロジェクトにも利用できます。このモデルは複数のプログラミングフレームワーク（JAX、PyTorch、TensorFlowなど）で利用でき、様々なデバイスやGoogle Cloudで効率的に動作するよう最適化されています。

———————————

【その他生成AI】ReazonSpeech v2.0: 音声モデルの高速化とコーパスの大幅な拡大 https://research.reazon.jp/blog/2024-02-14-ReazonSpeech.html：「ReazonSpeech v2.0」は、音声をテキストに変換するAI技術の最新版で、特に日本語の音声認識に特化しています。このバージョンでは、音声認識の速度が前のバージョンよりも大幅に速くなり、使用できる音声データの量も35000時間分と大幅に増加しています。新しいモデルでは、NVIDIAが開発したNeMoフレームワークと「Fast Conformer」という新しいアーキテクチャを使用しており、これにより認識の精度が高く、かつ処理速度が速いという特徴があります。

———————————

【ニュース】 2024-02-20 NVIDIA、4608基のH100GPUを搭載したデータセンター規模のAIスパコン「Eos」を披露 https://www.itmedia.co.jp/news/articles/2402/20/news172.html

【国内ニュース】 2024-02-21 リアルな猫型ロボット、セガトイズが発売　ぬくもりに心音、ゴロゴロ音まで再現 https://www.itmedia.co.jp/news/articles/2402/21/news148.html

【国内ニュース】 2024-02-21 auのメタバース「αU」、クリエイティブ支援でGoogle「Gemini」活用 https://www.watch.impress.co.jp/docs/news/1570633.html

———————————

【技術解説】2024-02-20 Cursorを使ってみた https://qiita.com/ohio0907/items/56fc83148e8a8fe256bd

【技術解説】2024-02-22 “Azure OpenAI Service の Models の内容を一部ピックアップしつつ個人的にまとめてみる【2024/2/22時点】” https://qiita.com/youtoy/items/e8b21694cf1191d274b6 ———————————

【開発技術】 2024-02-21 “SQLの達人への道: MySQLでの高速・効率的クエリ作成術 – Qiita” https://qiita.com/SimonLee/items/a878f721975370b45883

———————————

【その他】 2024-02-21 AI生成で３０万枚作ってわかったこと｜jun555 https://note.com/jun_yama555/n/n6e8769fe2c44

2024/2/20のピックアップ

【その他生成AI】 2024-02-19 “拡散モデルによる分子デザイン①： 同変グラフ拡散モデルの実装” https://horomary.hatenablog.com/entry/2024/02/19/221742

——————————

【DL技術】 2024-02-20 最強ディープニューラルネットモデル！？TabNet徹底解説！！ https://qiita.com/tech-Mira/items/656db2cc4b056f433b12

→ Tabnetはどのように使えるのか https://qiita.com/ps010/items/ea83eea63162f6105641

→【論文解説】TabNetを理解する https://data-analytics.fun/2021/09/04/understanding-tabnet/

→ TabNet: Attentive Interpretable Tabular Learning https://arxiv.org/abs/1908.07442

TabNetの概要

• TabNetはデータ分析で使われる表（テーブル）の形をしたデータを効果的に学習するためのディープラーニングモデルです。このモデルは、データから重要な情報を選び出して、その情報だけを使って学習を進めることが特徴です。
• TabNetは、なぜその結果になったのかを理解しやすいように設計されています。これは、通常のディープラーニングモデルでは難しいことです。
• 通常、機械学習では正解ラベル（教師データ）が必要ですが、TabNetはラベルがなくても学習できます（自己教師あり学習）。これにより、データの準備が難しい場合でも有効に活用できます。
• エンドツーエンド学習が行えます。これは、データの前処理から予測までの全てのプロセスを一つのモデルで行うことです。これにより、複雑な前処理を省略できます。
• TabNetは、「Attentionメカニズム」という技術を使って、どのデータが重要かを自動で選びます。これにより、効率的に学習を進めることができます。
• モデルがデータの中から必要な情報だけを選び取り（スパース化）、不要な情報を無視する（マスキング）ことで、よりシンプルで理解しやすいモデルを作成します。
• TabNetは複数のステップを経てデータを処理します。各ステップで、どの情報を次に進めるかを選択し、それを元に学習を深めていきます。
• データのどの部分が重要かを計算し、その情報を使ってモデルを改善します。また、事前に教師なしで学習することで、モデルの性能を上げることができます。

——————————

【LLM新技術】 2024-02-20 LLMの思考の流れに沿ってプロンプトを与えるか否かで30%以上精度が変化する　DeepMindが報告 https://ai-data-base.com/archives/64551

→ Premise Order Matters in Reasoning with Large Language Models　https://arxiv.org/abs/2402.08939

プロンプト順序で精度が変わる研究の概要

• この研究では、推論タスクにおいて、問題を解くための情報（前提）の提示順序がモデルの推論性能に大きな影響を与えることがわかりました。つまり、情報の内容は同じでも、その順番が変わるだけで、モデルが問題を正確に解けるかどうかが変わってきます。
• 特に、演繹推論（論理的に結論を導くタスク）において、情報を論理的な順序で提示することが、モデルの正解率を大幅に向上させることが示されました。
• 複数のLLMsを対象にした試験では、前提の提示順序を変えるだけで、推論性能が30%以上も低下することが確認されました。
• 数学的問題を解くタスクに関する新しいベンチマークR-GSMを使用しても、前提の順序を変えることによる正確さの大きな低下が確認されました。これは、前提の順序がLLMsの推論にとって非常に重要であることを示しています。

——————————

【LLMの活用】 2024-02-20 “ChatGPT で、生成したサンプルデータをダウンロードリンクから取得できる機能が利用可能になっていました” https://dev.classmethod.jp/articles/chatgpt-now-supports-downloading-large-sample-data-via-link/

——————————

【LLMの活用】 2024-02-19 “Kong AI Gatewayで複数のAIのAPIを一元管理する” https://qiita.com/ipppppei/items/8e6e02a56676e33853fc

→ Announcing Kong’s New Open Source AI Gateway with Multi-LLM Support, No-Code AI Plugins, Advanced Prompt Engineering, and More https://konghq.com/blog/product-releases/announcing-kong-ai-gateway

Kong AI Gatewayの概要

• Kongは、APIを管理するためのプラットフォームを提供する企業です。最近、AI機能を統合するための新しいプラグイン「Kong AI Gateway」を発表しました。
• 異なるAIサービスを同じ方法で扱えるため、開発が簡単になります。
• 特定のAI機能をアプリケーションに組み込むためのプログラミングが不要になります。
• AIのリクエストに対して、独自の指示や設定を追加できます。
• AIリクエストに対するセキュリティ強化や活動の監視が容易になります。
• Kong Gateway 3.6にアップグレードすることで、これらの新しいAI機能を利用できるようになります。
• AIプラグインの機能:
  • 複数のAIモデル間で簡単に切り替えが可能。
  • AIの認証情報を一元管理できる。
  • AIリクエストの詳細な分析や監視が可能。

この発表により、データサイエンティストや開発者はAI機能をより迅速に、簡単に、そして安全にアプリケーションに統合できるようになります。AIの活用がこれまで以上に手軽になり、AIを利用した新しいソリューションの開発が加速されることが期待されます。

——————————

【LLMの活用】 2024-02-20 “Hugging FaceのChat Template機能を使って、OSSな大規模言語モデルをOpenAIのモデルっぽく使ってみた。” https://dev.classmethod.jp/articles/huggingface-chat-template-with-oss-llm/

→ Templates for Chat Models https://huggingface.co/docs/transformers/main/en/chat_templating#templates-for-chat-models

Hugging FaceのChat Templateの概要

• チャットテンプレートはLLMを使ったチャットアプリケーションで、ユーザーとアシスタントの会話をモデルが理解しやすい形に変換する方法です。
• 異なるモデルが異なる形式の入力を期待するため、会話をモデルが理解しやすい単一の文字列に変換します。
• メッセージのリストを作成し、それをapply_chat_template()メソッドに渡すだけで、モデルが期待する形式の文字列を得ることができます。これをモデルの生成に直接使用できます。
• TextGenerationPipelineを使用することで、チャット入力の処理を簡単に行うことができます。これは、トークナイズとテンプレート適用の詳細を自動的に処理します。
• チャットモデルが次に何をすべきかを指示するためのトークンを追加する機能があります。これにより、モデルがユーザーメッセージを続けるのではなく、適切な応答を生成するように誘導します。
• トレーニングデータを準備する際にもチャットテンプレートを適用できますが、トレーニング中は応答を促すためのトークンを追加する必要はありません。
• 自分でチャットテンプレートを作成し、トークナイザーに設定することが可能です。これにより、モデルが期待する入力形式を正確に制御できます。

この機能を使うことで、データサイエンティストはLLMを使用したチャットアプリケーションの開発や、独自のチャットモデルのトレーニングをより柔軟に、効率的に行うことができます。特に、複数のモデルや異なる入力形式を扱う場合にその強みを発揮します。

——————————

【国内ニュース】 2024-02-20 新型コロナワクチン接種証明書アプリ、3月末終了　「必要場面がない」 https://www.watch.impress.co.jp/docs/news/1570068.html

【国内ニュース】 2024-02-20 “HHKB HYBRID Type-S 神奈川県相模原市のふるさと納税返礼品に新たに採用 | PFU” https://happyhackingkb.com/jp/news/2024/news20240220.html

【国内ニュース】 2024-02-20 さくらのクラウドを経産省が支援　「海外サービスに依存しない状況確保する」 https://www.itmedia.co.jp/news/articles/2402/20/news132.html

【国内ニュース】 2024-02-19 “「Azure OpenAI Service」が政府調達の対象に　“政府認定クラウドサービス”登録” https://www.itmedia.co.jp/news/articles/2402/19/news174.html

——————————

【スキルアップ】 2024-02-19 “本の内容が頭に入ってくるのは結局は知見まとめノートを作っている時 – $shibayu36->blog;” https://blog.shibayu36.org/entry/2024/02/19/173000

【スキルアップ】 2024-02-20 科学的根拠に基づく最高の勉強法がガチで良かった話 https://note.com/simplearchitect/n/ncfc2e38f8e8b

——————————

【その他】 2024-02-20 企業「ChatGPTは使っちゃダメ」→じゃあ自分のスマホで使おう──時代はBYODから「BYOAI」へ https://www.itmedia.co.jp/news/articles/2402/20/news068.html

2024/2/19のピックアップ

【人間とAIの未来】 2024-02-19 Google、Microsoft、MetaなどIT系20社、選挙イヤーでのAI悪用阻止協定 https://www.itmedia.co.jp/news/articles/2402/19/news077.html

→ A Tech Accord to Combat Deceptive Use of AI in 2024 Elections https://www.aielectionsaccord.com/

AI悪用阻止協定の概要

• 世界の大手20社のテクノロジー企業が、2024年の選挙での偽情報や欺瞞を広めるAIコンテンツと戦うために協力することを約束しました。
  • Adobe, Amazon, Anthropic, Arm, ElevenLabs, Google, IBM, Inflection AI, LinkedIn, McAfee, Meta, Microsoft, Nota, OpenAI, Snap Inc., Stability AI, TikTok, Trend Micro, Truepic, X
• これらの企業は、選挙への不正な介入を防ぐために、偽情報を広めるAI生成コンテンツを検出して対応する新しい技術やツールの開発に取り組みます。
• アコードには、オンライン配信の検出、対処方法、一般への教育、透明性の向上など、AIの悪用に立ち向かうための具体的な行動が含まれています。
• この取り組みは、政治的候補者や選挙プロセスを誤った方法で表現するAIによって生成された画像や動画、音声を特に対象としています。
• 参加企業は、偽の選挙コンテンツに対する抵抗力を高め、公衆に対する情報の透明性を提供し、社会全体のレジリエンスを強化するための8つの約束に同意しました。
• この協定は、AIがもたらす新しい種類の選挙介入の脅威に対抗するための重要なステップであり、信頼できる技術慣行を促進し、社会の強靭性を高めることを目指しています。

——————————

【技術解説】 2024-02-19 “OpenAI の新しいAIモデル「Sora」の衝撃” https://qiita.com/lazy-kz/items/4f762f1ef535b226e685 【技術解説】 2024-02-19 OpenAIのSoraが話題なので各種動画生成AIのデモ動画を集めてみた https://qiita.com/nabata/items/16f45c5f6f67372e6994

【技術解説】 2024-2-17 OpenAI sora technical report まとめと感想 https://zenn.dev/jow/articles/b88118540efd4c 【技術解説】 2024-2-17【AI動画生成】Sora 要素技術解説 https://zenn.dev/mattyamonaca/articles/e234e57834d7ad

→ Creating video from text https://openai.com/sora

→ Video generation models as world simulators https://openai.com/research/video-generation-models-as-world-simulators

OpenAIのtext to video AI「Sora」の概要

• 「Sora」はテキスト指示をもとにビデオシーンを生成するAI技術です。このモデルは、現実世界や想像上のシーンをビデオとしてリアルに再現できます。Soraはユーザーの詳細な指示に従って、品質を維持しつつ最大1分のビデオを生成する能力を持っています。
• 物理的な世界の動きをAIが理解し、それを基に問題解決を助けることができるモデルを開発することが目標です。
• 悪用防止のため、誤解を招くコンテンツ検出やレッドチーム評価など、複数の安全対策を講じています。
• Soraはディフュージョンモデルとトランスフォーマーアーキテクチャを使用し、ビデオや画像を小さなデータ単位（パッチ）で表現して処理します。これにより、さまざまな長さや解像度のビジュアルデータに対応可能です。
• 既存の画像やビデオから新たなビデオを生成したり、ビデオを拡張したりすることができます。
• 2024年2月16日現在一般公開はされておらず、提供方法は明らかになっていません。

——————————

【技術解説】 2024-02-19 PyTorchへの移行を考えるTensorflowユーザーのためのガイド【コード付き】 https://qiita.com/Yorozuya59/items/99558ccbfc6f9f00e681

【技術解説】 2024-02-19 「面倒なことはChatGPTにやらせよう」の全プロンプトを実行した配信のリンクを整理しました｜カレーちゃん https://note.com/currypurin/n/n18616b72e940

——————————

【国内ニュース】 2024-02-19 「みてねコールドクター」の往診サービスが終了に https://www.watch.impress.co.jp/docs/news/1569958.html

——————————

【RAG】 2024-02-19 あなたのRAGは、回答型？それとも検索型？ https://qiita.com/shyamagu/items/98fe60f6f81b744b97b1

——————————

【開発技術】 2024-02-18 “GitHub、脆弱性のあるコードを実際にデバッグして学べる「Secure Code Game」シーズン2がスタート” https://www.publickey1.jp/blog/24/githubsecure_code_game2.html

——————————

【その他】 2024-02-19 バッハの曲を数学的に分析　“情報量が多く効果的に伝達している”と判明　米研究者らが検証 https://www.itmedia.co.jp/news/articles/2402/19/news042.html

——————————

【スキルアップ】 2024-02-19 継続のコツは「わざわざ見に行く」をなくすこと。はてなフロントエンドエキスパートmizdraの情報収集術 https://levtech.jp/media/article/interview/detail_389/

【スキルアップ】 2024-02-19 「世界一流エンジニアの思考法」の内容を実践してみた https://dev.classmethod.jp/articles/2023-new-graduate-microsoft-method-practice/

【スキルアップ】 2024-02-19 「説明能力の高さ」はどこに現れるか https://blog.tinect.jp/?p=85365

【マネジメント】 2024-02-19 「誰もやったことがないことを期限までにやれ」　無理ゲーなプロジェクトを任された時の「失敗」の考え方 https://logmi.jp/business/articles/329992

2024/2/18のピックアップ

【新サービス】 2024-02-18 Brilliant Labs、マルチモーダルAI機能を備えたAIグラス「Frame」を発売 。NianticのCEO、ジョン・ハンケも支援 https://prtimes.jp/main/html/rd/p/000000002.000128229.html

→ https://brilliant.xyz/products/frame

Brilliant LabsのAIグラス「Frame」の概要

• Brilliant Labsは、音声や画像など複数の種類のデータを理解できるAI「Noa」を備えた眼鏡「Frame」を出しました。この眼鏡は、ポケモンGOを作った会社NianticのCEO、ジョン・ハンケ社長も応援しています。
• この眼鏡のデザインは、スティーブ・ジョブズやガンジーなどの歴史上の人物が着用したメガネのデザインに敬意を表して作られており、見た目は普通の眼鏡と変わりません。
• 「Frame」は軽量で一日中快適に使え、スタイリッシュな2色があります。価格は349ドルで、予約注文が可能です。
• AI「Noa」は、目の前にあるものを理解したり、話した言葉を翻訳したりするなど、日常生活で役立つ多くの機能を提供します。
• 眼鏡はインターネット検索もでき、声だけで操作できます。さらに、複数のAIと連携して、より複雑な作業を助けてくれます。
• 視力に合わせてレンズをカスタマイズできるため、眼鏡をかける人のニーズに合わせて調整可能です。AddOpticsとのパートナーシップにより独自の処方レンズ「Precision Bonded」を提供しています。

——————————

【新サービス】 2024-02-18 “torchvision transforms V2” https://qiita.com/Nezura/items/8426abf04a57e9bb867e

→ TorchVision 0.16 – Transforms speedups, CutMix/MixUp, and MPS support!　https://github.com/pytorch/vision/releases/tag/v0.16.0​

torchvision transforms V2の概要

• torchvision.transforms.v2には、画像の分類や形状の認識などに使える新しい機能が追加され、これまでよりも10%から40%速く動作するようになりました。特に、画像のサイズ変更機能が大きく改善されました。
• 新しいバージョンでは、JPEG画像の読み込みが以前よりもずっと速くなり、PIL（Python Imaging Library）との互換性の問題も解消されました。これはlibjpeg-turboという新しいライブラリのおかげです。
• 画像を加工する新しい方法として、CutMixとMixUpが導入されました。これらは画像の一部を切り取ったり、混ぜ合わせたりして、データの多様性を高める手法です。
• torchvision.transforms.v2の設計が固まり、使いやすくなったほか、さまざまな機能が追加されました。
• これらの新しい機能はまだ試験的（BETA版）ですが、将来的に大きく変わることはないとされています。
• また、MPS（AppleのMetal Performance Shaders）をサポートすることで、特定の関数がより高速に動作するようになりました。

——————————

【新しいLLM】 2024-02-18 “推定1000万円以下のコストで開発され、国内最大・最高性能を達成した日本語LLM, Karakuri-LMの秘密” https://wirelesswire.jp/2024/02/86044/

→ カラクリ、700億パラメーターLLM「KARAKURI LM」を一般公開 https://karakuri.ai/seminar/news/karakuri-lm/

KARAKURI LMの概要

• KARAKURI LM 70B v0.1とその会話バージョンは、既存のLlama 2モデルをベースに、特に日本語のデータを多く含めて追加事前学習させたAIモデルです。
• KARAKURI LM Chatは、公開・非公開の会話データセットを使って学習され、日本語オープンモデルの中で最高性能をMT-Bench-jpベンチマークで記録しています。
• 会話型モデルは、さまざまな会話データを使ってさらに細かく学習（ファインチューニング）され、日本語での会話能力が特に向上しています。
• これらのモデルはオンラインで誰でも使えるように公開されており、実際に試すことができます。HuggingFace Hubで公開されています。
• 学習データの準備では、公開されているデータセットに加えて、独自に収集した日本語データも使用しました。これにより、日本語の表現力を高めています。
• ファインチューニングでは、特に会話能力を高めるために、会話データセットに基づいてモデルを調整しました。ここでは、継続学習とマルチタスク学習を組み合わせて、日本語の表現を正しく保持しつつ、会話能力を向上させました。
• このモデルの性能は、ベンチマークテストMT-BenchとMT-Bench-jpで評価され、日本語の会話に関する能力が非常に高いことが示されました。

——————————

【スキルアップ】 2024-02-18 生成AIの情報をSNS以外で取得する方法について考えてみた[10選] https://qiita.com/yamayam/items/4923420225ce0db0a856

【スキルアップ】 2024-02-17 全社会人が読みたい「面倒なことはChatGPTにやらせよう」｜asano https://note.com/nash_efp/n/n91f5aa3ea9ac

2024/2/17のピックアップ

【新サービス】 2024-02-17 “GitHub – microsoft/UFO: A UI-Focused Agent for Windows OS Interaction.” https://github.com/microsoft/UFO

→ UFO: A UI-Focused Agent for Windows OS Interaction https://arxiv.org/abs/2402.07939

UFOの概要

• UFOはWindows OSで動くアプリ向けに作られた、画面を見て操作するエージェント（自動化ツール）で、GPT-Visionという技術を使っています。
• このツールは、アプリの画面（GUI）とその操作部分を詳しく見て、理解して動けるようになっています。
• アプリ内、またアプリ間での操作をスムーズに行えるように設計されており、複数アプリを使った複雑な作業も自動でできます。
• 人間が介入しなくても自動で操作を理解し、実行できるようにする機能が含まれています。難しく時間のかかる作業を、簡単な言葉で命令するだけで完了させられるように改善します。
• 9つの有名なWindowsアプリでテストを行い、日常的によく使われるシナリオを元にしたテスト結果が、このツールの有効性を示しています。
• UFOはWindowsで動くアプリの操作を自動化するための最初のツールとして位置づけられています。
• UFOのプログラムはインターネット上で誰でもアクセスできる形で公開されています。

——————————

【人間とAIの未来】 2024-02-16 “2024年施行予定の「欧州サイバーレジリエンス法案」、日本企業に与える影響の大きさ | LAC WATCH” https://www.lac.co.jp/lacwatch/report/20240216_003679.html

→ EUサイバーレジリエンス法（草案概要）　https://www.meti.go.jp/policy/netsecurity/netsecurity/CRAdraft.pdf

EUサイバーレジリエンス法 (CRA)の概要

• 欧州サイバーレジリエンス法（CRA）とは、2024年に始まる新しいEUの規則で、コンピュータやアプリなど、デジタル技術を含むすべての製品にセキュリティ対策の実施を義務付けるものです。
• この法律は、製品がどれだけのリスクを持っているかによって、さまざまなカテゴリーに分けて管理します。これにはPC、スマートフォン、ゲーム機器などが含まれます。
• 製品を作る企業は、セキュリティを確保するためのいくつかの手順を踏む必要があり、そのプロセスを正しく行わなかった場合、大きな罰金が課せられる可能性があります。
• これには、製品の設計段階からセキュリティリスクを評価し、製品がEUの基準に合っていることを証明する作業、製品の使い方を明確に説明する書類の準備などが含まれます。
• 特にオープンソースのソフトウェアを開発している人たちからは、この法律がもたらす追加の負担やコストについて心配の声が上がっています。
• EUでは、このサイバーセキュリティに関する法律だけでなく、AIやクラウドサービスに関する規制も同時に進行中で、これら全てに注意深く対応する必要があります。

——————————

【技術解説】 2024-02-17 “【AI動画生成】Sora 要素技術解説” https://zenn.dev/mattyamonaca/articles/e234e57834d7ad

——————————

【国内ニュース】 2024-02-17 H3ロケット試験機2号機、打ち上げ成功 https://www.watch.impress.co.jp/docs/news/1569638.html

【国内ニュース】 2024-02-16 楽天モバイル、26年にスマホと衛星の直接通信サービス https://www.watch.impress.co.jp/docs/news/1569604.html

【国内ニュース】 2024-02-17 確定申告スタート　「マイナポータル連携」は事前準備を忘れずに https://www.watch.impress.co.jp/docs/topic/1569510.html

【国内ニュース】 2024-02-16 元メルカリ青柳氏のライドシェア新会社が15億円調達　メルカリなどから https://www.itmedia.co.jp/news/articles/2402/16/news174.html

——————————

【国内ニュース】 2024-02-16 “日本の社会インフラ維持に「JCLaaS」　JR西やNTT com、3メガバンクが協力” https://www.watch.impress.co.jp/docs/news/1569566.html

→ JCLaaS https://jclaas.jp/

JCLaaSの概要

• JR西日本、NTTコミュニケーションズ、みずほ銀行、三井住友銀行、三菱UFJ銀行、日本政策投資銀行の6つの会社が一緒になって始めた新しい事業です。道路や水道など、私たちの生活を支える大切な施設（社会インフラ）をうまく管理していこうというプロジェクトです。
• 今ある社会インフラはだいぶ前に作られたものが多く、古くなってきています。さらに、災害が増えたり、人口が減ったりして、これらの施設を管理するのが難しくなっています。
• そこで、鉄道やインターネット通信、お金の管理などをしてきた6つの会社が力を合わせて、これらの問題を解決しようとしています。
• 2030年までに、100以上の自治体でこのプロジェクトを実施することを目指しています。これは、日本の社会インフラを支えるために、年間約9兆円から12.9兆円ものお金が必要とされる大きな市場での取り組みです。

——————————

【つくって・つかってみた】 2024-02-17 “Amazon Bedrock、Amazon Auroraを組み合わせたRAGで回答精度の向上に取り組んでみた！①概要編” https://qiita.com/Naoki_Ishihara/items/9f1b852917de19141847

——————————

【スキルアップ】 2024-02-17 “LaTeX論文執筆ガイド：数式や図の書き方を徹底解説 #LaTeX #論文執筆 – 制御工学の教科書” https://blog.control-theory.com/entry/latex-paper

——————————

【科学技術】 2024-02-16 強磁性体でも反強磁性体でもない「第三の磁性体」である「Altermagnetic」(アルター磁性体)がついに確認される、より高密度なHDDや磁気コンピューターの実現につながる可能性あり https://gigazine.net/news/20240216-new-magnetism-altermagnetic-magnetic-computers/

→ Altermagnetic lifting of Kramers spin degeneracy https://www.nature.com/articles/s41586-023-06907-7

アルター磁性体の概要

• Lifted Kramers spin degeneracy (LKSD)は、電子のスピンの二重性（縮退）が特定の条件下で解消される現象で、固体物理の研究で非常に重要です。
• この現象は、コンピュータの磁気メモリから新しい種類の量子物質まで、多くの技術や研究分野で基礎となっています。
• 従来、LKSDは主に2つのメカニズムで説明されてきました。
  1. 強磁性体が磁化することで時間反転対称性が破れること（より強力な現象）
  2. 結晶内で逆転対称性が失われることにより生じる、スピンと軌道の相互作用（相対的に弱い）
• しかし、最近の研究で「altermagnetic」と呼ばれる新しい磁気相が提案され、これが磁化や逆転対称性の破壊なしにLKSDを引き起こすことがわかりました。
• この研究は、光電子分光法と計算物理学の手法を用いて、MnTeという物質の中でこの新しいメカニズムが働いていることを実験的に確認しました。
• この発見は、従来の反強磁性物質と考えられていた多くの物質で、altermagnetic相による新しい現象を探る動機付けとなります。

2024/2/16のピックアップ

【動画生成AI】 2024-02-16 OpenAI、テキストから1分の高品質動画を生成する「Sora」 https://www.watch.impress.co.jp/docs/news/1569316.html

→ Creating video from text https://openai.com/sora

→ Video generation models as world simulators https://openai.com/research/video-generation-models-as-world-simulators

OpenAIのtext to video AI「Sora」の概要

• 「Sora」はテキスト指示をもとにビデオシーンを生成するAI技術です。このモデルは、現実世界や想像上のシーンをビデオとしてリアルに再現できます。Soraはユーザーの詳細な指示に従って、品質を維持しつつ最大1分のビデオを生成する能力を持っています。
• 物理的な世界の動きをAIが理解し、それを基に問題解決を助けることができるモデルを開発することが目標です。
• 悪用防止のため、誤解を招くコンテンツ検出やレッドチーム評価など、複数の安全対策を講じています。
• Soraはディフュージョンモデルとトランスフォーマーアーキテクチャを使用し、ビデオや画像を小さなデータ単位（パッチ）で表現して処理します。これにより、さまざまな長さや解像度のビジュアルデータに対応可能です。
• 既存の画像やビデオから新たなビデオを生成したり、ビデオを拡張したりすることができます。
• 2024年2月16日現在一般公開はされておらず、提供方法は明らかになっていません。

——————————

【新しいLLM】 2024-02-16 “グーグル、早くも次世代AIモデル「Gemini 1.5」　長文理解が進化” https://www.watch.impress.co.jp/docs/news/1569217.html

→ 次世代モデル、 Gemini 1.5 を発表 https://japan.googleblog.com/2024/02/gemini-15.html

Googleの新しいLLM「Gemini 1.5」の概要

• Gemini 1.5はGoogleから新しく公開されたLLMで、テキストからの長文理解や多様なタスクの処理能力が向上しています。
• 前モデルに比べて計算効率が良く、より多くの情報を扱えるようになっています。具体的には、100万トークンまでの大量のデータを理解し処理できます。
• コンテキストウィンドウとは、AIモデルが一度に理解・処理できる情報量のことで、Gemini 1.5ではこれが大幅に拡張されました。
• Gemini 1.5 Proは新機能を搭載したモデルで、初期テスト段階で公開されており、長い文章やデータの処理に特化しています。
• GoogleはAIモデルの安全性と倫理面を重視し、広範なテストを実施しています。
• 現在、一部の開発者や企業に対して限定的に提供されており、将来的にはより多くのユーザーに向けて拡張される予定です。

——————————

【その他生成AI】 2024-02-16 動画を「見て」学習するアーキテクチャ「V-JEPA」をMetaが開発 https://gigazine.net/news/20240216-meta-v-jepa/

→ Revisiting Feature Prediction for Learning Visual Representations from Video https://ai.meta.com/research/publications/revisiting-feature-prediction-for-learning-visual-representations-from-video/

Metaの「V-JEPA」の概要

• この研究は、ビデオデータから画像や動きの特徴を予測することで学習する新しい方法（V-JEPA）を提案しています。特に、従来の学習法に頼らず、特徴予測だけを使って学習します。
• 使用されたデータは200万のビデオで、これらはすべて公開されているデータセットから集められました。
• 事前に訓練された画像認識モデルやテキストデータなどを使わずに、ビデオの特徴から直接学習することで、画像やビデオの認識タスクにおけるモデルの汎用性と効率を向上させます。
• この方法で訓練されたモデルは、様々な視覚タスクで高い精度を達成しました。特に、動きや外観に基づくタスクでの性能が良く、モデルの構造を変更することなく（モデルの核部分を変更せずに）良好な結果が得られました。
• モデルの一つであるViT-H/16は、ビデオデータのみを使用して訓練され、Kinetics-400で81.9%、Something-Something-v2で72.2%、ImageNet1Kで77.9%という高い精度を達成しました。

——————————

【新サービス】 2024-02-16 Google、AI採用のサイバー防御イニシアチブ発表　「Magika」オープンソース化も https://www.itmedia.co.jp/news/articles/2402/16/news136.html

→ Magika: AI powered fast and efficient file type identification https://opensource.googleblog.com/2024/02/magika-ai-powered-fast-and-efficient-file-type-identification.html

→ How AI can strengthen digital security https://blog.google/technology/safety-security/google-ai-cyber-defense-initiative/

Googleのサイバー防御イニシアチブの概要

• AIサイバーディフェンスイニシアティブは、Googleがサイバーセキュリティの改善と「守り手のジレンマ」の逆転を目指して立ち上げたプロジェクトです。「守り手のジレンマ」とは、守る側は常に完璧な防御を求められるが、攻撃者は一度の成功でよいという不均衡な状況を指します。
• AIを使うことで、セキュリティ関連の作業を効率化し、特に脅威検出やマルウェア分析などでスケールアップすることが可能です。
• Magikaはファイルタイプを自動で識別するAIツールで、従来の手法よりも高い精度でマルウェアなどを検出できます。このツールはオープンソース化され、誰でも利用できるようになりました。
• GoogleはAIを用いたセキュリティ研究を支援するために資金を提供し、より安全なデジタル環境の実現を目指しています。

Googleの「Magika」の概要

• MagikaはGoogleが開発したAIによるファイルタイプ識別システムで、バイナリやテキストファイルの種類を高速かつ正確に識別できます。
• 特別に設計されたディープラーニングモデルを利用しており、CPU上でも迅速に動作します。pipコマンドで簡単にインストール可能です。
• 従来のファイルタイプ識別は、構造が異なるフォーマットや類似した構造を持つテキストフォーマットを区別することが困難でした。
• 100万ファイルのベンチマークテストで、既存のツールよりも20%高い識別精度を実現し、テキストファイルやコードファイルの識別において顕著な性能向上が見られます。
• GoogleのGmailやDriveなどのサービスで使用され、ファイルタイプ識別の精度を50%向上させ、特化した悪意のあるAI文書スキャナーで11%多くのファイルをスキャンすることができるようになりました。
• Magikaをオープンソース化することで、他のソフトウェアがファイル識別の精度を向上させるのを助け、研究者が大規模にファイルタイプを識別する信頼性のある方法を提供します。
• GitHubからApache2ライセンスで利用可能で、pip install magikaのコマンドでPythonライブラリやスタンドアロンのコマンドラインツールとしてインストールできます。

——————————

【分析技術】 2024-02-16 pyHSICLasso https://qiita.com/KINO-Hiori/items/3b3479506d010faa090e

→ riken-aip/pyHSICLasso https://github.com/riken-aip/pyHSICLasso

pyHSICLassoの概要

• pyHSICLassoとは非線形の入力と出力の関係を考慮して特徴を選択するためのツールであり、HSIC Lassoというアルゴリズムを実装したパッケージです。
• HSIC Lassoの特徴:
  • 非線形関係にある特徴を効率的に特定できます。
  • 重複しない特徴を識別できます。
  • 最適な解を全体として見つけることができます。
  • カーネル法を用いて、回帰と分類の問題の両方に対応可能です。
• 教師あり学習における特徴選択の目的は、出力を予測するのに重要な入力特徴の一部を見つけることです。この方法を使うことで、非線形の関係を持つ入出力データに対しても、高次元のデータセットで最適な特徴セットを効率良く求めることができます。このアプローチは、遺伝子選択や文書分類、義肢制御など、現実世界のさまざまな応用に役立ちます。

——————————

【分析技術】 2024-02-16 Pythonの高速化ツール https://qiita.com/KINO-Hiori/items/8748d7fd3355e76fb4a1

→ Numba https://numba.pydata.org/

Numbaの概要

• Numbaは、Pythonで書かれた関数を実行時に高速なマシンコードに変換するツールです。これにより、Pythonで書かれたプログラムの実行速度を大幅に向上させることができます。
• Numbaの特徴:
  • 数値計算アルゴリズムをCやFORTRANに匹敵する速度で実行できます。
  • 特別なセットアップ不要で、デコレータを関数に適用するだけで使用できます。
  • NumPyと組み合わせて使用することで、科学計算の効率を大きく向上させることができます。
• CPUやGPUでのコードの並列実行をサポートし、複数のCPUコアやGPUで効率的に計算を行うことができます。
• SIMDベクトル化を使って、特定のループを自動的にベクトル命令に変換し、2-4倍の速度改善を実現します。
  • SIMDベクトル化は、単一の命令で複数のデータ点に対して同時に演算を行うことで、プログラムの実行速度を大幅に向上させる技術です。
• Intel、AMD、ARM CPUやNVIDIA GPUなど、多岐にわたるハードウェアをサポートし、Windows、macOS、Linuxで使用できます。

→ PyPy https://www.pypy.org/

PyPyの概要

• PyPyは、Pythonのコードを最適化されたマシンコードに変換し、CやFORTRANに近い速度で実行できるようにするツールです。
• RPython変換ツールチェーンはPyPyを生成するために使用されるフレームワークで、動的プログラミング言語のインタプリタを生成するためのものです。
  • RPythonは、Pythonのサブセットであり、静的型付けとコンパイルを可能にすることで、特に動的言語のインタプリタやその他の低レベルコンポーネントの開発に適したプログラミング言語です。
• RPythonで書かれたソースコードから、PyPyというバイナリ実行可能ファイル（Pythonインタプリタ）を生成します。
• PyPyは、科学計算に広く使用されるNumPy配列と関数と共に使用することを目的としています。
• PyPyには、プログラムの実行時にコードを動的にコンパイルするJIT（Just-In-Time）コンパイラが含まれており、特定の言語のインタプリタの速度を向上させることができます。
• PyPyでは、RPythonのコード中に自動的にガベージコレクションが挿入され、参照カウントに基づく従来の方法とは異なる本格的なガベージコレクションが行われます。
  • ガベージコレクションは、プログラムがもはや使用していないメモリ領域を自動的に検出し、解放することで、メモリの無駄遣いを防ぐ管理技術です。

→ Cython https://cython.org/

Cythonの概要

• Cythonは、PythonプログラムをC言語の速度で実行できるようにするコンパイラツールです。Pythonの柔軟性とCの高速実行の利点を組み合わせています。
• 利用のメリット
  • CやC++への直接的な呼び出しが可能になり、Pythonコードのパフォーマンスを向上させることができます。
  • 静的型宣言を使ってPythonコードをCの速度まで高速化することが可能です。
  • Python、Cython、C言語のコードに対してデバッグを行うことができます。
• Cython言語は、Pythonの機能を拡張してCの機能を呼び出せるようにし、非常に効率的なCコードを生成できるようにする言語です。
• Cythonは科学計算やデータ分析において、大規模なデータセットの処理や数値計算の高速化に特に有効です。
• CythonはApacheライセンスで提供されており、PyPIからインストールすることができます。

→ f2py https://numpy.org/doc/stable/f2py/

f2pyの概要

• F2PYはFortranの関数をPythonから直接呼び出すためのラッパーを生成するツールです。NumPyの機能の一つとして提供されています。Fortranの関数やデータをPythonから直接利用できるようにすることが目的です。
• Fortranの共通ブロックやモジュールデータにアクセス可能にします。これには配列データも含まれます。
• コマンドラインツールとしてf2py、またはPythonモジュールとしてnumpy.f2pyで使用できます。
  • Windowsなどではf2pyを直接使う代わりに、python -m numpy.f2pyとして実行する必要があります。
• f2pyのバージョンがNumPyのバージョンと一致するか確認することに注意が必要です。一致しない場合は、コマンドの長いバージョンを使用する必要があります。

——————————

【技術解説】 2024-02-15 Resnetを解説，実装する！ https://qiita.com/chersky/items/8aaea62e1d927d309302

【技術解説】2024-02-16 “Python によるルート最適化の実践ガイド” https://qiita.com/haystacker/items/67dfc76fd35b65eccd89

【技術解説】 2024-02-16 “atmaCup#16 in collaboration with RECRUIT 開催の裏側” https://blog.recruit.co.jp/data/articles/atmacup_2023/

——————————

【ニュース】 2024-02-16 「ポスト量子暗号アライアンス」をAWS、Google、NVIDIA、Cisco、IBMらが設立　ポスト量子暗号の採用を促進 https://www.itmedia.co.jp/news/articles/2402/16/news173.html

→ Post-Quantum Cryptography Alliance https://pqca.org/

ポスト量子暗号アライアンスの概要

• Post-Quantum Cryptography Allianceは、新しいポスト量子暗号技術の標準化と開発をサポートし、その技術のソフトウェア実装を促進することで、将来の量子コンピュータに耐えうる暗号化技術の採用を推進します。
• Post-Quantum Cryptography Allianceは、Linux Foundationの一部として設立されています。Linux Foundationには多くの技術企業、学術機関、公共セクターの組織が参加しており、これらのメンバーがポスト量子暗号化の推進に関与している可能性が高いです。
• Open Quantum Safe (OQS) プロジェクトもPost-Quantum Cryptography Allianceの一環として、量子耐性暗号技術への移行をサポートする目的で運営されており、その開発には学術界、産業界、公共部門からの貢献者が参加しています。
  • Open Quantum Safe (OQS)プロジェクトは、量子コンピュータに耐えうる暗号化技術への移行を支援するためのオープンソースの取り組みです。C言語で書かれた量子耐性暗号アルゴリズムライブラリ(liboqs)と、OpenSSLなどへの統合例を提供します。
• PQ Code Packageプロジェクトは、ポスト量子暗号アルゴリズムの標準追跡のための高品質なソフトウェア実装を構築することを目的とした新しいオープンソースプロジェクトです。このプロジェクトはLinux Foundationの一部であり、Post-Quantum Cryptography Alliance内で運営されています。
  • PQ Code Packageプロジェクトの目標は、外部監査や形式的検証方法（またはその両方）の結果として保証が与えられた実装を生産することにあります。
  • 初期段階では、ML-KEMアルゴリズムの実装に焦点を当て、将来的には他のアルゴリズムへと範囲を広げる予定です。

——————————

【国内ニュース】 2024-02-16 “4月1日に改正法施行！ Webアクセシビリティ改善を進めるには、どうすればいいですか？ 植木真さんに聞いてきた | Webのコト、教えてホシイの！” https://webtan.impress.co.jp/e/2024/02/16/46304

【国内ニュース】 2024-02-16 ドコモ、オンライン薬局「ミナカラ」完全子会社化　健康アプリ強化 https://www.watch.impress.co.jp/docs/news/1569375.html

【国内ニュース】 2024-02-16 郵便局でマイナンバーカードの交付申請受付　郵送受取も可能 https://www.watch.impress.co.jp/docs/news/1569380.html

【国内ニュース】 2024-02-16 ニトリ、コード決済導入。PayPay、d払い、楽天ペイ等 https://www.watch.impress.co.jp/docs/news/1569286.html

【国内ニュース】 2024-02-16 H3試験機2号機は真のデビューを果たせるか。打上げ再開へ https://www.watch.impress.co.jp/docs/topic/1569048.html

——————————

【新技術】 2024-02-16 “周囲のWi-Fiを電気刺激で感じ取れるシステム「Wi-Fi Twinge」　信号強度に応じて手がピクピク【研究紹介】” https://levtech.jp/media/article/column/detail_387/

——————————

【つくって・つかってみた】 2024-02-16 “ローカル PC 上で動作する AI チャット（NVIDIA Chat With RTX）をインストールして遊んでみた” https://qiita.com/manabian/items/1e7cbd781c792841f6ad

【つくって・つかってみた】 2024-02-16 画像からプロンプトを考えて最も似ている画像を生成した人が勝ちのゲーム（類似度の改善） https://qiita.com/SatoshiGachiFujimoto/items/651472942a4885181442

【つくって・つかってみた】 2024-02-16 “PuLP を使って最適化で数独パズルを解く” https://qiita.com/haystacker/items/99029aa06573f3a32bf5

2024/2/15のピックアップ

【新サービス】 2024-02-14 “Slack AI提供開始　Slack上に蓄積した情報を要約・検索” https://www.watch.impress.co.jp/docs/news/1568865.html

【新サービス】インテリジェント プロダクティビティプラットフォームとしての Slack に力を与える新たな機能 https://slack.com/intl/ja-jp/blog/productivity/product-innovations-dreamforce-2023

Slack AIの概要

• Slack内での会話やチャンネルの内容をAIが要約し、必要な情報を即座に見つけ出せるようになります。
• Slack AIは、ユーザーのデータを保護するために高いセキュリティ基準を維持します。これにより、外部に漏れることなく、安心して利用できます。
• この新機能は今冬から始まる予定で、興味がある人は待機リストに登録しておくと良いでしょう。これにより、最新情報をいち早く得られます。

——————————

【新サービス】 2024-02-15 Appleがプロンプトを入力するだけで静止画をアニメーション化してくれるAIツール「Keyframer」を発表 https://gigazine.net/news/20240215-apple-keyframer/

【新サービス】Keyframer: Empowering Animation Design using Large Language Models https://arxiv.org/abs/2402.06071

Keyframerの概要

• Appleが開発したKeyframerは自然言語を使って、静止画（SVGファイル）を動かすことができるツールです。
• アニメーションデザイナーやエンジニアとのインタビューをもとに、ユーザーがアニメーションを直接編集したり、AIに指示を出して修正したりする機能を備えています。AIに一度指示を出すだけでなく、結果を見ながら細かく調整していくことで、思い通りのアニメーションを作り上げることができます。
• ユーザーは、異なるデザインのバリエーションをリクエストでき、これによってアイデアの比較や新たな発想が促されます。
• 13人の参加者による実験から、ユーザーがどのように動きを記述し、AIの出力に対してどのように指示を出すかのパターンを明らかにしました。

——————————

【新しいLLM】 2024-02-14 “101言語に対応したオープンソースの大規模言語モデル「Aya」をCohere for AIがリリース” https://gigazine.net/news/20240214-aya-cohere-for-ai/

【新しいLLM】Cohere For AI Launches Aya, an LLM Covering More Than 100 Languages　https://txt.cohere.com/aya/

新しいオープンソースのLLM「Aya」の概要

• 「Aya」は従来のAIモデルがカバーしていた言語数を大幅に上回る101言語に対応した新しいタイプの言語モデルです。これまで注目されていなかった多くの言語や文化に光を当てます。
• Ayaプロジェクトでは、114言語にわたる513万もの多言語データを含む大規模なデータセットを公開しています。これには世界中の話者による貴重なアノテーションも含まれており、AI技術のグローバルな適用を促進します。
• 多くのAIモデルが英語中心であるため、世界中の多くのコミュニティがサポートから除外されていました。Ayaは、これらの言語的・文化的ギャップを埋めることを目指しています。
• Ayaモデルとデータセットは、より広い多言語進歩へのアクセスを目的としてApache 2.0ライセンスで提供されています。
• Apache 2.0ライセンスは、オープンソースのライセンスの一つで、商用・非商用を問わず、ソフトウェアを自由に使用、修正、再配布することを許可しています。このライセンスの下で配布されるソフトウェアやその派生物は、個人や企業による商用プロジェクトに利用することができ、ライセンスの要件を遵守している限り、追加の制限なしに商用環境での使用が認められています。ただし、ライセンス条項に従い、適切な帰属を表示するなどの条件があります。

——————————

【DL技術】 2024-02-15 “CoAtNet: モデル容量と汎化性能を両立する畳み込みとTransformerのハイブリッドアーキテクチャ” https://qiita.com/kinkalow/items/7bb7f80def2c6ec6fc62

【DL技術】CoAtNet: Marrying Convolution and Attention for All Data Sizes https://arxiv.org/abs/2106.04803

CoAtNetの概要

• CoAtNetは、 畳み込み処理と注意機構を融合させた、画像認識タスク向けの新しいモデルです。
• 画像認識分野では、畳み込みネットワークが長らく主流でしたが、近年はトランスフォーマーによるアプローチも注目されています。しかし、トランスフォーマーは畳み込みネットワークに比べて一般化能力に課題がありました。
• CoAtNetでは、深さ方向の畳み込みと自己注意を組み合わせることで、両者の利点を活かしています。また、畳み込み層と注意層を効果的に積み重ねることで、モデルの一般化能力と効率を向上させています。
• CoAtNetはImageNetを含む様々なデータセットで高精度を達成しました。特に、大量の追加データを使わずに高い精度を出すことに成功しています。また、事前学習により大規模データセットを使用することで、より高い精度を達成しています。

——————————

【技術解説】 2024-02-15 “アイテムレビュー機能をZOZOTOWN Androidチームはどう開発したか” https://techblog.zozo.com/entry/zozo-itemreview-android

—————————–

【技術解説】 2024-02-15 “【特集】 Googleの対話型AI「Gemini」は何ができるのか？無料版と有料版、そしてMicrosoft Copilotと機能を比較” https://pc.watch.impress.co.jp/docs/topic/feature/1568873.html

——————————

【人間とAIの未来】 2024-02-15 国家関連の脅威行為者によるAIの悪用の阻止 https://note.com/npaka/n/n3dde4ca3f57c

【人間とAIの未来】Disrupting malicious uses of AI by state-affiliated threat actors　https://openai.com/blog/disrupting-malicious-uses-of-ai-by-state-affiliated-threat-actors

「OpenAIとMicrosoft, AIを攻撃に悪用するアカウントを停止」の概要

• AI技術が人々の生活向上や複雑な課題の解決に役立つ一方で、サイバー攻撃などの目的で悪用される危険があります。
• OpenAIはMicrosoftと共同で、国家支援のサイバー攻撃者5組織の活動を阻止しました。これらの組織は、技術や資金、専門スキルを持っており、デジタル環境と人々の福祉に特有のリスクをもたらします。
  • 中国のCharcoal Typhoon, Salmon Typhoon
  • イランのCrimson Sandstorm
  • 北朝鮮のEmerald Sleet
  • ロシアのForest Blizzard
• OpenAIのサービスを使って、オープンソース情報の検索、技術文書の翻訳、コーディングミスの発見、コーディングタスクの実行などを行おうとしました。
• 悪意ある行為者を特定して活動を妨害する技術とチームに投資し、AIエコシステム内での情報共有と連携を強化し、安全対策を継続的に更新し、公開性を高めています。

——————————

【開発技術】 2024-02-15 “VS Codeの新機能がすごく便利！ ツリービューのスティッキースクロール機能をオンにすると格段に使いやすくなります” https://coliss.com/articles/build-websites/operation/work/tree-sticky-scroll-for-vs-code.html

—————————–

【開発技術】 2024-02-15 “AWS、高速起動にこだわった軽量なJavaScriptランタイム「LLRT」（Low Latency Runtime）をオープンソースで公開。AWS Lambdaでの利用にフォーカス” https://www.publickey1.jp/blog/24/awsjavascriptllrtlow_latency_runtimeaws_lambda.html

2024/2/14のピックアップ

【新サービス】 2024-02-14 ChatGPT、チャット内容を記憶して活用できる「メモリー」 https://www.watch.impress.co.jp/docs/news/1568569.html

【新サービス】Memory and new controls for ChatGPT https://openai.com/blog/memory-and-new-controls-for-chatgpt

ChatGPTの「Memory」機能についての概要

• ChatGPTは、ユーザーとの全てのチャットを通じて情報を「記憶」する機能をテストしており、これにより同じ情報を繰り返し伝える必要がなくなり、より有益な対話が可能になります。
• この機能は現在、ChatGPTの無料およびPlusユーザーの一部に対して提供されており、その効果を学ぶ段階にあります。今後、より広い範囲での展開計画が共有される予定です。
• ユーザー主導の記憶管理：
  • 記憶の追加：特定の情報をChatGPTに「記憶させる」ことができます。
  • 記憶の確認：ChatGPTに、どのような情報を記憶しているか尋ねることが可能です。
  • 記憶の削除：会話を通じて、または設定から記憶を「忘れさせる」ことができます。全ての記憶をオフにすることも選択できます。
• GPTs自体も独自の記憶機能を持ち、ビルダーはこれを有効にする選択が可能です。各GPTsは独自の記憶を持ち、これによりよりパーソナライズされた対話が可能になりますが、ChatGPTと他のGPTs間で情報を共有することはありません。

—————————–

【新サービス】 2024-02-14 “NVIDIA、PC上で動くカスタムAI「Chat with RTX」を無償公開” https://pc.watch.impress.co.jp/docs/news/1568624.html

【新サービス】NVIDIA Brings Generative AI to Millions, With Tensor Core GPUs, LLMs, Tools for RTX PCs and Workstations https://www.nvidia.com/ja-jp/ai-on-rtx/chat-with-rtx-generative-ai/

Chat with RTXの概要

• Chat with RTXは、NVIDIAが開発した技術デモであり、NVIDIAのRTX GPUを搭載したシステムで最適に機能するように設計されています。RTXはNVIDIAによって開発されたGPUのブランドです。
• RAGを使用しており、個人のデータやコンテンツに基づいた質問にAIが回答します。
• NVIDIAのTensorRT-LLMライブラリによって推論性能が高速化されています。
• TensorRT-LLM（TensorRT Large Language Model）は、NVIDIAが開発したオープンソースのライブラリで、大規模言語モデル（LLM）の推論性能を高速化および最適化するためのものです。TensorRTは、深層学習モデルの推論を高速化するためのプラットフォームおよびライブラリで、TensorRT-LLMは特に言語モデルの処理に特化しています。
• 開発者は、Chat with RTXの機能を自身のアプリケーションに簡単に組み込むことができます。
• ユーザーは、自分のデータを基にしたパーソナライズされた対話を楽しむことができます。

——————————

【新サービス】 2024-02-14 Web版VSCodeがDockerコンテナをWASM環境で起動、Webブラウザ内ローカルマシンとして利用可能に。拡張機能「vscode-container-wasm」登場 https://www.publickey1.jp/blog/24/webvscodedockerwasmwebvscode-container-wasm.html

【新サービス】vscode-container-wasm: Containers on VSCode for the Web https://marketplace.visualstudio.com/items?itemName=ktock.container-wasm

vscode-container-wasmの概要

• Web上でVSCodeを使用してコンテナを実行するためのVSCode拡張機能です。
• コンテナをWebAssembly (wasm) に変換するためにcontainer2wasmに依存しています。
• 実験的なソフトウェアです。
• Web上のVSCodeでコンテナを直接実行し、Terminalを介して対話できます。
• コンテナはブラウザのWebAssembly VMで実行されるため、リモートコンテナの準備が不要です。
• ブラウザの制限（CORS制限やForbiddenヘッダーの制御不可）の下でHTTP(S)ネットワーキングも利用可能です。

——————————

【新サービス】 2024-02-13 “Windowsのペイント、ついに画像生成AIを搭載。その名も「Cocreator（コクリエーター）」 | ライフハッカー・ジャパン” https://www.lifehacker.jp/article/2402-how-to-create-ai-art-in-microsoft-paint-with-cocreator/

【新サービス】ペイント コクリエーターを使用して AI アートを生成する https://support.microsoft.com/ja-jp/windows/ペイント-コクリエーターを使用して-ai-アートを生成する-107a2b3a-62ea-41f5-a638-7bc6e6ea718f

Cocreatorの概要

• Microsoft ペイント内で利用できるAI機能です。OpenAIのDALL-Eが文章から画像を生成します。
• ツールバーから[Cocreator]アイコンを選択し、画像の説明をテキストボックスに入力することで画像を生成できます。
• Microsoft アカウントでのサインインと、画像生成にはクレジットが必要です（初回は50クレジット付与）。
• 不適切な内容のフィルタリング機能があります。不適切な画像が生成された場合は報告可能です。
• 初期段階では特定の英語圏国家でのみ利用可能で、英語のみサポート。
• ユーザーのデータはMicrosoftのサーバーに保存されず、プライバシーが保護されます。

——————————

【DL技術】 2024-02-14 深層距離学習における平均場理論 https://techblog.zozo.com/entry/mft-in-dml

——————————

【LLM新技術】2024-02-14 対話型AIに一生懸命お願いをすると回答の精度が上がる！感情的刺激というプロンプトエンジニアリングのメカニズム https://levtech.jp/media/article/column/detail_384/

【LLM新技術】Large Language Models Understand and Can be Enhanced by Emotional Stimuli https://arxiv.org/abs/2307.11760

プロンプトテクニック「感情的刺激」の概要

• LLMが感情を理解できるかを検証しました。
• 複数のLLM（ChatGPT, GPT-4など）で感情を含むプロンプト（EmotionPrompt）を使用し、45種類のタスクを実行しました。
• 感情プロンプトを使うことで、LLMのパフォーマンスが向上しました。指示誘導タスクで8%、BIG-Benchで115%の改善を確認しています。人間による評価も含め、生成タスクのパフォーマンスも約10.9%向上しました。
• 感情を取り入れることが、LLMと人間のインタラクションを改善する新しい方法になり得ることがわかりました。

——————————

【LLM新技術】 2024-02-13 “LLMにタスクに応じた推論プロセスを自ら考えるようにするプロンプト手法『SELF-DISCOVER』Google DeepMindなどが開発” https://ai-data-base.com/archives/64136

【LLM新技術】Self-Discover: Large Language Models Self-Compose Reasoning Structures https://arxiv.org/abs/2402.03620

SELF-DISCOVERの概要

• SELF-DISCOVERはLLMが自分で問題解決のための論理的な構造を作り出すシステムです。
• LLMがさまざまな推論スキルを選択し、それらを組み合わせて問題を解決する方法を自分で決定します。
• BigBench-Hard、グラウンドエージェント推論、MATHという3つのベンチマークに対して、従来の方法よりも最大32%の性能向上を実現し、必要な計算量も大幅に削減できました。
  • BigBench-Hard：様々な種類の知識や論理的思考を必要とする、幅広い問題を含むベンチマーク。特に難易度が高い問題を集めたセットです。
  • グラウンドエージェント推論：環境内でのエージェント（AI）が、与えられた状況を理解し、目的を達成するための行動を決定する能力を試す課題。現実世界の複雑な状況や条件をシミュレートした問題が含まれます。
  • MATH：数学の問題を解く能力を試すベンチマーク。基本的な算数から高度な数学まで、幅広い範囲の問題が含まれており、論理的思考や数学的概念の理解が求められます。

——————————

【生成AI技術】 2024-02-14 “【西川和久の不定期コラム】 VRAMが少ないGPUで画像生成AIを諦めていた人に。「Stable Diffusion WebUI Forge」登場！” https://pc.watch.impress.co.jp/docs/column/nishikawa/1568551.html

【生成AI技術】Stable Diffusion WebUI Forge https://github.com/lllyasviel/stable-diffusion-webui-forge

Stable Diffusion WebUI Forgeの概要

• Stable Diffusion WebUI ForgeはAI画像生成ツール「Stable Diffusion」の使いやすさを向上させたプラットフォームです。プログラミングのプラグイン環境「Minecraft Forge」にちなんで名付けられました。
• AIによる画像生成（推論）の速度が速くなり、GPUの使用効率が良くなります。これにより、より高解像度の画像を、より多く一度に生成できるようになります。
• 一般的なGPUでは、画像生成の速度が30~45%上がり、GPUのメモリ使用量も減ります。高性能なGPUを使うと、推論速度が少し上がり、より大きな画像を扱えるようになります。
• ControlNetは、生成される画像の特定の側面を制御可能にする技術です。Stable Diffusion WebUI Forgeでは、このControlNetを利用して、ユーザーが画像生成時により細かい制御を行えるようにしています。たとえば、画像の特定の部分に特定の特徴を適用するようAIに指示できます。Forgeは、これらControlNetの使用を最適化し、より多くのControlNetを同時に扱えるようにして、生成プロセスの柔軟性と精度を高めます。
• Unet Patcherは、Stable Diffusion WebUI Forgeが導入した機能の一つで、Unet（U字型ネットワーク）モデルの改良や拡張を容易にするツールです。このPatcherを使用することで、開発者は自己注意ガイダンス（Self-Attention Guidance）、Kohya High Res Fix、FreeU、StyleAlign、Hypertileなどの高度な画像生成メソッドを簡単に実装できます。これらのメソッドは、画像の解像度を高めたり、特定のスタイルを適用したり、画像生成の精度を向上させたりするのに役立ちます。

——————————

【人間とAIの未来】 2024-02-14 政府、AIの安全性を評価する「AIセーフティ・インスティテュート」設立 https://www.watch.impress.co.jp/docs/news/1568713.html

【人間とAIの未来】https://aisi.go.jp/

【人間とAIの未来】https://www8.cao.go.jp/cstp/stmain/20240214.html

AIセーフティ・インスティチュート (AISI)の概要

• AIセーフティ・インスティテュートは、日本におけるAIの安全性を評価し、基準や手法を検討するために設立された機関です。
• 内閣府や関係省庁の協力の下、情報処理推進機構（IPA）に設置され、国際的な連携も目指します。
• 所長には、AIの専門家である村上明子氏が就任しています。

——————————

【新しいLLM】 2024-02-13 N番煎じでDeepreneur社のblue-lizardをDatabricksで動かす https://qiita.com/isanakamishiro2/items/75257c7c5bd4442cbd41

【新しいLLM】株式会社Deepreneur、ChatGPT-3.5を上回る日本語LLM「blue-lizard」を開発。各社独自の高精度オンプレ型のLLMの構築サービスを開始 https://prtimes.jp/main/html/rd/p/000000010.000125694.html

blue-lizardの概要

• 株式会社Deepreneurは、ChatGPT-3.5を上回る性能を持つ70億パラメータの日本語LLM「blue-lizard」を開発し、一般に公開しました。
• 「blue-lizard」は、Wikipediaや書籍などの日本語データを用いて追加の事前学習とファインチューニングを施した結果、日本語タスクのベンチマークであるJGLUEで最高性能を記録しました。
• このモデルは、LLAMA 2 Community Licenseに準拠し、研究および商業目的で利用可能です。

——————————

【ニュース】 2024-02-14 アップル、最古参のデザイナー退社へ－デザインチームの人材流出続く https://www.bloomberg.co.jp/news/articles/2024-02-14/S8TH6GT0AFB500

【ニュース】 2024-02-14 次世代パワー半導体、本命材料「窒化ガリウム」が見えてきた https://xtech.nikkei.com/atcl/nxt/column/18/02277/020700010/

——————————

【スキルアップ】 2024-02-14 “スキルについて最近思うこと – NRIネットコムBlog” https://tech.nri-net.com/entry/think_about_skills

2024/2/13のピックアップ

【画像生成AI】 2024-02-13 Stable Cascade のご紹介 https://ja.stability.ai/blog/stable-cascade

Stable Cascadeの概要

• Stable Cascadeの基本情報
  • これは、文章をもとに画像を生成する最新技術を持つプログラムです。特定の「Würstchenアーキテクチャ」と呼ばれる設計に基づいています。
  • 使用は無料ですが、商業目的での使用は許可されていません。
  • この技術は、3つの異なる段階を経て画像を作成します。このアプローチにより、家庭用のコンピューターでも効率的に学習や調整が可能です。
  • ユーザーがこの技術を試しやすいよう、多くのサポート資料（チェックポイント、推論スクリプト、微調整用スクリプト等）が提供されています。
• 技術的な概要
  • Stable Cascadeは、Stage A、B、Cという3つの部分から構成されたプロセスを通じて画像を生成します。この設計により、画像を階層的に精密化することができ、高い圧縮率で良質な画像を生み出せます。
  • 最初の段階（Stage C）では、ユーザーからの入力を受けて、それを24×24サイズの非常に小さな画像データに変換します。これにより、高度に圧縮された形で画像情報を扱うことができます。
  • このプロセスでは、テキストに基づいた画像生成（Stage C）と高解像度画像への変換（Stage A & B）が分離されているため、特定の部分だけを改良することが可能になります。この柔軟性により、より高品質な画像生成が可能です。
• 他の技術との比較
  • Stable Cascadeは、プロンプトに基づいた画像の正確さや美的品質において、他の類似技術を上回る性能を持っています。これは実際に人間による評価でも確認されています。
• 追加機能
  • このプログラムは、単にテキストから画像を生成するだけでなく、画像のバリエーションを作成したり、既存の画像を基に新しい画像を生成する機能も持っています。これにより、より多様なクリエイティブな作品を生み出すことが可能です。
• 開発者向け情報
  • Stable Cascadeの開発に関わるすべてのコード（トレーニング、微調整、特定機能の実装など）は、公開されており、誰でもアクセスして試すことができます。これにより、プログラムのカスタマイズや機能拡張が容易になります。

——————————

【技術解説】 2024-02-13 “LlamaIndex v0.10 の概要” https://note.com/npaka/n/nb8acc1f63312

【技術解説】 2024-02-13 LlamaIndex v0.10 https://blog.llamaindex.ai/llamaindex-v0-10-838e735948f8

LlamaIndex v0.10の概要

• lamaIndex v0.10.0のアップデートについて
  • LlamaIndexはPythonで動作するパッケージで、今回のアップデートがこれまでで最大のものです。特に、機械学習モデルを用いたアプリケーション開発をサポートするためのデータ処理フレームワークとしての機能が強化されています。
• 主な変更点
  • コアパッケージの分離: プログラムの基本機能を**llama-index-core**というパッケージに集約し、それ以外の機能は追加でインストールできるようにしました。これにより、ユーザーが必要な機能だけを選択して使えるようになります。
  • LlamaHubの導入: すべての追加機能（統合機能やテンプレートなど）は、LlamaHubという中央の場所からアクセスできるようになりました。これはプログラムの使い勝手を向上させるものです。
  • ServiceContextの非推奨化: 従来のLlamaIndexでは、ServiceContextという設定を通じてさまざまな機能を管理していましたが、このアップデートで廃止されました。これにより、より直接的かつシンプルに設定が行えるようになります。
  • アップグレードに伴う注意点: このアップデートでは、特に統合機能やパッケージングの方法が変わったため、コードの一部に破損が生じる可能性があります。しかし、移行を支援するためのスクリプトが提供されています。
• パッケージングの変更
  • LlamaIndexは、多くの異なる機能やツールを包含する大きなツールキットに成長しました。このアップデートでは、それらの機能を個別のパッケージに分割し、ユーザーが必要に応じて選択・利用できるようになりました。これにより、プログラムの柔軟性が高まり、依存関係や更新の管理が容易になります。
• フォルダ構造の変更と統合機能
  • リポジトリ内のフォルダ構造が見直され、コア機能、第三者統合、テンプレートなどが明確に分類されました。これにより、開発者が目的の機能やツールを見つけやすくなっています。
• LlamaHubとの連携
  • LlamaHubは、すべての追加機能を一覧できる中央のハブとして機能します。ユーザーはここから必要な機能を簡単に見つけて使うことができます。
• 使用例と貢献の仕方
  • 例として、特定の機能のインストール方法や使用方法が提供されています。また、LlamaIndexの発展に貢献したい場合のガイドラインも用意されています。

このように、LlamaIndex v0.10.0は、より使いやすく、拡張性が高いデータフレームワークへと進化しています。開発者は必要な機能を柔軟に選択し、自分のプロジェクトに合わせてカスタマイズすることが可能になりました。

——————————

【LLM新技術】 2024-02-12 “LLMに敢えて間違わせてルールを覚えさせるプロンプト手法　Google DeepMindなどが考案” https://ai-data-base.com/archives/64057

【LLM新技術】In-Context Principle Learning from Mistakes https://arxiv.org/abs/2402.05403

In-Context Principle Learning from Mistakesの概要

• 新しい学習方法「LEAP」について
  • 通常、AIは正しい答えの例だけを見て学習しますが、「LEAP」は間違いからも学びます。
  • 具体的には、AIにわざと間違えさせて、その間違いから「原理」を学ばせる方法です。
  • この「原理」を使って、AIは新しい問題にもうまく答えられるようになります。
• 「LEAP」の効果
  • 複数の難しい問題（例えば、難しい質問応答や数学の問題）で、この方法を試しました。
  • 結果として、今までのAIよりも正確に答えられるようになりました。DROPというテストでは7.5%、HotpotQAでは3.3%改善しました。
• 「LEAP」のメリット
  • この方法は、追加のデータや例を必要としません。つまり、少ない情報からでも、AIがより賢くなるのを助けることができます。
  • 間違いから学ぶことで、AIが同じ間違いを繰り返さないようにし、より複雑な問題にも対応できるようになります。

このように、「LEAP」は、AIが間違いから学び、それを活かして新しい問題を解決できるようになるという新しいアプローチです。これにより、AIは以前よりも賢く、効率的にタスクをこなせるようになります。

——————————

【ニュース】 2024-02-13 “「Raspberry Pi® 5」スイッチサイエンスは2024年2月13日販売開始” https://prtimes.jp/main/html/rd/p/000000150.000064534.html

——————————

【ニュース】2024-02-13 Google、欧州でのAIスキル教育に2500万ユーロ（約40億円）投資へ https://www.itmedia.co.jp/news/articles/2402/13/news096.html

【ニュース】Launching the AI Opportunity Initiative for Europe https://blog.google/around-the-globe/google-europe/google-ai-opportunity-initiative-europe/

Launching the AI Opportunity Initiative for Europeの概要

• ヨーロッパのAI機会イニシアティブについて
  • Googleがヨーロッパ経済をAI技術で変革しようとしている取り組みです。AIが持つ可能性を全員が享受できるように、教育や訓練を提供するプロジェクトです。
  • AI技術を使って、医療の研究者が病気を理解したり新しい素材を見つけたり、話し言葉に障害のある人がよりはっきりとコミュニケーションを取れるようにするなど、社会の大きな課題に対処しています。
• イニシアティブの主な目的と活動
  • トレーニングとスキル提供: AI技術を活用するためには、関連する知識やスキルが必要です。このイニシアティブでは、ヨーロッパの人々がAIの機会をつかむためのトレーニングを提供します。
  • 脆弱なコミュニティへの支援: 25百万ユーロの資金を使って、特に支援が必要な人たちにAIスキルのトレーニングを行います。これには、仕事を失うリスクのある労働者へのスキルアップ支援が含まれます。
  • スタートアップへの支援: AIを使って社会の大きな問題を解決しようとするスタートアップを支援するプログラムを展開しています。これには、健康、教育、サイバーセキュリティなどの分野が含まれます。
  • 一般向けの新しいトレーニング: AIの基礎に関するコースを18言語で無料提供します。これにより、AI技術について学び、実務で活用する方法を身につけることができます。
• イニシアティブの意義
  • AI技術は、社会をより良く、公平で、健康なものに変える可能性を持っています。このイニシアティブを通じて、ヨーロッパがその潜在力を最大限に活用し、産業がより生産的になり、新しい種類の仕事が生まれ、誰もが変化に対応できるよう支援します。

このように、GoogleはヨーロッパでAI技術を使った経済と社会の発展を促進するために、教育とトレーニングの提供、スタートアップの支援、そして広範なコミュニティへのアクセス提供を目指しています。この取り組みにより、AIの利点を全ての人が享受できるようになることを目指しています。

——————————

【開発技術】 2024-02-12 フロントエンド監視の全体像と実現方法 https://zenn.dev/kimitsu/articles/frontend-monitoring

——————————

【IT・AIの活用】 2024-02-13 メルカリで値段の「¥マーク」を小さくしたら購入率が伸びた理由、ペイディがサービス名を「カタカナ表記」にする理由など、プロダクトのマーケ施策まとめ30(2023)｜アプリマーケティング研究所 https://markelabo.com/n/n122fe2047658

【IT・AIの活用】 2024-02-13 AIを使った“利益を出す馬券”の買い方とは？　はこだて未来大の准教授がAIによる競馬予想法を指南 https://www.itmedia.co.jp/news/articles/2402/13/news044.html

【IT・AIの活用】 2024-02-13 マグロ、ワイン、日本酒……AIが目利き　「10年以上かかる」職人スキルを深層学習で再現 https://www.itmedia.co.jp/news/articles/2402/13/news110.html

——————————

【つくってみた】 2024-02-13 LangChainでポケモンデータの分析&レポートを行うAIエージェントをつくってみる https://qiita.com/suzuki0430/items/f3e9b7ced982efe5a6b3

【つくってみた】 2024-02-13 “OpenAI API Embeddings の dim 指定の実装方法を確認した” https://qiita.com/hideki/items/4295c6ed0ce4c5c875b3

【つくってみた】 2024-02-13 “Azure OpenAI の Assistants API によるエージェント開発メモ①” https://qiita.com/nohanaga/items/fa9f5260cf85a7fddc52

——————————

【スキルアップ】 2024-02-12 データベースを勉強したいあなたに送る技術書17冊(+11冊1講義7link) https://zenn.dev/levtech/articles/9ab9eea13a826d

【スキルアップ】 2024-02-13 若手の人に「いい質問ってどうすれば出来るようになるでしょうか」と聞かれた時の話。 https://blog.tinect.jp/?p=85307

2024/2/12のピックアップ

【DL技術】2024-02-12 “Pruning Libraryまとめ Pytorch編” https://qiita.com/minh33/items/74671623d5a7940ed2ef

【DL技術】2023-5-1 Structured Pruning for Deep Convolutional Neural Networks: A survey https://arxiv.org/abs/2303.00566

CNNにおける「Pruning」についての概要

• 深層学習で使われるCNNという技術は、複雑で大きなネットワーク構造が特徴ですが、これが原因で計算にかかるコストが非常に高くなります。
• そのため、ネットワーク内の不要な部分を「削る」プルーニングという方法が使われており、計算コストを減らすことができます。
• ただし、単に部分を削るだけでは不十分で、ハードウェアにも適した効率的な形でネットワークを整理する構造化プルーニングが重要になっています。
• 構造化プルーニングは新しい課題を引き起こしましたが、それに対応するための革新的な技術も開発されています。
• この記事では、そうした構造化プルーニングの技術や、それを支える様々な方法や理論について、最新の研究動向を紹介しています。
• さらに、今後の研究で注目される可能性のある分野や、プルーニング技術の比較を行えるウェブサイトの情報も提供しています。

——————————

【新しいLLM】v1.1 チューニング済みモデル・データ公開 https://llm-jp.nii.ac.jp/blog/2024/02/09/v1.1-tuning.html

LLM-jp-13B v1.1の概要

• 京都大学の言語メディア研究室から、LLM-jp-13B v1.1のチューニング済みモデルが公開されました。
• LLM-jp-13Bは、日本語と英語を中心に学習した130億パラメータの大規模言語モデルです。
• 新しいバージョンでは、インストラクションチューニングとDPO (Direct Preference Optimization) を採用し性能が向上しました。
  • インストラクションチューニングとは、AIが人の言葉で与えられた指示に基づいて正確に応答できるようにする改良のことです。
  • DPO (Direct Preference Optimization) とは、AIが人の好みや期待に合った答えを選ぶ能力を高める技術です。
• chikara-instruction データセットは基本的に商用利用不可ですが、これを用いて学習したモデルは理研AIPとNIIの契約に基づき商用利用が可能になり、データセット自体の商用利用は有償で可能です。

——————————

【技術解説】 2024-02-12 “ChatGPT、MS Copilot、Gemini機能比較（ChatGPTのみ有料版にて）” https://qiita.com/aokikenichi/items/7e7df2eae9880a626ea7

—————————–

【技術解説】 2024-02-12 “日本語LLMにおけるトークナイザーの重要性 | データアナリティクスラボ” https://dalab.jp/archives/journal/japanese-llm-tokenizer/

日本語LLMにおけるトークナイザーの重要性の概要

• トークナイゼーションとはテキストを小さな単位に分割することです。この分割により、コンピュータは言葉の意味を理解しやすくなります。
• 日本語のトークナイゼーションは特に難しく、文中での単語の区切りが英語よりも複雑です。
• 「サブワード」という方法で、単語をさらに小さな意味のある部分に分割します。このサブワードによる分割は、単語全体を語彙に含める必要がなく、より効率的な言語処理を可能にします。
• 形態素解析やSentencePieceなど、日本語トークナイゼーションには複数のアプローチがあります。
  • 形態素解析は日本語の単語を認識して分割する方法です。
  • SentencePieceは、特定の言語に依存しない一般的な分割方法で、テキストを直接学習して最適な分割を見つけます。
• 日本語専用の大規模言語モデル(LLM)では、テキストを小さな単位に分割する「トークナイゼーション」に特別な工夫がされています。
• Japanese StableLM Alphaには、日本語と英語の両方を処理するために、「NovelAI Tokenizer」という特別なトークナイザーが使われています。
  • このトークナイザーは、テキストをより効率的に処理するための工夫がされており、語彙サイズが大きく設定されています。
  • また、絵文字などの特殊文字も処理できるようにしています。
• 別のモデル「ELYZA-japanese-Llama-2-7b」では、日本語処理のためにトークナイザーを改良しています。
  • 日本語テキストだけで新たなトークナイザーを学習させ、既存のトークナイザーと組み合わせています。
  • この改良により、日本語のテキスト処理の効率が向上しました。
• トークナイゼーションの工夫には、「圧縮率」という概念が重要です。
  • 圧縮率が高いと、少ないトークンで多くの情報を処理できますが、バランスが重要です。
• 日本語のトークナイゼーションでは、文中での単語の区切りが英語より複雑なため、特に工夫が必要です。

——————————

【RAG】Self-Refrective RAG https://blog.langchain.dev/agentic-rag-with-langgraph/

Self-Refrectve RAGの概要

• 大規模なAI（LLM）は、たくさんのインターネット上の情報から学んでいますが、最新の情報やプライベートな情報は学習できません。
• RAG（検索強化生成）という方法を使って、AIに外部の情報を取り入れさせることができます。これは、ユーザーからの質問に対して関連する情報をインターネットなどから探し出し、その情報を基にAIが回答を作る流れです。
• ただ、この流れをうまく管理するには、いつどの情報を取りに行くか、質問をどう改善すればいいか、関係ない情報はどう省くかといった判断が必要です。
• 自己反映型RAGとは、AIが自分で検索結果が悪かった場合に、どう修正すれば良いかを考え直す方法です。この方法では、質問に応じて最適な情報源を選んだり、質問を書き直したりすることがあります。また、情報を取り直すための「ループ」も考えられます。
• LangGraphというツールを使うと、AIがどのように情報を探し、どの情報を使って答えを出すかの流れを柔軟に設計できます。これにより、AIの回答がより正確になります。
  • CRAGという方法では、検索した情報がどれだけ役に立つかをAIが評価し、必要であればインターネット検索を追加で行います。これにより、より多くの情報から良い回答を得ることができます。
  • Self-RAGという方法では、AIが自分で自己評価を行い、検索や回答の過程をより良くするための「自己修正」を行います。

—————————–

【RAG】Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection https://arxiv.org/abs/2310.11511

Self-RAGの概要

• 大規模言語モデルは、自分が持っている情報だけを使って答えを出すため、時々間違った情報を含むことがあります。
• RAGという技術は、インターネットから関連情報を探してきて、答えをより正確にすることを目指していますが、必要ない情報まで取ってきてしまうと問題があります。
• Self-RAGは、必要に応じて情報を探し出し、その情報をもとに答えを出すと同時に、出した答えが正しいか自分で考え直す技術です。これにより、答えの質が上がります。
• この技術では「反映トークン」という特別な印を使って、この自分で考え直す機能をコントロールします。
• 実験結果によると、Self-RAGは、色々な問題に対して、今までの最新技術よりも良い結果を出すことができました。特に、質問に答えたり、事実を確認する能力が高まり、長い文章を作る際の正確さも改善されました。

—————————–

【RAG】Corrective Retrieval Augmented Generation　https://arxiv.org/abs/2401.15884

CRAGの概要

• 大規模言語モデル（LLM）は、文章を自動で作ることができますが、時に間違った情報を作り出してしまうことがあります。
• これを補うために、以前に集めた情報（文書）を参考にして文章を生成する方法（RAG）があります。しかし、参考にする情報が間違っていたり、関係ない場合があります。
• このような問題を解決するために、「修正型情報検索を利用した生成（CRAG）」という新しい方法を考えました。これは、文章を生成する際の堅牢性（信頼性）を高める方法です。
• この方法では、集めた情報がどれくらい役立つかを評価する小さなプログラムを使って、情報の質に基づいてどのような行動を取るかを決めます。
• ただし、限られた情報源からは最適な情報が得られないこともあるため、インターネット上の広範囲な情報を使って、より良い情報を探します。
• さらに、集めた情報から本当に必要な情報だけを選んで、関係ない情報は除外するための特別な手順を設計しました。
• CRAGは簡単に他の方法と組み合わせて使えるようになっています。
• 短い文章から長い文章まで、様々なタイプの文章を生成する実験で、CRAGを使うと、以前の方法よりもずっと良い結果が得られることがわかりました。

——————————

【データ基盤】 2024-02-12 “個人的なdbtの推しポイントを書いてみる – yasuhisa’s blog” https://www.yasuhisay.info/entry/2024/02/12/055530

——————————

【その他】 2024-02-11 話題の日本酒「ソースコード」を読んで（飲んで）みた https://dev.classmethod.jp/articles/sake-source-code-umai/

——————————

【やってみた】 2024-02-11 “Lambda で OpenAI APIを実行する” https://qiita.com/erichama427/items/825e013065566ce620b4

【スキルアップ】 2024-02-12 “僕はこうして””最短で””大手データサイエンティストに内定した” https://qiita.com/tarantula426/items/7a6fa491e2fd6475cd02

2024/2/11のピックアップ

【分析技術】 2024-02-10 Union-Findアルゴリズムと計算科学の話 https://zenn.dev/kaityo256/articles/union_find_physics

——————————

【開発技術】 2024-02-11 Gradleを用いたJava開発記事まとめ https://qiita.com/k-ente/items/48d01c2e693c128596a5

【Web技術】 2024-02-11 “アプリケーションエンジニアこそ「監視」だよね！と私が考える訳 #phpkansai” https://speakerdeck.com/o0h/phpkansai-2024

——————————

【ニュース】 2024-02-10 “生成AI導入、18％どまり　日本企業、米豪と大差 ｜ 共同通信” https://nordot.app/1128934251428184271

【ニュース】 2024-02-11 “有料クラウドストレージ「Google One」ユーザーが1億人突破　「Gemini Advanced」効果も” https://www.itmedia.co.jp/news/articles/2402/11/news045.html

——————————

【スキルアップ】 2024-02-11 キャリアアップの2つの壁 https://dev.classmethod.jp/articles/walls-of-career-up/

【スキルアップ】 2024-02-10 “エンジニアが今日から始める英語学習の継続方法 – Uzabase for Engineers” https://tech.uzabase.com/entry/2024/02/09/184401

2024/2/10のピックアップ

【LLM新技術】 2024-02-09 ファインチューニングデータが十分に大きい場合、タスク性能向上に追加の事前学習は不要の可能性　Googleなどによるスケーリング則の実験から https://ai-data-base.com/archives/64001

——————————

【RAG】 2024-02-10 GPT連携アプリ開発時の必須知識、RAGをゼロから解説する。概要＆Pythonコード例 https://qiita.com/yk__/items/d466698be59a16d75a49

——————————

【ニュース】 2024-02-09 大手の送信ドメイン認証「DMARC」導入率が8割超に、Gmailのガイドラインが奏功 https://xtech.nikkei.com/atcl/nxt/column/18/00001/08889/

——————————

【その他】 2024-02-09 KDDIが楽天を買収したらアマゾン超えも夢じゃない？ローソンTOBの「先」を予測してみた https://diamond.jp/articles/-/338669 –

————————–—

【つくってみた】 2024-02-09 ぼくのかんがえたさいきょうの強化学習アルゴリズム（テーブルベース編） https://qiita.com/pocokhc/items/e246f136c9d5d2d23678

【つくってみた】 2024-02-10 “Amazon ECSで好きなだけ検証環境を起動できるOSSの設計・実装・運用 / YAPC::Hiroshima 2024” https://speakerdeck.com/fujiwara3/yapc-hiroshima-2024

——————————

【マネジメント】 2024-02-10 “非同期開発体制を支えるドキュメント文化 / YAPC::Hiroshima 2024” https://speakerdeck.com/konboi/yapc-hiroshima-2024

【スキルアップ】 2024-02-09 “生成AIを使って海外AIニュースの要約を社内Teamsに投稿してみた – AITC – ISID | AI トランスフォーメンションセンター コラム” https://aitc.dentsusoken.com/column/Automatically_post_news_summaries_with_chatgpt

2024/2/9のピックアップ

【新サービス】Bard から Gemini へ：Ultra 1.0 とGemini アプリを発表https://japan.googleblog.com/2024/02/bard-gemini-ultra-10-gemini.html

【新サービス】 2024-02-09 “Dockerのファイルアクセスが最大で2倍から10倍高速に。買収したMutagenのファイル同期技術をDocker Desktopに統合” https://www.publickey1.jp/blog/24/docker210mutagendocker_desktop.html

【新サービス】 2024-02-09 “Dockerの設定を大きく省力化する「Docker Init」コマンドが正式リリース。DockerfileやCompose設定ファイルなど自動生成” https://www.publickey1.jp/blog/24/dockerdocker_initdockerfilecompose.html

【新サービス】 2024-02-09 “Windows 11に「Sudo」コマンドを追加へ ～Linuxスタイルでコマンドの権限昇格が可能に” https://forest.watch.impress.co.jp/docs/news/insiderpre/1567632.html

【新サービス】 2024-02-09 “「メモ帳」にAI機能、選択テキストの説明を「Copilot in Windows」に依頼／まずはプレビュー版「Windows 11」（Canary/Dev）でテスト” https://forest.watch.impress.co.jp/docs/news/1567636.html

——————————

【人間とAIの未来】 2024-02-08 グーグル、来歴記録の「C2PA」に参加　透明性担保の動きが加速 https://www.watch.impress.co.jp/docs/news/1567571.html

——————————

【DL技術】 2024-02-09 立教大、フーリエ変換を用いて大量のメモリが不要な画像認識の新手法を開発 https://news.mynavi.jp/techplus/article/20240207-2879063/

——————————

【技術解説】 2024-02-09 【LLM】Claudeに基づく超長文プロンプトの上手な書き方 https://qiita.com/Notta_Engineering/items/2c70ce5b2c657aaa8099

【RAG】 2024-02-09 “RAGの性能を改善するための8つの戦略 | Fintan” https://fintan.jp/page/10301/

——————————

【LLMの活用】 2024-02-08 GPT-4にRAG（検索拡張生成）を適用するケーススタディ　臨床問題で人間の医師よりも高い精度を達成 https://ai-data-base.com/archives/63952

【IT・AIの活用】 2024-02-09 ポケモンバトルに特化したAI、ポケモン社が将棋AIの会社と開発　「竜王戦」ライブ配信に活用 https://www.itmedia.co.jp/news/articles/2402/09/news173.html

——————————

【ニュース】 2024-02-09 アリババからAIへ、シフト鮮明に　四半期ベース黒字転換を果たしたソフトバンクG https://www.itmedia.co.jp/news/articles/2402/09/news124.html

【ニュース】 2024-02-09 OpenAIのサム・アルトマンCEOが数百兆円という桁外れの資金調達を計画し「半導体業界の再構築」を目指している、すでに孫正義やUAEの有力者と会談しているとの報道も https://gigazine.net/news/20240209-sam-altman-reshape-chip/

【ニュース】2024-02-09 なぜGmailだけ届かなかった？　高校出願システム問題、神奈川県に詳しく聞いた https://www.itmedia.co.jp/news/articles/2402/09/news114.html

【ニュース】 2024-02-09 ローソン「KDDI・三菱商事の共同経営」で王者セブンが負けるかもしれない3つの理由 https://diamond.jp/articles/-/338591

【ニュース】 2024-02-09 “AppleがiOS 17.4のベータ版でPWAのサポートを削除していることが明らかに” https://gigazine.net/news/20240209-apple-pwa-support-remove/

——————————

【開発技術】 2024-02-09 “【イベントレポート】Kubernetes活用の手引き 私たちの基盤構築・運用事例 Lunch LT” https://techblog.zozo.com/entry/findy-kubernetes

【開発技術】 2024-02-08 “[WASM] CheerpJ 3.0を使ってブラウザでJavaアプリを動かす [アプレット]” https://dev.classmethod.jp/articles/cheerpj-java/

【開発技術】 2024-02-09 pandasのマルチインデックスのチートシート https://qiita.com/mokomoko20/items/d3ae28aab46c0b05b6ea

——————————

【スキルアップ】 2024-02-08 “私のJavaScriptの情報収集法 2024年版” https://efcl.info/2024/02/08/javascript-info/

2024/2/8のピックアップ

【新サービス】 2024-02-08 Microsoft、「Copilot」1周年アップデートで新モデル「デュカリオン」搭載など https://www.itmedia.co.jp/news/articles/2402/08/news085.html

【新サービス】 2024-02-08 “AppleがWindows向けアプリの「Apple Music」「Apple TV」「Appleデバイス」を正式リリース、ただしiTunesはまだ残る” https://gigazine.net/news/20240208-apple-music-tv-device-for-windows/

【画像生成AI】 2024-02-08 Apple、UCSBと共同でマルチモーダルLLM採用のテキストベースの画像編集「MGIE」発表 https://www.itmedia.co.jp/news/articles/2402/08/news090.html

——————————

【新しいLLM】 2024-02-08 “Abacus AIがリリースしたオープンソースLLM「Smaug-72B」がHugging FaceのOpen LLM LeaderboardでトップとなりいくつかのベンチマークでGPT-3.5を上回ったことが明らかに” https://gigazine.net/news/20240208-smaug-72b/

【新しいLLM】 2024-02-08 国産「小さいLLM」が2024年春に相次ぎ登場、NECとNTTが見いだした2つの勝ち筋 https://xtech.nikkei.com/atcl/nxt/column/18/02741/020200002/

【新しいLLM】 2024-02-07 ソフトバンクの生成AIは「1兆パラメーター目指す」と宮川社長　“蒸留”して「研ぎ澄まされたLLMに」 https://www.itmedia.co.jp/news/articles/2402/07/news181.html

——————————

【ニュース】 2024-02-08 機密漏えい、罰則2段階　政府のセキュリティー・クリアランス制度　懲役10年か拘禁5年 https://www.itmedia.co.jp/news/articles/2402/08/news092.html

【ニュース】 2024-02-08 警察庁にサイバー専門の特捜部　国際協力強化へ、人員・肩書もアップ https://www.itmedia.co.jp/news/articles/2402/08/news155.html

【ニュース】 2024-02-08 ディズニー、「フォートナイト」のエピックの株式15億ドルを取得　新コンテンツ共同開発へ https://www.itmedia.co.jp/news/articles/2402/08/news100.html

【ニュース】 2024-02-08 ChatGPT開発のOpenAIが「デバイスを操作してタスクを自動化するソフトウェア」を開発 https://gigazine.net/news/20240208-openai-developing-software-automates-devices/

——————————

【機械学習モデル】 2024-02-07 “Replicate にサインインする & API キーを発行する” https://qiita.com/mitsuoka0423/items/5b72830c2fb52c4a2b6c

【機械学習モデル】 2024-02-08 “詳細解説！Cyclic boosting” https://qiita.com/setorontist/items/072550fbaeeda6e1702d

【DL技術】 2024-02-08 “Shuffle Transformer: 局所と大域の融合による効率的なトランスフォーマー” https://qiita.com/kinkalow/items/41e3e2a05510914c8c77

——————————

【技術解説】2024-02-07 “SGLang+Flashinferによる高速推論 on Databricks” https://qiita.com/isanakamishiro2/items/6bd735fa38f1fa69862d

【技術解説】 2024-02-08 “Code Interpreter 呼び出しの仕組みを理解する” https://qiita.com/shyamagu/items/8d6f2c6e1e4d31417d14

【技術解説】 2024-02-07 “OpenAI API Function callingを使ってみて分かった仕様をまとめていく” https://qiita.com/ry-na/items/30734da58660d15bf9bb

——————————

【開発技術】 2024-02-07 “Java経験者がKotlinで実装したアプリをGoogle Playでリリースするまでに得た気づき” https://qiita.com/dAii_7tHw_eL8R/items/a66aa16b5406ec94edea

【開発技術】 2024-02-08 モダンCSSで実装する、テーブル（<table>）のさまざまなスタイルのまとめ https://coliss.com/articles/build-websites/operation/css/a-guide-to-styling-tables.html

——————————

【マネジメント】 2024-02-08 ウクライナ軍に入隊したアジャイルコーチが、さまざまなメソッドを駆使して中隊長としてのリーダーシップを実現した話（前編） https://www.publickey1.jp/blog/24/post_291.html

【マネジメント】 2024-02-08 ウクライナ軍に入隊したアジャイルコーチが、さまざまなメソッドを駆使して中隊長としてのリーダーシップを実現した話（中編） https://www.publickey1.jp/blog/24/post_292.html

【マネジメント】 2024-02-08 ウクライナ軍に入隊したアジャイルコーチが、さまざまなメソッドを駆使して中隊長としてのリーダーシップを実現した話（後編） https://www.publickey1.jp/blog/24/post_293.html

——————————

【その他】 2024-02-08 【スゴ本】世界がこうなるなら私はどうする？ITエンジニア必読のサイエンス・フィクション6冊 https://levtech.jp/media/article/column/detail_383/

【つくってみた】 2024-02-08 最近流行りのRemixとCloudflareをキャッチアップするために一個アプリ作った話 https://zenn.dev/yamada_quantum/articles/7b3b6cd1066ab8

2024/2/7のピックアップ

【LLMの活用】 2024-02-06 “【日本語訳】PokéLLMon: A Human-Parity Agent for Pokémon Battles with Large Language Models” https://qiita.com/Maki-HamarukiLab/items/216a7bc386dd3c42519c

【LLMの活用】 2024-02-07 AIがポケモンバトルをしたら？　15年以上の熟練プレイヤーとの戦いで勝率56％　米研究者ら「PokeLLMon」開発 https://www.itmedia.co.jp/news/articles/2402/07/news056.html

【LLMの活用】 2024-02-07 ナレッジグラフ（知識グラフ）とLLMを掛け合わせる方法のロードマップ https://ai-data-base.com/archives/63808

——————————

【LLM新技術】 2024-02-06 自信がないときにLLMに発言を控えさせる手法 https://ai-data-base.com/archives/63749

——————————

【人間とAIの未来】 2024-02-07 OpenAI、ChatGPTやDALL-E3の生成画像に「AI生成」を明示 https://www.watch.impress.co.jp/docs/news/1567014.html

【人間とAIの未来】 2024-02-07 Meta、インスタやFacebookへのAI画像投稿に「AI」ラベル表示 https://www.watch.impress.co.jp/docs/news/1567020.html

【人間とAIの未来】2024-02-07 YouTube、ディープフェイク対策など生成AIの取組強化 https://www.watch.impress.co.jp/docs/news/1567122.html

——————————

【ニュース】 2024-02-06 TSMC、熊本に第二工場建設　27年末稼働を目指す https://www.watch.impress.co.jp/docs/news/1566907.html

【ニュース】 2024-02-06 ニトリ、自社ECで他社製品販売　マーケットプレイス立ち上げ https://www.watch.impress.co.jp/docs/news/1566884.html

【ニュース】2024-02-06 “楽天ドライブ、楽天ID連携で本格展開　Microsoft 365搭載クラウドストレージ” https://www.watch.impress.co.jp/docs/news/1566894.html

【ニュース】 2024-02-07 ソニーと日立、物流を相互利用へ　2024年問題に対応 https://www.itmedia.co.jp/news/articles/2402/07/news150.html

【ニュース】 2024-02-07 東京都、QRコード決済で10%ポイント還元　3月実施　「PayPay」「d払い」など対象 https://www.itmedia.co.jp/news/articles/2402/07/news142.html

【ニュース】 2024-02-07 JR東が新たなベンチャーキャピタル設立　アドテク・物流などに最大50億円投資　シンガポールで https://www.itmedia.co.jp/news/articles/2402/07/news140.html

——————————

【Java】 2024-02-07 “WebAssemblyでOpenJDKのJavaランタイムを実装、JarファイルをそのままWebブラウザで実行できる「CheerpJ 3.0」正式リリース” https://www.publickey1.jp/blog/24/webassemblyopenjdkjavajarwebcheerpj_30.html

——————————

【スキルアップ】2024-02-07 気負わず、書く。私が意識してやっている、子育て中でもできるアウトプット術 https://levtech.jp/media/article/column/detail_382/

【つくってみた】 2024-02-06 大学図書館システムを解析して自動化した話(技術メイン) https://zenn.dev/calloc134/articles/9b9d8f883be0dd

——————————

【その他】 2024-02-06 “僕が10年以上続けている「メールの受信トレイを空っぽにしつづける」管理方法 – ぷらすのブログ” https://blog.p1ass.com/posts/keep-inbox-empty/

【その他】 2024-02-07 “女性主導の研究論文”は男性主導の論文より引用されにくい？　1億件の論文で調査 https://www.itmedia.co.jp/news/articles/2402/07/news054.html

2024/2/6のピックアップ

【新サービス】 2024-02-06 AWS、オープンソースのコンテナ開発ツール「Finch」のWindows版リリース。コンテナのビルドや実行環境一式 https://www.publickey1.jp/blog/24/awsfinchwindows.html

——————————

【RAG】 2024-02-05 ReRankingを適用したRAGの精度向上について https://dev.classmethod.jp/articles/rag-with-reranking/

【RAG】 2024-02-06 RAGの実案件に取り組んできた今までの知見を資料にまとめてみた https://dev.classmethod.jp/articles/rag-knowledge-on-real-projects/

——————————

【LLM新技術】 2024-02-05 “LLM自身が自分をチューニングする手法：Self-Rewarding について” https://qiita.com/xxyc/items/76f62034cdc9c188a8a2

【LLM新技術】 2024-02-05 “LLMの検索結果をさらに正確にする手法『CRAG（修正型検索拡張生成：Corrective Retrieval Augmented Generation）』” https://ai-data-base.com/archives/63672

——————————

【IT・AIの活用】 2024-02-06 さんふらわあ、「スターリンク」を乗客向けに提供　業界初 https://www.watch.impress.co.jp/docs/news/1566704.html

【人間とAIの未来】 2024-02-06 “AIが”生んだ”芥川賞「東京都同情塔」誕生秘話を作家が明かす | NHK | WEB特集” https://www3.nhk.or.jp/news/html/20240206/k10014344981000.html

——————————

【ニュース】 2024-02-06 “アドビ、「Creative Cloud」値上げ　コンプリートプランは月1300円アップ” https://www.itmedia.co.jp/news/articles/2402/06/news161.html

【ニュース】 2024-02-06 外務省公電が中国に漏えい　2020年にサイバー攻撃 https://www.itmedia.co.jp/news/articles/2402/06/news136.html

【ニュース】 2024-02-06 KDDIがローソン共同経営へ、出資比率2%→50％に https://k-tai.watch.impress.co.jp/docs/news/1566762.html

【ニュース】 2024-02-06 人はなぜワクチン反対派になるのか──東大などがツイート分析　「陰謀論などに傾倒する人がなりやすい」 https://www.itmedia.co.jp/news/articles/2402/06/news128.html

【ニュース】 2024-02-06 炭化したパピルス巻物をAIで解読するコンテストで2000文字以上解読成功 https://www.itmedia.co.jp/news/articles/2402/06/news101.html

——————————

【マネジメント】 2024-02-06 “「CTOの限界」を救う新しいポジション、スタッフエンジニアを組織に実装する方法【estie 岩成達哉】” https://levtech.jp/media/article/interview/detail_380/

【科学技術】2024-02-06 人間の脳組織を3Dプリンタで印刷。成長し神経ネットワークを形成、疾患研究への応用に期待　米研究者ら発表【研究紹介】 https://levtech.jp/media/article/column/detail_381/

2024/2/5のピックアップ

【新サービス】 2024-02-05 “Google マップ、LLMを使って行きたい場所をおすすめする新機能” https://www.watch.impress.co.jp/docs/news/1566179.html

【新しいLLM】 2024-02-05 “OLMo-7Bを試してみる on Databricks” https://qiita.com/isanakamishiro2/items/7efba294a9f19983d041

【開発技術】 2024-02-05 “アップル、新しいプログラミング言語「Pkl」をオープンソースで公開。コンフィグレーション生成用 | テクノエッジ TechnoEdge” https://www.techno-edge.net/article/2024/02/05/2753.html

——————————

【ニュース】 2024-02-05 AWS、IPv4アドレスへの課金が今月からスタート。1カ月約500円 https://www.publickey1.jp/blog/24/awsipv41500.html

【ニュース】 2024-02-05 Googleがついに検索結果ページでのキャッシュ提供を終了 https://gigazine.net/news/20240205-google-search-kills-off-cached/

——————————

【スキルアップ】 2024-02-05 【新連載】まずは自分のために。きしだなおきが提案する自己成長を目的とした「アウトプット駆動勉強術」 https://levtech.jp/media/article/column/detail_379/

2024/2/4のピックアップ

【生成AI技術】 2024-02-04 “Diffusion Modelの解説論文” https://qiita.com/suikabar/items/f23f83df0febdd50125c

【生成AI技術】 2024-02-04 GaussianSplatting論文のAblationについての解説・考察 https://qiita.com/kotauchisunsun/items/f1e89f28aa770b8d3b19

【生成AI技術】 2024-02-04 “SegMoE: Segmind Mixture of Diffusion Experts の概要” https://note.com/npaka/n/nd2902893150b

——————————

【Kaggle】 2024-02-03 Kaggle参戦記：エストニアの電力需給予測にいっちょかみで参加 https://qiita.com/rho-guy/items/ea0e7ea1893962beeb5a

——————————

【スキルアップ】 2024-02-04 『AI時代のソリューション力』〜2023年話題になったAIツールを使ってみる〜 https://speakerdeck.com/masapyon1212/aishi-dai-nosoriyusiyonli-2023nian-hua-ti-ninatutaaituruwoshi-tutemiru

2024/2/3のピックアップ

【新サービス】 2024-02-02 “「LINE AI Q＆A」開始　ユーザーとAIがつくるQ&Aサービス” https://www.watch.impress.co.jp/docs/news/1566045.html

——————————

【新しいLLM】2024-02-03 karakuri-lm-70b-chatをOpenAI互換のローカルサーバとして動かしてみた https://qiita.com/takaaki_inada/items/3a22b982a3541e6f214c

【RAG】 2024-02-03 サブシステムをまたぐ社内情報検索のためRAG構成 https://qiita.com/ymgc3/items/489fd41bdc4dff90762f

——————————

【ニュース】 2024-02-02 ドコモ、ネットワーク品質を「大幅改善」と報告　対策は9割完了 https://www.watch.impress.co.jp/docs/news/1566115.html

【ニュース】 2024-02-03 “Microsoft、Windows 11に「sudo」コマンドの追加を準備中か” https://news.mynavi.jp/techplus/article/20240202-2875669/

——————————

【スキルアップ】 2024-02-02 駆け出し時代の自分に読ませたかった技術書18選　遠回りをしまくった自分に送りたい https://zenn.dev/mesi/articles/671a08cabb4dfe

2024/2/2のピックアップ

【新サービス】 2024-02-02 “VSCodeへ「Hey Code!」と呼びかけ、Copilot Chatが起動する新機能。2024年1月のアップデート” https://www.publickey1.jp/blog/24/vscodehey_codecopilot_chat20241.html

【新サービス】 2024-02-02 “GitHubが制作した次世代開発体験のためのコーディングフォント「monaspace」／トレンドを抑えつつ、独自技術「Texture healing」を盛り込んだ最先端のフォント【レビュー】” https://forest.watch.impress.co.jp/docs/review/1562637.html

【新サービス】 2024-02-02 Amazonが「○○と○○の違いを教えて」などの質問に答えてくれる買い物アドバイスAI「Rufus」を発表 https://gigazine.net/news/20240202-amazon-rufus-shopping-app/

【新サービス】 2024-02-02 “GoogleのAI「Bard」、日本語で「Gemini Pro」と「G」ボタン対応　英語なら描画も可能に” https://www.itmedia.co.jp/news/articles/2402/02/news094.html

【新サービス】 2024-02-02 “Google、「Imagen 2」ベースの画像生成AIツール「ImageFX」をLabsでリリース” https://www.itmedia.co.jp/news/articles/2402/02/news097.html 【新サービス】 2024-02-02 GoogleマップにもLLM採用のアドバイス機能（まずは米国から） https://www.itmedia.co.jp/news/articles/2402/02/news148.html

——————————

【分析技術】 2024-02-02 MeanF1Scoreについて実験してみた https://qiita.com/HIROSHI_jj/items/6527edc7e70e469ee29f

——————————

【新しいLLM】2024-02-02 “Llama.cpp で Karakuri LM を試す” https://note.com/npaka/n/n582c88a157e2

【LLM新技術】 2024-02-02 LLMを軽くする効果的な剪定手法『SliceGPT』 https://ai-data-base.com/archives/63622

——————————

【技術解説】 2024-02-01 チャンキング戦略 https://qiita.com/ymgc3/items/44d1638711dc76f129fd

【技術解説】 2024-02-02 “HuggingFace Diffusers v0.26.0の新機能” https://note.com/npaka/n/ndd557c8d61a1

——————————

【IT・AIの活用】 2024-02-02 “目指すは手に取れる自販機?　省スペース出店の無人決済店舗「TTG-SENSE SHELF」” https://www.watch.impress.co.jp/docs/news/1565975.html

【IT・AIの活用】 2024-02-02 KDDI、家庭向けスターリンクを国内販売 https://www.watch.impress.co.jp/docs/news/1565983.html

——————————

【データ基盤】 2024-02-01 “Databricks VectorSearchやFoundation Models APIを用いたRAGアプリケーションの構築” https://qiita.com/taka_yayoi/items/622f9308d998cbfab01b

——————————

【ニュース】 2024-02-02 “国産生成AI基盤モデル開発を政府が支援 「GENIAC」開始” https://www.watch.impress.co.jp/docs/news/1565857.html

【ニュース】 2024-02-02 NVIDIAが中国専用の新しいAIチップ「H20」の予約注文を開始、価格は約180～220万円 https://gigazine.net/news/20240202-nvidia-china-focused-ai-chip-h20/

【ニュース】 2024-02-02 Metaが2024年後半に独自設計のAIプロセッサ「Artemis」を自社データセンターに導入することが明らかに https://gigazine.net/news/20240202-meta-ai-proceesor-artemis/

【ニュース】 2024-02-02 「富士フイルムクラウド」誕生　AWS・Azureの導入支援など手掛ける新会社 https://www.itmedia.co.jp/news/articles/2402/02/news138.html

【ニュース】 2024-02-02 Amazonも予想を上回る増収増益　AWSと主力のネット通販が好調 https://www.itmedia.co.jp/news/articles/2402/02/news122.html

【ニュース】2024-02-02 Appleのティム・クックCEOが「生成AI機能の詳細を2024年後半に発表予定」と2024年第1四半期決算発表で明かす https://gigazine.net/news/20240202-apple-ceo-tim-cook-generative-ai-iphone/

【ニュース】 2024-02-02 経産省が生成AI開発支援　東大やSakana.aiなど採択　GoogleもGPU搭載スパコン提供 https://www.itmedia.co.jp/news/articles/2402/02/news120.html

——————————

【スキルアップ】 2024-02-02 最近自分がADHD対策でやっていること https://note.com/simplearchitect/n/n4f95cc76c8a0

【スキルアップ】 2024-02-02 “第1回AWSコスト削減天下一武道会を終えて – Sweet Escape” https://www.keisuke69.net/entry/2024/02/02/095416

【スキルアップ】 2024-02-02 明日からできる生成AI活用の初手　「おいしいとこ取り」の使い方を深津貴之さんが解説 https://www.itmedia.co.jp/news/articles/2402/01/news060.html

【スキルアップ】 2024-02-02 2024年の生成AIはどうなる？　サイバーエージェントなどIT企業4社の“本音”　「OpenAI強すぎる問題」に活路はあるか https://www.itmedia.co.jp/news/articles/2401/29/news012.html

2024/2/1のピックアップ

【DL技術】 2024-02-01 “MaxViT: 局所的・大域的アテンションによる、スケーラブルで高性能なビジョントランスフォーマー” https://qiita.com/kinkalow/items/aa7508d3d34a2c827d40

——————————

【LLM新技術】 2024-01-31 LLMに「自信の度合いに応じて説明のニュアンスを変更させる」ことで人間が過度に信頼するのを防ぐ https://ai-data-base.com/archives/63482

——————————

【IT・AIの活用】 2024-01-31 “ファミマ、ロボット掃除機を導入 ついでに商品も陳列” https://www.watch.impress.co.jp/docs/news/1565327.html

【IT・AIの活用】 2024-02-01 “【機械学習】機械学習を用いたin silico screening【AI創薬】~第2/5章 スクレイピングによる公共データベース（PDB)からの機械学習データを収集~ – LabCode” https://labo-code.com/bioinformatics/aidrugdiscovery-pdbdata/

——————————

【AIと法律・規制】 2024-02-01 未成年をインターネットの危険から守る「子どもオンライン安全法」に対して多くの人権団体が反対を表明 https://gigazine.net/news/20240201-stop-kosa/

【AIと法律・規制】 2024-02-01 AIによるディープフェイクポルノ作成に対して訴訟を提起できるようになる法案が提出される https://gigazine.net/news/20240201-lawmakers-propose-anti-nonconsensual-ai-porn-bill/

——————————

【ニュース】 2024-02-01 AMラジオ、34局が放送休止へ　1日から順次 https://www.itmedia.co.jp/news/articles/2402/01/news184.html

【ニュース】 2024-01-31 NTTがAWSのLLM開発支援プログラムに参加　「H100」96基の提供受ける https://www.itmedia.co.jp/news/articles/2401/31/news174.html

——————————

【マネジメント】 2024-02-01 「全ては会社の競争力を生み出すために」アーキテクチャを刷新し、ドメインモデリングも組織再編もエンジニア教育も一つ一つ丁寧に積み上げてモダナイズを進めた話｜CTOロングインタビュー https://tech-blog.monotaro.com/entry/2024/02/01/090000?utm_source=feed

【スキルアップ】 2024-02-01 “株式会社はてなを退職します – stefafafan の fa は3つです” https://blog.stenyan.jp/entry/2024/02/01/120000

今月のアイキャッチ

「Mage」という画像生成AI　https://www.mage.space/　をつかって、
「the tuxedo cat with Valentine’s chocolates, depicted in a watercolor style.」
というプロンプトを入れて画像を生成し、それにCanvaという画像・動画加工アプリを使って文字を入れています。 

モデルはSDXLです。