はじめに
おもしろいな！と思った記事をピックアップしてみました。
1ヶ月分をまとめてみてみると、変化がわかって面白いですね。
毎月こんなふうにまとめをつくれたらいいなと思っています。
記事のチェックは主にReederというRSSリーダーを使っています。
URLでサイトを登録しておくと、更新された記事がまとめて読めるようになります。
★をつけておくと後からチェックしやすいです。
あとはTwitterもチェックしています。マスク体制になって運営に不安があるので、本当は他のSNSに避難したいのですが、人が移動しないと意味がないんですよね…難しいところ。
特に気になった記事
2023/7/10 グラフニューラルネットワーク(GNN)徹底解説！用途と仕組みからPyGでの実装まで
この記事では、グラフについて知らない方でも分かるように、最初にGNNが何に使えるのかの話を中心に解説した後、実際の仕組みを知りたい方向けにモデルの紹介や様々なトピックについて網羅的に解説します！また、最後に PyTorch Geometric(PyG) を利用した実装方法についても触れます。
論文からの数式や図が多く、かなり本格的な入門っぽい。
グラフネットワークは、ソーシャルネットワークや、化学反応の予測（化学結合ってグラフですよね）、レコメンドシステムなどさまざまな分野で利用されているみたいです。これはちゃんと勉強したい！
2023/7/9 従来の大規模言語モデルの制約だった「入力量の限界」を取り払った「RWKV」は一体どんな言語モデルなのか？
ChatGPTやBardなど、2023年7月時点で商用利用されている大規模言語モデルはほとんど全てがトランスフォーマーというアーキテクチャを利用したモデルですが、トランスフォーマー型のモデルは入力の長さの2乗に比例して計算量が増加するため、入力サイズが制限されてしまう問題があります。そうした問題に応えて、大きいデータへの対応や推論時のメモリ使用量の削減を達成しつつトランスフォーマー型に匹敵する性能を出せるアーキテクチャ「RWKV」について、著者の一人がブログで解説しています。
RWKVはトランスフォーマー同様に入力トークンを同時に処理することで並列化を可能にしつつ、RNNのように長大な入力を行っても高速に計算することも可能という「両者のいいとこ取り」をしたアーキテクチャとのこと。下図の通りの構造を持っており、「Time Mixing」ブロックと「Channel Mixing」ブロックに分かれているのが特徴です。このアーキテクチャの「RWKV」という名前は、過去の情報の受容度を表すRベクトルや時間係数を表すWベクトル、そしてアテンションで使用される「Key」「Value」と同様のベクトルが利用されているところから、それぞれの頭文字を取って名付けられています。
Transformer最強かと思いきや、他のアルゴリズムも考えられているんですね〜ちゃんと技術の進歩についていきたい。
2023/7/10 GPT-4よりも高い性能を発揮できる特定言語特化型の言語モデル「InternLM」
InternLMは上海AI研究所や複数の大学および企業が協力して開発した言語モデルで、1兆トークン以上の多言語データでトレーニングされています。InternLMの主な特徴は以下の通り。
・複数の言語を理解および表現する能力を備えており、特に英語と中国において顕著なパフォーマンスを発揮する。
・論理的推論、コード生成などの分野で優れた性能を発揮する。
・多様な中国語の性能評価テストでChatGPTを超え、GPT-4に近いに性能を発揮する。
英語と中国語に特化して、ChatGPTを超える性能を発揮するモデルのようです。うーんこういうときに利用者が少ない言語が母語だと困りますね…まあ、英語や中国語で出力して、それを翻訳して貰えばいいのかもしれませんが。
2023/7/10 ChatGPT公式プラグイン「Code interpreter」を活用するためのTips
せっかく課金しているのに、全然使いこなせていないのでいろいろ試してみたい。
2023/7/12 OpenAIがShutterstockとの提携範囲を拡大し画像・映像・音楽・メタデータへのアクセス可能に
チャットAI「ChatGPT」や画像生成AI「DALL・E」の開発で知られるOpenAIとフォトストックサービス・Shutterstockが、2021年から続く戦略的パートナーシップの範囲を今後6年間拡大することを発表しました。
OpenAIの画像生成サービスDALL・Eがもっとパワーアップするかも。従量課金制なのが使いにくいんですけど、圧倒的なクオリティを実現できれば、話が変わってくるかもしれない。
2023/7/21 米Microsoftら、“コーディング専用”大規模言語モデル「WizardCoder」開発 文章から高品質なコード出力
この研究では、命令データを自動生成する「Evol-Instruct」をコードのドメインに適応させることで、複雑な命令の微調整でCode LLMを強化する「WizardCoder」を提案する。コード固有のEvol-Instructを通して複雑なコード命令データを生成することにより、SOTAオープンソースのCode LLMである「StarCoder」の機能を強化する。
わたしはChatGPTをコーディングで使うことが多いので、コーディング専用のLLMが出ると助かるかも。
2023/7/21 OpenAI、予め自分の設定をChatGPTに覚えておいてもらえる「カスタム指示」機能を追加
米OpenAIは7月20日（現地時間）、ChatGPTに「custom instructions」（カスタム指示）機能を導入したと発表した。同日からPlusプランのベータ版で利用可能になっている。今後数週間以内に全ユーザーに展開される見込みだ。カスタム指示を有効にすると、ChatGPTがレスポンスを生成する際に考慮すべきユーザーの希望や要件を記憶しておくことができる。
これは地味に便利だ…！
2023/7/22 「OpenAI APIの安定稼働版のようなイメージを持ってもらえればいい」 Azure OpenAI Serviceの特徴と、プレイグラウンドのデモ
2023年4月21日に開催された、日本マイクロソフトの蒲生氏による講演**『ChatGPTによって描かれる未来とAI開発の変遷』webセミナー**の書きおこしの3/8に該当します。
MicrosoftがOpenAIに出資したことは大ニュースでしたが、これから協業の強みを活かしてAzureがAWSにどう攻勢をかけていくのか気になるところです。
2023/7/27 ChatGPT の仕組みを理解する（前編）
2023/7/27 ChatGPT の仕組みを理解する（後編）
本記事の対象読者としては、以下のようになります
ChatGPT の基本原理から知りたいけど、自然言語処理（NLP）も強化学習も知らない。
但し、ディープラーニングはある程度詳細レベルで知っている。線形代数程度の数学も知っている
本記事では、ChatGPT の原理や仕組みの説明に終始しており、ChatGPT の使い方や OpenAI API の使用方法、ChatGPT の改良方法等の話は一切記載していません。
ChatGPTを使って見つつも基本原理からきちんと理解しておくことで、対話型 AI の課題や今後の進歩の方向性・実現可能性等を誰かがそう言ってたとかいう理由じゃなくて、自分なりに考察できるようになるメリットがあると思ってます。
しくみもちゃんと理解しておきたいですよね〜前後編で詳しく説明してあります。
しっかり読まねば。
2023/7/30 Qiitaで見る技術トレンド推移(2017 – 2023)
頻出ワードの抽出。ChatGPTはやっぱりバズってますね〜
末尾に新卒エンジニア向けの記事や「パイセン向け記事」などの紹介もあり参考になりそうです。
2023/2/14 30分で完全理解するTransformerの世界
GPTでも使われているTransformer。ちゃんと理解したい！
かなりのボリュームで、数式込みでしっかり解説してあります。
2023/4/5 順伝播型ネットワーク_E資格対策備忘録
この方は他にもE資格対策記事を書かれています。E資格を受ける時に参考にしたい。
テーマ別気になった記事
IT・AI記事
2023/2/14 30分で完全理解するTransformerの世界
2023/6/27 デジタル庁のデータ分析基盤「sukuna」
2023/7/10 メモアプリの「Evernote」がアメリカの従業員をほぼ全員解雇し事業をヨーロッパに移す予定と発表
2023/7/10 世界最速レベルの性能を持つリレーショナルデータベース管理システム「劔（Tsurugi）」を開発
2023/7/13 映像インターフェース規格の「DisplayPort」はいったい何がすごいのか？
2023/7/18 NTT、「京都哲学研究所」設立 AI時代の思想構築
2023/7/19 8500人超の作家が「AIのトレーニングに人間の作品を無断使用するな」とOpenAIやMetaなどのAI開発企業に求める公開書簡に署名
2023/7/27 AIの4社（Anthropic、Google、Microsoft、OpenAI）、安全なAI目指すフォーラムFMF立ち上げ
2023/7/27 ChatGPT の仕組みを理解する（前編）
2023/7/27 ChatGPT の仕組みを理解する（後編）
2023/7/28 40％のUbuntuに影響大の深刻な脆弱性「GameOver(lay)」、2020年に修正されたはずなのに改めて発見されてしまう非常事態
2023/7/30 Qiitaで見る技術トレンド推移(2017 – 2023)
2023/7/31 パナソニック、AIの”知ったかぶり”防ぐ新技術
プログラミング
2023/7/8 PyTorchコーディング時の実装負担を低減させるテンプレートコード
2023/7/10 グラフニューラルネットワーク(GNN)徹底解説！用途と仕組みからPyGでの実装まで
2023/7/14 ChatGPT＋Marpで技術勉強会用のプレゼン資料を爆速で作成する
2023/7/18 今ほぼコードレビュー専になってる私が、リーダブルなコードを書くうえで意識してほしいと考えている順番
2023/7/18 「良い名前付け」の参考サイトまとめ
2023/7/28 ChatGPTで社内ナレッジの回答をするLINEボットを作ってみた
生成AI
2023/7/7 OpenAIが「GPT-4」を一般公開し誰でも利用可能に、ChatGPT内でコードを実行する機能も正式リリース
2023/7/9 ChatGPT Code Interpreterの活用方法を片っ端から試していく
2023/7/9 従来の大規模言語モデルの制約だった「入力量の限界」を取り払った「RWKV」は一体どんな言語モデルなのか？
2023/7/10 GPT-4よりも高い性能を発揮できる特定言語特化型の言語モデル「InternLM」
2023/7/10 「ChatGPTや画像生成AIの台頭がアーティストや知識労働者に何をもたらすのか？」について5人の専門家が回答
2023/7/10 ChatGPT公式プラグイン「Code interpreter」を活用するためのTips
2023/7/10 Open LLM 一覧
2023/7/11 AIがハルシネーション（Hallucination）を起こす最大の理由【AGIの未来】
2023/7/12 OpenAIがShutterstockとの提携範囲を拡大し画像・映像・音楽・メタデータへのアクセス可能に
2023/7/12 アドビ、画像生成AI「Firefly」が日本語プロンプトに対応
2023/7/13 ベネッセがAzure OpenAIを使った「自由研究おたすけ AI」を無償公開 子供×生成AIに不安を覚える保護者はどう感じたか
2023/7/13 Adobeの画像生成AI「Firefly」が日本語で使えるようになったので試してみた
2023/7/14 GoogleのAIチャット「Bard」もしゃべるように ～比較的大規模なアップデートを実施
2023/7/14 「もしよろしければ……」VS「やれ」 ChatGPTは丁寧にほめたほうがパフォーマンスがいい？ 対応を変えて接してみた
2023/7/14 ブラウザ上で描いたスケッチをAIが画像に変換してくれるサービス「Stable Doodle」をStability AIがリリース
2023/7/17 サイバー犯罪に特化したセーフティ機能がない生成AI「WormGPT」登場、注意を
2023/7/17 ChatGPTのCode Interpreterが凄すぎる件
2023/7/18 ChatGPTの新機能「Code interpreter」についての記事まとめ
2023/7/18 Meta、テキスト・画像の双方の生成に対応したAIモデル「CM3leon」
2023/7/18 ChatGPTなど生成AIに関するリテラシーを学べる動画を無償公開、STANDARD
2023/7/18 Metaが「テキストから画像」「画像からテキスト」の両方に1つのモデルで対応できる生成AI「CM3leon」を発表
2023/7/19 ［速報］マイクロソフト、企業向け「Bing Chat Enterprise」プレビュー開始、個人ユーザーも月額5ドルで利用可能。Inspire 2023
2023/7/19 無料で商用可、ChatGPT（3.5）に匹敵する生成AI「Llama 2」 Metaが発表、Microsoftと優先連携
2023/7/19 Metaが商用可能な大規模言語モデル「Llama 2」を無料公開、MicrosoftやQualcommと協力してスマホやPCへの最適化も
2023/7/19 Metaの大規模言語モデル「Llama 2」を無料で誰でもブラウザからお試しできる「LLaMA2 Chatbot」
2023/7/19 GPT-4の顔認識性能を懸念してOpenAIが顔認識機能を制限
2023/7/20 Appleが独自の大規模言語モデルとチャットボットAI「Apple GPT」を開発中か
2023/7/20 「GitHub Copilot」でAIが提案したコード、業務でどれぐらい採用された？ サイバーエージェントが公開
2023/7/20 “自前Google”が手に入る？ 手持ちファイルもGmailもSlackもNotionも、まるっと横断検索できる生成AIサービスが便利そう
2023/7/20 GPT-4の精度は悪化している？ 3月に解けた数学の問題解けず GPT-3.5にも敗北──米国チームが検証
2023/7/21 ChatGPTで思考する人型AIと“同棲”したらどうなる？ 「AIを信頼していく」 米中の研究者らが検証
2023/7/21 米Microsoftら、“コーディング専用”大規模言語モデル「WizardCoder」開発 文章から高品質なコード出力
2023/7/21 OpenAI、予め自分の設定をChatGPTに覚えておいてもらえる「カスタム指示」機能を追加
2023/7/22 「OpenAI APIの安定稼働版のようなイメージを持ってもらえればいい」 Azure OpenAI Serviceの特徴と、プレイグラウンドのデモ
2023/7/22 1万種類を超える大規模言語モデル(LLM)をまとめてダウンロード数や類似性などを分かりやすく視覚化したデータライブラリが公開される
2023/7/28 ChatGPTを凶悪な暴言マシンに変貌させる魔法の文字列が発見される
マネジメント・自己啓発
2023/4/5 順伝播型ネットワーク_E資格対策備忘録
2023/7/7 データサイエンスグループが心からおすすめする本をまとめてみた
2023/7/10 2023年にエンジニアな私がマネジメントに目覚めてから読んでよかった3冊
2023/7/10 ハッカソンってなにかと良いことづくめなのでは？
2023/7/11 エンジニアのための自己管理入門
2023/7/13 Slack分析で組織のコンディションを可視化する
2023/7/14 2023年のエンジニア新人研修の講義資料を公開しました
2023/7/14 文系卒の応用情報技術者試験合格雑記
2023/7/16 現在の製造業でのデータサイエンティストとしての業務内容
2023/7/17 現場で使える機械学習活用 ~その①機械学習プロジェクトの流れと留意すべきこと~
2023/7/18 就職した！配属された！さて、技術的な勉強/キャッチアップはどうやってやればいいんだろう？
2023/7/20 株式会社ゆめみコーポレートエンジニアリングチームの新卒研修を全部公開します
2023/7/21 カゴメ“全社DX”の舞台裏 現場～経営層をどう巻き込んだ？ ヒントは「情シスのおぜん立ては足かせに」
2023/7/23 AWS未経験者がAWS Certified Machine Learning – Specialtyに1.5ヵ月で合格する方法
2023/7/26 【アラサーIT資格最強勉強法】勉強から逃げてきたあなたへ、超現実的！7STEP勉強法
2023/7/28 非IT企業も「AIプログラミングのない時代には戻れない」 「GitHub Copilot」導入した東急の内製開発チーム、手応えは？
2023/7/28 不惑を過ぎてキャリアに惑った話
技術
2023/7/6 ボトル残量が分かるNFCタグ 化粧品やお酒で活用 凸版
2023/7/6 「手の匂い」から性別を96％の精度で判別できる技術が登場、指紋やDNAが採取できなくても犯罪捜査ができる可能性
2023/7/13 ハイレベルの「物撮り」をスタジオなしで、AIによる画期的な写真編集アプリ
2023/7/20 日産がテスラ発のEV充電規格「NACS」の採用を発表
2023/7/21 パスワードなしでの認証を可能にする「パスキー」技術にはわなが潜んでいる、YubiKeyなどのハードウェア認証デバイスを利用している場合は注意
2023/7/27 常温常圧で「超電導」になる物質を合成したとする論文について科学雑誌Scienceが解説
2023/7/28 ネコ型配膳ロボットのPudu、商業清掃ロボットを日本導入
2023/7/28 本物の心臓のように拍動する擬似心室を3Dプリンターとゼラチン繊維入りのゲルインクで出力することに成功
2023/7/31 Googleが学習していない環境でも「○○を動かして」などの複雑な指示を実行できるロボットAI「RT-2」を発表
SNS
2023/7/12 Twitterのデマ拡散を防ぐ「コミュニティノート」は本当に信用できるのかアルゴリズムの仕組みを解説
2023/7/13 イーロン・マスク氏のAI新会社「xAI」設立
2023/7/28 FacebookとInstagramのアルゴリズムがSNSへの依存度を高めてエコーチェンバーを生み出すという研究結果
2023/7/28 SNS「Bluesky」のカスタムフィードは「猫の写真」「科学関連情報」など細かい条件で投稿を絞り込んで自分好みのタイムラインを作れる
コメント