AI動向調査会の流れ

1. 参加者が気になる情報を1つずつ持ち寄る(今回は3名で実施)
2. それぞれの技術について共有して議論する

それでは、早速内容を紹介していきます！

1. Logic-of-Thought(LoT)

https://arxiv.org/abs/2409.17539

こちらは、大規模言語モデルに論理的推論能力を高める手法になっております。

イメージとしては、プロンプティング手法としてよく目にするChain-of-Thought (CoT)(※1)に論理式の導入することで規則性の抽出を実施するような流れになっています。

以下のようなステップとなっています。

1. 入力
2. Logic Extraction: 入力情報から論理式で関係を表現
3. Logic Extension:　抽出した情報を論理的に拡張
4. Logic Translation: 2の結果を自然文に戻す
5. 4を用いて応答を生成

※1 Chain-of-Thought (CoT)
LLMが段階的に推論できるよう、中間ステップを設けて推論能力の向上を図る手法

最近OpenAIよりリリースされたo1でも、能力を高めるようCoTが導入されているとの記載されており、CoTをベースとする手法はさらに注目されるのかもしれないと感じました。

o1自体への入力プロンプトとしては、では自動的にCoT形式での推論がされるため、プロンプトによるCoTは非推奨ですが、その他のLLMを使用する際、内部的にこのような手法を利用することで精度向上が見込めそうです！
https://openai.com/index/learning-to-reason-with-llms/

2. Liquid Foundation Models (LFM)

https://www.liquid.ai/liquid-foundation-models
こちらは、Transformerに変わる次世代アーキテクチャとして紹介されています。

特徴

• 1B、3B、40Bのモデルを作成し、SOTAを実現
• メモリ効率が良く、長い入力に対して効率的な処理が可能
• token-mixing(入力シーケンスのembeddingをミキシング)やchannel-mixing(チャンネル次元のミキシング)、featurization(入力コンテキストに基づく調整)などの機構で効率的に処理
• プレイグラウンドから40Bと3Bモデルのお試しが可能
  • 利用してみたところ、日本語の応答も自然で、応答速度も速い印象です。
  • この画像では、Liquid AIの紹介ページ(7000字程度)を与えて、要約を試しましたが、2~3秒でのレスポンスが帰ってきました！

論文化などはまだされておらず、詳しい情報は分かりませんが、今後のリリース情報にも注目していきたいです！

3. Notebook LM音声機能追加

https://blog.google/technology/ai/notebooklm-audio-overviews/https://blog.google/technology/ai/notebooklm-audio-overviews/

Googleの開発したNotebook LMに音声生成機能が提供開始されました！
現在(2024/11/5時点)は無料で使用することができます！

まず、Notebook LMでは、生成AI Geminiへソース情報(PDFファイルなど)を渡して、文章の要約やQAが手軽にできるサービスとなっています。

Notebook LMを使ってみた感想としては、UIもわかりやすく、参照箇所をマーカー表示してくれるなどとても便利でした！勉強など色々な場面で活用できそうです。

下記の画像では、参照情報の1をクリックするとマーカーが表示されました。

そこへ今回追加された音声機能について紹介します。

文字起こし

• 音声データをアップロードし、文字起こしをしてソース情報として利用可能に
• 会議の録音などから議事書き起こしなどにも利用できそうです。

会話生成(英語のみ)

• ソース情報に関連する対話音声(AI同士)を生成。
• こちらはまだ英語のみの機能ですが、ソースに基づく会話を生成でき、知りたい情報について話してくれるラジオのような使い方ができて面白そうです！
  • 今回、日本語の音声情報を与えて生成を試しましたが、話題自体がそれた内容になることはなく、「日本語だからよくわからないよ(笑)」のような冗談を交えた会話もあって面白かったです。

以上今回は3件の紹介になります！
今後もちょくちょくこのような会を継続できればと思います。
最後まで閲覧くださりありがとうございました。