1. xRAG

https://arxiv.org/pdf/2405.13792

コンセプトはRAGでLLMに与える検索結果(Background)を、

通常はテキストを入れるところ、embedding(ベクトル化)した状態で生成モデルへ渡すことで、

入力トークン数を数百~数千から１トークンに圧縮するという手法です！

(言語モデルは通常１単語や１文字を単位(トークン)として、意味を表現したベクトルとして扱いますが、

今回はドキュメントの情報をベクトル化した状態であわせて扱うことで1トークンに圧縮しています。)

トークン量はLLMの推論時間や、処理上限、コストに関わるので、色々な課題へのアプローチとなりそうです。

論文内に記載される成果としても、以下のように記載されていて期待できます！

• 一部のデータセットでは従来手法より性能向上
• 処理についてもFLOPsを3.53倍削減
• 文章内容が字面から誤解を招く内容があるときの対処性能が向上(LLMによる知識保管ができていそう)
• 複数の情報を活用して回答する問題については、従来RAGのの方が精度が良い

検索結果のベクトルと質問文のテキストを結合するための変換器(Projector)を作成する難しさはあるかもしれませんが、大幅なトークン節約と高速化に繋がりそうな技術ですね！

続いてもRAGに関する手法です！

2. cRAG(Corrective Retrieval Augmented Generation)

https://arxiv.org/abs/2401.15884

こちらは、RAGにおいて検索がうまくいかない時に、問題を解決するための手法です。

cRAGでは検索結果の文章に対して、Correct(正しい)、Ambiguous(曖昧)、Incorrect(誤り)のラベルで分類(論文ではT5-largeをfinetuenしたモデルを使用)、それぞれのラベルに応じた分岐で処理を行います。

分岐については

• 正しい場合は、回答生成に必要な箇所を再構築するステップを踏み回答を作成します。
• 誤っている場合は、WEB検索を用いて情報の取得を行います。
• 曖昧な場合は、正しい分岐と誤っている分岐の処理を組み合わせて処理を行います

結果についても従来手法より10%程度の精度向上ができており、self-RAGとの併用で大幅な精度改善が期待できるとのことでした。

リランキングもそうですが、検索精度の不十分さや、追加の情報取得を行うことはRAGに必要な技術だなと感じました！

3. TwinCAT Machine Learning Creator

https://www.beckhoff.com/ja-jp/products/automation/twincat/texxxx-twincat-3-engineering/te3850.html

こちらは、外観検査(画像認識)のための基盤モデルを利用することで、データのラベル付けのみで推論、判断結果の可視化まで自動でできるようになり、従来データサイエンティストがやっていた前処理なども不要とのことです。

データ準備の負荷が下がることは嬉しいですし、AIに詳しくない開発者もこれらのサービスを利用することでAI開発が身近になりそうですね！

モデル基盤モデルを活用する例として、ロボット向けのAIとして利用した動画をみんなで視聴しました！

ロボットへ動きの指示を可能としており、汎用性や活用の幅の広さに驚きました。

次に話題となったのは、LSTMの進化系xLSTMです！

4. xLSTM

https://arxiv.org/pdf/2405.04517

xLSTMはLSTMの欠点とも言われていた、長期記憶と並列化を克服するための機構が取り入れられています！

sLSTMでは、指数関数を用いたゲートの利用とメモリミキシングにより、mLSTMからの情報を連携の役割を果たします。

mLSTMでは記憶情報をベクトルではなく、行列として保管することで、

保持できる情報量を増やし、並列処理を可能としています。

GPTやBertなどTransformer系流れを汲むモデルだけでなく、LSTMの改良も続けられていることを知りました。

どう利用されていくか、今後の動向も気になります。。！

以上、今回は4つの技術について会話しました！

論文を読んだり、他者の理解を吸収できてとても勉強になりました。

今後も継続して、ディスカッションや調査する機会を設定していきたいなと思います！