ある程度規則性があり見やすいものを用意しました。早速検証してみます！

評価としては、文章の意味を含め全く回答になっていないものが×、意味は通っているが抽出した情報が間違っているものは△、文章の意味も抽出した情報もあっているものを○としています。

まずはRinna-4bから、いくつかのプロンプトを試してみました。

プロンプト：画像の中に書かれている文字を出力してください。
結果：写真はカップ麺を注文し、お金を払うと貰えるメニュー表
評価：×

プロンプト：画像の中には何が書かれている？
結果：メニュー表の写真
評価：×

プロンプト：画像のなかで一番大きく書かれている文字列は？
結果：「 うどん」
評価：×

プロンプト：こちらの画像は居酒屋のメニューです。メニューで一番左上の文字列を出力してください。
結果：居酒屋のメニューです。
評価：×

プロンプト：こちらの画像は居酒屋のメニューです。ソフトドリンクのメニューをjson形式で出力してください。
結果：居酒屋のメニュー
評価：×

全然出来てない…😭プロンプトの意味も理解できていないようです。
めげずに次は、BLIP-Alphaで試してみます！

プロンプト：画像の中に書かれている文字を出力してください。 
結果：お弁当の中身が写真とテキストで掲載されている
評価：×

プロンプト：画像の中には何が書かれている？
結果：日本語で書かれてある、食べ物に関する文章
評価：×

プロンプト：画像のなかで一番大きく書かれている文字列は？
結果：お昼ご飯のメニュー
評価：×

プロンプト：こちらの画像は居酒屋のメニューです。メニューで一番左上の文字列を出力してください。
結果：本日のメニューより「オムライス」の画像
評価：×

プロンプト：こちらの画像は居酒屋のメニューです。ソフトドリンクのメニューをjson形式で出力してください。
結果：居酒屋のメニュー
評価：×

こちらも出来ず…プロンプトの書き方が悪かったのか？と思い他にも様々なパターンで試しましたがダメでした…複雑なプロンプトに従うということはあまり出来なさそうです。

次は期待のGPT-4Vを試してみます！

プロンプト：画像の中には何が書かれている？
結果：
画像には、さまざまな食品のメニューが書かれています。メニューには日本語で食品名とそれに対応する価格が記載されており、メニュー全体が日本の伝統的なデザイン要素で装飾されています。また、メニューにはいくつかの食べ物の写真も掲載されています。価格は日本円（円）で表示されています。
評価：○

プロンプト：画像の中のソフトドリンクの価格と名前を抜き出してください。
結果：
画像にはさまざまなメニュー項目がリストされていますが、ソフトドリンクについては以下の情報があります：
・ハイボール 300円
・ウーロン茶 300円
・オレンジジュース 300円
これらはメニューにリストされているソフトドリンクの名前と価格です。
評価：△

プロンプト：自家製キャロットケーキの価格はいくらでしょうか。
結果：自家製キャロットケーキは400円です。
評価：○

プロンプト：わらび餅はいくらですか？
結果：わらび餅の価格は100円です。
評価：○

プロンプト：チョコレートアイスの価格は?
結果：チョコレートアイスは200円です。
評価：△

プロンプト：画像は居酒屋のメニューです。甘味のメニューの名前と値段を教えてください。

結果：
この画像は居酒屋のメニューの一部を示しており、甘味のメニューの名前と値段が記載されています。以下にその内容をお伝えします。

・生ビール（中） - 500円
・焼酎 - 500円
・ハイボール - 300円
・日本酒 - 1000円

ソフトドリンク
・コーラ - 300円
・ウーロン茶 - 300円
・オレンジジュース - 300円
・ボトルワイン - 2000円
・チューハイ - 350円
・梅酒 - 300円
・ハウス酒 - 1000円

お菓子
・チョコ - 300円
・サービス菓 - 200円
・オレンジジュース - 200円

甘味
・白桃缶チャロットケーキ - 400円
・チョコレートマイス - 300円
・わらび餅 - 100円

メニューの甘味の部分には、３つのアイテムがリストされており、それぞれの値段が横に記されています。

評価：△

流石の理解力で、指示は理解できている感じがしますが、OCR性能自体はイマイチかな…と感じます。
ところどころ商品名がおかしな出力になっており、既存のOCRモデルの方が精度は高そうです。

次はこちらの画像を使用して日本語のOCR性能を測ってみようと思います。

この画像は弊社のHPに記載されているもののキャプチャで、白地に黒の文字のみの、非常に読み取りやすく書かれている画像となっています。

居酒屋のメニューのように情報量の多いものではないので、こちらが読み取れなければ日本語のOCR性能に期待はできないのではないかと思います…

さて、気になる結果は…！まずはRinna-4bから。

プロンプト：画像の中にはなんと書かれていますか？ 
結果：白い壁の前に描かれた絵
評価：×

プロンプト：画像の中に書かれている文字を出力してください。 
結果：黒の文字と白の文字が1つになっている 白い壁の文字を白文字で書かれている。
評価：×

なるほど…？(悲しみ)
次はBLIP-Alpha。

プロンプト：与えられた画像の中にはなんと書かれていますか？ 
結果：白い背景に黒と白のテキストが書かれたテキストメッセージのスクリーンショット
評価：×

プロンプト：与えられた画像の中には、なんと書かれていますか？ 
結果：白い背景に黒い文字で書かれたテキストと白い背景に黒い文字で書かれたテキストの2つのテキストが含まれています
評価：×

これは…
プロンプトに対する解釈がやはり出来てなさそうですね…では、我々のラストホープ、GPT-4Vは…？

プロンプト：与えられた画像の中にはなんと書かれていますか？
結果：
画像の中には次のように書かれています： 「IT技術」×「人間力」を基盤にお客様に一歩先導 するシステム構築、サービスを実現します！
評価：△

惜しい！！
「ご満足いただける」という内容が「一歩先導する」という文言になってしまってますね。
惜しいですがGPT-4Vをもってしても精度がイマイチと言うことは、現状のマルチモーダルLLMを日本語のOCRとして使うのは難しいのが現状なんですね… それがわかったのも大きな収穫です。

最終的な結果は以下のようになります。

設問	Rinna-4b	BLIP-Alpha	GPT-4V
画像の中に書かれている文字を出力してください。	×	×	–
画像の中には何が書かれている？	×	×	〇
画像のなかで一番大きく書かれている文字列は？	×	×	–
居酒屋のメニューで一番左上の文字列を出力してください。	×	×	–
居酒屋のメニューのソフトドリンクのメニューをjson形式で出力してください。	×	×	–
画像の中のソフトドリンクの価格と名前を抜き出してください。	–	–	△
自家製キャロットケーキの価格はいくらでしょうか。	–	–	〇
わらび餅はいくらですか？	–	–	〇
チョコレートアイスの価格は?	–	–	△
居酒屋のメニューです。甘味のメニューの名前と値段を教えてください。	–	–	△
画像の中にはなんと書かれていますか？（白地に黒の文字）	×	×	△
画像の中に書かれている文字を出力してください。（白地に黒の文字）	×	×	–
正解数	0/12	0/12	3/12