AIを使ったiOSアプリの機能開発を試してみたメモ
こんにちは、Spinnersの元山@kudakurageです。
時が経つのは早いもので。もうかれこれ1か月以上前ですが、自分で開発して常用しているレシピメモアプリのAIを使った実験的な機能を作って試していました。
今回は実際に試してみた実験的な機能についてのメモです。
ベースとなっているアプリ料理研究好きのためのレシピメモアプリ『COOKY』について詳しくは デザイナーもAIのサポートでコードを覚える を見てください。
INDEX
AIを使ったレシピの生成・インポート
URLからレシピのインポート
自分のブログ記事に書いたレシピなどからサッとレシピをインポートしたかったので、URLを入力してレシピをインポートできるようにしました。
極力AI側でのトークン消費を少なくするため、APIにURLを直接投げるのではなく、一旦アプリ側でURL先のHTMLを取得し、レシピ本文が含まれていそうな部分以外の余分なタグを省くなど下処理をしたうえでAPIに投げるようにしています。（これで少しでもトークンが節約できるはず）
そのため軽量モデルでも十分に機能するので、無料で使えるようなAPIやローカルモデルでもうまくいきます。
なお、画像に関しては自動でインポートしないようにしていて、自分で入れるか、後述する画像生成とかで入れればよいかと。
画像からレシピのインポート
スーパーにおいてあったりするレシピカードとか、ノートに手書きしてたレシピとかをインポートできるようにしました。
こちらもAI側でのトークン消費を少なくするため、APIに画像を直接投げるようなことはせず、一旦アプリ側（iOSのOCR機能 https://developer.apple.com/documentation/vision/vnrecognizetextrequest ）で画像からテキストを抽出したうえでAPIに投げるようにしています。
iOSのOCRを経由すると、材料のところの2カラムレイアウトの読み取り順序がコントロールできないので難しい（概ね上から下、左から右の順番でテキストが抽出される）感じがします。
インポート元の画像が斜めだったりすると、テキストの順序が狂ってきたりしそうなので、それを補正する処理を入れると良い。
実際に画像の補正（傾きと台形補正）を入れたうえでOCRでテキスト抽出し、APIに投げるようにしたら、かなり精度が上がりました。
もちろん、字が汚かったりするとそもそもOCRで読み取れないので、そこはしょうがないですね。
レシピの生成
レシピの生成に関してはこのアプリで特に必要ないと思っていますが、実験的に試してみています。
どういう感じで使うようにしようかと考えた末、検索からの流れにすると体験的に自然かと思い、今回は検索結果にレシピ生成ボタンを表示してみています。（生成前提のアプリとかだったらまたアプローチは変わってくる）
入力欄もとりあえずで作っているのでフリーワードでプロンプトを入力するだけ。
実装に関しては特に工夫はないですが、生成中のローディング表示や生成後の表示をガチャっぽい演出にする実験をしてみました。たのしい
AIを使った画像生成
料理写真を綺麗にする
家で作った料理を家のテキトーな照明下で撮影するとイマイチなサムネイルがたくさん並ぶことになるので、レシピに設定されている画像を生成AIで良い感じに綺麗にするという機能を作りました。
画像だけでなくレシピ情報も一緒に送っているので関連する素材が画像に反映されたりします。（このあたりはもう少し調整しても良いかも）
残念写真も良い感じになって、料理研究家としてもテンションが上がる見た目になりました。
レシピから料理写真を生成する
自分で作ったレシピでも料理の写真を撮り忘れてたりして、写真がないことがあったので、レシピ情報から画像を生成する機能も作りました。
レシピ名だけでなく、材料や作り方の情報も渡しているので、割と良い感じの出力が返ってきます。
SNSシェア用のレシピカード画像を生成する
自分で考えたレシピを友だちに共有するときに、今はシェア機能を使ってマークダウンテキスト形式のレシピを共有することができるけど、もっと良い感じに共有できないかと考えて、材料や作り方も記載されたSNSでシェアできるようなレシピカード画像の生成機能を作りました。
スタイルを選択して生成できるようにしています。
スタイルの選択に関しては、レイアウトが違うものなどもっといろいろ作れそうだけど、プロンプト調整に時間がかかったのでまずは一旦同じレイアウトにしています。
最初はNanoBanana（Gemini 3.1 flash image preview）で試していましたが、その後GPT-Image-2が正式リリースされたので、改めてそれ用のレイアウトも追加しています。
GPT-Image-2は、文字やレイアウトだけでなく調理工程の写真もかなり正確に描写していてかなり性能が高いことがわかります。
（左：GPT-Image-2、右：Gemini 3.1 flash image preview）
まとめ
iOSアプリ上である程度の処理はできるので、すべてAI(API)に丸投げせずに可能な限りローカルで処理したうえで必要な部分だけをAIに任せるのが良い感じがします。
画像生成に関しては現状GPT-Image-2がかなり性能高いですね。まぁそれもどんどん入れ替わっていくと思うのでその都度最高のやり方を模索していく必要がありそうです。
