GPT-4o にコーディネートのアシスタントをしてもらう

こんにちは！
Azure OpenAI を担当している　O.Mです。

今回は GPT-4o を使用して、「毎日のコーディネートのアシスタントをしてもらったら」というテーマで、
マルチモーダルモデルの活用方法を考えてみました。

試したこと

今日着たいアイテムの画像を送信し、そのアイテムに合うコーディネートを GPT-4o に考えてもらえるか検証しました。

システムプロンプトは、以下のような内容を送信します。
・送信された画像のアイテムを使って、コーディネートを考えること
・コーディネートに使うアイテムは、色や柄だけでなく、生地の質感やシルエットも考えること

この他に、今日の天気の情報（天気と気温）
ユーザーの情報として、パーソナルカラーと骨格診断のタイプも送信しました。

パーソナルカラーや骨格診断については、モデル自体がある程度の内容を理解しているようでした。

パーソナルカラー：

骨格診断：

今回は、パーソナルカラーはイエローベース春、骨格タイプはナチュラルとして、情報を与えています。

それでは、実際に生成された解答を見ていきましょう。

生成された回答

まずは、このスニーカーの画像を送信してみました。
天気は晴れ、気温は28度です。

生成された回答：

今日の天気、ユーザーのパーソナルカラーと骨格タイプの情報を反映した回答が得られました。

ちなみに、ユーザーの性別は情報として与えていないため、
スニーカーの色味がパステルカラーであることから、コーディネートをフェミニンなものにする回答が戻ってきたのは少し意外でした。

今度は、赤いスカートの画像を送信します。
天気は曇りのち晴れ、気温は14度です。

返ってきた回答はこちらです。

送信した画像のスカートの色味だけでなく、白いスニーカーやデニムジャケットを着ていることも認識し、回答を生成していました。

猫のイラストが入ったTシャツ
天気は雨のち曇り、気温は25度です。

生成された回答：

天気が雨であることも考えたコーディネートですね。

最後に、天候と今日着たいアイテムがあまりにも合っていない場合は、どう回答するのか試してみました。
天気を曇り、気温を0度として、このタンクトップの画像を送信してみます。

生成された回答：

ちゃんとタンクトップだけでは寒すぎる、と教えてくれました。
タンクトップを着ようとしている分、とにかく暖かいアイテムを選んでいますね。

まとめ

今回は、GPT-4o に身につけたいアイテムの画像を送信して、コーディネートを考えてもらいました。
自分が持っている服の情報をまとめておいて、そのリストの中からコーディネートしてもらうのも面白そうですね。

今回は「コーディネートを考えてもらう」というテーマで検証しましたが、
画像や動画から認識した情報をもとに、条件に合ったテキストを出力させる、という方式は様々な分野で活用できるのではないでしょうか。

今後もマルチモーダルモデルの活用方法について、ご紹介していけたらと思います。

最後までお読みいただきありがとうございました！