概要
Yoomでは、OpenAIと連携しAIによるテキスト生成や画像解析を行うことができます。
ここでは、OpenAIで作成したアシスタントを用いて、画像の解析指示を行う設定例を
ご紹介します。
※ChatGPTやOpenAIのAPIを利用するには、別途OpenAI社へ費用が発生する
可能性があります。
詳細はOpenAI社の公式サイトをご確認ください。
事例
今回はこのようにフォームに入力された画像やファイルを用いて、事前に作成しているアシスタントから回答を得る流れを紹介します。
設定方法
1.独自のアシスタントを作成する
以下のリンクにアクセスすると、アシスタントの作成画面に遷移します。https://platform.openai.com/assistants
その後、任意のアシスタントを作成します。
※OpenAIのプランによって、新しい生成モデルを使用することも可能です。
2.Yoomでフォームトリガーを作成する
次に、Yoomで新しくフローボットを作成し、フォームトリガーにて以下のように
画像やファイルデータを入力するフォームを作成します。
このとき次のページで取得する値に実際に読み込ませたい画像やファイルのデモデータをサンプルとして設定してください。
※フォーム機能の詳細についてはこちらをご参照ください。
3.ファイルをアップロードする
次に、トリガー下の＋マークを押し、アプリと連携するオペレーションから
OpenAIを選択し、以下の設定を行いテスト・保存します。
アクション：ファイルをアップロード
ファイルの添付方法：アウトプットを使用するを選択し、フォームで設定したサンプルの画像、ファイルデータを選択します。
4.OpenAIにスレッドを作成する
次に、トリガー下の＋マークを押し、アプリと連携するオペレーションから
OpenAIを選択し、以下の設定を行いテスト・保存します。
アクション：スレッドを作成（アシスタントAPI）
テスト：次ページでテストを押し、スレッドIDを取得します。
5.OpenAIにメッセージを作成する
次に、＋マークを押して、アプリと連携するオペレーションからOpenAIを選択して、
以下の設定を行いテスト・保存します。
アクション：メッセージを作成（アシスタントAPI）
スレッドID：欄をクリックし、4で取得したスレッドIDを埋め込みます。
メッセージ内容：欄をクリックし、任意のプロンプト（指示文）を記入します。
ファイルID：欄をクリックし、3で取得したファイルIDを埋め込みます。
6.アシスタントを実行する
次に、＋マークを押して、アプリと連携するオペレーションからOpenAIを選択して、
以下の設定を行いテスト・保存します。
アクション：アシスタントを実行する（アシスタントAPI）
スレッドID：欄をクリックし、4で取得したスレッドIDを埋め込みます。
アシスタントID：欄をクリックし、表示された候補から事前に作成したアシスタントを選択します。
7.スレッドの最新の会話を取得
次に、＋マークを押して、アプリと連携するオペレーションからOpenAIを選択して、
以下の設定を行いテスト・保存します。
アクション：スレッドの最新の会話を取得（アシスタントAPI）
スレッドID：欄をクリックし、4で取得したスレッドIDを埋め込みます。
詳細設定：詳細設定をクリックし、実行インターバルに60までの数字を任意で入力します。
※アシスタントの実行に時差があるため、取得エラーにならないため意図的に会話取得のアクションを遅延させます。
補足事項
7で設定した実行インターバルの秒数で遅延処理が足りない場合は、別途待機するというオペレーションを用いて更にアクションの実行を遅延させることが可能です。
※待機するオペレーションはチームプラン以上でのご提供となります。
待機を設定する
次に、＋マークを押して、待機するオペレーションを選択して、以下の設定を行い、
保存します。
設定方法：指定の時間を待機
設定単位：秒や分など柔軟に設定可
秒や分：任意で設定
以上が、OpenAIで作成したアシスタントを使用して、画像解析する方法例です。
# OpenAI,ChatGPT,アシスタント,アシスタントAPI,GPTs,画像解析,画像,ファイル