今回は、Responses API を利用して、送信した画像を説明させる方法を確認しましょう。
まずは、#14 ~ #18 で利用した Chat Completion API との違いについて整理します。送信する JSON のフォーマットは次の通りです。
| Responses API | Chat Completion API |
|
{ "model": "gpt-5-nano", "input": [ { "role": "user", "content": [ { "type": "input_text", "text": "画像を説明してください。" }, { "type": "input_image", "image_url": "data:image/jpeg;base64,BASE64の画像" } ] } ] } |
{ "model": "gpt-5-nano", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "画像を説明してください。" }, { "type": "image_url", "image_url": { "url": "data:image/jpeg;base64,BASE64の画像" } } ] } ] } |
Responses API では主に次の3点が変わります。
- messages が input になる
- type: "text" が type: "input_text" になる
- type: "image_url" が type: "input_image" になる
そして、画像を指定する image_url ノードの設定の仕方も微妙に変わります。Responses API では、よりシンプルな形式で指定できるようになっています。この点はありがたいですね。
ローカルにある画像を送信するには、BASE64 でエンコードする仕様自体には変更がありません。この点に関しては過去のコードが再利用できますね。
サンプルアプリの準備
前回 作成したフォームとエージェントをコピペしたものをベースに作業を進めます。
フォームで重要な変更は、以下のように送信する画像を添付するリッチテキストフィールドを追加することです。また、今回の返答はテキストとなりますので、実行結果はテキストフィールド Result_Content としています。
なお、必要に応じて、フォーム名やフォームのヘッダ部分、ウィンドウタイトルを変更します。また、アクションボタンでは後述するエージェントを起動するように変更します。
エージェントでは、送信する JSON を作成する xGetRequest_JSON 関数を修正します。下記コードで、冒頭に紹介した JSON を生成させます。
|
Function xGetRequest_JSON(vnd As NotesDocument) As NotesJSONNavigator Dim jnav As NotesJSONNavigator Dim jaInp As NotesJSONArray Dim joInp As NotesJSONObject Dim jaCon As NotesJSONArray Dim joCon As NotesJSONObject Dim s As String 'RequestBody(JSON) の準備 Set jnav = xns.CreateJSONNavigator("") '1.model Call jnav.AppendElement(vnd.Model(0),"model") '1.input 配列 Set jaInp = jnav.AppendArray("input") Set joInp = jaInp.AppendObject() '2.role Call joInp.AppendElement("user", "role") '2.content 配列 Set jaCon = joInp.AppendArray("content") 'text Set joCon = jaCon.AppendObject() Call joCon.AppendElement("input_text", "type") Call joCon.AppendElement(vnd.Prompt(0), "text") 'image Set joCon = jaCon.AppendObject() Call joCon.AppendElement("input_image", "type") s = xAttachmentToBase64(vnd, "Request_Image") s = "data:image/jpeg;base64," & s Call joCon.AppendElement(s, "image_url") Set xGetRequest_JSON = jnav End Function |
※ 画像の形式は jpeg を前提にしています。
xAttachmentToBase64 が添付画像を BASE64 の文字列に変換する関数となります(後述)。
画像の BASE64 変換
この処理は、過去に紹介した関数を流用することで実現できます。
まず、#17 で紹介した関数です。
◇ xAttachmentToBase64
添付画像を BASE64 文字列に変換するメインルーチンです。
|
Function xAttachmentToBase64(vnd As NotesDocument, ByVal vsFldName As String) As String 'Base64に変換 Dim sBase64 As String Dim sName As String Dim nst As NotesStream 'ファイルをダウンロードしてファイル名を取得 sName = xSaveAttachment(vnd, vsFldName) 'ファイルをBase64に変換 Set nst = xns.CreateStream() Call nst.Open(sName) sBase64 = StreamToBase64(nst) 'CR/LF を削除 sBase64 = Replace(sBase64, Chr$(13), "") sBase64 = Replace(sBase64, Chr$(10), "") xAttachmentToBase64 = sBase64 End Function |
今回の関数では、CR/LF を削除する部分を追加しています(赤字)。BASE64 に変換した文字列に改行コード(CR/LF)が含まれていると、API から不正な BASE64 文字列として扱われる場合があります。今回なぜかこの処理が必要になったため、ここで改行コードを削除しています。
◇ xSaveAttachment
引数のフィールドに添付されている画像をダウンロードして、そのファイルパスを返す関数です。
|
Function xSaveAttachment(vnd As NotesDocument, ByVal vsFldName As String) As String Dim ni As NotesItem Dim nrti As NotesRichTextItem Dim nemb As NotesEmbeddedObject Dim sFol As String Dim sName As String Dim vTmp As Variant Dim i As Integer Dim v As Variant 'Windows テンポラリフォルダを取得 sFol = GetWinTmpPath() 'フィールドを取得 Set ni = vnd.GetFirstItem(vsFldName) If ni.Type = RICHTEXT Then 'リッチテキストなら添付ファイルをチェック Set nrti = ni vTmp = nrti.EmbeddedObjects If Not (IsEmpty(vTmp)) Then For i = 0 To UBound(vTmp) '埋め込みオブジェクトを順に取得 Set nemb = vTmp(i) If nemb.Type = EMBED_ATTACHMENT Then '画像ファイルであることを前提 sName = nemb.Source v = Split(sName, ".") 'ファイル名を決定 sName = sFol & "denaoshi" & Format(Now, "yyyymmddhhnnss") & "." & v(UBound(v)) '添付ファイルを保存 Call nemb.ExtractFile(sName) Exit For End If Next End If End If xSaveAttachment = sName End Function |
◇ GetWinTmpPath
上記関数では Windows テンポラリフォルダにファイルを保存しています。そのフォルダを取得するのが GetWinTmpPath 関数です。この関数は『Windows のテンポラリフォルダの取得』で紹介しています。
| Option Declare Declare Function xGetTempPath Lib "kernel32.dll" Alias "GetTempPathA" (ByVal nBufferLength As Long, ByVal lpBuffer As String) As Long Public Function GetWinTmpPath() As String Dim sPath As String Dim lStrLen As Long sPath = Space(255) lStrLen = xGetTempPath(255, sPath) GetWinTmpPath = Left(sPath, lStrLen) End Function |
下記のコードをスクリプトライブラリ lsWindows として保存し、今回のエージェントに組み込んでください。
| Use "lsWindows" |
◇ StreamToBase64
この関数は、画像データ(バイナリファイル)を Base64 でエンコードされた文字列に変換する関数です。この関数は『DXL Step-by-Step:#10)イメージリソースの新規作成』で紹介済みです。
|
%REM Function StreamToBase64 Description: Convert a binary NotesStream to a string of Base64 data. The output can be used as part of DXL data for importing. %END REM Function StreamToBase64(streamIn As NotesStream) As String On Error GoTo theOldWay ' ReadEncoded function is not documented. In case it doesn't work have a backup. StreamToBase64 = Replace(streamIn.ReadEncoded(ENC_BASE64, 76), Chr$(13), "") Exit Function theOldWay: Dim session As New NotesSession Dim db As NotesDatabase Dim doc As NotesDocument Dim mime As NotesMIMEEntity Set db = session.CurrentDatabase Set doc = db.CreateDocument Set mime = doc.CreateMIMEEntity("Body") streamIn.Position = 0 Call mime.SetContentFromBytes(streamIn, "image/gif", ENC_NONE) mime.EncodeContent(ENC_BASE64) StreamToBase64 = Replace(mime.ContentAsText, Chr$(13), "") End Function |
※ この関数は OpenNTF の LotusScript Gold Collection プロジェクトから拝借
◇ StreamToBase64
この関数は、画像データ(バイナリファイル)を Base64 でエンコードされた文字列に変換する関数です。この関数は『DXL Step-by-Step:#10)イメージリソースの新規作成』で紹介済みです。
|
Function xGetResponce(vnd As NotesDocument, vjnav As NotesJSONNavigator) As Boolean Dim je As NotesJSONElement Set je = vjnav.Getfirstelement() 'id 取得 vnd.Result_ID = GetPropertyValue(vjnav, "id") 'output 取得してセット Set je = GetProperty(vjnav, "output") '"type": "message" の要素を取得 Set je = FindInArray(je, "type", "message") 'content Set je = GetProperty(je, "content") '"type": "output_text" Set je = FindInArray(je, "type", "output_text") '返答を取得してセット vnd.Result_Content = GetPropertyValue(je, "text") xGetResponce = True End Function |
以上で、サンプルアプリは完成です。
動作検証とまとめ
新規文書を作成して、AI model、プロンプト、調査してもらう画像を添付して、アクションボタンをクリックします。AI からの回答が表示されれば成功です。
今回は、Responses API を利用して画像を送信し、AI に画像の内容を説明させる方法を紹介しました。
Chat Completions API と比較すると、送信する JSON の構造にはいくつか違いがありますが、画像を BASE64 に変換して送信する基本的な仕組みは変わりません。また、過去に作成した LotusScript の関数を流用することで、比較的少ない修正で対応できました。
これまでの開発資産を活用できるのは、やはりありがたいですね。
| 前回 | 連載:つないでみよう |



