图片理解

Gemini 模型可以处理图片，从而支持许多先进的开发者用例，而这些用例在过去需要使用特定领域的模型。Gemini 的部分视觉功能包括：

为图片添加文字说明并回答与图片相关的问题

转写和推理 PDF 文件（最多包含 200 万个令牌）

检测图片中的对象并返回其边界框坐标

分割图片中的对象

Gemini 从一开始就具有多模态特性，我们将继续突破可能的边界。本指南介绍了如何使用 Gemini API 根据图片输入生成文本回答，以及执行常见的图片理解任务。

准备工作

在调用 Gemini API 之前，请确保您已安装所选的 SDK，并已配置好 Gemini API 密钥，可以使用。

图片输入

您可以通过以下方式将图片作为输入提供给 Gemini：

使用 File API 上传图片文件，然后再向 generateContent 发出请求。对于大于 20MB 的文件，或者您想在多个请求中重复使用文件时，请使用此方法。

将内嵌图片数据通过请求传递给 generateContent。请对较小的文件（总请求大小小于 20MB）或直接从网址提取的图片使用此方法。

上传图片文件

您可以使用 Files API 上传图片文件。如果请求总大小（包括文件、文本提示、系统说明等）超过 20 MB，或者您打算在多个提示中使用同一张图片，请始终使用 Files API。

以下代码会上传图片文件，然后在调用 generateContent 时使用该文件。

IMAGE_PATH="path/to/sample.jpg"
MIME_TYPE=$(file -b --mime-type "${IMAGE_PATH}")
NUM_BYTES=$(wc -c < "${IMAGE_PATH}")
DISPLAY_NAME=IMAGE

tmp_header_file=upload-header.tmp

# Initial resumable request defining metadata.
# The upload url is in the response headers dump them to a file.
curl "https://generativelanguage.googleapis.com/upload/v1beta/files?key=${GOOGLE_API_KEY}" \
  -D upload-header.tmp \
  -H "X-Goog-Upload-Protocol: resumable" \
  -H "X-Goog-Upload-Command: start" \
  -H "X-Goog-Upload-Header-Content-Length: ${NUM_BYTES}" \
  -H "X-Goog-Upload-Header-Content-Type: ${MIME_TYPE}" \
  -H "Content-Type: application/json" \
  -d "{'file': {'display_name': '${DISPLAY_NAME}'}}" 2> /dev/null

upload_url=$(grep -i "x-goog-upload-url: " "${tmp_header_file}" | cut -d" " -f2 | tr -d "\r")
rm "${tmp_header_file}"

# Upload the actual bytes.
curl "${upload_url}" \
  -H "Content-Length: ${NUM_BYTES}" \
  -H "X-Goog-Upload-Offset: 0" \
  -H "X-Goog-Upload-Command: upload, finalize" \
  --data-binary "@${IMAGE_PATH}" 2> /dev/null > file_info.json

file_uri=$(jq ".file.uri" file_info.json)
echo file_uri=$file_uri

# Now generate content using that file
curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-2.0-flash:generateContent?key=$GOOGLE_API_KEY" \
    -H 'Content-Type: application/json' \
    -X POST \
    -d '{
      "contents": [{
        "parts":[
          {"file_data":{"mime_type": "${MIME_TYPE}", "file_uri": '$file_uri'}},
          {"text": "Caption this image."}]
        }]
      }' 2> /dev/null > response.json

cat response.json
echo

jq ".candidates[].content.parts[].text" response.json

如需详细了解如何处理媒体文件，请参阅 Files API。

以内嵌方式传递图片数据

您可以将请求中的内嵌图片数据传递给 generateContent，而无需上传图片文件。这适用于较小的图片（总请求大小小于 20MB）或直接从网址提取的图片。

您可以以 Base64 编码字符串的形式提供图片数据，也可以直接读取本地文件（具体取决于 SDK）。

本地图片文件：

IMG_PATH=/path/to/your/image1.jpg

if [[ "$(base64 --version 2>&1)" = *"FreeBSD"* ]]; then
  B64FLAGS="--input"
else
  B64FLAGS="-w0"
fi

curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-2.0-flash:generateContent?key=$GOOGLE_API_KEY" \
    -H 'Content-Type: application/json' \
    -X POST \
    -d '{
      "contents": [{
        "parts":[
            {
              "inline_data": {
                "mime_type":"image/jpeg",
                "data": "'\$(base64 \$B64FLAGS \$IMG_PATH)'"
              }
            },
            {"text": "Caption this image."},
        ]
      }]
    }' 2> /dev/null

通过网址添加的图片：

IMG_URL="https://goo.gle/instrument-img"

MIME_TYPE=$(curl -sIL "$IMG_URL" | grep -i '^content-type:' | awk -F ': ' '{print $2}' | sed 's/\r$//' | head -n 1)
if [[ -z "$MIME_TYPE" || ! "$MIME_TYPE" == image/* ]]; then
  MIME_TYPE="image/jpeg"
fi

if [[ "$(base64 --version 2>&1)" = *"FreeBSD"* ]]; then
  B64FLAGS="--input"
else
  B64FLAGS="-w0"
fi

curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-2.0-flash:generateContent?key=$GOOGLE_API_KEY" \
    -H 'Content-Type: application/json' \
    -X POST \
    -d '{
      "contents": [{
        "parts":[
            {
              "inline_data": {
                "mime_type":"'"$MIME_TYPE"'",
                "data": "'$(curl -sL "$IMG_URL" | base64 $B64FLAGS)'"
              }
            },
            {"text": "Caption this image."}
        ]
      }]
    }' 2> /dev/null

关于内嵌图片数据，请注意以下几点：

请求的总大小上限为 20 MB，其中包括文字提示、系统说明和内嵌提供的所有文件。如果文件大小会导致请求总大小超过 20 MB，请使用 Files API 上传图片文件以在请求中使用。

如果您要多次使用图片示例，则使用 File API 上传图片文件会更高效。

使用多张图片提示

您可以在单个问题中提供多张图片，方法是在 contents 数组中添加多个图片 Part 对象。这些数据可以是内嵌数据（本地文件或网址）和 File API 引用的混合。

# Upload the first image
IMAGE1_PATH="path/to/image1.jpg"
MIME1_TYPE=$(file -b --mime-type "${IMAGE1_PATH}")
NUM1_BYTES=$(wc -c < "${IMAGE1_PATH}")
DISPLAY_NAME1=IMAGE1

tmp_header_file1=upload-header1.tmp

curl "https://generativelanguage.googleapis.com/upload/v1beta/files?key=${GOOGLE_API_KEY}" \
  -D upload-header1.tmp \
  -H "X-Goog-Upload-Protocol: resumable" \
  -H "X-Goog-Upload-Command: start" \
  -H "X-Goog-Upload-Header-Content-Length: ${NUM1_BYTES}" \
  -H "X-Goog-Upload-Header-Content-Type: ${MIME1_TYPE}" \
  -H "Content-Type: application/json" \
  -d "{'file': {'display_name': '${DISPLAY_NAME1}'}}" 2> /dev/null

upload_url1=$(grep -i "x-goog-upload-url: " "${tmp_header_file1}" | cut -d" " -f2 | tr -d "\r")
rm "${tmp_header_file1}"

curl "${upload_url1}" \
  -H "Content-Length: ${NUM1_BYTES}" \
  -H "X-Goog-Upload-Offset: 0" \
  -H "X-Goog-Upload-Command: upload, finalize" \
  --data-binary "@${IMAGE1_PATH}" 2> /dev/null > file_info1.json

file1_uri=$(jq ".file.uri" file_info1.json)
echo file1_uri=$file1_uri

# Prepare the second image (inline)
IMAGE2_PATH="path/to/image2.png"
MIME2_TYPE=$(file -b --mime-type "${IMAGE2_PATH}")

if [[ "$(base64 --version 2>&1)" = *"FreeBSD"* ]]; then
  B64FLAGS="--input"
else
  B64FLAGS="-w0"
fi
IMAGE2_BASE64=$(base64 $B64FLAGS $IMAGE2_PATH)

# Now generate content using both images
curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-2.0-flash:generateContent?key=$GOOGLE_API_KEY" \
    -H 'Content-Type: application/json' \
    -X POST \
    -d '{
      "contents": [{
        "parts":[
          {"text": "What is different between these two images?"},
          {"file_data":{"mime_type": "'"${MIME1_TYPE}"'", "file_uri": '$file1_uri'}},
          {
            "inline_data": {
              "mime_type":"'"${MIME2_TYPE}"'",
              "data": "'"$IMAGE2_BASE64"'"
            }
          }
        ]
      }]
    }' 2> /dev/null > response.json

cat response.json
echo

jq ".candidates[].content.parts[].text" response.json

获取对象的边界框

Gemini 模型经过训练，可识别图片中的对象并提供其边界框坐标。返回的坐标相对于图片尺寸，已缩放到 [0, 1000]。您需要根据原始图片大小缩小这些坐标。

PROMPT="Detect the all of the prominent items in the image. The box_2d should be [ymin, xmin, ymax, xmax] normalized to 0-1000."

您可以使用边界框在图片和视频中进行对象检测和定位。通过使用边界框准确识别和划分对象，您可以解锁各种应用并提升项目的智能化水平。

主要优势

**简单：**无论您是否具备计算机视觉专业知识，都可以轻松地将对象检测功能集成到您的应用中。

**可自定义：**根据自定义指令（例如“I want to see bounding boxes of all the green objects in this image”）生成边界框，而无需训练自定义模型。

技术详情

**输入：**提示和关联的图片或视频帧。

**输出：**边界框，采用 [y_min, x_min, y_max, x_max] 格式。左上角是原点。x 轴是水平轴，y 轴是垂直轴。每个图片的坐标值都进行标准化处理，范围为 0-1000。

可视化：AI Studio 用户将在界面中看到绘制的边界框。

对于 Python 开发者，请试用2D 空间理解笔记本或实验性 3D 指向笔记本。

归一化坐标

该模型会以 [y_min, x_min, y_max, x_max] 格式返回边界框坐标。如需将这些归一化坐标转换为原始图片的像素坐标，请按以下步骤操作：

将每个输出坐标除以 1000。

将 x 坐标乘以原始图片宽度。

将 y 坐标乘以原始图片高度。

如需探索有关生成边界框坐标并在图片上直观呈现这些坐标的更详细示例，请参阅“对象检测”食谱示例。

图片分割

从 Gemini 2.5 模型开始，Gemini 模型不仅经过训练可检测物品，还可对其进行分割并提供轮廓遮罩。

该模型会预测一个 JSON 列表，其中每个项都代表一个分割掩码。每个项都有一个边界框（“box_2d”），格式为 [y0, x0, y1, x1]，归一化坐标介于 0 到 1000 之间，一个用于标识对象的标签（“label”），最后是边界框内的分割掩码，以 base64 编码的 png 格式表示，即值介于 0 到 255 之间的概率图。需要调整遮罩的大小，使其与边界框的尺寸一致，然后根据置信度阈值进行二值化处理（中点为 127）。

PROMPT='''
  Give the segmentation masks for the wooden and glass items.
  Output a JSON list of segmentation masks where each entry contains the 2D
  bounding box in the key "box_2d", the segmentation mask in key "mask", and
  the text label in the key "label". Use descriptive labels.
'''

图片中木制和玻璃物体的遮罩

如需查看更详细的示例，请参阅食谱指南中的细分示例。

支持的图片格式

Gemini 支持以下图片格式 MIME 类型：

PNG - image/png

JPEG - image/jpeg

WEBP - image/webp

HEIC - image/heic

HEIF - image/heif

有关图片的技术细节

文件数量限制：Gemini 2.5 Pro、2.0 Flash、1.5 Pro 和 1.5 Flash 支持每个请求最多 3,600 个图片文件。

令牌计算

：

Gemini 1.5 Flash 和 Gemini 1.5 Pro：如果两个尺寸均小于等于 384 像素，则为 258 个令牌。系统会将较大的图片划分为多个图块（每个图块最小 256 像素，最大 768 像素，调整为 768x768），每个图块的费用为 258 个令牌。

Gemini 2.0 Flash：如果两个维度均小于或等于 384 像素，则为 258 个 token。系统会将较大的图片划分为 768x768 像素的图块，每个图块的费用为 258 个令牌。

最佳实践

：

确保图片已正确旋转。

使用清晰、不模糊的图片。

使用带文本的单张图片时，请将文本提示放在 contents 数组中的图片部分后面。

后续步骤

本指南介绍了如何上传图片文件，以及如何根据图片输入生成文本输出。如需了解详情，请参阅以下资源：

系统指令：借助系统指令，您可以根据自己的特定需求和使用情形来控制模型的行为。

视频理解：了解如何处理视频输入。

Files API：详细了解如何上传和管理文件以便与 Gemini 搭配使用。

文件提示策略：Gemini API 支持使用文本、图片、音频和视频数据进行提示，也称为多模态提示。

安全指南：生成式 AI 模型有时会生成意料之外的输出，例如不准确、有偏见或令人反感的输出。后处理和人工评估对于限制此类输出造成伤害的风险至关重要。

准备工作#

图片输入#

上传图片文件#

以内嵌方式传递图片数据#

使用多张图片提示#

获取对象的边界框#

主要优势#

技术详情#

归一化坐标#

图片分割#

支持的图片格式#

有关图片的技术细节#

后续步骤#