Day 10 Azure cognitive service: image description- 看图说故事

Azure cognitive service: image description- 看图说故事

a cat sleeping on a wooden structure

Image Description 影像描述，顾名思义是利用电脑视觉分析影像，产生出人类看得懂的句子，以描述图片中的内容。通常这样的作法被称为 Image Captioning，意味着帮影像下标题。其原理大致上是以 Convolutional Neural Network- CNN，作为 Encoder 撷取图片中的特徵，在透过 Recurrent neural network- RNN，作为 Decoder 生成文句。

金钥与端点

这边用的金钥和端点跟之前物体侦测所用的是一样的。

• 进入https://portal.azure.com/#home
• 点选所有资源
• 点选刚刚建立的电脑视觉服务
• 点选金钥与端点
• 复制金钥与端点

示范程序

# 套件：azure-cognitiveservices-vision-computervision
from azure.cognitiveservices.vision.computervision \
import ComputerVisionClient
from msrest.authentication import (
  CognitiveServicesCredentials
)
# 利用金钥SUBSCRIPTION_KEY和端点ENDPOINT，取得使用电脑视觉服务的权限。
SUBSCRIPTION_KEY = "YOUR SUBSCRIPTION_KEY"
ENDPOINT = "YOUR ENDPOINT"
CV_CLIENT = ComputerVisionClient(
    ENDPOINT, CognitiveServicesCredentials(SUBSCRIPTION_KEY)
)

# 利用 describe_image 取得描述影像的句子与信心程度

description_results = CV_CLIENT.describe_image(url)
output = ""
for caption in description_results.captions:
    output += "'{}' with confidence {:.2f}% \n".format(
        caption.text, caption.confidence * 100
    )
print(output)

把物体侦测和影像描述结合在一起，加到 chatbot server 之中，就可以得到以下效果。下一篇，我们就可以把之前所说的各项功能综合起来，完成可以看图说故事的 chatbot。