【微软 Azure 认知服务】零基础搭建微软 Azure AI 认知服务实验分享(下)

本文涉及的产品
语音服务,语音通知 50分钟
简介: 【微软 Azure 认知服务】零基础搭建微软 Azure AI 认知服务实验分享

8、获取人脸特性。


若要提取人脸属性,请再次调用检测 API,但将 detectionModel 设置为 detection_01。 同时,添加 returnFaceAttributes 查询参数。 该命令现在应如下所示。 与之前一样,请插入你的人脸订阅密钥和终结点。



[
    {
        "faceId": "3307d715-c326-4c11-98a4-f46ce9ab9ad3",
        "faceRectangle": {
            "top": 78,
            "left": 57,
            "width": 55,
            "height": 55
        },
        "faceAttributes": {
            "smile": 0.751,
            "headPose": {
                "pitch": 7.1,
                "roll": 7.2,
                "yaw": -18.3
            },
            "gender": "female",
            "age": 22.0,
            "facialHair": {
                "moustache": 0.0,
                "beard": 0.0,
                "sideburns": 0.0
            },
            "glasses": "NoGlasses",
            "emotion": {
                "anger": 0.0,
                "contempt": 0.001,
                "disgust": 0.002,
                "fear": 0.002,
                "happiness": 0.751,
                "neutral": 0.022,
                "sadness": 0.22,
                "surprise": 0.001
            },
            "blur": {
                "blurLevel": "high",
                "value": 1.0
            },
            "exposure": {
                "exposureLevel": "overExposure",
                "value": 1.0
            },
            "noise": {
                "noiseLevel": "low",
                "value": 0.0
            },
            "makeup": {
                "eyeMakeup": true,
                "lipMakeup": true
            },
            "accessories": [],
            "occlusion": {
                "foreheadOccluded": false,
                "eyeOccluded": false,
                "mouthOccluded": false
            },
            "hair": {
                "bald": 0.05,
                "invisible": false,
                "hairColor": [
                    {
                        "color": "black",
                        "confidence": 1.0
                    },
                    {
                        "color": "brown",
                        "confidence": 0.79
                    },
                    {
                        "color": "other",
                        "confidence": 0.47
                    },
                    {
                        "color": "gray",
                        "confidence": 0.17
                    },
                    {
                        "color": "blond",
                        "confidence": 0.07
                    },
                    {
                        "color": "red",
                        "confidence": 0.05
                    },
                    {
                        "color": "white",
                        "confidence": 0.0
                    }
                ]
            }
        }
    }
]


二、认知搜索


参考链接:Azure认知搜索是什么?


Azure 认知搜索(以前称为“Azure 搜索”)是一个云搜索服务,它为开发人员提供基础结构、API 和工具,用于基于 Web、移动和企业应用程序中的专用异类内容构建丰富的搜索体验。


搜索是任何向用户展示文本内容的应用的基础,其常见方案包括目录或文档搜索、在线零售或数据科学知识挖掘等。



Ⅰ、在 Azure 门户中创建 Azure 认知搜索索引


前提条件:


  • 具有活动订阅的 Azure 帐户。


  • Azure 认知搜索服务(任意层,任意区域)。可以使用本快速入门的免费服务。


1、创建认知搜索服务。



2、点击“更改定价层”,选择免费层。



3、点击“查看+创建”。



4、部署完成。转到资源。




Ⅱ、创建索引并加载数据


1、启动“导入数据”向导和创建数据源。


这里选择导入数据源的类型为“示例”。





2、选择“跳到:自定义目标索引”。



3、配置索引。


对于内置的酒店示例索引,系统会为你定义一个默认的索引架构。 除了一些高级筛选器示例之外,针对酒店示例索引的文档和示例中的查询将会根据此索引定义运行:




保持默认,继续下一页操作。


4、配置索引器。



查看索引器。



查看索引。



查看数据源。




5、使用搜索浏览器查询。


参考链接:使用搜索浏览器查询



在“索引”下拉列表中,选择“hotels-sample-index”。 单击“API 版本”下拉列表,查看有哪些 REST API 可用。 对于以下查询,请使用正式发行版 (2020-06-30)。


在搜索栏中粘贴以下查询字符串,并单击“搜索”。


search=beach&$filter=Rating gt 4&$count=true



  • 自由文本搜索


Seattle apartment "Lake Washington" miele OR thermador appliance



  • 匹配文档字数



6、查询示例。


参考链接:查询示例


提供 top N 结果的简单查询


  • 字符串查询


search=spa



  • 筛选查询


  • search=beach&$filter=Rating gt 4



  • 分面查询


  • 突出显示搜索结果


  • 试用模糊查询


  • 查实地理空间搜索


三、语音服务


参考官方链接:什么是语音服务?


语音服务在单个 Azure 订阅中统合了语音转文本、文本转语音以及语音翻译功能。 使用语音 CLI语音 SDK语音设备 SDKSpeech StudioREST API 可以轻松在应用程序、工具和设备中启用语音。


Ⅰ、创建语音服务


1、创建语音服务




2、部署完成。





3、查看密钥以及终结点。



Ⅱ、语音转文本——REST API


参考链接:语音转文本 REST API


语音转文本有两个不同的 REST API。 每个 API 都有其特殊用途,并使用不同的终结点集。


1、构建http请求的注意事项:


  • 音频格式


在 HTTP POST请求的正文中发送音频。 它必须采用下表中的格式之一:


格式 编解码器 比特率 采样率
WAV PCM 256 kbps 16 kHz,单声道
OGG OPUS 256 kpbs 16 kHz,单声道


  • 请求标头


该表列出了语音转文本请求的必需和可选标头。


标头 说明 必需/可选
Ocp-Apim-Subscription-Key 语音服务订阅密钥。 此标头或 Authorization 是必需的。
Authorization 前面带有单词Bearer`的授权令牌。 此标头或 Ocp-Apim-Subscription-Key是必需的。
Pronunciation-Assessment 指定用于在识别结果中显示发音分数的参数,这些参数评估语音输入的发音质量,并具有准确性、流畅性、完整性等指标。此参数是 Base64 编码的 json,其中包含多个详细的参数。 可选
Content-type 描述所提供音频数据的格式和编解码器。 接受的值为 audio/wav; codecs=audio/pcm; samplerate=16000 和 audio/ogg; codecs=opus。 必需
Transfer-Encoding 指定要发送分块的音频数据,而不是单个文件。 仅当要对音频数据进行分块时才使用此标头。 可选
Expect 如果使用分块传输,则发送 Expect: 100-continue。 语音服务将确认初始请求并等待附加的数据。 如果发送分块的音频数据,则是必需的。
Accept 如果提供此标头,则值必须是 application/json。 语音服务以 JSON 格式提供结果。 某些请求框架提供不兼容的默认值。 最好始终包含 Accept。 可选,但建议提供。


2、获取访问令牌——postman


使用Postman获取Token 参考如下:


若要获取访问令牌,需使用 Ocp-Apim-Subscription-Key 和订阅密钥向 issueToken 终结点发出请求。


issueToken 终结点具有以下格式:


https://<REGION_IDENTIFIER>.api.cognitive.azure.cn/sts/v1.0/issueToken


将 <REGION_IDENTIFIER>替换为与下表中的订阅区域匹配的标识符:


地理位置 区域 区域标识符
中国 中国东部 2 chinaeast2
中国 中国北部 2 chinanorth2



3、post请求https如下。具体参数说明如下。


https://chinaeast2.stt.speech.azure.cn/speech/recognition/conversation/cognitiveservices/v1?initialSilenceTimeoutMs=15000&language=zh-CN


适用于短音频的 REST API 的终结点具有以下格式:


https://<REGION_IDENTIFIER>.stt.speech.azure.cn/speech/recognition/conversation/cognitiveservices/v1


将 <REGION_IDENTIFIER>替换为与下表中的订阅区域匹配的标识符:


地理位置 区域 区域标识符
中国 中国东部 2 chinaeast2
中国 中国北部 2 chinanorth2


  • InitialSilenceTimeout——音频流的开始仅包含静音,并且服务在等待语音时超时。(此标头或 Authorization 是必需的)


  • language——标识所要识别的口语。(必需)


4、查询参数以及请求标头内容如下。



5、请求标头设置如下。



6、上传音频并成功地将语音内容转化成文本内容。如图所示。



Ⅲ、以SDK的方式将语音文件转换成文本(Python示例)


参考链接:语音转文本入门


四、自定义视觉


参考官方链接:什么是自定义视觉?


Azure 自定义视觉是一种图像识别服务,可用于构建、部署和改进你自己的图像标识符模型。 图像标识符根据其检测到的视觉特征将标签(表示分类或对象)应用于图像。 与计算机视觉服务不同,自定义视觉允许你指定自己的标签并训练自定义模型以对其进行检测。

相关文章
|
1月前
|
人工智能 安全 决策智能
OpenAI推出实验性“Swarm”框架,引发关于AI驱动自动化的争论
OpenAI推出实验性“Swarm”框架,引发关于AI驱动自动化的争论
|
1月前
|
人工智能 自然语言处理 数据可视化
阿里云AI大模型助力客户对话分析——全方位提升服务与体验
随着数字化转型的推进,企业愈发重视客户互动数据的价值。阿里云推出了一套基于AI大模型的客户对话分析解决方案,通过自动化手段分析大量客户对话数据,提取有价值信息,优化服务流程,提升客户体验。本文将结合技术文档和实际体验,全面评测这一解决方案。
56 2
|
1月前
|
人工智能 自然语言处理 搜索推荐
【通义】AI视界|微软Copilot Studio推出新功能,帮助企业更便捷地构建和部署AI代理
本文介绍了近期科技领域的五大重要动态:马斯克旗下xAI发布首个API,苹果内部研究显示ChatGPT比Siri准确率高25%,微软Copilot Studio推出新功能,霍尼韦尔与谷歌合作引入Gemini AI,浑水创始人建议买入科技七巨头股票。更多资讯请访问【通义】。
|
1月前
|
机器学习/深度学习 人工智能 算法
【通义】AI视界|若未来三年无法盈利,OpenAI或被微软收购!
本文精选了24小时内的重要科技新闻,包括苹果即将发布的全新智能家居战略、OpenAI若未来三年无法盈利或被微软收购的消息、Meta建议网友用AI生成极光照片引发争议,以及黄仁勋对马斯克的高度评价。登录通义官网了解更多功能。
|
1月前
|
人工智能
用AI人模拟社会学实验,居然成功了?斯坦福、NYU用GPT-4模仿人类,准确度惊人!
斯坦福大学和纽约大学的研究团队利用GPT-4模型成功模拟了人类在社交互动中的行为模式,实验结果显示AI能以惊人准确度模仿人类对话,甚至在在线论坛和社交媒体上与真人难以区分。这一突破不仅展示了AI在社会学研究中的巨大潜力,还引发了对AI伦理和透明度的深入探讨。尽管存在一些局限性和挑战,这项研究为未来社会学实验提供了新工具和方法。[论文地址:https://docsend.com/view/qeeccuggec56k9hd]
60 2
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
详解微软Copilot AI助手:Copilot官网入口_Copilot国内网站入口
微软 Copilot 是一种集成在多种 Microsoft 产品中的人工智能助手,旨在提高工作效率和创造力。它利用强大的机器学习和自然语言处理技术,能够理解用户的需求并提供实时的帮助和建议。以下是对微软 Copilot 的详细介绍。
|
1月前
|
人工智能 自然语言处理 自动驾驶
【通义】AI视界|微软和 OpenAI 将向媒体提供1000万美元资助,推动其使用AI工具
本文概览了近期科技领域的五大热点事件,包括微软与OpenAI联手资助媒体使用AI工具、OpenAI任命前白宫官员为首任首席经济学家、特斯拉FSD系统遭调查、英伟达市值逼近全球第一、以及AMD新一代锐龙9000X3D系列处理器即将上市的消息。更多资讯,请访问通义官网。
|
2月前
|
存储 人工智能 自然语言处理
新手指南:微软ai助手Copilot国内如何使用?
微软 Copilot 是一款强大的 AI 助手,掌握一些技巧可以让你更好地利用它,提高效率和创造力,让你的工作和生活更加精彩!
|
2天前
|
机器学习/深度学习 人工智能 算法
AI技术在医疗诊断中的应用及前景展望
本文旨在探讨人工智能(AI)技术在医疗诊断领域的应用现状、挑战与未来发展趋势。通过分析AI技术如何助力提高诊断准确率、缩短诊断时间以及降低医疗成本,揭示了其在现代医疗体系中的重要价值。同时,文章也指出了当前AI医疗面临的数据隐私、算法透明度等挑战,并对未来的发展方向进行了展望。
|
10天前
|
机器学习/深度学习 人工智能 自然语言处理
当前AI大模型在软件开发中的创新应用与挑战
2024年,AI大模型在软件开发领域的应用正重塑传统流程,从自动化编码、智能协作到代码审查和测试,显著提升了开发效率和代码质量。然而,技术挑战、伦理安全及模型可解释性等问题仍需解决。未来,AI将继续推动软件开发向更高效、智能化方向发展。