我的Google Vertex AI实践经验分享

简介: 忙碌的开发者分享了使用Google Vertex AI的实践经验。从复杂的初始设置到微调模型时的手动资源分配,作者经历了种种挑战,包括高昂的成本与不足的文档支持。尽管如此,Vertex AI在图像识别和自然语言处理方面展现出强大能力。作者希望反馈能帮助Google改进服务,使之更加用户友好。

![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/a3597a3f8e194aa8a2edb75cdd8da943.gif#pic_center)

![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/46c3ffad26574496b67d17b189a4cb4f.png#pic_center)


# 我的Google Vertex AI实践经验分享


## 前言

作为一名忙碌的开发者,我时常希望能减少睡眠时间以完成更多工作。在这个过程中,我尝试了多种方法,并设计了多个概念验证项目。本文分享了我在使用Google的生成式AI服务Vertex AI时的实践经验。需要注意的是,市场在快速发展,文中提到的一些问题可能在你阅读时已得到改善。


## 基础设置

在使用GCP控制台时,我发现它比七年前复杂了许多。然而,Vertex AI的初始设置相对简单。登录GCP控制台,点击左上角的导航菜单,展开“更多产品”,并在“人工智能”菜单下选择Vertex AI。


在设置过程中,我遇到了一个问题:由于未启用所有推荐的API,设置微调任务时点击“开始微调”按钮后没有任何反应。解决方法是确保点击“启用所有推荐的API”按钮。


## 微调模型

成功执行微调任务花费了我一周时间。主要原因是GCP要求用户手动分配硬件资源配额,这对于没有运维背景的用户来说非常困难。我多次尝试设置硬件配额,最终在论坛求助并未得到答复后,自行摸索解决了问题。


微调任务失败的原因在于缺少硬件资源配额。GCP不提供默认硬件配额,用户需要手动申请。我申请了GPU和TPU的配额,但由于缺乏文档支持,我不知道需要申请多少单位。最终,我花费了86美元进行微调,训练数据集仅包含200行文本,总共35KB的数据。


## API使用

在测试过程中,我发现Vertex AI的API使用需要OAuth认证,这对于不熟悉Web开发的用户来说非常不便。我创建了一个服务账户,并生成了包含所有必要信息的密钥文件,延长了认证生命周期至12小时。然而,依然缺乏实用的REST示例指导如何设置这些请求。


Vertex AI的JSON格式与OpenAI的JSON格式非常相似,主要区别在于Vertex AI将上下文作为单独的节点设置在消息数组旁边。尽管如此,我发现微调后的模型在回答训练数据中的问题时表现不佳,与预期相差甚远。


## 使用体验

在实际使用过程中,我发现在设置和使用Vertex AI时遇到了许多挑战。例如,当试图进行模型微调时,经常遇到硬件资源不足的问题。每次设置新的微调任务时,都需要手动调整和分配资源配额,这不仅耗时,还增加了出错的可能性。此外,Vertex AI的用户界面虽然功能强大,但对于初次使用者来说并不直观,需要花费时间去适应。


尽管如此,Vertex AI在处理复杂任务时表现出了强大的能力。特别是在图像识别和自然语言处理领域,其模型的精度和速度都非常令人满意。在一次项目中,我使用Vertex AI对大量图像数据进行了分类,结果不仅准确,而且处理速度非常快,这大大提高了项目的效率。


## 总结

尽管本文看似对Vertex AI充满抱怨,但我的目的是提供建设性的反馈。目前,我认为Vertex AI尚未准备好商业化使用。服务设置复杂,微调难以满足特定需求。这种复杂性可能会劝退只想“完成任务”的客户。


相比之下,Azure的OpenAI服务设置更简单,无需OAuth认证,也不需要手动分配硬件资源。我希望本文能帮助Google改进其产品,使其更易于使用。


希望通过这篇文章,能够为其他开发者提供一些参考,帮助他们更好地理解和使用Vertex AI。同时,也期待Google能够不断优化和改进这项服务,让更多的人能够受益于这项强大的技术。


## 示例代码


以下是一个简单的示例代码,展示了如何使用Vertex AI进行文本生成:


```python

import vertexai

from google.auth import credentials


# 设置认证

credentials = credentials.Credentials.from_service_account_file('path/to/your/service-account-key.json')

vertexai.init(credentials=credentials)


# 初始化Vertex AI客户端

client = vertexai.TextGenerationClient()


# 定义输入参数

input_text = "Your prompt here"

response = client.generate(input_text)


# 输出结果

print(response.generated_text)

![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/f32bbbe1e79349729ed36d14f480e334.png#pic_center)

目录
相关文章
|
5天前
|
SQL 人工智能 数据可视化
高校迎新管理系统:基于 smardaten AI + 无代码开发实践
针对高校迎新痛点,基于smardaten无代码平台构建全流程数字化管理系统,集成信息采集、绿色通道、宿舍管理等七大模块,通过AI生成框架、可视化配置审批流与权限,实现高效、精准、可扩展的迎新服务,大幅提升管理效率与新生体验。
|
数据采集 人工智能 搜索推荐
AI战略丨构建高效新一代 AI 应用 : 从技术选型到落地实践
从概念构想走向高效应用,新一代 AI 应用的落地过程涉及多重技术关键。
AI战略丨构建高效新一代 AI 应用 : 从技术选型到落地实践
|
1月前
|
云安全 机器学习/深度学习 人工智能
阿里云安全Black Hat技术开源大揭秘,AI安全检测的工程化实践
阿里云安全 LLMDYara框架开源核心思路,赋能云安全产品!
|
1月前
|
人工智能 算法 前端开发
超越Prompt Engineering:揭秘高并发AI系统的上下文工程实践
本文系统解析AI工程范式从Prompt Engineering到Context Engineering的演进路径,深入探讨RAG、向量数据库、上下文压缩等关键技术,并结合LangGraph与智能体系统架构,助力开发者构建高可靠AI应用。
220 1
|
人工智能 缓存 NoSQL
【深度】企业 AI 落地实践(四):如何构建端到端的 AI 应用观测体系
本文探讨了AI应用在实际落地过程中面临的三大核心问题:如何高效使用AI模型、控制成本以及保障输出质量。文章详细分析了AI应用的典型架构,并提出通过全栈可观测体系实现从用户端到模型推理层的端到端监控与诊断。结合阿里云的实践经验,介绍了基于OpenTelemetry的Trace全链路追踪、关键性能指标(如TTFT、TPOT)采集、模型质量评估与MCP工具调用观测等技术手段,帮助企业在生产环境中实现AI应用的稳定、高效运行。同时,针对Dify等低代码平台的应用部署与优化提供了具体建议,助力企业构建可扩展、可观测的AI应用体系。
|
24天前
|
存储 人工智能 运维
AI 网关代理 RAG 检索:Dify 轻松对接外部知识库的新实践
Higress AI 网关通过提供关键桥梁作用,支持 Dify 应用便捷对接业界成熟的 RAG 引擎。通过 AI 网关将 Dify 的高效编排能力与专业 RAG 引擎的检索效能结合,企业可在保留现有 Dify 应用资产的同时,有效规避其内置 RAG 的局限,显著提升知识驱动型 AI 应用的生产环境表现。
562 60
|
11天前
|
存储 消息中间件 人工智能
【05】AI辅助编程完整的安卓二次商业实战-消息页面媒体对象(Media Object)布局实战调整-按钮样式调整实践-优雅草伊凡
【05】AI辅助编程完整的安卓二次商业实战-消息页面媒体对象(Media Object)布局实战调整-按钮样式调整实践-优雅草伊凡
44 11
【05】AI辅助编程完整的安卓二次商业实战-消息页面媒体对象(Media Object)布局实战调整-按钮样式调整实践-优雅草伊凡
|
20天前
|
人工智能 监控 Kubernetes
稳定支撑大规模模型调用,携程旅游的 AI 网关实践
为了进一步提升服务水平和服务质量,携程很早就开始在人工智能大模型领域进行探索。而随着工作的深入,大模型服务的应用领域不断扩大,公司内部需要访问大模型服务的应用也越来越多,不可避免的就遇到了几个问题,我们自然就会想到使用网关来对这些服务接入进行统一管理,并增加各种切面上的流量治理功能。
111 31

热门文章

最新文章

推荐镜像

更多