备案控制台
开发者社区 大数据 文章 正文

通过Ti-One机器学习平台玩转2020腾讯广告算法大赛：数据预处理（一）

2022-12-14 294
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 通过Ti-One机器学习平台玩转2020腾讯广告算法大赛：数据预处理（一）

准备

查看磁盘的基本信息

!df -hl

image.png

!pwd

image.png

引入基本包,我们这里只做最基本的数据处理所以只引入了基本包

另外引入了ti的session后面通过它将数据上传到cos

import os, gc
import pandas as pd
import numpy as np
from ti import session
ts=session.Session()

下载和解压

这里直接下载官方提供的zip包

!wget https://tesla-ap-shanghai-1256322946.cos.ap-shanghai.myqcloud.com/cephfs/tesla_common/deeplearning/dataset/algo_contest/test.zip

!wget https://tesla-ap-shanghai-1256322946.cos.ap-shanghai.myqcloud.com/cephfs/tesla_common/deeplearning/dataset/algo_contest/train_preliminary.zip

image.png

算是同一个网络，下载速度还是挺快的

下载完成后解压

!unzip train_preliminary.zip

image.png

!unzip test.zip

image.png

文章标签：
机器学习/深度学习
数据采集
数据处理
算法
关键词：
机器学习算法
算法机器学习
人工智能平台 PAI算法
广告算法
人工智能平台 PAI平台
Deephub
目录
相关文章
梦回故国楼台梦
|
5天前
|
机器学习/深度学习 人工智能 自然语言处理
炸裂！PAI-DSW 和 Free Prompt Editing 图像编辑算法，成就了超神的个人 AIGC 绘图小助理！
【6月更文挑战第11天】PAI-DSW 和 Free Prompt Editing 算法引领图像编辑革命，创造出个人AIGC绘图小助理。PAI-DSW擅长深度图像处理，通过复杂模型和深度学习精准编辑；Free Prompt Editing则允许用户以文本描述编辑图像，拓展编辑创意。结合两者，小助理能根据用户需求生成惊艳图像。简单Python代码示例展示了其魅力，打破传统编辑局限，为专业人士和普通用户提供创新工具，开启图像创作新篇章。未来，它将继续进化，带来更多精彩作品和体验。
梦回故国楼台梦
27 6
csdn-Eternity._
|
1天前
|
机器学习/深度学习 存储 算法
【机器学习】深入探索机器学习：线性回归算法的原理与应用
【机器学习】深入探索机器学习：线性回归算法的原理与应用
csdn-Eternity._
6 0
码农小达人
|
2天前
|
机器学习/深度学习 监控 算法
支付宝商业化广告算法优化
支付宝商业化广告算法优化
码农小达人
3 0
1941623231718325
|
3天前
|
机器学习/深度学习 数据采集 算法
机器学习入门：算法与数据的探索之旅
【6月更文挑战第13天】本文介绍了机器学习的基础，包括算法和数据处理的重要性。机器学习算法分为监督学习（如线性回归、决策树）、非监督学习（如聚类、降维）和强化学习。数据处理涉及数据清洗、特征工程、数据分割及标准化，是保证模型性能的关键。对于初学者，建议学习基础数学、动手实践、阅读经典资料和参与在线课程与社区讨论。
1941623231718325
13 3
线上0.5
|
4天前
|
机器学习/深度学习 人工智能 算法
算法金 | 一文彻底理解机器学习 ROC-AUC 指标
```markdown # ROC曲线与AUC详解：评估分类模型利器 本文深入浅出解释ROC曲线和AUC，通过实例和代码帮助理解其在模型评估中的重要性，旨在提升对分类模型性能的理解和应用。 ```
线上0.5
41 13
算法金 | 一文彻底理解机器学习 ROC-AUC 指标
嘟嘟嘟嘟嘟嘟
|
5天前
|
机器学习/深度学习 人工智能 TensorFlow
人工智能平台PAI产品使用合集之如何设置DCluster参数
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
嘟嘟嘟嘟嘟嘟
99 3
嘟嘟嘟嘟嘟嘟
|
5天前
|
机器学习/深度学习 人工智能 NoSQL
人工智能平台PAI产品使用合集之save_summary_steps这个配置项我设置了值为50，为什么还是1000个step才记录一次summaries
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
嘟嘟嘟嘟嘟嘟
81 1
嘟嘟嘟嘟嘟嘟
|
5天前
|
机器学习/深度学习 人工智能 PyTorch
人工智能平台PAI产品使用合集之只进行训练（train）而不进行评估（eval）该如何配置
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
嘟嘟嘟嘟嘟嘟
108 1
嘟嘟嘟嘟嘟嘟
|
5天前
|
机器学习/深度学习 人工智能 分布式计算
人工智能平台PAI产品使用合集之在easy_rec中，将model_dir设置为oss地址时，oss相关配置需要加载在环境中，有完整的示例吗
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
嘟嘟嘟嘟嘟嘟
95 0
嘟嘟嘟嘟嘟嘟
|
5天前
|
机器学习/深度学习 人工智能 分布式计算
人工智能平台PAI产品使用合集之int类型是否可以为raw feature
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
嘟嘟嘟嘟嘟嘟
69 2

热门文章

最新文章

  • 1
    阿里云人工智能平台 PAI 扩散模型加速采样算法论文入选 CIKM 2023
  • 2
    【AAAI 2024】再创佳绩！阿里云人工智能平台PAI多篇论文入选
  • 3
    阿里云人工智能平台PAI多篇论文入选EMNLP 2023
  • 4
    [机器学习] 1、《机器学习系统设计》学后总结
  • 5
    周志华《机器学习》课后习题（第九章）：聚类
  • 6
    09 机器学习调参
  • 7
    我们如何利用AI和机器学习将游戏引入现实生活？
  • 8
    Andrew Ng机器学习课程笔记--week9(上)(异常检测&推荐系统)
  • 9
    程序员如何开启机器学习之路？我也遇到过这个问题
  • 10
    《R语言机器学习：实用案例分析》——1.3节使用函数
  • 1
    视觉智能平台常见问题之其他算法定制化开发如何解决
    89
  • 2
    使用Python实现图像处理中的边缘检测算法
    109
  • 3
    利用机器学习算法改善电商推荐系统的效率
    120
  • 4
    Python基础算法解析：K最近邻算法
    43
  • 5
    【数据结构与算法】—— 手撕红黑树
    50
  • 6
    【优选算法】—— 字符串匹配算法
    58
  • 7
    【优选算法】—— 滑动窗口类问题
    57
  • 8
    【算法】——全排列算法讲解
    53
  • 9
    【排序算法】数据结构排序详解
    58
  • 10
    数据结构——排序算法之快速排序
    39

    • 相关课程

    更多
  • 场景实践 - 机器学习PAI实现精细化营销
  • 场景实践 - 基于阿里云PAI机器学习平台使用时间序列分解模型预测商品销量
  • 场景实践 - 基于机器学习进行收入预测分析
  • 机器学习概览及常见算法
  • 机器学习入门-概念原理及常用算法
  • 神经网络概览及算法详解

    • 相关电子书

    更多
  • 大规模机器学习在蚂蚁+阿里的应用
  • 阿里巴巴机器学习平台AI
  • 微博机器学习平台架构和实践

    • 相关实验场景

    更多
  • 使用PAI-DSW，开发个人AIGC绘图小助理
  • 如何快速体验通义大模型
  • 使用函数计算部署通义千问大模型实现AI对话
  • 使用PAI-DSW x EasyPhoto快速完成AIGC人物写真生成
  • 基于Hologres+PAI+计算巢，5分钟搭建企业级AI问答知识库
  • 基于通义千问X函数计算部署AI助手
    • 下一篇
    2024年阿里云免费云服务器及学生云服务器申请教程参考