AI 助理
备案控制台
开发者社区 大数据 文章 正文

通过Ti-One机器学习平台玩转2020腾讯广告算法大赛：数据预处理（一）

2022-12-14 323
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 通过Ti-One机器学习平台玩转2020腾讯广告算法大赛：数据预处理（一）

准备

查看磁盘的基本信息

!df -hl

image.png

!pwd

image.png

引入基本包,我们这里只做最基本的数据处理所以只引入了基本包

另外引入了ti的session后面通过它将数据上传到cos

import os, gc
import pandas as pd
import numpy as np
from ti import session
ts=session.Session()

下载和解压

这里直接下载官方提供的zip包

!wget https://tesla-ap-shanghai-1256322946.cos.ap-shanghai.myqcloud.com/cephfs/tesla_common/deeplearning/dataset/algo_contest/test.zip

!wget https://tesla-ap-shanghai-1256322946.cos.ap-shanghai.myqcloud.com/cephfs/tesla_common/deeplearning/dataset/algo_contest/train_preliminary.zip

image.png

算是同一个网络，下载速度还是挺快的

下载完成后解压

!unzip train_preliminary.zip

image.png

!unzip test.zip

image.png

文章标签：
机器学习/深度学习
数据采集
数据处理
算法
关键词：
人工智能平台 PAI算法
平台算法
机器学习算法
人工智能平台 PAI平台
算法机器学习
Deephub
目录
相关文章
龙大吉
|
29天前
|
机器学习/深度学习 算法 数据挖掘
K-means聚类算法是机器学习中常用的一种聚类方法，通过将数据集划分为K个簇来简化数据结构
K-means聚类算法是机器学习中常用的一种聚类方法，通过将数据集划分为K个簇来简化数据结构。本文介绍了K-means算法的基本原理，包括初始化、数据点分配与簇中心更新等步骤，以及如何在Python中实现该算法，最后讨论了其优缺点及应用场景。
龙大吉
95 4
龙大吉
|
25天前
|
机器学习/深度学习 算法 数据挖掘
C语言在机器学习中的应用及其重要性。C语言以其高效性、灵活性和可移植性，适合开发高性能的机器学习算法，尤其在底层算法实现、嵌入式系统和高性能计算中表现突出
本文探讨了C语言在机器学习中的应用及其重要性。C语言以其高效性、灵活性和可移植性，适合开发高性能的机器学习算法，尤其在底层算法实现、嵌入式系统和高性能计算中表现突出。文章还介绍了C语言在知名机器学习库中的作用，以及与Python等语言结合使用的案例，展望了其未来发展的挑战与机遇。
龙大吉
43 1
花开花落的世界
|
1月前
|
机器学习/深度学习 自然语言处理 算法
深入理解机器学习算法：从线性回归到神经网络
深入理解机器学习算法：从线性回归到神经网络
花开花落的世界
46 2
子午s
|
1月前
|
机器学习/深度学习 人工智能 算法
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型
手写数字识别系统，使用Python作为主要开发语言，基于深度学习TensorFlow框架，搭建卷积神经网络算法。并通过对数据集进行训练，最后得到一个识别精度较高的模型。并基于Flask框架，开发网页端操作平台，实现用户上传一张图片识别其名称。
子午s
90 0
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型
G0518
|
1月前
|
机器学习/深度学习 算法
深入探索机器学习中的决策树算法
深入探索机器学习中的决策树算法
G0518
41 0
小周sir
|
1月前
|
机器学习/深度学习 算法 Python
机器学习入门：理解并实现K-近邻算法
机器学习入门：理解并实现K-近邻算法
小周sir
36 0
天下无贼001
|
1月前
|
机器学习/深度学习 人工智能 算法
探索机器学习中的决策树算法
【10月更文挑战第29天】本文将深入浅出地介绍决策树算法，一种在机器学习中广泛使用的分类和回归方法。我们将从基础概念出发，逐步深入到算法的实际应用，最后通过一个代码示例来直观展示如何利用决策树解决实际问题。无论你是机器学习的初学者还是希望深化理解的开发者，这篇文章都将为你提供有价值的见解和指导。
天下无贼001
62 0
叫个什么名字
|
7月前
|
机器学习/深度学习 存储 搜索推荐
利用机器学习算法改善电商推荐系统的效率
电商行业日益竞争激烈，提升用户体验成为关键。本文将探讨如何利用机器学习算法优化电商推荐系统，通过分析用户行为数据和商品信息，实现个性化推荐，从而提高推荐效率和准确性。
叫个什么名字
253 14
东方睿赢
|
7月前
|
机器学习/深度学习 算法 数据可视化
实现机器学习算法时，特征选择是非常重要的一步，你有哪些推荐的方法？
实现机器学习算法时，特征选择是非常重要的一步，你有哪些推荐的方法？
东方睿赢
137 1
游客i66wb7w7cg4tk
|
7月前
|
机器学习/深度学习 算法 搜索推荐
Machine Learning机器学习之决策树算法 Decision Tree（附Python代码）
Machine Learning机器学习之决策树算法 Decision Tree（附Python代码）
游客i66wb7w7cg4tk
394 0

热门文章

最新文章

  • 1
    SLS机器学习最佳实战：批量时序异常检测
  • 2
    【GTC 22】通过 PAI-Blade 更方便、更鲁棒地使用 TensorRT
  • 3
    数据驱动！精细化运营！用机器学习做客户生命周期与价值预估！⛵
  • 4
    机器学习第11天：降维
  • 5
    深度学习500问——Chapter02：机器学习基础（5）
  • 6
    Coursera 吴恩达Machine Learning(机器学习)课程 |第五周测验答案(仅供参考)
  • 7
    模式识别与机器学习(作业3)
  • 8
    机器学习-异常检测算法（二）：Local Outlier Factor
  • 9
    机器学习实战之树回归
  • 10
    Python3入门机器学习 - 模型泛化
  • 1
    【Paddle】PCA线性代数基础 + 领域应用：人脸识别算法（1.1w字超详细：附公式、代码）
    119
  • 2
    BASE64的算法说明
    69
  • 3
    算法人生（1）：从“强化学习”看如何“战胜拖延”
    115
  • 4
    理解并应用机器学习算法：决策树
    145
  • 5
    【机器学习】在使用K-means聚类算法时，如何选择K的值？
    422
  • 6
    【机器学习】为什么K-means算法使用欧式距离度量？
    412
  • 7
    【机器学习】描述K-means算法的步骤
    153
  • 8
    【机器学习】K-means和KNN算法有什么区别？
    652
  • 9
    C语言易混淆、简单算法、结构体题目练习、常见关键字总结-2
    58
  • 10
    C语言易混淆、简单算法、结构体题目练习、常见关键字总结-1
    60

    • 相关课程

    更多
  • 场景实践 - 机器学习PAI实现精细化营销
  • 场景实践 - 基于阿里云PAI机器学习平台使用时间序列分解模型预测商品销量
  • 场景实践 - 基于机器学习进行收入预测分析
  • 机器学习概览及常见算法
  • 机器学习入门-概念原理及常用算法
  • 神经网络概览及算法详解

    • 相关电子书

    更多
  • 大规模机器学习在蚂蚁+阿里的应用
  • 阿里巴巴机器学习平台AI
  • 微博机器学习平台架构和实践

    • 相关实验场景

    更多
  • 【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
  • 使用PAI+LLaMA Factory微调Qwen2-VL模型，搭建文旅领域知识问答机器人
  • SAE 极速部署专属 AI 证件照神器
  • 以电商场景为例搭建AI语义搜索应用
  • 奥运时刻！零代码生成奥运风格AI写真。
  • 【AI破次元壁合照】少年白马醉春风，函数计算一键部署AI绘画平台
    • 下一篇
    DataWorks售前咨询