AI 助理
备案控制台
开发者社区 问答 正文

1000万数据，如何进行one-hot编码

想用sklearning的DictVectorizer，但是查看源码的comment,需要将数据全部存在memory里面，数据量比较大，所以感觉比较困难，有没有大神作过大数据预处理的，求教。。。跪谢了

展开
收起
冰封加百列 2017-12-11 14:30:08 3830 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

3 条回答
写回答
取消 提交回答
  • 游客albmwkxzhc342

    需要用sparse的方法来处理的。稀疏特征。比如 f1:100;f3:20 这样的kv对形式

    2019-07-17 21:48:20
    赞同 展开评论
  • ucmengxin

    用tensorflow/scipy的sparse tensor/matrix

    2019-07-17 21:48:20
    赞同 展开评论
  • 孤狼：
    一个热爱科技，热爱生活的阳光男孩

    我也想知道

    2019-07-17 21:48:20
    赞同 展开评论
问答分类：
大数据 云原生大数据计算服务 MaxCompute
问答地址：
开发者社区 > 大数据 > 问答
相关问答
数据变换中的One-hot编码是什么？如何理解或者使用One-hot编码呢？
368
1
0
dataframe中如何对分类变量进行one-hot编码？
544
1
0
用One-hot编码怎么识别手写的0到9呢？
355
1
0
PCM编码和Δ编码有什么区别吗？
487
1
0
无损压缩编码中以下香农-范诺算法举例表的编码得到的总位数以及压缩比是多少啊？
634
1
0
无损压缩编码中香农-范诺算法编码举例有什么呀？
509
1
0
无损压缩编码中信息S的熵定义的内容是什么呢？
442
1
0
量化编码中为什么要有索引呀？
387
1
0
无损压缩编码中香农-范诺编码是采用什么方法进行编码的呢？
498
1
0
%4f是什么编码呢？
510
1
0