备案控制台
探索云世界
开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

在MaxCompute使用UDF做经纬度转换城市的方案受阻(基于Lucene)

目前本公司每天要把事实表里1亿行的位置数据清洗成省和市, 准备自定义UDF来做, 方案是用lucene把位置数据全都索引到本地resources目录下再做search, 做索引的逻辑会写在UDF的setup()里, search逻辑写在evaluate()里, 由于索引的时间是30分钟导致UDF初始化要30分钟, 是否有让UDF调取外部已经索引好的文件的方法呢?

展开
收起
200909731882372932 2018-08-15 20:40:01 1376 0
0 条回答
写回答
取消 提交回答
问答分类：
数据采集 分布式计算 DataWorks MaxCompute 索引 大数据开发治理平台 DataWorks 云原生大数据计算服务 MaxCompute
问答标签：
云原生大数据计算服务 MaxCompute方案 云原生大数据计算服务 MaxCompute udf 云原生大数据计算服务 MaxCompute udf转换
问答地址：
开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 问答
相关产品：
云原生大数据计算服务 MaxCompute

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答
MaxCompute
大数据计算MaxCompute中要通过UDF 访问公网的PG数据库， endpoint解析怎么操作？
22
2
0
大数据计算MaxCompute中udf里面每一个依赖的第三方包都要这样注册一下吗？
18
2
0
大数据计算MaxCompute有用udf 里用proto的成功案例吗？还要增加其他依赖包吗？
33
2
0
DataWorks中odps udf 支持不定长参数么？
32
3
0
数据同步方案中《单表实时同步至MaxCompute的任务》实时读取您配置的MySQL数据库表数据》?
9
1
0
大数据计算MaxCompute的费用比较高了，阿里云有没有方式根据历史使用情况，直接给推荐个方案。
29
3
0
如果大数据计算MaxCompute业务那边，有什么好方案同步数据过去吗？
14
1
0
大数据计算MaxCompute可以优化的部分是不是就只有打包这块了？有什么可以优化的方案？
33
2
0
大数据计算MaxCompute udf的返回类型不支持response对象吗？
17
1
0
大数据计算MaxCompute这边的mc udf访问外网限制，外网是指除了阿里云域名之外的所有网站？
23
1
0
大数据与机器学习

大数据计算 MaxCompute

MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。

我要提问

相关产品

  • 云原生大数据计算服务 MaxCompute
    文档详情 产品详情

    • 热门讨论

    热门文章

  • MaxCompute中执行SQL报错ODPS-0130071
    23155
  • 大数据计算MaxCompute钉钉机器人发报警webhook调用量到上限了，这个怎么处理？
    46
  • dataworks整库全增量同步数据到maxcompute的实时同步任务报错了，帮忙看看呢？
    27
  • MaxCompute单元测试没有问题，通过本地运行却显示字段不存在，但是这个字段我是有的，有碰到吗？
    2298
  • 解析并获取大json，是否更推荐json_tuple()？
    1067
  • 请问大数据计算MaxCompute有主键这种说法么?
    519
  • 大数据计算MaxCompute效率方面，是通过OSS进行导出和导入好，还是用进行etl传输好？
    19
  • 大数据计算MaxCompute这里不知道为什么没有呢?
    19
  • 咨询一下，我们需要查询odps项目空间的每一张表存储量情况，分区情况等，有没有相应的命令或者SQL？
    1090
  • 大数据计算MaxCompute字符串太大，显示...，那么我在下游做处理的时候是不是自动给截断了？
    18
    • 展开全部
  • 阿里巴巴飞天大数据平台MaxCompute（原名ODPS）全套攻略（持续更新20200109）
    130541
  • 阿里云开源离线同步工具DataX3.0介绍
    102019
  • 大数据环境下该如何优雅地设计数据分层
    39675
  • 品《阿里巴巴大数据实践-大数据之路》一书（上）
    17887
  • MaxCompute常见错误汇总（更新ing）
    23114
  • 【大数据干货】数据进入阿里云数加-大数据计算服务MaxCompute（原ODPS）的N种方式
    16021
  • 互联网下半场的角逐，玩转轻资产的大数据服务 | 阿里云栖开发者沙龙大数据专场（北京站）干货集锦
    13437
  • 【内含分享PPT/视频/文章】阿里云MVP学院MaxCompute技术闭门会线上首播 | 2019大数据技术公开课第二季
    13381
  • 阿里云大数据计算平台的自动化、精细化运维之路
    11654
  • 推荐引擎的离线算法和在线算法初探
    10765
    • 展开全部

    相关课程

    更多
  • 2020版大数据实战项目之DMP广告系统（第二阶段）
    112
    22
    去学习
  • 2020版大数据实战项目之DMP广告系统（第三阶段）
    133
    9
    去学习
  • 2020版大数据实战项目之DMP广告系统（第四阶段）
    49
    18
    去学习
  • 2020版大数据实战项目之DMP广告系统（第五阶段）
    56
    14
    去学习
  • 2020版大数据实战项目之DMP广告系统（第六阶段）
    64
    14
    去学习
  • 2020版大数据实战项目之DMP广告系统（第七阶段）
    83
    17
    去学习

    • 相关文章

  • 一文带你了解MySQL的DDL语句
  • m基于Yolov2深度学习网络的人体喝水行为视频检测系统matlab仿真,带GUI界面
  • 数据库之魅：MySQL表设计的艺术与技巧
  • MySQL锁解密：读锁与写锁
  • 深入探讨MySQL中Varchar(50)和Varchar(500)的区别

    • 相关电子书

    更多
    • 大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载
    大数据&AI实战派 第2期 立即下载

    相关实验场景

    更多
  • 函数计算进阶-IP查询工具开发
    12656
    1.0小时
    去实验
  • 基于Hologres轻松玩转一站式实时仓库
    1430
    3.0小时
    去实验
  • 通过FastMR自动拉起大数据集群并运行TPCDS任务
    3190
    2.0小时
    去实验
  • 基于MaxCompute的热门话题分析
    3808
    1.0小时
    去实验
  • EMR数据湖开发治理之用户画像分析
    2545
    2.0小时
    去实验
  • 基于工具的数据探查
    233
    3.0小时
    去实验