大数据计算 MaxCompute
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。
数加平台协助汇合营销快速行动,捕获转瞬即逝的商机。
“对于创业公司来讲,如果不能在业务端快速行动,机会转瞬即逝。”汇合营销CTO欧阳明如是说。“数加的按需计费避免了资源空闲,从年初的对比来看,数加在满足同等业务需求基础上能够减少一半的支出,有效地节约了成本开支,帮助创业型企业快速成长。
借助阿里云数加,小小的美甲行业被美甲帮玩出了天价。
“数加对于创业公司来说是一个非常好的平台,可以在有限的投入下,充分地享受到阿里云已经有的技术和经验,站在巨人肩膀上,从而少走弯路。针对海量数据进行处理,也是一个特别有优势的地方。
与阿里云整个生态体系共同成长,更快更好的为房地产行业客户提供高价值的服务。
“最早是新业务要做,但是买服务器来不及,管理员没到位,而且新业务的成本很高,是否能成功也是未知,因此明源决定采用阿里云,等资金和人到位再搬到自己内部。然而就是这种误打误撞,却让明源抓住了一个很好的机会走在了正确的轨道上。
年服务人次3300万+,网鱼网咖的大数据挑战及架构
从98年成立至今的18年中,网鱼累计签约门店已接近900家,已拥有超过830万会员,2016年网鱼网咖共服务了3300多万人次,服务范围覆盖全国100多个城市,现在网鱼网咖已走出国门,在加拿大、澳大利亚、新加坡等国家开设多家门店。
专访佰腾科技大数据团队,谈专利大数据领域的挑战与实践
专利信息的『大数据』与其它领域的『大数据』多少有些不同,虽然全球专利信息的总量仅在1亿多条,但是每条专利信息要分析获取的数据维度目前就多达200多项,实际处理的数据量在百亿级别。
盘点全球最热门十家大数据公司中国占据三席
近两年来,大数据发展浪潮席卷全球。研究机构IDC预测,全球大数据与分析市场规模将由2015年的1220亿美元,在5年间成长超过50%,并在2019年底达到1870亿美元的规模。
阿里云与国家天文台成立天文大数据联合研究中心
免费开通大数据服务:https://www.aliyun.com/product/odps 2017 年 1 月 22 日,中国科学院国家天文台与阿里云正式成立“天文大数据联合研究中心”。 中国科学院国家天文台与阿里云在京举办了合作协议签字暨研究中心揭牌活动。
美甲帮:玩转指甲上的大数据平台
美甲帮APP目前有几百万的用户,然而不同用户喜好和动机不同,譬如是想提升美甲技艺,还是想通过美甲图片选款,或者是想在商城里购买美甲产品,如何挖掘用户需求并以此进行精准化营销或个性化推荐,提升客户体验同时又可以增加收入,这些都是美甲帮最关注的问题。
产品3周迭代一次,启信宝驾驭8000万企业征信的平台架构
启信宝的企业数据范围广、维度多,覆盖8000万以上的企业, 19个产业链,95个细分行业,100个以上企业数据维度,企业覆盖率达98%以上。
日交易笔百万级,Ping++的大数据平台架构
当前日交易笔数为百万级,目前已经积累了海量交易数据。如何在经过客户授权的情况下利用数据为客户赋能,并带来额外附加价值,从而提高客户黏性,Ping++亟需搭建可靠、稳定的大数据平台。
3天撸完一个团队半年的项目,单客户数据动辄几百万的行业也玩云?
自97年成立至今已接近20年,在前十六七年 明源云主要跑在传统ERP软件轨道上,4年前世界变了,云计算&移动互联网来了,两个最大的行业变量,如果不做出改变就可能被颠覆。因此,明源云决定开辟新战场,用互联网的方式来做地产行业。
杭州治堵有“智慧” 阿里云数加激活城市大脑
城市车辆逐年增长,道路通行关系市民生活,也考验城市管理者智慧。除了加大基础设施投入,杭州对大数据的分析和应用成为治堵新发力点。在路网规划、精确治堵、科学调配资源等方面,都能看到“城市大脑”和大数据发挥的“智慧”作用。
开启数据智慧,阿里云大数据团队调研高新区
随着“云计算”、“互联网”、“物联网”的快速发展,大数据(Big Data)也吸引了越来越多的人关注,成为社会热点之一。大街小巷不论是技术人员、咨询人士以及各行各业的精英达人都在探讨着“大数据”,“大数据”显然已经成为新一代“网红”。
PTC联手阿里云共同提高中国工业4.0认可度
“很多企业对一些新事物的接受速度不够快,这不能怪我们的企业家,这其实是因为我们整个市场要做这样的转型,这本身就是一个比较复杂和需要下定决心的事情。”PTC(美国参数软件公司)全球副总裁兼中国区总裁寿宇澄这样评价中国工业企业对转型的犹疑态度。
阿里云参与两大国家工程实验室获批,人工智能继续深入工业制造
近日,国家发改委公布大数据国家工程实验室名单,由阿里云参与的“工业大数据应用技术国家工程实验室”和“大数据系统软件国家工程实验室”均获批复认定,分别是工业大数据应用及大数据系统软件领域的唯一国家级工程实验室。
数据新能源驱动智慧新世界:数据新能源时代来临
免费开通大数据服务:https://www.aliyun.com/product/odps 阿 里巴巴集团董事局主席马云,在2016年10月云栖大会上首次提到“五新”的趋势,分别是新零售、新金融、新制造、新技术和新能源。
从声学模型算法角度总结 2016 年语音识别的重大进步
免费开通大数据服务:https://www.aliyun.com/product/odps 在过去的一年中,语音识别再次取得非常大的突破。IBM、微软等多家机构相继推出了自己的 Deep CNN 模型,提升了语音识别的准确率;Residual/Highway 网络的提出使我们可以把神经网络训练的更加深。
机器在俯视人类,是我们的希望还是恐惧?
免费开通大数据服务:https://www.aliyun.com/product/odps 你看过“I,Robot”这部电影吗?如果你看过,是不是还记得这样一个场景:当警探史普纳进入庄严威武的USR公司时,公司大厅那个巨大的俯身凝视人类的机器人塑像?谈到 “I,Robot”观感时,有人使用了“不寒而栗”这个词,“感觉到发自脊背的寒意”。
Docker时代——如何实现日志数据一键上云
1 准备工作 1.1 开通MaxCompute服务 参考使用MaxCompute的准备工作 1.2 开通Datahub服务 进入Datahub Web控制台,创建project(注意:首次使用的用户需要申请开通) 1.3 安装Docker环境 Docker官方说明了在不同操作系统下安装Docker的方法,您可以点击此处查看。
你了解的技术宅是这样吗?
闷骚!邋遢! 黑白灰!加班是唯一爱好?他们不用睡觉的吧?请不要再给我们加这些标签了!!! 我们也主动撩妹子!我们也天天洗澡的!我们也有洋气的衣服!谁tm爱加班!你才不用睡觉!我们一摸键盘就开挂,我们钱多事儿少活儿还好。
小硅片与大数据的结合 ——协鑫光伏的新制造之路
协鑫光伏坐落在环境优美的苏州工业园区,是全球领先的光伏材料制造商,硅片产品占国内流通硅片的70%,处于国内同行业龙头地位。本文将向读者介绍大数据是如何助力晶片制造,以减少成本,提高效率。
MaxCompute访问TableStore(OTS) 数据(20170601更新)
MaxCompute作为阿里云大数据平台的核心计算组件,承担了集团内外大部分的分布式计算需求。
基于MaxCompute的图计算实践分享-图加载过程
一、前言 MaxCompute Graph 是基于飞天平台实现的面向迭代的图处理框架,为用户提供了类似于 Pregel 的编程接口。MaxCompute Graph(以下简称 Graph )作业包含图加载和计算两个阶段: 加载,将存储在表中的数据载入到内存中,以点和边的形式存在;
【阿里云大数据产品MaxCompute(原名ODPS)】DT时代企业数据资产的护卫舰
MaxCompute设计之初就是面向多租户,确保租户的数据安全是MaxCompute的必备功能之一。在MaxCompute系统的安全设计和实现上,MaxCompute的工程师们会遵循一些经过实践检验的安全设计原则(如Saltzer-Schroeder原则)。
基于MaxCompute的图计算实践分享-解析图加载过程
一、前言 MaxCompute Graph 是基于飞天平台实现的面向迭代的图处理框架,为用户提供了类似于 Pregel 的编程接口。MaxCompute Graph(以下简称 Graph )作业包含图加载和计算两个阶段: 加载,将存储在表中的数据载入到内存中,以点和边的形式存在; 计算,遍历内
基于MaxCompute的图计算实践分享-Aggregator机制介绍
Aggregator是MaxCompute-GRAPH作业中常用的feature之一,特别是解决机器学习问题时。MaxCompute-GRAPH中Aggregator用于汇总并处理全局信息。本文将详细介绍的Aggregator的执行机制、相关API,并以Kmeans Clustering为例子说明Aggregator的具体用法。
基于MaxCompute的图计算实践分享-Resolver简介
Resolver简介 在学习使用MaxCompute-Graph计算模型时,resolver是一个不容易理解的概念。在MaxCompute帮助文档 https://help.aliyun.com/document_detail/27903.
完成数据的打通-豌豆荚被阿里巴巴收购后的168天
曾经表示“要做伟大的公司”的豌豆荚在今年7月被阿里收购了。这家公司巅峰时期,估值曾高达10亿美元。然而,最后被收购时金额大跳水。据传当时的收购价为2亿美元,不过这一数额并未得到阿里巴巴和豌豆荚的确认。
[ETL实践指南]基于Kettle的MaxCompute插件实现数据上云
本文用到的 阿里云数加-大数据计算服务MaxCompute产品地址:https://www.aliyun.com/product/odps 简介 Kettle是一款开源的ETL工具,纯java实现,可以运行于Windows, Unix, Linux上运行,提供图形化的操作界面,可以通过拖拽控件的方式,方便地定义数据传输的拓扑。
618粉丝狂欢节来了,你的小邮局爆仓没有?
618大促马上来了,快递企业包裹量又要剧增了。数据显示,2017年全行业快件量会接近400亿件。 虽然各大快递公司都事先增加了人员、设备、仓库,提升了运能,但面临的压力仍旧空前。
微信“小程序" 未完, 数据的"小程序" 又来了
微信小程序是一种不需要下载安装即可使用的应用,它实现了应用“触手可及”的梦想,用户扫一扫或者搜一下即可打开应用。也体现了“用完即走”的理念,用户不用关心是否安装太多应用的问题。应用将无处不在,随时可用,但又无需安装卸载,非常方便。 在DT时代,数据人的小程序在哪里,今天我们介绍阿里云数加的数
数据让生意更简单,网聚宝创业团队利用数加快速打造核心业务竞争力,在激烈的市场竞争中弯道超车。
网聚宝基于阿里云数加及基础云服务等产品,向客户提供全域大数据SaaS应用,向二次开发者、集成商及合作伙伴提供PaaS API以及DaaS API,从而为客户、合作伙伴、集成商、二次开发者进行全面的大数据赋能。
Serverless理念的弄潮儿—— 阿里云数加平台助力大数据普惠
阿里云坚持将计算能力变成像水电煤一样的公共服务,提供给大众,而非卖服务器,这跟Serverless 架构理念一致。在本文中,班输从数据平台简介、大数据应用特点、数加平台Serverless架构解析和典型案例四部分讲述了数据平台如何利用Serverless 的架构来降低大数据应用的门槛,实现数据普惠。
基于自定义日志打印的UDAF调试
看到最近有一些用户,代码在本地IDE环境里调试成功了后,到线上调试出现结果不符合预期的情况。因为IDE里无法模拟多个worker进行分布式调试UDAF的场景,所以有一些BUG可能需要到线上用一些简单的测试数据进行调试。这里用最简单的手工打印日志的方法,针对代码调试中最麻烦的UDAF的例子做一次调试。
【大数据技巧】MaxCompute中实现IP地址归属地转换
大数据平台的成熟使得更多种类的非结构化、半结构化的数据分析成为可能其中应用非常广泛的一种场景就是日志分析。在日志类型数据的清洗转换过程中把IP地址转换为归属地又是极为常见的一种场景。
细数阿里云服务器的十二种典型应用场景
文章转载:小白杨1990 如今,阿里云的产品可谓是多种多样,纷繁复杂。面对各种各样的技术和产品,ECS、RDS、OSS…等等一系列的东西,很容易让人找不到头绪,尤其是刚刚开始接触网站建设的朋友。阿里云湖北授权服务中心武汉捷讯结合阿里云官网的资料,针对建站相关的内容为大家整理一些阿里云典型的应用场景
阿里云工程师用机器学习破解雾霾成因
日前,一位署名为“傲海”的阿里云工程师在云栖社区发布了一篇分析北京雾霾成因的文章。作者通过机器学习算法分析发现,北京重度雾霾天的出现同大气中二氧化氮的含量存在强相关性。 人们很早就知道硫酸盐是雾霾形成的重要原因。住宅及发电厂的燃煤释放大量二氧化硫,随后转化为硫酸颗粒造成污染。但困扰科学家的是,二氧
MaxCompute(原ODPS) MapReduce常见问题解答
#### 1. 作业出现ClassNotFoundException和NoClassDefFoundError异常失败? A: 对于ClassNotFoundException异常,一般是依赖的class不在你的jar包中,需要把依赖的库打到作业jar包中或者单独上传,并在-resources中指
【大数据干货】轻松处理每天2TB的日志数据,支撑运营团队进行大数据分析挖掘,随时洞察用户个性化需求。
“用户每天产生的日志量大约在2TB。我们需要将这些海量的数据导入云端,然后分天、分小时的展开数据分析作业,分析结果再导入数据库和报表系统,最终展示在运营人员面前。”墨迹天气运维部经理章汉龙介绍,整个过程中数据量庞大,且计算复杂,这对云平台的大数据能力、生态完整性和开放性提
高可用的大数据计算平台如何持续发布和演进
阿里巴巴大数据计算平台需要每天不间断的跑在上万台机器集群上,上面承担阿里核心分析计算任务,有着很高的可靠性和SLA的要求,但是我们同时需要持续不断提高系统的性能,降低成本,提供更多功能来满足日益增长的业务需求,这样就要求持续不断的升级正在服务的系统。
【大数据干货】阿里云数加让企业更专注于业务,助力东润环能高效利用大数据资源
最重要的是采用阿里云数加,东润环能将所有精力都放在业务上,节省了自建机房在学习成本、开发成本、管理成本、投入机房资源和运维成本的总成本,“相比自建Hadoop物理集群,使用阿里云数加MaxCompute的总成本有较大降低,应用开发效率有很大提高。”东润环能技术研发部总监王云如是说。
SLS:海量日志数据管理利器
日志是大规模集群管理系统中非常关键的部分,服务器上的各种日志数据可以帮助我们回答如运维、开发、运营、客服、安全等问题。SLS提供一个从日志采集、过滤、处理、聚合到在线查询的日志处理平台,满足各种日志处理分析需求。本文以用户选用SLS搭建一个端对端的日志服务为例进行详解,并解析其功能背后的技术架构。
OpenSearch:轻松构建大数据搜索服务
如何从海量的历史、实时数据中快速获取有用信息,令搜索变得越来越具挑战性。OpenSearch是阿里云推出的一款云搜索服务,本文将介绍OpenSearch的发展历程、基本功能、以及实现原理和架构,以实际应用场景为例讲述应用实践过程。
云上游戏数据分析实践
数据分析和游戏的生命周期与盈利息息相关,同时数据分析对游戏的运维也起到了至关重要的作用,精确的数据分析可以延长游戏的生命和帮助其盈利。本文针对游戏行业的数据特点,结合游戏数据分析的现状,对数据分析上云的技术选型、结合数加大数据计算服务MaxCompute(原ODPS)、SLS、RDS、DPC等产品和
小团队拥有大能量 三十个年轻人的创业故事
随着云时代的到来,企业软件运维难与高成本的两大难题有了解决的可能性,同时,这也给很多中小软件团队带来发展的良机。你能否想象一个人均年龄只有26岁的三十人软件团队就可以支撑上千家商家每天产生数十亿的销售额?其中不乏Esprit、佐丹奴、意尔康、御泥坊、宝尊等重量级商家。
天律的云端大数据分析挖掘之旅
随着数据爆炸式的增长,我们正被各种数据包围着。从海量的历史、实时数据中寻找规律,从而为决策者提供科学的依据,是大部分企业面临的问题。大数据分析给企业带来的不仅是数据的实时分析和可视化展现,更重要的是,通过对已有数据以及实时所产生数据的海量信息进行分析,它将引领企业进入预测性的商业时代。