当阿里通过数据进行小微企业贷款的时候，大家肯定会想，数据是如何用来做信用评估的。在“用数据做信用评估”这件事情上，业界有很多好的参考案例。我们整编了一套文章，共4篇。今天，带来第一篇《征信三巨头》   呵呵，看到题目，其实，美国的征信体系是全球最先进的，改成“美国征信体系介绍”都不为过。 全球三大商业个人征信巨无霸即益百利（Experian）、艾克发（Equifax）和环联（Trans union）。三大巨头均从美国兴起，通过收购和信用合作等方式不断向全球扩张，以在海外广泛设立分支机构的方式把业务几乎覆盖全球，逐步发展成为完全国际化的世界性个人征信组织。这三家大牛现在已经不仅仅单纯的是征信公司了，还涉及了数据相关的解决方案业务，通过对数据的增值能力，成长为全球的领袖。   1、益百利（Experian）：规模最大 益百利（Experian）是伦敦证券交易所上市企业，入选金融时报100指数成份股。公司总部设在爱尔兰共和国的首都都柏林，同时在美国加利福尼亚和英国诺丁汉等地设有运营总部。益百利在美国和英国都是最大的个人信息产品供应商，在全球30多个国家雇用员工12,500余人，拥有3亿自然人客户和3000万个企业客户，仅信用报告一项服务年产值就在20亿美元以上。益百利（Experian）通过会员制形式向具有一定规模和声望的客户提供征信服务，其信息主要来自于与之签订协议的会员，服务范围涵盖了从金融服务到电信、医疗、保险、零售、汽车、制造业、休闲产业、公用事业、房地产和政府部门。公司提供的数据分析智能、决策解决方案和处理服务确保在帮助客户更好地了解市场的同时支持他们开发和管理有利可图的顾客关系。 表1  Experian主要财务指标一览 项目 2005年 2006年 年度总收益 $2.5b $3.1b 年度息税前盈余 $567m $727m 年度税前利润 $548m $638m 总资产 $5,248m $7,664m 总负债 $5,250m $7,044m 注：单位为美元，b=billion（十亿）, m=million（百万）； EMEA/A.P.包括欧洲、中东、非洲和亚太地区。 2、艾克发（Equifax）：历史最久 艾克发（Equifax）是纽约证券交易所上市企业，S&P; 500 指数成分股，附属于美国大百货公司PLC。公司拥有近108年的历史，在全球13个国家拥有员工4600余人。该公司通过专职业务代表专项调查的方式进行相关业务操作，提供的个人信用信息服务对象包括了商业银行、财务公司、保险公司、制造商、零售商、公用事业公司以及联邦政府机构等。 表2  Equifax主要财务指标一览表 项目 2006年 2005年 年度总收益 $1.4b $1.5b 年度息税前盈余 $415m $390m 每普通股红利 $0.16 $0.15 总资产 $1,790m $1,831m 总负债 $952m $1,011m   3、环联（Trans Union）：发展最快 环联（Trans Union）创建于1968年，公司总部设在芝加哥，拥有2.2亿消费者姓名和档案资料，覆盖美国、加拿大、维尔京群岛和波多黎各。公司向全世界6大洲30多个国家提供产品和服务。在数据采集方面，环联（Trans Union）拥有7000个数据供应机构，不断地向它提供数据更新，从而使公司有能力、有资源每个月对2.3亿的客户资料进行12次数据更新，每次更新涉及20亿条数据档案记录。   CIDA一夫当关——元数据标准的统一 CDIA是美国征信局协会的缩写。这个公司通过发布征信数据的标准征集模板，统一了征信体系的数据采集问题。制定了标准数据搜集格式Metro1和Metro2。（征信数据元是征信领域内反映被征信人的特性及信用状况的数据单元，是通过定义、标识、表示以及允许值等一系列属性描述的不可再分的最小数据单元，如借款人名称、登记注册类型、登记注册号、学历、还款日期、还款方式等都是通过一系列属性进行描述的征信数据元。） 通过这个标准，数据采集的统一格式，使得美国个人征信局能够及时低成本、高效率地更新自己的数据库，也为金融机构等征信业“原材料”生产部门上报数据提供了便利。 三大公司百花齐放——先进的数据处理和模型评分技术 由于Metro标准的存在，美国三大个人征信局的数据库内容基本一致，但为什么三大机构的业务会有所不同呢？事实上，Metro标准只是提供了一个数据的原始输入格式，三大征信局都会对这些原始的数据进行各具特色的数据变换和数据加工，于是这些数据变换和数据加工技术成为三大征信局的关键技术，也就是它们各自拥有的“黑匣子”。 数据处理首先涉及到数据的存储、管理和维护，这些是由数据库技术来实现的，但数据库技术并不是征信公司所特有的核心技术。征信公司的核心技术有两个：一是个人信用数据的配对技术，即把有关某人的信用数据甄别出来，集中到一起形成整体；二是个人特征变量生成技术，即把有关某人的、数量庞大的原始数据进行加工，形成数个中间变量，最终生产出可以供商业运作和商业数据模型开发的“特征变量”，使得这些变量能够准确、完整地刻画该人的风险特征和价值特征。例如，益百利（Experian）公司用来作数据处理的一个程序系统是STAGG。STAGG通过“过滤器”技术对征信数据进行筛选，将筛选出的数据放入相应的细分类别中，便于进行集中管理。除“过滤器”之外，STAGG用的第二层工具被称为“变量”。变量是把经过初步分类即经过过滤的数据再进行一些计算，从而形成“特征变量”。 原文发布时间为：2014-02-22 本文来自云栖社区合作伙伴“大数据文摘”，了解相关信息可以关注“BigDataDigest”微信公众号

人民法院大数据管理和服务平台已经汇聚了全国法院1.08亿件案件信息，成为全世界最大的审判信息资源库。在智慧法院建设中，挖掘这些司法大数据的潜在价值，利用云计算等技术，对海量案件信息进行研究，可以为相关决策提供科学支撑。司法大数据在服务经济社会发展和社会治理方面，发挥越来越重要的作用。 “婚后1年至5年为婚姻破裂的高发期，45.9%的夫妻因感情不和向法院申请解除婚姻关系，63%的判决结果为当事人双方继续维持婚姻关系……”不久前，一组离婚案件的数据引发社会关注。数据来源，正是近年来最高人民法院大力打造的大数据管理和服务平台。 在智慧法院建设中，全国各级法院深入挖掘司法大数据潜在价值，利用云计算等技术，对海量案件信息进行专题研究，及时发现经济社会发展中存在的问题和社会治理存在的漏洞，并通过专题报告和司法建议等形式，为党委、政府科学决策提供数据支撑。司法大数据在服务经济社会发展和社会治理方面，发挥出越来越重要的作用。 审判信息为决策提供科学支撑 基于司法大数据研究的《性侵犯罪专题分析报告》对2014年至2016年9月的性侵犯罪案件进行了大数据分析。“受害人与被告人多为网友关系，主要通过QQ、微信等网络社交软件相识。”“被告人在实施性侵犯罪之前多有饮酒行为，酒后产生邪念，占比为66%。”这些分析对打击性侵犯罪提供了数据支撑，同时也为性侵犯罪潜在受害人防止性侵害提供了科学依据。 过去，形成类似报告，需要研究人员到全国各地进行调研，收集不同地区的案件数据，耗时往往半年甚至更长时间。 2013年，最高人民法院信息中心开始策划数据集中管理平台建设。截至2017年5月10日，人民法院大数据管理和服务平台已经汇聚了全国法院1.08亿件案件信息，成为全世界最大的审判信息资源库。基于平台的数据，最高法研发专题辅助工具，通过自定义条件，可即时生成专题分析相关变量数据，一项专题研究在短时间内即可形成数据报告，配合专业人员的数据分析，一周可形成4—5份专题研究报告。 据最高法信息中心主任许建峰介绍，目前，该中心已利用大数据管理和服务平台先后完成了电信网络诈骗案件、中小型股份制商业银行涉诉纠纷、信用卡诈骗案件、拐卖妇女儿童、国家工作人员职务犯罪等100项专题报告。例如，电信网络诈骗案件分析数据，清晰地表明电信网络诈骗的特征，可以对制定相应防范措施提供一定的支撑。 “司法大数据正日益成为重要的生产力要素，助推我国社会发展、经济转型、民生安全，为相关决策的制定提供科学支撑。”许建峰说。 法院司法建议直通国家部委 一段时间以来，买卖“克隆”出租车、伪造出租车营运证和驾驶员服务监督卡等案件频发。究竟是什么原因？北京市朝阳区人民法院利用大数据分析，对涉及出租车及出租车司机的刑事犯罪案件进行了调研。 针对类案分析发现的问题，朝阳法院向出租车管理单位——北京市交通委员会交通运输管理局发送了司法建议。建议提出，严格出租车司机准入资质审查，对有相关犯罪前科者谨慎录用；督促出租车公司对所属司机加强监管，提高出租车司机的守法意识；加大对违法买卖“克隆”出租车及相关运行证件的查处力度，规范出租车运营市场。 北京市交通委在收到法院司法建议后，积极行动，采取措施对相关问题予以整改。要求各出租企业严格落实出租汽车行业管理制度；各出租企业在招聘驾驶员时严格审查，并及时清退严重违法驾驶员；在出租汽车营运证件和服务监督卡上加印二维码，并建立查询系统，提高证件的防伪作用。 “通过及时反馈司法过程中发现的社会问题，能够督促相关单位积极履行职责，提高其社会管理水平。这份司法建议体现了司法大数据在服务社会治理中的重要作用。”朝阳法院院长介绍，2014—2016年三年间，朝阳法院共发送司法建议232篇。其中，向国家部委等单位发送司法建议42篇。司法建议内容涵盖刑事、民事、商事、行政审判及执行工作的诸多方面。司法建议受到了许多单位的高度重视，其间共收到回函71份，占发送司法建议总量的近1/3。 中国人民大学教授肖建国认为，司法建议作为来自司法实践的产物，可以客观反映立法效果和社会治理存在的问题，应该引起立法、行政部门的重视，发挥更突出的作用。 失信黑名单纳入社会征信系统 市场经济是信用经济，诚信不仅是道德要求，也是市场经济健康发展的保障，完善社会诚信体系刻不容缓。谁是失信人？怎样惩戒失信人？最高人民法院在网上公开发布拒不执行法院生效裁判的被执行人信息，把“老赖”晒在阳光下。有关国家机关、社会团体、企事业单位根据这份“黑名单”数据库，把失信被执行人纳入征信系统，进行联合惩戒，有力促进了社会诚信体系建设。 截至目前，全国法院共限制695万人次购买机票、260万人次购买动车、高铁票。限制失信人担任企业法定代表人及高管7.1万人。仅中国工商银行一家就拒绝失信人申请贷款、办理信用卡55万余笔，涉及资金达到69.7亿元。 福建省高级人民法院要求各地法院除了将失信被执行人在最高人民法院和福建高院政务门户网站上公示外，还应利用报刊、广播、电视、网络和大型户外电子屏、社区集市公告栏等进行集中公示。 江西萍乡市、县两级“两委员一代表”换届时，萍乡两级法院收到市、县两级组织部、统战部等部门的征询意见函，对全市的“两委员一代表”及候选人进行诚信审查，共审查出涉民商事执行案件的失信被执行人28名，其中在任代表、委员8人，均被取消担任下届代表、委员的资格，本届代表、委员提名人选20人，均被取消参选人资格。 肖建国认为，司法大数据提供的失信信息和联合惩戒措施，成为我国社会诚信建设领域的示范样本，为提升社会治理水平提供了宝贵经验。 本文转自d1net（转载）

上海是全球最重要与新兴的国际金融城市之一，金融创新是这座金融城市发展的血脉和抓手所在，而物流金融更是上海金融创新中的重头戏，物流金融研究与创新也到了关键和攻坚阶段。作为肩负物流金融研究责职和重任的上海浦东国际金融学会物流金融专业委员会及其物流金融研究院，比较与纵观国内外的长短优劣，并结合国内当前的实际情况，物流金融专业委员会及物流金融研究协会负责人黄青城指出：若要推进和加快物流金融的研究和创新，必须植入类似“龙芯片”和开发新型的“工具与装备”——大数据的摄取和引入，也就是讲要现实而快速地推进物流金融研究，必须挚起大数据这把锋利之器。 日前，物流金融专业委员会及物流金融研究协会就如何推进大数据在物流金融研究中的应用等，特邀美国大数据专家彭河森博士来沪作专题演讲。彭河森结合自己在美国的研究和在亚马逊、微软工作的实际经验与切身体会，阐述以下观点：首先要选择和确定行业背景的切入，建立研究相关的（数学）模型；其次，确定数据采集与验证的方法；其三，大数据应用方式的比较，如分布式，结构式；第四，大数据应用面临的挑战与难点等等，与大家一同分享了当今大数据最前沿的新内容和新动态。可见，大数据已成为我国推动经济转型发展和供给侧改革的新手段。 彭河森指出，大数据在物流金融研究的应用中，要注意和正确理解广物流和深物流的概念，充分利用物联网、仓储设备设施等介质所提供的基础数据；尤其要重视其中的“行为数据”所担纲发挥的作用。在金融方面，要充分考虑信用信息的来源和可靠性，尤其要注意征信机构等第三方提供的相关基础数据与资料。 物流金融的深度研发，离不开大数据的强大支持。黄青城呼吁并倡议走产学研相结合的道路，即推动研究机构、物流企业、银行保险等金融机构、大专院校诸方面的链动。具体来说，可以设立物流金融大数据研究基金会与专项资金，并以不同方式，吸收国内外各类合规资金的注入，最终实现物流成本的大幅降低；同时加速金融资本对接物流相关产业，更好地推动开发创新物流金融的相关衍生品，从而助力上海金融业的创新和快速发展。 本文转自d1net（转载）

2016年11月17日，在西班牙巴塞罗那举办的智慧城市展上，在超过500个项目的激烈竞争下，中兴通讯作为总集成商承建的“智慧沈阳统一平台项目”入围智慧城市项目奖短名单。沈阳市政府确定了以数据驱动为导向的智慧城市发展模式，构建了以智慧沈阳统一平台建设为基础、各行业及区域应用系统分步接入的全市统一数据共享与开放平台的架构体系，将全面汇聚城市数据，以数据服务大众，用数据创造价值，为实现智慧沈阳“惠民、兴业、善政”三大核心目标提供有力支撑。 惠民：用数据让生活更便捷，提升市民幸福指数。 统一平台将城市数据进行加工和应用，带来的好处已经在沈阳的市民生活中体现。以统一平台为支撑的“我的沈阳”智能门户上线运行，为市民提供包括公积金、社保、违章、快递查询、港澳通行证网上办证申请等服务功能，实现了水、电、燃气的快捷缴费，政务服务信息办事流程和所需资料一目了然。通过“我的沈阳”还可获取公交实时信息，个性化定制出行路线。沈阳广大市民能够足不出户、随时随地的享受优质服务和便利生活。 兴业：将数据的存量转化为经济的增量，促进大数据产业发展。 城市的数据资源和矿产资源、森林资源、水资源一样，同样也是城市宝贵的资产。但目前城市数据广泛散布在城市的各个角落，没有形成真正的大数据。统一平台项目目前已完成27个委办局的4.3亿条数据采集录入，覆盖了全市人口。并通过清洗、分类、融合形成人口、法人、建筑物等城市基础数据库，地址、车辆等主题数据库，形成了宝贵的数据资产。应用是发挥数据价值的重要途径，将脱敏脱密后的数据通过数据开放门户以API、SDK的方式面向社会开放，大数据企业可快速便捷的进行调用。目前基于大数据运营的商业应用尝试已在金融、征信、交通等重点领域进行探索，大数据的运营将推动各类要素资源集聚、开放和共享，推动经济转型、技术创新、产业创新。 善政：实施精细化治理，加速政府管理服务效能。 根据项目建设中的调研，20个委办局间存在136项各类数据的共享交换需求，线下跨委办局间的数据申请存在着流程繁琐、审批流程长、安全风险高等问题。通过统一平台线上的申请、审批和数据反馈方式将大大提升政务办公的效率，预估跨委办局间的数据交互时间从原来的1周缩短至1天。同时，统一平台提供公共教育，人口分析，房屋结构，医疗卫生，社会服务，综合决策分析等六大主题四十二个子主题的专题性分析，进行实时监测和预警，可对所需城市运行情况进行实时、统一的查看和调度，提升决策的智能性、时效性。基于统一平台智慧沈阳标准和数据资源目录体系正在建设中。 未来基于统一的接入标准规范，横向对接环保、交通等行业二级平台，纵向对接区县二级平台，逐步形成智慧沈阳的平台体系。根据《沈阳市促进大数据发展三年行动计划(2016-2018年)》，2018年年底前，80%以上的市直部门接入平台，形成跨部门数据资源共享共用和统一开放格局，50%以上的市直部门公布数据开放清单和开放计划，50%以上的市直部门依托统一平台开放数据。相信统一平台将在沈阳智慧城市建设的过程中发挥更大的作用，将为大数据产业的发展贡献更大的力量。 本文转自d1net（转载）

免费开通大数据服务：https://www.aliyun.com/product/odps 十三五期间伴随能源互联网的建设，能源大数据及云计算能力长足发展，圈内诸多专家和组织陆续又开始讨论“能源地图”的深化应用， 什么是能源地图： 能源地图 1、反映一定地域范围内能源的发展条件及其水平的地区差异的专题地图。具体说：根据能源种类，如煤炭、石油、天然气、水能、地热、太阳能、风能等，可以分别编制按能量和品种、质量分级的资源分布图，按开采和加工规模分级的能源工业企业分布图,按流向、流量表示的能源输送图,以销售数量和范围或人均消费量表示的能源消费分布图等。 2、可以全面、系统地表达资源、生产、输送、消费4方面的内容,有助于对能源地理的研究，并可为能源开发规划的制订服务。从综合研究的角度开发，可对一个国家的能源总体，做出各地资源构成和开采条件评价图、能源生产构成分布图、能源消费结构分布图、能源经济区划图以及能源基地综合发展规划图等。   在新能源领域，创建能源地图第一步：是拥有一套《新能源气候资源服务可视化平台》：即形成能源地图的气候资源图（太阳辐射、风速风日分布等）。本质上，能源地图既是经济地图的一部分，又与专题地图有较密切的关系，建立一套《气候资源服务可视化平台》，可以在此基础上建立如电网规划和远景预测图、如水力资源图、工业地图、交通运输地图、环境保护地图等。     气候资源服务可视化平台—风资源图： 气候资源服务可视化平台—光资源图： 能源地图应用场景 如能源地图在《能量魔方政府版》中得到充分使用：系统充分利用《气候资源服务可视化平台》结合国土、林业、电网、城市规划等多方权威数据，对城市未来新能源发展进行合理规划，开发规划为政府提供了项目可视化，便于准确定位项目地理位置、占地面积、开发容量和电网接入变电站等信息查询。 在2017年SNEC展会期间，北京能量魔方数据技术有限公司展示的“气象大师”平台也吸引了业内多数人士前来咨询。实际《气象大师》就是一款典型的气候资源服务可视化平台，可以帮助各类新能源企业建立自己的能源地图。   在展会交流中，大家讨论比较多的光资源（如年总辐射、年日照小时数）等数据的精确度和对标问题。从以下几个方面体现： 《气象大师》数据对标升级 气象大师在SNECE会议上展现的数据：通过东润集团公司近400座地面观测站观测数据、SolarGIS平台、国家气象中心数据等三组数据做对标处理。在全国范围选取4349个点进行同经纬度、同时间段、同物理变量（水平总辐射）对标，且做对标后订正。基于观测数据在全国的分布特点（西藏和港澳台除外），利用4349个观测数据对气象大师光资源数据进行的订正升级，最大程度的反映了各地实际历史光资源分布状况。 绿色为气象大师数据，蓝色为观测数据，红色为SolarGIS数据 订正后局部放大图 《气象大师》数据存储升级 《气象大师》所有的数据源来自于1*1公里30年东润自制的原始气象数据NC文件，在阿里大数据计算平台上完成解析、汇总及统计处理的结果数据。 风资源和光资源原始气象NC文件共计131400个，在阿里云OSS共占用空间45T，约1.7万亿记录。  风资源和光资源解析后汇总处理后形成的大数据表共有近8000亿条记录，在阿里云大数据平台MaxCompute中存储，占用空间25T。 阿里云大数据平台MaxCompute对汇总的大数据表计算处理后产生的结果数据提供给能量魔方应用，如其他应用需要此类数据可以共享使用。最终汇总的风资源大表记录数约是7000亿条，MaxCompute存储容量是23T。 风资源原始气象NC文件共计114975个，全国分西北，东北，中部3个区，每个区每天有7个指标文件，包括温度，压强，湿度，风速，风向，AOD，10米光伏。每类气象指标在MaxCompute表每天数据量是2亿条。光资源原始气象NC文件共计16425个，全国分西北，东北，中部3个区，每个区每天有一个光伏文件。  光资源气象预报在阿里云MaxCompute每天数量是2千万条（20653056） 2015年11.12日正式入驻阿里云数据市场，双方联合推出针对新能源的专属数据服务产品：资源评估、气象服务、高精度数据下载三项气象数据产品，此次数据市场的产品入驻作为与阿里云共建能源云的合作内容之一，具有里程碑意义，以大数据为代表的互联网创新理念与新能源发展当中的切实应用需求结合起来，推动虚拟世界和现实世界融合发展，促进新以行业产、管理、经营模式变革，重塑产业价值链。 最后需要告诉大家的是，升级后的《气象大师》数据，于5月6号已全面对外开放，从风光资源评估到风光气象预报的所有专业报告继续免费下载！ 【下载地址：www.bjnlmf.net】 能量魔方公司介绍  北京能量魔方数据技术有限公司是北京东润环能科技股份有限公司（股票代码：831083）全资子公司，为实现集团公司能源互联网转型战略，专注以云计算、能源大数据和产业金融打造能源互联网业务服务平台，服务于分布式能源供给侧和新能源消费侧的互联互通为使命，为社会，企业和消费用户提供创新的分布式能源增值服务，从而推动真正意义的“人人享用清洁智慧能源”。 在政府领域：能量魔方拥有专业的可再生能源规划咨询、系统开发及数据处理团队，建立基于能源大数据技术，精确需求导向的可再生能源发展专项规划、项目管理新模式，提升政府对可再生能源重大基础设施规划的科学决策水平； 在企业领域：能量魔方以“互联网+智慧能源”城市示范项目业务服务平台建设为支撑，拥有城市可再生能源规划、投资建设、金融服务、项目运营、电网调度管理的成功经验，帮助企业制定有效的项目节点监管及控制的管理平台。 在消费领域：能量魔方以移动互联网+产业大数据中心为依托，应用资源卫星、地理信息、气象资源、绿建节能、土地规划、企业征信、电网规划、行业用能、手机信令等大数据采集、处理、分析与挖掘，为分布式资源业主及投资开发商实现资源识别、开发建设、投资评估的生态化服务体系。 转载：新能源门-王雅明公众号

日前，市委常委会审议通过《中共昆明市委昆明市人民政府关于加快推进智慧城市建设的实施意见（2016-2018年）》（下称《实施意见》），明确提出，力争通过三年的努力，打造区域信息辐射中心的核心区、“生态+”融合发展的示范区、资源“慧”聚的标杆区、信息惠民的样板区为一体的发展模式，实现城市经济社会向高端发展。 智慧城市是运用物联网、云计算、大数据、移动互联网、空间地理信息集成等新一代信息技术，促进城市规划、建设、管理和服务智慧化的新理念和新模式。推进昆明智慧城市建设是加快发展立足西南、面向全国、辐射南亚东南亚的区域性国际中心城市的重要保障。 《实施意见》明确，要围绕建设立足西南、面向全国、辐射南亚东南亚的区域性国际中心城市，当好云南经济社会发展的排头兵和火车头的总体目标，力争通过三年的努力，打造区域信息辐射中心的核心区、“生态+”融合发展的示范区、资源“慧”聚的标杆区、信息惠民的样板区为一体的发展模式，实现城市经济社会向高端发展。到2018年，通过智慧城市建设，构建以人为本、惠及全民的民生服务新体系，打造精准治理、多方协作的社会治理新模式，形成数据活化、研判智能的政府决策新能力，培育高端集聚、新兴繁荣的产业发展新格局，提升城市的凝聚力、辐射力、带动力，打造国内发展创新型智慧城市样板，推动昆明区域性国际中心城市建设。通过智慧城市建设，实现智慧城市基础设施不断完善，城市精细化管理水平显著提升，智慧应用水平大幅提升，产业发展取得重大突破，信息安全保障体系基本健全。 《实施意见》明确，要围绕构建便捷高效的昆明智慧城市应用和管理体系，着力推进8大工作任务，重点实施22个建设专项，推动昆明智慧城市各项工作的全面开展。8大工作任务包括： 部署集约汇聚的智慧城市基础设施。构建新一代信息基础设施，加快提升多元化多种接入方式融合的数据通信能力，进一步提高基础承载、枢纽汇聚和网络服务能力，着力推进辐射南亚东南亚的区域信息中心建设；积极提高“网络接入”、“信息传输”以及“服务提供”能力，促进城市信息基础设施服务总体水平进一步提升。 提升区域信息资源“慧”聚利用能力。全面汇聚、有效利用昆明城市、区域运行的各类信息资源，充分实现政府信息资源的整合、利用、挖掘。重点开展城市公共信息平台建设，通过打造基础数据库（包含各领域的专题库）和城市核心应用能力支撑平台，提供数据交换、大数据运算、数据开放等能力。 打造高效协同的政务服务体系。加强政务资源整合应用，着力倍增政务效能；优化昆明无线政务信息交换平台，升级昆明市行政审批网上服务大厅，提升业务协同的政务服务能力；建立对全市重点经济发展领域的实时动态监控和客观研判，为城市管理者提供更科学的区域经济决策支持。 建设精细立体的城市治理模式。突出在交通管理、城市管理、住建管理、多规合一、城市监管、平安城市、应急管理、环境保护、水务管理、社会征信管理等方面的创新应用，构建综合智能的大交通体系、协同融合的大治理体系、安全可控的大监管体系、立体防控的大安全体系、绿色智能的大生态体系以及全面覆盖的大征信体系。 构建幸福宜居的信息惠民环境。深化推进与市民生活密切相关的公共服务信息化，建立符合居民习惯、方便快捷的公众服务体系，推动人们行为方式、家居生活方式、受教育方式、消费方式等向“人人互联”、智能化、低碳化方向发展。 形成提质增效的产业发展格局。加快信息化对传统产业的升级改造，大力发展云计算、物联网、大数据、“互联网+”等新兴特色产业，通过智慧城市建设，提升城市经济的可持续发展能力，实现产城融合，推动智慧产业集聚，形成新的产业格局。 营造创业创新的发展环境。构建“创意—孵化—加速”全链条的孵化服务体系，促进产业链上下游的万众创新，以优势产业带动产业链万众创新的集聚；重点建设覆盖全市的企业服务云平台，满足中小企业的服务需求；梳理数据开放目录，对具有经济和社会价值、允许加工利用的政府信息资源，引导企业进行增值开发利用；形成以公众为中心，以社会实践为舞台，以大众创业、万众创新为特点的城区全面创新形态。 提升区域信息融合应用能力。以全面提升昆明政府决策管理智慧水平为目标，充分发挥政府各类信息的整合利用价值，为市领导和相关政府部门决策依据和命令指挥提供有效支撑，形成集运行感知、信息资源统筹协调、决策指挥于一体的新型城市综合运营中心；以服务昆明市民和企业为中心，搭建全媒体、多渠道的市民服务平台，构建居民与政府的沟通桥梁，主动推送定制化、便民化的信息与服务，形成一站式的市民公共服务体验。 重点实施的22个建设专项包括：智慧城市基础设施、城市公共信息平台、智慧政务、区域经济运行分析和预警平台、智慧交通、智慧城市治理、智慧监管、平安城市、智慧应急、智慧环保、智慧水务、智慧征信、城市一卡通、智慧医疗、智慧社区、智慧教育、智慧农林、智慧旅游、智慧园区、企业服务云、城市运营管理中心、智慧城市市民服务平台。 在充分衔接昆明城市发展战略和规划的基础上，将按照“年年有亮点，事事有创新”的理念，分三个阶段、逐步实现昆明智慧城市建设的发展目标。2016年底之前是夯实基础阶段，重点工作是打基础促整合。2017年是重点建设阶段，重点工作是在顶层设计和专项规划的指导下，建设和促进各领域的信息互联互通、重点系统应用和业务协同。2018年是完善提升阶段，重点工作是显成效促发展。 本文转自d1net（转载）

如《大数据时代》作者迈尔舍恩伯格所说：“大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正在蓄势待发。”随着互联网时代的到来，以及数据存储能力的提升和分布式计算技术的发展，人们发现了海量数据的潜在价值，不断在大数据领域做出探索，试图从中挖掘金矿。而在媒体与投资的热烈追逐下，挖掘大数据价值的浪潮也不可避免的泥沙俱下，“炒概念”的现象成为常态，以至于人们现在谈到“大数据”一词，已经带有一丝负面的含义。 电信运营商作为用户接触互联网乃至于移动互联网的管道，在接触、存储、分析、应用数据方面，有着先天的优势与无法替代的地位。为避免被“管道化”，运营商自然也不会错过这个社会，纷纷在大数据应用上做出积极探索与尝试，甚至将其视为自身商业模式转型的重要资产与核心能力。 存量与流量两大运营方向 当前，电信运营商在大数据对内对外的一些主要应用场景上均有了一些新的探索。从存量运营经营的角度看，全面、及时的用户画像成为新的方向。存量用户所沉淀的丰富数据，也使得大数据在存量运营上有了用武之地。以宽带维系为例，依托于DPI(深度包检测)数据解析，运营商基于宽带用户的搜索浏览行为和偏好构建数据挖掘模型，可对用户进行更为全面的画像。借此，运营商有能力更迅速、更真实的还原用户对于带宽速率、增值服务、移动加装以及离网的需求，以便及时进行用户维系与挽留，延长用户的生命周期，提升价值。 随着4G时代来临，移动流量收入已成为新的业务增长点，各大运营商已将以往语音经营的精力和资源更多地投放到流量经营上。而大数据在流量经营上的发力点，主要在于找到流量提升的关键要素。此外，由于海量数据资产与自身有限产品间的不平衡，运营商纷纷着眼于自有数据在外行业的交易与变现，而合作的方向更是多点开花。某地运营商就提出以金融业信用查询、房地产行业精确营销、RTB（即时竞价）精准广告及政企客户行业咨询报告等四大方向作为2016年大数据变现的重点。 绕不开的难题 从定义上讲，大数据的首要特性就在于“大而全”。但受限于当前三家运营商瓜分用户的市场格局，哪家都无法获取全量用户的通信行为。这就对运营商推动数据外部合作产生了不小的阻力。比如面对银行业所需的客户征信需求，运营商只能提供使用自家业务的用户信用情况，无法完全满足合作方需求。 由于媒体和资本对大数据的热烈追捧，当前大数据这一概念承载了超过其自身实在的商业价值。无须讳言，运营商在大数据实践上也存在一定程度的形式主义。一些所谓的大数据专题，往往只追求概念和创新，忽视对投入产出的分析，以至于花费了大量人力和资源投入的大数据项目收效甚微。 此外，提到大数据，用户隐私与信息权益是个绕不开的话题。被称为“大数据时代预言家”的迈尔舍恩伯格所著的《删除》便探讨了这一困境，并对6种常见的解决应对方案进行一一分析，比如数据节制、加强隐私权保护的法律等，而又基于与大数据理念相悖等种种原因给予了反驳与否定。其在书中提出的引入信息时间期限及“遗忘”机制，当前也未具备足够的理念与技术基础。应该说，在大数据时代的信息隐私保护仍未有令人满意的方案。 运营商大数据应用的未来 办法总比困难多，无论是运营商也好，金融业或互联网的巨头也好，在信息社会中，哪一方玩家也无法掌握全局的信息。与其“抱残守缺”，不如积极融入到大数据行业的生态链当中。人们对大数据的认知，已逐步从概念的阶段转入工具的阶段，从飘在云端的概念落到一个个实际的应用和实践当中。在这种背景下，运营商应该转变思维，重新从战略与业务目标出发，对比考察大数据对不同业务的实际应用效果，有选择性地用好大数据这一工具，踏踏实实地做好每一个应用场景，从真正意义上使大数据为业务发展服务。 传统、个案式、业务驱动的电信营销模式，可能已经无法满足互联网时代的用户需求。只有数据驱动、用户导向、自动触发的营销服务体系，才能发挥“大数据挖掘用户需求”的作用；建立自动化、一体化的营销服务体系，通过提前预案，进行用户分群，并对不同用户群体匹配相应的产品、渠道、时机，符合预设条件便自动触发营销行为。如此，方能及时把握用户需求，促成订购行为。 据笔者观察，对比许多互联网企业“明目张胆”的采集、使用用户数据，用户往往对于运营商的相同行为更加敏感和反感。其中一个主要原因恐怕是互联网企业提供的往往是一种所谓“免费”的服务，而用户使用运营商服务，则是实实在在地付出了套餐费用，更难接受运营商使用自己的数据。这种理论是否合理暂不讨论，但这种想法却是确实存在的。既然如此，运营商可否转变观念，与用户订立自愿性质的信息使用协议？协议以一定的价格优惠换取对用户信息使用的许可，不同级别的使用许可能够换取不同程度的价格优惠。再通过这部分数据的变现补足在传统业务上的收入下降，逐步实现业务模式的转型。总之，与其在数据开发与用户隐私的矛盾之中裹足不前，不如主动放弃一部分利益，换取大数据时代的先机。 ====================================分割线================================ 本文转自d1net（转载）

主要为大家介绍三巨头背后的大佬——费埃哲公司。这个公司的FICO信用评分模型，至今是信用模型体系的标准，尽管很多新的硅谷公司采用引入外部数据的方式增加评分模型变量和维度的数量，但是核心的指标还是FICO的这几个。       模型评分技术属于个人征信技术序列的高端技术。美国三大信用局首选使用的都是Fair Isaac推出的FICO评分系统，该系统的基本思想是：把借款人的信用历史资料与数据库中全体借款人的信用习惯相比较，检查借款人的发展趋势跟经常违约、随意透支、甚至申请破产等各种陷入财务困境的借款人的发展趋势是否相似。        1956年，斯坦福大学的几名数学专家创立了一个公司“Fair Isaac Company” 。公司当时的愿景就是希望利用数据分析预测风险变量，从而帮助银行控制信用贷款的规模。后来，随着公司的发展，公司的模型被大量广泛的应用，FICO的简称因此得名。如今，FICO的分析技术正保护着全球2/3的信用卡业务，仅在美国就帮助各类机构实现高达100亿美元的审批贷款决策，可见其数据分析与预测技术的功底。        该公司最初专注于信用评分，开发了第一个商业信用评分系统，同时，这个系统第一个用于自动化的信用申请处理。在20世纪80年代，该公司推出了第一款自适应控制系统的账户管理系统，打通了客户风险管理的前端和后端。20世纪90年代，开始着手营销相关的信息系统，可以帮助企业进行贯穿于整个客户生命周期的客户管理。现在，专注于帮助企业做出更明智的决策。        市场地位：毫无疑问的细分市场领袖。 国内的建行交行都是他们的客户，交行还因为用了这个系统得了个奖。  言归正传。FICO模型有哪些？在美国，有三家信用管理局。就是下表中的三家。每家都用自己的用户信息收集和管理的系统。FICO基于三家不同的系统为每家单独开发了相关的模型。即使客户的历史信用数据在三个信用管理局的数据库中完全一致, 从不同的信用管理局的评分系统中得出的信用得分也有可能不一样, 但是相差无几。这主要是由于三家信用管理局的信用评分模型是在相互独立的基础上开发的, 可能导致同样的信息以不同的方式进行存储, 这种微小的差异会最终带来分数上的不同。 信用管理机构 评分系统 Equifax BEACON Experian ExperianPFair  Isaac Risk Model TrainsUnion FICO Risk Score, Classic       FICO 评分模型中所关注的主要因素有五类, 分别是客户的信用偿还历史、信用账户数、使用信用的年限、正在使用的信用类型、新开立的信用账户。评分权重占比如下： (一) 偿还历史 影响FICO得分的最重要的因素是客户的信用偿还历史, 大约占总影响因素的35%。支付历史主要显示客户的历史偿还情况, 以帮助贷款方了解该客户是否存在历史的逾期还款记录, 主要包括: ( 1) 各种信用账户的还款记录, 包括信用卡( 例如: Visa、MasterCard、AmericanExpress、Discover) 、零售账户(直接从商户获得的信用) 、分期偿还贷款、金融公司账户、抵押贷款。 (2) 公开记录及支票存款记录, 该类记录主要包括破产记录、丧失抵押品赎回权记录、法律诉讼事件、留置权记录及判决。涉及金额大的事件比金额小的对FICO 得分的影响要大, 同样的金额下, 越晚发生的事件要比早发生的事件对得分的影响大。一般来讲, 破产信息会在信用报告上记录7- 10年。 (3) 逾期偿还的具体情况, 包括, 逾期的天数、未偿还的金额、逾期还款的次数和逾期发生时距现在的时间长度等。   (二) 信用账户数 该因素仅次于还款历史记录对得分的影响, 占总影响因素的30%。对于贷款方来讲, 一个客户有信用账户需要偿还贷款, 并不意味着这个客户的信用风险高。相反地, 如果一个客户有限的还款能力被用尽, 则说明这个客户存在很高的信用风险, 有过度使用信用的可能, 同时也就意味着他具有更高的逾期还款可能性。该类因素主要是分析对于一个客户, 究竟多少个信用账户是足够多的, 从而能够准确反应出客户的还款能力。   (三) 使用信用的年限 该项因素占总影响因素的15%。一般来讲, 使用信用的历史越长, 越能增加FICO 信用得分。该项因素主要指信用账户的账龄, 既考虑最早开立的账户的账龄, 也包括新开立的信用账户的账龄, 以及平均信用账户账龄。据信用报告反映, 美国最早开立的信用账户的平均账龄是14 年, 超过25%的客户的信用历史长于20年, 只有不足5%的客户的信用历史小于2年。   (四) 新开立的信用账户 该项因素占总影响因素的10%。在现今的经济生活中, 人们总是倾向于开立更多的信用账户, 选择信用购物的消费方式, FICO 评分系统也将这种倾向体现在信用得分中。据调查, 在很短时间内开立多个信用账户的客户具有更高的信用风险, 尤其是那些信用历史不长的人。该项因素主要包括: (1)    新开立的信用账户数, 系统将记录客户新开立的账户类型及总数; (2)    新开立的信用账户账龄; (3)    目前的信用申请数量, 该项内容主要由查询该客户信用的次数得出, 查询次数在信用报告中只保存两年; (4)    贷款方查询客户信用的时间长度; (5)    最近的信用状况, 对于新开立的信用账户及时还款, 会在一段时间后, 提高客户的FICO 得分。   (五) 正在使用的信用类型 该项因素占总影响因素的10%,主要分析客户的信用卡账户、零售账户、分期付款账户、金融公司账户和抵押贷款账户的混合使用情况, 具体包括: 持有的信用账户类型和每种类型的信用账户数。   以上就是一个简介。由于费埃哲公司的地位，这应该就不算是广告了吧？  下期为大家带来Experian（益佰利）公司的商业模式案例。请大家继续关注大数据征信专题第三篇《益佰利，坐在大数据的金山上》。请大家持续关注。   【今日自媒体推荐】老男孩生活圈 ID: cooboys 职场人士的成长加油站，提供创业、企业管理、职场发展、健康、创新方面原创文，以及免费创业、企业管理、职场发展、亚健康咨询。著名管理咨询公司创始人 张利华等前华为人主运营 原文发布时间为：2014-02-24 本文来自云栖社区合作伙伴“大数据文摘”，了解相关信息可以关注“BigDataDigest”微信公众号

阿里巴巴飞天大数据平台MaxCompute持续进化；   概况介绍 大数据计算服务(MaxCompute，原名ODPS，产品地址：https://www.aliyun.com/product/odps)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。本文收录了大量的MaxCompute产品介绍、技术介绍，帮助您快速了解MaxCompute/ODPS。 阿里关涛谈大规模计算—从数字化阿里到数字化城市的进化MaxCompute 2.0：阿里巴巴的大数据进化之路MaxCompute产品最新进展 -- 从马力到计算力【2018杭州云栖】大数据计算专场：带你感知无处不在的超大规模大数据计算性能追求之路——MaxCompute2.0（原ODPS）的前世今生10年老兵带你看尽MaxCompute大数据运算挑战与实践 什么是阿里云数加大数据计算服务MaxCompute?一分钟了解阿里云产品：大数据计算服务MaxCompute概述MaxCompute（原ODPS）技术架构及应用实践【视频】不要犹豫 了解这些即可玩转阿里云MaxComputeMaxCompute产品详情页odps是什么?一文快速了解MaxCompute阿里云双11访谈之MaxCompute【逐云】阿里“水电煤”背后的人物故事 MaxCompute助力OSS支持EB级计算力 MaxCompute存储力持续升级，每年节省不止一个亿 MaxCompute，基于Serverless的高可靠大数据服务 阿里靠什么支撑 EB 级计算力？ 十年磨一剑，王坚自研的MaxCompute如何解决世界级算力难题 王坚十年前的坚持，才有了今天世界顶级大数据计算平台MaxCompute 本地 vs. 云：大数据厮杀的最终幸存者会是谁？— InfoQ专访阿里云智能通用计算平台负责人关涛 阿里云飞天大数据平台亮相 Fuxi2.0—飞天大数据平台调度系统全面升级，首次亮相2019双十一 什么是飞天？全球级大数据计算平台，自主研发！ 2.0专题 最新推出的MaxCompute 2.0，在高性能方面主要依托于全新的SQL 2.0计算引擎。在新功能方面提供了非结构化的处理，在云上开始使用OSS（开放的对象存储）、OTS（开放的表格存储），MaxCompute对其进一步分析和计算提供了连接性。机器学习在新版本中提出了CPU和GPU统一的架构，在富生态中也提出了新的能力。本文收录了MaxComputeV2最新的使用攻略，帮助开发者更快的了解并玩转MaxCompute2.0。 解决大数据难题 阿里云MaxCompute获科技大奖MaxCompute 2.0 NewSQL演进之路 MaxCompute2.0 对开源系统的支持与融合MaxCompute2.0索引优化实践MaxCompute 2.0 基于BigBench标准的最新测试进展MaxCompute 2.0 生态开放之路及最新发展MaxCompute 2.0—从ODPS到MaxComputeMaxCompute2.0性能评测：更强大、更高效之上的更快速MaxCompute上如何处理非结构化数据MaxCompute访问TableStore(OTS) 数据MaxComputeSql性能调优生态与兼容：MaxCompute大数据生态集成和开发工具MaxCompute理解数据、运算和用户的大脑：基于代价的优化器Vectorized Execution Engine in MaxCompute 2.0简介MaxCompute与OSS非结构化数据读写互通（及图像处理实例）基本及复杂数据类型扩展（TINYINT、SMALLINT、 INT、 FLOAT、VARCHAR、TIMESTAMP 、 BINARY、ARRAY、MAP、STRUCT ）DML(INSERT操作、SELECT操作)及内建函数(日期函数、数学函数、字符串函数)更新 MaxCompute2.0 - ODPS重装上阵　第一弹 - 善用MaxCompute编译器的错误和警告MaxCompute2.0 - ODPS重装上阵　第二弹 - 新的基本数据类型与内建函数MaxCompute2.0 - ODPS重装上阵　第三弹 - 复杂类型MaxCompute2.0 - ODPS重装上阵　第四弹 - CTE，VALUES，SEMIJOINMaxCompute - ODPS重装上阵　第五弹 - SELECT TRANSFORMMaxCompute - ODPS重装上阵　第六弹 - User Defined TypeMaxCompute - ODPS重装上阵　第七弹 - Grouping Set, Cube and RollupMaxCompute 2.0使用Hive UDF实践【新功能】MaxCompoute禁止Full Scan功能开放MaxCompute(ODPS)上处理非结构化数据的Best Practice如何在MaxCompute上处理存储在OSS上的开源格式数据如何利用MaxCompute Hash Clustering让数据增量更新节省资源，耗时减半MaxCompute Hash Clustering介绍MaxCompute2.0新功能介绍阿里重磅开源首款自研科学计算引擎Mars，揭秘超大规模科学计算MaxCompute新功能发布 2018Q3MaxCompute新功能发布 2018Q4 评测 MaxCompute在业内证明了其几大优势：极低的自建成本，卓越的性能打破了四项世界纪录，优秀的架构确保了企业数据在整个生命周期内的安全性；通过自身核心竞争力和市场成绩单，斩获用户好口碑。本文收录了MaxCompute所有评测、技术奖项、等级证书等相关知识。 2017大数据标准化论坛发布了第一批大数据系统测试结果，阿里云数加获得了大数据系统测试证书。可靠、安全、易用，阿里云数加大数据平台首批通过国家大数据标准检测7倍!阿里云的MaxCompute居然比自建Hadoop便宜这么多MaxCompute把100TB数据的排序时间缩短到了377秒，打破了此前由微软、雅虎等公司保持的纪录，获得全球4项世界冠军。持续创新和改进，为用户创造最大价值，阿里云数加MaxCompute获得C-Tech Awards 2016年度“最具技术创新奖”MIT评出全球十大突破性技术 阿里巴巴连摘两项Gartner公布2017年全球云计算魔力象限：阿里云进入前四Gartner全球IAAS市场报告：阿里云进入全球前三BigBench on MaxCompute 基准测试套件简明安装与运行指南CloudSort 阿里云 2016 夺冠，性价比高出 AWS 保持的世界记录三倍阿里云2017计算能力实现多项突破 BigBench规模全球首次被拓展至100TBAlibaba Cloud MaxCompute vs. AWS Redshift vs. Azure SQL Data Warehouse2017云栖大会压轴大戏：大数据计算服务MaxCompute持续挑战极限，国家会议中心全球首次现场完成基于公共云的BigBench评测，令人期待！阿里云MaxCompute，用计算力让数据发声2018Q1阿里云MaxCompute被Forrester评为全球云端数据仓库领导者2018Q1中国唯一，阿里云进入Forrester大数据服务榜单国内云数仓排行独占一档，揭秘阿里云EB级大数据计算引擎MaxComputeDCA公布第七批大数据产品能力评测结果，阿里云MaxCompute超大规模集群引关注首次公开！单日600PB的计算力 — 阿里巴巴大数据计算平台双11专题之EB级数据平台的进击云上数据仓库选型指南【转载文章】记录一次MySQL两千万数据的大表优化解决过程，提供三种解决方案 视频专题 本文收录了大量的MaxCompute教程、案例视频，帮助您快速了解MaxCompute/ODPS。 MaxCompute教程、案例视频合集汇总（持续更新20190121） 社区问答 本文收录了大量的MaxCompute社区、钉群问题，帮助您快速上手大数据。 MaxCompute每日问答汇总 MaxCompute问答整理之12月 MaxCompute问答整理之11月 MaxCompute问答整理之10月 MaxCompute问答整理之9月 MaxCompute问答整理之8月 MaxCompute问答整理之7月 MaxCompute问答整理之6月 产品月刊 本文收录了大量的MaxCompute月刊，包括产品重要发布、重要文档更新推荐、精选技术文章推荐、重要活动回顾及技术干货整理。 阿里云MaxCompute 2020-2月刊 阿里云MaxCompute 2020-1月刊 阿里云MaxCompute 2019-12月刊 阿里云MaxCompute 2019-11月刊 阿里云MaxCompute 2019-10月刊 阿里云MaxCompute 2019-9月刊 阿里云MaxCompute 2019-8月刊 阿里云MaxCompute 2019-7月刊 阿里云MaxCompute 2019-6月刊 阿里云MaxCompute 2019-5月刊 阿里云MaxCompute 2019-4月刊 阿里云MaxCompute 2019-3月刊 阿里云MaxCompute 2019-1月刊 阿里云MaxCompute 2018-12月刊 阿里云MaxCompute 2018-11月刊 阿里云MaxCompute 2018-10月刊 阿里云MaxCompute 2018-9月刊 阿里云MaxCompute 2018-5月刊 开发套件专题 MaxCompute支持多款开发套件，如数加DataWorks，可以很方便的完成多源异构数据的同步、脚本开发、定时调度，MaxCompute Studio提供本地化的智能编辑器、Job分析，让代码更高效。本文收录了大数据开发套件的相关介绍、使用教程、最佳实践，帮您玩转大数据开发套件。 DataWorks DataWorks V2.0 新一代智能大数据研发平台突破自我—一文看尽DataWorks全新升级以及在城市大脑的广泛应用新一代大数据引擎操作系统：DataWorks V2.0重磅来袭下一代智能数据工厂，阿里云发布全新DataWorksDataWorksV2.0使用文档DataWorks大数据开发套件官方教程阿里云大学精品课程：深入理解阿里云数加大数据开发套件DataWorks-基本知识大数据开发套件-数据集成-云mongo跨区域如何同步到Maxcompute【大数据开发套件调度配置实践】——调度任务各种周期配置和调度形态阿里云大数据开发套件 新手不得不面对的问题（持续更新）【大数据开发套件调度配置实践】——不同周期任务依赖配置数据库工程师快速上手MaxCompute进行ETL基于DataIDE数据集成实现香港ECS上的MySQL数据同步到数加MaxCompute【大数据新手上路】“零基础”系列课程--MySQL 数据整库迁移到 MaxCompute阿里巴巴下一代数据集成技术解析DataWorks数据集成中测试连通性失败问题【你离完成一次MaxCompute计算任务仅剩三步】Step1 通过DataWorks控制台创建MaxCompute项目空间离线计算中的幂等和DataWorks中的相关事项为了让开发者写MaxCompute SQL更爽，DataWorks 增强SQL 编辑器功能DataWorks新手引导(持续更新)跨私网传输用法解析DataWorks中业务日期和定时时间的理解PostGreSql里的列为JSON类型同步到MaxComputeDataWorks中如何将调度资源共享解析Dataworks中的运行和测试运行的区别DataWorks支持PyODPS类型任务DataWorks调度配置最佳实战DataWorks V2.0 添加数据源典型问题场景 MaxCompute Studio 深入阿里云大数据IDE–MaxCompute StudioMaxCompute Studio 2.8.2 新版本发布啦！使用 MaxCompute Studio 开发大数据应用MaxCompute Studio提升UDF和MapReduce开发体验ODPS Studio 2.6.2 版本发布了用 MaxCompute Studio 查看作业排队详情MaxCompute模板与样例MaxCompute（原ODPS） Studio 2.7.0 版本发布，让代码效率更高IDEA集成MaxCompute通过MaxCompute Studio创建UDF的简单介绍MaxCompute Studio 2.8.1 新版本发布啦！MaxCompute Studio使用心得系列1——本地数据上传下载MaxCompute Studio使用心得系列2——编译SQL脚本MaxCompute Studio使用心得系列3——可视化分析作业运行MaxCompute Studio使用心得系列4——可视化查看所有job并分析运行情况MaxCompute Studio使用心得系列5——一个工具完成整个JAVA UDF开发MaxCompute Studio使用心得系列6——一个工具完成整个Python UDF开发MaxCompute Studio使用心得系列7——作业对比阿里云全新一代企业级新品解读—通过MaxCompute Studio实践大数据时代的DevOps玩转MaxCompute studio SQL编辑器MaxCompute studio FAQMaxCompute Studio 使用入门一探究竟：善用 MaxCompute Studio 分析 SQL 作业代码快速“检”“修”不是梦，阿里云MaxCompute Studio 2.9.0 新版本发布最好用的工兵铲—MaxCompute Studio，来了解下！ 机器学习PAI专题 MaxCompute提供基于GPU的深度学习算法框架，在线预测服务等，以极低的代价帮助您的业务从BI时代跨入AI时代，真正实现人工智能触手可及。本文收录了机器学习技术原理、实践等相关知识，帮助开发者快速掌握机器学习。 机器学习——让人工智能触手可及大规模深度学习优化技术在PAI平台中的应用及实践阿里云工程师用机器学习破解雾霾成因大规模数据的分布式机器学习平台ODPS—MPI机器学习编程框架人工智能居然会模仿人类品酒用炸弹开路——加速到来的证券投资行业人工智能时代阿里云机器学习平台的思考机器学习系列直播--使用对抗神经网络(GANs)生成猫【8月30日 20点不见不散】端到端GPU性能优化在深度学习场景下的应用实践阿里云机器学习平台PAI，助力降低机器学习的成本和技术门槛千亿特征流式学习在大规模推荐排序场景的应用 图计算Graph专题 MaxCompute Graph 是基于飞天平台实现的面向迭代的图处理框架，为用户提供了类似于 Pregel 的编程接口，本文收录了图计算的介绍、技术原理、实践，帮您来更多的了解Graph。 图（关系网络）数据分析及阿里应用图计算Graph 介绍基于MaxCompute的图计算Graph 实践分享-图加载过程基于MaxCompute的图计算Graph 实践分享-解析图加载过程基于MaxCompute的图计算Graph 实践分享-Aggregator机制介绍基于MaxCompute的图计算Graph 实践分享-可配置参数列表（持续更新）基于MaxCompute的图计算Graph 实践分享-常见问题解决及优化指南MaxCompute 图计算用户手册（下）MaxCompute 图计算用户手册（上）MaxCompute 图计算开发指南 MapReduce专题 当大数据业务逻辑很复杂，用SQL配合UDF(包括UDAF和UDTF)也无法实现的时候，可以使用MapReduce MapReduce来实现。本文收录了MapReduce的介绍、技术原理、实践，帮您来更多的了解MapReduce。   MaxCompute MapReduce介绍及技术原理  MaxCompute MapReduce（MR）如何收费 MaxCompute MapReduce细节解读  MaxCompute MapReduce的7个性能优化策略 MaxCompute（原ODPS） MapReduce常见问题解答 Mars专题 Mars作为新一代超大规模科学计算引擎，不仅普惠科学计算进入分布式时代，更让大数据进行高效的科学计算成为可能。本文收录了Mars的介绍、技术原理、实践，帮您来更多的了解Mars。 MaxCompute Mars 是什么、能做什么、如何做的——记 Mars 在 PyCon China 2018 上的分享 Mars——基于矩阵的统一分布式计算框架 Mars 如何分布式地执行 Mars 算法实践——人脸识别 Lightning专题 MaxCompute Lightning是MaxCompute产品的交互式查询服务，支持以PostgreSQL协议及语法连接访问Maxcompute项目，让您使用熟悉的工具以标准 SQL查询分析MaxCompute项目中的数据，快速获取查询结果。您可使用主流BI工具（如Tableau、帆软等）或SQL客户端轻松连接到MaxCompute项目，开展BI分析或即席查询。或者利用MaxCompute Lightning的快速查询特性，将项目表数据封装成API对外服务，无需数据迁移就能够支持更丰富的应用场景。本文收录了Lightning的介绍、技术原理、实践，帮您来更多的了解Lightning。 MaxCompute Lightning 介绍 Lightning 快速入门 使用应用程序(Java/Python)访问MaxCompute Lightning进行数据开发 Lightning 常见问题 UDF专题 MaxCompute UDF系列之身份证校验及15位身份证号码转换成18位MaxCompute UDF系列之判断字符串中是否包含汉字MaxCompute UDF系列之全角转半角MaxCompute SQL引用第三方Base64JAR实现编解码MaxCompute UDF系列之拼音转换MaxCompute中实现IP地址归属地转换 客户案例 MaxCompute在短短的几年时间里，改变了很多行业，积累了大量的客户成功案例。比如东润环能在3个月内业务全面交付云端，数据处理时间不到原来自建方式的1/3，并确保云上数据安全无忧。墨迹天气日志分析业务迁移到数加MaxCompute后，开发效率提升了超过5倍，存储和计算费用节省了70%，每天处理分析2TB的日志数据，更高效的赋能其个性化运营策略。本文收录了大量的客户案例，总有一款适合您。 MaxCompute 助力衣二三构建智能化运营工具唱吧基于 MaxCompute 的大数据之路优酷背后的大数据秘密【阿里云峰会出海论坛】MaxCompute助力小影短视频走向全球化基于MaxCompute的媒体大数据开放平台建设基于MaxCompute打造轻盈的人人车移动端数据平台阿里工业互联网平台“思考”：一场从0到1的蜕变双11奇迹背后的大数据平台，不喧哗，自有声！阿里云MaxCompute携手华大基因打造精准医疗应用云平台MaxCompute助力ofo实现精细化运营：日订单超3200万、整体运行效率提升76%塑云科技：性能突破，基于KafKa+OTS+MaxCompute 完成了一次物联网系统技术重构京信通信：数据智能为生产调试“增效瘦身”借助数加，原来需要2-3天的单维度数据处理时间，目前仅需3-6小时，研发周期更短，产品需求符合度更高。大数据打造你的变美频道——数加平台上小红唇的大数据实践阿里云与国家天文台成立天文大数据联合研究中心阿里云参与两大国家工程实验室获批，人工智能继续深入工业制造借助阿里云数加，小小的美甲行业被美甲帮玩出了天价美甲帮：玩转指甲上的大数据平台大数据打造你的变美频道——数加平台上小红唇的大数据实践与阿里云整个生态体系共同成长，更快更好的为房地产行业客户提供高价值的服务苏州协鑫与阿里云合作阶段性完成，良品率已提升1%禾连健康CDO沈金：谈云时代的大数据平台架构小硅片与大数据的结合 ——协鑫光伏的新制造之路墨迹天气-轻松处理每天2TB的日志数据，支撑运营团队进行大数据分析挖掘，随时洞察用户个性化需求阿里云数加让企业更专注于业务，助力东润环能高效利用大数据资源纯云大数据系统的构建与价值阿里云数加助力东润环能开启新能源大数据时代赋能平台、提效工具、场景化应用，地产大数据玩转有诀窍产品3周迭代一次，启信宝驾驭8000万企业征信的平台架构日交易笔百万级，Ping++的大数据平台架构专访佰腾科技大数据团队，谈专利大数据领域的挑战与实践佰腾科技的专利大数据的云上裂变之路技术创业难？看汇合营销如何玩转大数据与机器学习数据让生意更简单，网聚宝创业团队利用数加快速打造核心业务竞争力，在激烈的市场竞争中弯道超车。网鱼网咖-利用数加快速搭建大数据平台，极致洞察，为客户带来从所未有的体验。年服务人次3300万+，网鱼网咖的大数据挑战及架构友盟这家数据公司为什么能成为数百万企业的选择？数加平台协助汇合营销快速行动，捕获转瞬即逝的商机。全民直播牵手阿里云，技术升级触发直播新体验3天撸完一个团队半年的项目，单客户数据动辄几百万的行业也玩云？杭州治堵有“智慧” 阿里云数加激活城市大脑堵车预测神器诞生，浙江已用来治疗高速顽疾小团队拥有大能量 三十个年轻人的创业故事完成数据的打通-豌豆荚被阿里巴巴收购后的168天MaxCompute助力北斗大数据，千寻位置3秒实现厘米级定位30秒在线卖出3000套房，对于云系统来说只是小意思！阿里怎么发工资？自研薪酬管理系统首次曝光《能源地图》：阿里云数加MaxCompute轻松处理8000亿条气象数据阿里妈妈MaxCompute架构演进 - AON(MPI)集群数据生意背后的云计算登月1号：支付宝演绎空中升级绝技御膳房：构建大数据的美食厨房OFO：Maxcompute的任务状态和多任务执行仁人帮探索大数据技术融合大数据能力，解决在存量时代下的力分之困MaxCompute2.0助力众安保险快速成长美柚-MaxCompute为女性健康护航高德地图基于阿里云MaxCompute的最佳实践MaxCompute在高德大数据上的应用阿里巴巴云计算进驻水泥行业 MaxCompute助力企业“智慧大脑”重磅！MaxCompute助力阿里开源自研语音识别模型DFSMN，准确率高达96.04%基于MaxCompute构建Noxmobi全球化精准营销系统MaxCompute在阿里妈妈数据字化营销解决方案上的典型应用ofo在MaxCompute的大数据开发之路 阿里云 x 蒙牛 | 打通数据孤岛，基于MaxCompute实现产销协同的智慧运营 12分钟即达背后的智能支撑 时隔一年多，我又用起了 Superset 读透《阿里巴巴数据中台实践》，其到底有什么高明之处？ 新手入门 为MaxCompute新手用户提供入门级教程，如操作介绍、计量计费、数据上云、云上分析，帮助用户完成第一个SQL数据分析。 [使用初学者]如何快速玩转阿里云大数据计算服务MaxCompute阿里云数加大数据计算服务MaxCompute学习路线图 (持续更新中)【大数据学习】数据化运营并不难？关键是这些技术你get了么？！获取大数据计算通关秘籍，拥有全新一代计算引擎免费试用权益MaxCompute 学习计划(一)MaxCompute 学习计划(二)MaxCompute 学习计划(三)MaxCompute（原ODPS）开发入门指南——数据上云篇MaxCompute（原ODPS）开发入门指南——计量计费篇MaxCompute（原ODPS）开发入门指南——数据开发工具篇MaxCompute常用语句汇总(更新ing) 计费购买 提供MaxCompute计量计价说明，计费工具，售前计费沟通支持。 计量计费说明价格计算器-小工具下载购买咨询专家群帮助企业做好MaxCompute大数据平台成本优化的最佳实践三分钟教你学会分析MaxCompute消费明细教你开通MaxCompute自动续费MaxCompute计费命令详解只需四步，帮助企业做好MaxCompute成本优化21分钟教会你分析MaxCompute账单MaxCompute 费用暴涨之新增SQL分区裁剪失败MaxCompute 费用暴涨之存储压缩率降低导致SQL输入量变大MaxCompute 预付费标准版VS套餐版利用InformationSchema与阿里云交易和账单管理API实现MaxCompute费用对账分摊统计 技术峰会 收录各界MaxCompute大数据技术峰会，多位技术大咖、行业实践者从技术与业务两个方面，与大家探讨大数据如何最快落地到实践。 2019大数据首席管峰会阿里经济体大数据平台的建设与思考解密淘宝推荐实战，打造 “比你还懂你” 的个性化APP阿里风控大脑关于大数据应用的探索与实践可闭环、可沉淀、可持续的企业级数据赋能体系2019杭州云栖大会【最全合集】一文看尽 2019杭州云栖大会 MaxCompute 技术分享阿里巴巴大数据技术关键进展及展望AI加持的阿里云飞天大数据平台技术揭秘贾扬清谈大数据&AI发展的新挑战和新机遇阿里云，Facebook，英特尔，Databricks, Flink 大数据&AI前沿技术一文看尽—2019杭州云栖大会 “大数据&AI” 峰会全集混合云模式下 MaxCompute + Hadoop 混搭大数据架构实践一条SQL在 MaxCompute 分布式系统中的旅程丰富、连接、待集成—MaxCompute 生态再出发如何有效降低大数据平台安全风险2019 CXO峰会基于阿里云 MaxCompute 构建企业云数据仓库CDW的最佳实践建议峰会往期回顾2017云栖大会北京峰会 阿里云大数据计算服务MaxCompute 划重点！北京云栖大会workshop：《数据处理：数据建模与加工》篇北京Workshop准备条件：《云数据·大计算：快速搭建互联网在线运营分析平台》北京：《云数据·大计算：快速搭建互联网在线运营分析平台》Workshop-入口[干货]作为大数据入门者，你不得不知道的2017杭州云栖大会双管齐下，MaxCompute数据上云与生态【直击深圳云栖大会大数据专场】陈鹏宇分享主题—数加：迈向数据智能之路技术与架构，解析如何将大数据最快落地到实践MaxCompute NextMaxCompute 2.0 性能优化揭秘 ·         演讲视频：http://yq.aliyun.com/webinar/play/188 ·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1449  ·         演讲整理文章：https://yq.aliyun.com/articles/72240 MaxCompute大数据语言的新发展 ·         演讲视频：http://yq.aliyun.com/webinar/play/189 ·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1448  ·         演讲整理文章：https://yq.aliyun.com/articles/72284 大规模流式增量计算及其在阿里巴巴的应用 ·         演讲视频：http://yq.aliyun.com/webinar/play/190 ·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1444  ·         演讲整理文章：https://yq.aliyun.com/articles/72242 PAI分布式机器学习平台计算模型演进之路 ·         演讲视频：http://yq.aliyun.com/webinar/play/191 ·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1445  ·         演讲整理文章：https://yq.aliyun.com/articles/72362 MaxCompute数据上云与生态 ·         演讲视频：http://yq.aliyun.com/webinar/play/192 ·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1446  ·         演讲整理文章：https://yq.aliyun.com/articles/72367 高可用大数据计算平台如何持续发布和演进 ·         演讲视频：http://yq.aliyun.com/webinar/play/193 ·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1447  ·         演讲整理文章：https://yq.aliyun.com/articles/72282 专利大数据的云上裂变之路 ·         演讲视频：http://yq.aliyun.com/webinar/play/194 ·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1440  ·         演讲整理文章：https://yq.aliyun.com/articles/72369 地产大数据趋势与应用实践 ·         演讲视频：http://yq.aliyun.com/webinar/play/195 ·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1441  ·         演讲整理文章：https://yq.aliyun.com/articles/72386 用大数据打造你的变美频道 ·         演讲视频：http://yq.aliyun.com/webinar/play/196 ·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1443  ·         演讲整理文章：https://yq.aliyun.com/articles/72250 云上大数据，零售新思维 ·         演讲视频：http://yq.aliyun.com/webinar/play/197 ·         PDF下载：https://yq.aliyun.com/attachment/download/?id=1442  ·         演讲整理文章：https://yq.aliyun.com/articles/72249          关于举办“天德π客”创业论坛——“基于阿里云的大数据实践—海量日志分析”的通知          快上车！老司机带你走进“大数据及阿里云数据分析平台”          万元大奖邀您参与阿里云数加 MaxCompute最佳实践征文大赛         阿里云全新一代人工智能引擎机器学习PAI+MaxComptue征文大赛正式启动         操作系统顶级会议SOSP 阿里云MaxCompute开启NewSQL时代         大数据计算杭州高端峰会—探寻真正的“云数据，大计算”         像拥有水电煤一样拥有计算能力—阿里云大数据计算上海峰会圆满举行 Workshop 该课程是基于大数据时代日志分析的基础需求的基础上，告知用户如果通过阿里云MaxCompute大数据解决方案来实现自己网站日志的用户画像。包括数据采集、数据加工以及数据最终的展现，最后通过MapReduce来解密好友推荐算法的实现原理。          《云数据·大计算：海量日志数据分析与应用》Workshop-入口          数据采集：日志数据上传          数据加工：用户画像         数据分析展现：可视化报表及嵌入应用          社交数据分析：好友推荐          2017云栖大会·杭州峰会：《在线用户行为分析：基于流式计算的数据处理及应用》之《数据可视化：构建实时动态运营数据分析大屏》篇          2017云栖大会·杭州峰会：《在线用户行为分析：基于流式计算的数据处理及应用》之《流数据处理：通过StreamSQL分析视频日志》篇          2017云栖大会·杭州峰会：《在线用户行为分析：基于流式计算的数据处理及应用》之《流数据采集：海量流式视频日志收集》篇          2017云栖大会·杭州峰会：《云数据·大计算：海量日志数据分析与应用》之《数据分析展现：可视化报表及嵌入应用》篇          2017云栖大会·杭州峰会：《在线用户行为分析：基于流式计算的数据处理及应用》实验环境准备         2017云栖大会·杭州峰会：《在线用户行为分析：基于流式计算的数据处理及应用》Workshop-入口 MaxCompute1元试用体验馆 通过丰富的场景案例、教程，让您近距离低成本的感受MaxCompute大数据平台的魅力。 Flume采集网站日志到MaxComputeHadoop数据表迁移到MaxCompute快速搭建一个BI销售数据分析系统机器学习实现海量新闻自动分类机器学习为您揭秘雾霾怎么形成 数据上云专题 对于大多数企业首先碰到的问题就是数据如何迁移到MaxCompute中。按照数据迁移场景，大致可以分为批量数据、实时数据、本地文件、日志文件等的迁移，下面我们针对每种场景分别介绍几种常用方案。 数据进入阿里云数加-大数据计算服务MaxCompute（原ODPS）的N种方式“零基础”系列课程--日志服务（Log Service）采集 ECS 日志数据到 MaxCompute日志服务（原SLS）新功能发布(12)--日志投递MaxCompute（原ODPS）支持自动建表授权Flume数据导入MaxCompute（原ODPS）方法MaxCompute（原ODPS）功能介绍之数据导入用Fluent实现MySQL到MaxCompute（原ODPS）数据集成DRDS到MaxCompute（原ODPS）数据归档性能优化测试Hadoop迁移MaxCompute神器之DataX-On-Hadoop使用指南Hadoop数据迁移MaxCompute最佳实践自建Hadoop迁移阿里云MaxCompute实践-持续更新理论与实践：如何从Hadoop迁移到MaxCompute离线数据同步神器：DataX，支持几乎所有异构数据源的离线同步到MaxComputeHadoop Hive迁移至MaxComputeAmazon Redshift数据迁移到MaxCompute 数据安全专题 收录了MaxCompute大数据平台安全资质、安全机制、数据安全白皮书、安全事件等，带你更深入的了解MaxCompute如何保护企业数据资产。 你的大数据安全么？“Hadoop集群遭遇勒索软件攻击 ”【阿里云大数据产品MaxCompute】DT时代企业数据资产的护卫舰可靠、安全、易用，阿里云数加大数据平台首批通过国家大数据标准检测阿里云成为全国首家云等保试点示范平台 金融云通过国家等保四级备案测评MaxCompute数据安全机制还在用Hadoop么？Hadoop服务器造成5PB数据泄露，中国、美国受波及最大！如何通过Dataworks禁止MaxCompute 子账号跨Project访问数据保护伞—为MaxCompute平台数据安全保驾护航从单租户IaaS到多租户PaaS——金融级别大数据平台MaxCompute的多租户隔离实践你的数据安全么？Hadoop再曝安全漏洞| 黑客利用Hadoop Yarn资源管理系统未授权访问漏洞进行攻击【安全实践】MaxCompute创建仅有查询权限的自定义角色【安全实践】如何跨项目工作空间访问MaxCompute资源和函数【安全实践】多人协同开发，成员责任划分明确。【安全实践】业务分析人员需要查看生产表，但是不允许查看生产任务代码。 运维/容灾专题 收录了MaxCompute大数据平台运维成长过程，企业如何做好灾备、做好自动化运维保障等相关运维知识。 MaxCompute(ODPS)大数据容灾方案与实现（及项目落地实例）专有云阿里云大数据计算平台的自动化、精细化运维之路MaxCompute预付费资源监控工具-CU管家MaxCompute预付费资源监控工具-CU管家使用教程阿里如何做到百万量级硬件故障自愈？ 阿里巴巴大数据运维平台实践 数据仓库专题 分享企业如何利用MaxCompute搭建数据仓库，如何做好ETL、建模、分层设计等相关数仓知识。 干货：解码OneData，阿里的数仓之路。企业大数据平台下数仓建设思路大数据来了，数据库爆仓了，宝宝们怎么办？淘宝大数据之路MaxCompute大数据实践，电商数据仓库选择雪花还是星型模型？MaxCompute大数据实践，电商数据仓库的星型模型和传统星型的区别大数据环境下该如何优雅地设计数据分层精打细算使用MaxCompute搭建数仓阿里巴巴大数据实践之数据建模【直播沉淀】基于阿里云数加MaxCompute的企业大数据仓库架构建设思路品《阿里巴巴大数据实践-大数据之路》一书（上）品《阿里巴巴大数据实践-大数据之路》一书(下)iphoneX都面世了，你的数据仓库还停留在诺基亚时代吗?阿里数据仓库实践分享基于阿里云数加MaxCompute的企业大数据仓库架构建设思路基于MaxCompute的数仓数据质量管理 公开数据集 目前免费开放的数据类别包括：股票价格数据，房产信息，影视及其票房数据，所有的数据均被存储在MaxCompute 产品中的public_data 项目中。 阿里云数加（大数据）公开数据集（公测ing） 大数据最佳实践 越来越多的企业和开发者选择MaxCompute，为了更好地展示这些优秀企业和个人开发者的伟大经验，搜集整理了这些最佳实践，希望这些最佳实践能够为你的开发工作带来一些帮助。 在MaxCompute中利用bitmap进行数据处理MaxCompute中Struct复杂数据类型的UDF编写、兼容HIVE的GenericUDF编写日志数据如何同步到MaxComputeHive数据如何同步到MaxCompute之实践讲解MySQL/RDS数据如何同步到MaxCompute之实践讲解MySQL/RDS数据如何同步到MaxCompute之实践讲解Kafka数据如何同步至MaxCompute之实践讲解这样才能正确解锁MaxCompute客户端业务流程多节点依赖调度配置实践基于MaxCompute InformationSchema进行冷门表热门表访问分析Spark在MaxCompute的运行方式基于MaxCompute InformationSchema进行血缘关系分析MaxCompute 2.0复杂数据类型之mapMaxCompute 2.0复杂数据类型之structmaxcompute 2.0复杂数据类型之array使用DataX同步MaxCompute数据到TableStore（原OTS）优化指南Kafka数据迁移MaxCompute最佳实践MaxCompute 项目子账号做权限管理MaxCompute客户端(odpscmd)在windows命令行下查询中文乱码问题处理实践解决MaxCompute SQL count distinct多个字段的方法MaxCompute SQL随机抽取N行数据手把手，教你用MaxCompute+OpenSearch搭建分布式搜索引擎阿里云大数据利器Maxcompute学习之-假如你使用过hive一场变美盛宴后面的大数据故事理财农场大数据初探之路报警分析云上集成解决方案专访360医药大数据负责人侯晓锋：谈未来智能医疗的挑战及实践【物流大数据实践】基于阿里云Maxcompute实现物流跟踪袋鼠云助力光伏产业 | 基于阿里云数加平台做算法预测基于数加分析政府工作报告阿里云大数据利器Maxcompute学习之--分区表的使用“零基础”系列课程--Flume收集网站日志数据到MaxCompute“零基础”系列课程--如何通过大数据开发套件Data IDE玩转大数据MaxCompute_2_MaxCompute数据迁移文档 基于大数据开发套件定时调度带资源文件的MapReduce作业如何用大数据开发套件周期调度机器学习算法［ETL实践指南］基于Kettle的MaxCompute插件实现数据上云推荐引擎的离线算法和在线算法初探OpenSearch：轻松构建大数据搜索服务云上游戏数据分析实践5分钟学会使用DataHub接入实时数据到MaxCompute(原ODPS)Docker时代——如何实现日志数据一键上云MaxCompute（原ODPS）使用总结-初级篇MaxCompute实战之数据存储基于 MaxCompute 的极速的基因测序分析MaxCompute同步到AnalyticDB 任务报警简易处理MaxCompute 存储优化技巧MaxCompute OpenMR的7个性能优化策略MaxCompute5个窗口函数限制MaxCompute基础与MaxCompute SQL优化MaxCompute（原ODPS）任务优化之列裁剪MaxCompute应用限制整理产品动手实践视频课-基于MaxCompute SQL实现商品推荐MaxCompute SQL 01-说在前面的话MaxCompute SQL 02-什么是个性化推荐系统MaxCompute SQL 03-个性化推荐系统是怎么实现的？MaxCompute SQL 04-推荐系统的评价和应用MaxCompute SQL 05-天猫应用场景介绍MaxCompute SQL 06-问题分析和思路整理MaxCompute SQL 07-简单实现：根据销量推荐MaxCompute SQL 08-简单实现：和随机推荐的对比MaxCompute SQL 09-个性化推荐：算法设计和特征分析MaxCompute SQL 10-个性化推荐：选择特征和采样MaxCompute SQL 11-个性化推荐：训练模型MaxCompute SQL 12-个性化推荐：参数优化和模型评估MaxCompute SQL 13-个性化推荐：模型应用与总结MaxCompute SQL 14-总结：不足与改进 MaxCompute分区表和非分区表使用对比Oracle - MaxCompute（原ODPS）数据类型转换大数据上云那些事儿：（一）上云工具之爬虫(Scrapy)数据阿里云大数据利器Maxcompute学习之--窗口函数实现分组TopNMaxCompute SQL中的更新和删除如何实现用Java代码调用MaxCompute通过Fluentd实时上传数据到DataHub实践基于阿里云MaxCompute实现复杂事件检测阿里云大数据利器Maxcompute-使用mapjoin优化查询MaxCompute SQL Row_Sequence 实现列自增长MaxCompute SQL-列转行和行转列MaxCompute多团队协同数据开发项目管理最佳实践门道多：一次MaxCompute PS任务的问题排查之旅利用MaxCompute建立数据仓库的超强实战手册E-MapReduce中Spark 2.x读写MaxCompute数据MaxCompute如何实现跨项目授权使用JDBC编程访问MaxCompute（原ODPS）增量同步MaxCompute（原ODPS）数据解决方法MaxCompute（原ODPS） JOB 长尾问题调优MaxCompute（原ODPS） JOB logview 查看方法DataX使用指南——MaxCompute（原ODPS） to ODPSMaxCompute（原ODPS） 权限管理命令集合MaxCompute（原ODPS）内置函数整理OSS文件上传及OSS与MaxCompute（原ODPS）之间数据连通MaxCompute（原ODPS）跨集群迁移与数据同步经验分享五阿哥（wuage.com），携钢铁行业步入一场云的变革基于自定义日志打印的UDAF调试[免费]手把手，阿里算法专家教你21天搭建推荐系统《企业大数据系统构建实战：技术、架构、实施与应用》大数据分析平台产品对比之MaxCompute（原ODPS）篇Oracle - ODPS数据类型转换使用ODPS进行拼车分析MaxCompute在网络舆情监控系统中的应用使用MaxCompute快速实现企业数据化运营应用MaxCompute实现变压器局部放电相位分析实践 —— 亲测从 RDS MySQL 通过数据集成导入 MaxCompute大数据分析平台产品对比之MaxCompute（原ODPS）篇阿里云大数据利器之-使用flume+sql实现流计算做实时展现业务（归档Maxcompute）MaxCompute原（ODPS）创建dual表MaxCompute（原ODPS） 脑图 － 常用知识总结阿里云大数据实验室：MaxCompute使用体验MaxCompute实践分析小白用户MaxCompute数据同步初体验基于MaxCompute方案的TFI门店销量调研使用MaxCompute进行网贷业务风控预测分析MaxCompute实践初创企业的选择——MaxComputeMaxCompute平台非标准日期和气象数据处理方法--以电力AI赛为例MaxCompute最佳实践使用 Instance Tunnel 获取 Maxcompute Instance 的执行结果基于MaxCompute平台进行机器学习并展示结果依托MaxCompute构建零售快消品行业数据仓库MaxCompute数仓维护心得-五叶草MaxCompute帮助创业公司中减轻MySQL存储压力odps之sql性能优化美柚与MaxCompute数据同步架构说明阿里云大数据利器之-RDS迁移到Maxcompute实现动态分区阿里云「MaxCompute最佳实践」征文大赛获奖文章公布报表几种常用数据方案MaxCompute执行作业慢的原因排查MaxCompute跨Region数据迁移指导手册MaxCompute有关优化复杂数据分布的实践基于TableStore/MaxCompute的数据采集分析系统介绍基于阿里云MaxCompute实现游戏数据运营基于MaxCompute搭建社交好友推荐系统MaxCompute优化系列-如何使用`MAPJOIN` ？MaxCompute优化系列-如何解决`无效Join` ？MaxCompute JOIN优化小结数加DataWorks/MaxCompute在国网浙江电力的最佳实践MaxCompute/DataWorks 数据集成与开发实践释放存储与计算压力，MySQL用户升级到EB级数据仓库MaxCompute攻略基于MaxCompute构建企业用户画像（用户标签的制作）使用cu管家管理Maxcompute多项目阿里云MaxCompute技术共享计划 首波技术公开课干货集锦“帮助企业做好MaxCompute成本优化的实践” 主题分享 6月21日 18:30不见不散MaxCompute帮你五步实现用户画像的数据加工MaxCompute全表扫描新功能，给你“失误”的机会MaxCompute读取分析OSS非结构化数据的实践经验总结阿里云大数据MaxCompute基于UDTF解析JSON日志的案例带你玩转Logview: MaxCompute Logview参数详解和问题排查[MaxCompute MapReduce实践]通过简单瘦身，解决Dataworks 10M文件限制问题MaxCompute 权限常见错误解析MaxCompute/DataWorks账号权限及依赖整理-持续更新带你玩转Logview: MaxCompute Logview参数详解和问题排查MaxCompute Tunnel上传典型问题场景利用MaxCompute内建函数及UDTF转换json格式日志数据调度、模型、同步与任务——阿里云大数据数仓建设性能优化方案专家教你使用MaxCompute玩转大数据分析！“阿里巴巴大数据系统体系”学习笔记-纲领篇数据进入Maxcompute的N种方式，大数据实战Demo系统数据上云实践MaxCompute数据仓库在更新插入、直接加载、全量历史表三大算法中的数据转换实践JSON数据从MongoDB迁移到MaxCompute最佳实践在MaxCompute上分析IP来源的方法JSON数据从OSS迁移到MaxCompute最佳实践MaxCompute_Sql_Join_开发指南MaxCompute_Studio_UDF_开发指南MaxCompute_JAVA_SDK_开发指南如何使用Tunnel SDK上传/下载MaxCompute复杂类型数据MaxCompute studio与权限那些事儿使用MaxCompute Java SDK 执行任务卡住了，怎么办？使用 top instance 命令查看运行中 MaxCompute 作业使用MaxCompute Java SDK运行安全相关命令在DataWorks中实现指定UDF只能被指定账户访问MaxCompute安全管理指南-案例篇MaxCompute安全管理指南-基础篇使用应用程序(Java/Python)访问MaxCompute Lightning进行数据开发免费带你体验阿里巴巴旗舰大数据计算产品MaxComputeMaxCompute/DataWorks权限问题排查建议MaxCompute小文件问题优化方案DataWorks2.0的“业务流程”与1.0的“工作流”的对比MaxCompute表设计最佳实践MaxCompute 表(Table)设计规范离线批量数据通道Tunnel的最佳实践及常见问题数据集成到MaxCompute的N种最佳实践Oracle存储过程迁移ODPS-01（专有云）：支持DML(delete/update/merge)SQL介绍DataWorks快速构建数仓并应用到业务上的实例MaxCompute_SDK_开发指南MaxCompute_UDF_开发指南MaxCompute_SQL_开发指南MaxCompute SQL 使用正则表达式选列MaxCompute如何对SQL查询结果实现分页获取在MaxCompute中配置Policy策略遇到结果不一致的问题通过DataWorks数据集成归档日志服务数据至MaxCompute进行离线分析使用split_size优化的ODPS SQL的场景 官方文档 为大家整理了MaxCompute的电子版文档供大家下载阅读，涉及的用户指南、计算说明、开发实践、SDK使用说明等常用开发手册。 阿里云大数据平台MaxCompute用户指南官方电子版下载 常见问题 为大家整理了关于MaxCompute的系列问题供大家查阅参考，覆盖产品包括MaxCompute、MaxCompute Studio、DataWork、MaxCompute SDK，涉及的知识点有数据同步、SQL/UDF/MR开发、JOB任务调度分析、计量计费、安装、注销等等。 MaxCompute百问集锦（持续更新）如何理解maxcompute常见报错信息？【阿里云MVP月度分享】MaxCompute常见错误汇总（更新ing）MaxCompute 权限常见错误解析大数据开发—常见问题（1）大数据开发—常见问题（2）大数据开发—常见问题（3）大数据开发—常见问题（4）MaxCompute数据下载/导出的SQL运行结果的方法总结，解决1万/10000行导出限制大数据开发套件中数据同步-日志报错回滚信息的一些问题总结解决代码在本地IDE环境里调试成功了后，到线上调试出现结果不符合预期的情况【大数据技巧】Flume采集网站日志到MaxCompute常见问题汇总做ETL操作导入数据到MaxCompute的时候，对如何设置数据同步策略疑惑如何用SQL对MaxCompute数据进行修改和删除MaxCompute中实现IP地址归属地转换MaxCompute（原ODPS） MapReduce常见问题解答MaxCompute计算长尾问题定位排查工作流的计算结果数据量不符合预期的方法用脚本模式配置数据同步--用自定义的ECS来调度来解网络不可达的问题大数据开发套件—调度运维常见问题大数据开发套件—数据集成常见问题Maxcompute使用常见问题总结MaxCompute—MaxCompute SQL 常见问题关系型数据库支持的DML(delete/update/merge)SQL ，在maxcompute(ODPS)该如何写MaxCompute常见问题（2019.04新版） 生态兼容 MaxCompute 从研发的第一天起就被设计统一由 Restful API 提供服务。在 Restful API 之上，我们各种语言的 SDK。由 SDK 编写形成的各种工具、驱动等等构成了 MaxCompute 的用户接口层，即外围生态；截止到今天，MaxCompute已支持JDBC、Java、python、R、OpenMR等开放接口，兼容现有大数据生态系统。 从 Spark 到 Kubernetes — MaxCompute 的云原生开源生态实践之路MaxCompute JDBC 2.2 发布说明手把手教你完成MaxCompute JDBC自定义日志配置MaxCompute JDBC 2.0 beta中的一些变更说明使用 odps-jdbc 接入 MaxCompute（原ODPS），不再从零开始原来MaxCompute还能这么玩系列（3）—— 借力QlikView玩转数据分析原来MaxCompute还能这么玩系列（2）—— 利用HiveServer2 Proxy实现MaxCompute与Hive生态工具的互通原来MaxCompute还能这么玩系列（1）—— 通过Apache Zeppelin 快速实现数据可视化当 Elasticsearch 遇上 MaxCompute Flume Java on MaxCompute介绍Logstash + DataHub + MaxCompute/StreamCompute 进行实时数据分析如何在MaxCompute上运行HadoopMR作业基于OGG Datahub插件将Oracle数据同步上云R语言和大数据RODPS介绍 什么是PyODPS DataFrame  PyOdps 0.4版本发布，从一个故事说起  PyODPS DataFrame：统一的数据查询语言 PyOdps在交互式环境下的使用，让探索ODPS数据更容易些  PyOdps DataFrame来临，数据分析从未如此简单！ Python+大数据计算平台，PyODPS架构手把手教你搭建 MaxCompute上你从未体验过的数据分析和机器学习过程 零成本体验 ODPS 大数据分析 PyODPS开发中的最佳实践 PyODPS 中使用 Python UDF Python on MaxCompute之UDF操作命令行 Python实现MaxCompute UDF/UDAF/UDTF 北京云栖大会MaxCompute又出大招，Python UDF抢先体验! 浅谈PyODPS PyODPS 安装常见问题解决 【干货索引】阿里云大数据计算服务MaxCompute与生态系统的融合 MaxCompute auto increment PythonUDF 在PyODPS DataFrame自定义函数中使用pandas、scipy和scikit-learn 在 MaxCompute UDF 中运行 Scipy PyODPS DataFrame 处理笛卡尔积的几种方式 PyODPS DataFrame 的代码在哪里跑 如何制作可以在 MaxCompute 上使用的 crcmod 产品功能介绍 整理了MaxCompute官网使用手册之外的一些功能知识点介绍。     阿里云大数据计算服务MaxCompute命令行工具——odpscmd的操作使用    MaxCompute 跨项目空间的访问控制和权限管理    MaxCompute 跨项目空间的访问控制和权限管理    MaxCompute和DataIDE权限体系介绍    阿里云开源离线同步工具DataX3.0介绍     MySQL超时参数以及相关DataX数据同步案例分享     Tunnel SDK数据上传利器——BufferedWriter使用指南   使用 MaxCompute Studio 开发大数据应用    Console 实用小命令     Mac 下如何安装odps eclipse插件     【MaxCompute学习】隐式转化的问题      使用 MaxCompute（原ODPS） java sdk 运行安全相关命令      ODPS功能介绍之CLT      ODPS 功能介绍之SQL 技术原理介绍 深入浅出的剖析MaxCompute技术原理，比如SQL运行原理、MR机制、伏羲调度机制、盘古存储机制、优化器等等。 海胜专访--MaxCompute 与大数据查询引擎的技术和故事 春蔚专访--MaxCompute 与 Calcite 的技术和故事 【ATF】林伟：大数据计算平台的研究与实践 MaxCompute MapReduce细节解读 Fuxi ServiceModeJob 多租户（Quota Group） 功能介绍 解析阿里云分布式调度系统伏羲         阿里云伏羲(fuxi)调度器FuxiMaster功能简介(一) 多租户(QuotaGroup)管理         阿里云伏羲(fuxi)调度器FuxiMaster功能简介(二) 调度模型         阿里云伏羲(fuxi)调度器FuxiMaster功能简介(三) 针对在线服务的资源强稳定         阿里云伏羲(fuxi)调度器FuxiMaster功能简介(四) NodeLabel调度         盘古：阿里云飞天分布式存储系统设计深度解析         MaxCompute( 原ODPS）下的表分区解释         为什么MaxCompute采用列式存储？列式存储和行式存储的主要区别在哪         从MapReduce的执行来看如何优化MaxCompute（原ODPS） SQL         MaxCompute flighting —— Task灰度发布         数加MaxCompute计算资源分布以及LogView分析优化        MaxCompute Optimizer之表达式约化          MaxCompute 中的Code Generation技术简介          MaxCompute（原ODPS） 事件(Event)机制          ComputeColStats UDF中 近似算法的介绍          MaxCompute SQL原理解析及性能调优          SQL优化器原理-Metadata          SQL优化器原理 - Auto Hash Join          SQL优化器原理－Shuffle优化          SQL优化器原理 - Join重排          SQL优化器原理 - 查询优化器综述          Optimizing Complex Data Distribution in MaxCompute          【技术干货下载】从 Apache ORC 到 Apache Calcite | 2019大数据技术公开课第一季《技术人生专访》 大数据基础知识 介绍了目前关键的几个大数据方面的技术，什么是分布式计算、分布式存储、调度、监控等等，帮助开发者从Java工程师成功过渡到大数据工程师。 分布式大数据系统巧实现，全局数据调度管理不再难大规模数据的分布式机器学习平台分布式存储系统分布式离线关系型计算最全总结分布式编程模型的设计与演化分布式调用跟踪与监控实战内存计算每个人都应该知道的25个大数据术语开源SQL-on-Hadoop系统一览 产品/技术资讯 提供MaxCompute最新的资讯、业界动态、领域技术应用、商机等内容。 阿里云2020年预期净利100亿，碾压99%A股公司 | 新龙榜 从IaaS到AI，马云为何让阿里云去扛人工智能大旗？ 数据新能源驱动智慧新世界：数据新能源时代来临  “NASA”计划背后，阿里巴巴大数据系统架构概述  三个词，让你看懂马云、刘强东力推的“新零售” 盘点全球最热门十家大数据公司中国占据三席 [大数据行业应用发展前景分析] 阿里潘永花报告：大数据产业将成为新的煤和石油介绍 基于阿里云数加平台的大数据Serverless实践 川普军完美逆袭，阿里大数据为你解读特朗普成功的真相 大数据简析“林丹出轨事件”背后的微博信息传播 《大数据漫谈 -- DT时代》连载之 NO.1 漫谈阿里大数据  巴黎科技展：“中国技术太厉害了，我们得赶紧学学！” 阿里云携大数据计算平台MaxCompute欧洲开服 数加平台如何通过Serverless 架构实现普惠大数据 重磅 | 2017年中国大数据企业生态图谱（一）大数据企业融资地图 数加：从数据工程师到CDO的七次升职路  Hadoop 这样业界顶级的大规模数据处理平台，均发现满足不了类似双十一这样全世界的剁手党蜂拥而至的热情 阿里云数加合作伙伴-袋鼠云获A轮融资，成立一年半获三轮投资超亿元  大数据平台的发展会降低程序员的价值吗？ 阿里云MaxCompute澳大利亚开服，“领跑”人工智能市场 从未停止进化的MaxCompute 比自建 Hadoop 还便宜！云栖大会揭秘阿里云数加 MaxCompute  阿里云MaxCompute香港开服 引入更多人工智能  1次演讲13次提到技术，马云在阿里巴巴年会上都说了什么？ 阿里巴巴MaxCompute亮相VLDB2017 DT时代已经悄然来临，IT人您跟上了吗？ 阿里云大数据计算服务MaxCompute（原ODPS）华南1（深圳）Region即将开服！ 【华南1深圳开服】数据智能需求旺盛 阿里云MaxCompute 2.0华南区开服 ZStack&阿里云联合发布混合云解决方案【德国法兰克福开服】10月18日，德国法兰克福，阿里云MaxCompute2.0，全面布局AI人工智能赋能数据处理能力 阿里云MaxCompute助企业洞察市场阿里云在美推出MaxCompute大数据计算平台【广州云栖大数据/人工智能会场信息】全新一代人工智能引擎MaxCompute惊艳全场【马拉西亚开服】阿里云MaxCompute加速全球化布局 11月1日北京、马来西亚两地开服昨日广州云栖“大算”受追捧，今日揭秘阿里双11技术核武器MaxCompute，感恩节再放福利！（福利截止11.30日）【华北2北京开服】不得不看！推荐企业使用华北2(北京)大数据产品MaxCompute的八大理由服务企业上云，实现业务转型【印度开服】阿里云MaxCompute印度开服，加速大数据产业升级Alibaba Cloud MaxCompute - Bringing Data to LifeAlibaba Cloud MaxCompute Service Launches in India Accelerating Upgrades in Big Data Industry【印尼开服】MaxCompute印尼开服，成为阿里云第十二个大数据服务节点Alibaba Cloud MaxCompute to Be Available in Indonesia Which Will Serve as the 12th Global Data Region【美东开服】全球云端数据仓库领导者 MaxCompute 将于本月10日正式开服美东节点【华东1杭州开服】全新一代人工智能计算引擎MaxCompute杭州开服，强化阿里云大数据能力，比肩谷歌微软Meet MaxCompute: The AI Platform Bringing Big Data Analysis to the MassesMaxCompute携手ofo小黄车与阿里妈妈—邀你共赴大数据计算北京高端峰会大数据计算成都峰会—开启西南大数据新洞察【即将开启】大数据计算技术共享计划 — MaxCompute技术公开课（第三季）【8.23更新--技术干货全家桶】大数据计算技术共享计划 — MaxCompute技术公开课第二季赢取9月杭州云栖大会单日免费票—快来参加大数据计算直播就对了【8月17日】MaxCompute携手袋鼠云：“云计算&大数据实践”杭州技术沙龙当大数据邂逅酷暑，谁的热度更高？— 大数据计算杭州峰会圆满落幕探寻独角兽背后的大数据力量— 阿里巴巴大数据计算线下Meetup（杭州站）干货集锦所见不凡，带你探秘独角兽背后的大数据力量 | MaxCompute杭州Meetup报名中中小企业如何借力工业互联网抵抗死亡潮?互联网下半场的角逐，玩转轻资产的大数据服务 | 阿里云栖开发者沙龙大数据专场（北京站）比起表白这件事，玩大数据会更容易吗？阿里云MVP学院MaxCompute技术闭门会线上首播 | 2019大数据技术公开课第二季 与MaxCompute专家在线沟通/问答 MaxCompute公众号问答频道 招聘信息 DT时代，与坚持梦想者同行！   欢迎加入“阿里云MaxCompute开发者社区”钉钉群（群号： 11782920）进行咨询，群二维码如下：    阿里巴巴大数据-玩家社区 https://yq.aliyun.com/teams/6/ ---阿里大数据博文，问答，社群，实践，有朋自远方来，不亦说乎……  

佛山禅城启动大数据实验区，多个政府大数据应用示范以及企业大数据平台现场展示。南方日报记者 戴嘉信 摄 “未来数据将会像土地、石油和资本一样，成为经济运行中的根本性资源。”《大数据时代》一书这样描述道。 当前，全国各地都瞄准互联网、大数据信息革命红利发力。佛山也动作频频。近年来，佛山在政府管理创新、政务服务改革、社会综合治理等方面应用大数据，成效显而易见——南海大数据统筹、禅城“一门式”政务服务改革、社会综合治理云平台等相关实践获得多项国家级、省级奖项。 在产业方面，佛山还涌现出一批新型跨界公司，如柯内特、维尚家具等。这些企业利用大数据精准捕捉市场需求，改进企业生产流程，成为行业新贵。 大数据已经成为提升政府治理能力的重要手段，也是促进区域经济发展的新动力。 在2017年佛山市改革重点项目中，佛山市委书记鲁毅负责“创新构建数据统筹管理体制，加快佛山大数据建设和应用”的改革项目。这意味着，大数据统筹能力正成为佛山城市核心竞争力的重要组成部分，也是佛山全面深化改革的重要推动力。 从区到市 争相拥抱大数据红利 6月7日，南海区召开全面深化供给侧结构性改革工作大会暨信用链条激励约束机制建设工作大会，正式启动信用全链条激励约束机制建设工作。 在构筑信用应用体系的背后，依托的是大数据的力量。2014年，南海成立了全国首个区级数据统筹局，将分散在各部门的数据收集起来，统一进行提质、分析和应用，并承担起各部门之间的数据统筹协调工作。 经过多年的数据沉淀和对信息化的探索，南海数据统筹局已拥有3.1亿条数据，并先后搭建起地图库、法人库、人口库、政务库、产业经济库、决策分析库等几大数据库和主题库。 在金融信用体系建设方面，该区已经启动了政银企征信云项目，利用数据统筹局的大数据，将金融机构的数据跟全区企业的数据整合，建立一个信用体系，解决中小微企业融资难问题。 6月1日，禅城区数据统筹局召开大数据建设初步成果交流会，展示“数字禅城”“禅城一张图”等大数据项目的推进和应用情况。这也是禅城区数据统筹局首次亮相，向外界系统展示探索“数字政务”的阶段性成果。 一年前，禅城区数据统筹局挂牌成立。该局通过数据统筹共建、共享共用，力求实现“用数据决策、用数据监督、用数据创业”。禅城区委书记刘东豪曾表示，创新需要信息判断，信息来源于数据。打造大数据平台，是禅城转型升级的一个主线和重要支撑，是禅城在“第二个百年”发展规划中的创新答卷。 布局大数据，顺德在行动。去年年底，《顺德区实施政府大数据战略的若干意见》公布，提出要建立健全区政府大数据采集机制和动态更新机制，并推进全区公共基础信息共建共享，加强政府部门信息资源横向整合和管理，建设全区统一的政务大数据。 顺德建立了大数据统筹发展领导小组、设立区数据统筹机构，负责拟定并组织实施大数据发展规划，做好数据开放共享等顶层设计，推进大数据应用。 各区都在争相拥抱大数据时，佛山市一级也提出要构建完整的大数据产业体系。佛山市2017年政府工作报告显示，今年佛山计划以禅城区建设广东大数据综合试验区为示范，培育发展云计算、大数据、物联网等产业，以此深化供给侧结构性改革，促进经济加快转型发展。 在《佛山市国民经济和社会发展第十三个五年规划纲要》（下称《纲要》）中，“大数据”曾多次出现。其中，《纲要》提到要实施制造业生产服务型转变行动计划，鼓励企业积极运用云计算、大数据等信息，发展远程监测诊断、运营维护等售后服务新业态。同时《纲要》提出，佛山要加快重点领域物联网应用，加强基于云计算的大数据开发和利用，创新大数据商业模式，拓展云平台应用空间。 在2017年佛山市改革重点项目中，佛山市委书记鲁毅就亲自负责名为“创新构建数据统筹管理体制，加快佛山大数据建设和应用”的改革项目。这透露出，佛山对大数据产业的重视。未来大数据将在提升政务职能、促进简政放权、激发市场活力、改善社会治理等多个维度，为佛山带来新的发展机遇。 政企协力 大数据应用政务、市场一个都不能少 数据产业为何会成为各地政府争相布局的领域？长期关注禅城区改革发展的专家认为，大数据的包容性打开了政府各部门间、政府与市民间的边界，减少“信息孤岛”现象，让数据共享成为可能，从而使得政府协同办公的效率和为民办事效率提升，提升政府社会治理能力和公共服务能力。 在禅城，大数据的应用已经从原来“一门式”政务服务改革的“副产品”，逐渐变为“主产品”。目前禅城区发布“禅城一张图”，以基础地图为依托，以图层形式叠加建设、规划、环保等数据资源，通过不同专题领域的数据分析和展示，逐步实现了“人、事、物”联网，提高各部门各类数据资源的共享和利用。 以海量数据为基础，禅城推出《数字禅城》产品。每月一期通过大数据分析，把庞大且抽象的经济、城市、民生和热点四大板块用大数据展示出来，让禅城区各级决策者可及时了解禅城发展动态，从而提升政府服务和监督能力。 “通过大数据应用，一方面可以让政府的行政管理变得更加有效，决策更加准确，另一方面因为出色的服务和高效率的运转，提高政府公信度。”中山大学政治与公共事务管理学院教授郭巍青说。 在政府引领探索大数据应用的同时，佛山市内不少企业已经捕捉到大数据背后所带来的无限商机。运用大数据精准捕捉市场需求，重塑新的生产流程，孵化新的业态，佛山涌现出柯内特、维尚家具、西伍服饰等一批新型跨界企业。 柯内特科技环境有限公司以在线监测污水作为主要业务。随着业务的展开，该公司逐渐意识到，只有真正帮制造业发现自身存在的问题，才可以彻底打开环境服务业的市场。 柯内特总经理朱斌将企业从原来的工程安装领域、系统集成，转变为“环境与城市智能解决方案提供商”，通过对整条生产线的数据分析，帮助企业寻找生产流程的改进方法，提供智能监测系统解决方案。目前，该公司已研发出一款名为“犀牛鸟”的环境在线监测APP，为排污企业提供全程服务。 每天处理上万个数据，只为找出不同客户需求，从而提高设计效率；通过信息化手段，对订单进行“拆单”“合单”，破解定制家具难以批量化的难题，并将板材利用率提高至93%……从家具软件公司转型而来的维尚家具，利用大数据的原理，实现了家具定制的柔性化生产，成为了佛山制造业“智造”转型的典型代表。 “如今，大数据已经成为解决社会治理难点的法宝，并逐渐成为了佛山经济发展的重要动力。”长期关注佛山大数据发展的专家说。 城市新局 “大数据+”的无限可能 如何利用大数据推动社会经济发展？不少专家认为，佛山要首先做好数据的对外开放。 “一定程度来说，政府数据的开放程度，决定了当地大数据产业的发展。在国内，政府数据开放多是以应用为导向的开放，大数据产业发展越好的地方，对数据的需求也越大，有利于推动政府数据的开放。”有专家表示。 对此，南海数据统筹局采取的方针是“统筹而不替代”，也就是说哪些数据可以公开、公开到什么级别，仍然交由各部门依据相关文件和与上级沟通的情况各自决定。据透露，涉密的数据在南海区目前统筹的数据里占比不到5%。 南海数据统筹局有关负责人表示，南海区数据开放工作将按照“三步走”计划。首先实现政府职能部门、镇街政务数据共享应用，接着是将数据提供给人大，用以汇报政府行政绩效情况，最终将依据数据授权级别向社会开放数据。 与此同时，在互联网时代，大数据已经成为政府最具价值的资产。开发大数据，推动传统产业与大数据融合发展，进而走向产业化，正成为佛山大数据创新的新方向。 长期关注禅城区改革发展的专家认为，佛山有强大的制造业基础，借助数据可带来新的产值，从而推动地区向万亿城市迈进。其中关键要利用数据切入金融行业，为中小企业提供更优质的金融服务。 “目前我正在推动供应链金融的发展。”该专家举例说，一个材料商要给厂家供应材料，中间可能存在收款期或者压货的情况，这时通过对材料商信用度的判断，可以采取提前放款的方式，缩短周转时间，让资金运作更快捷，减缓商家的资金压力。“这将一定程度上解决佛山中小企业融资难的问题。” 其他城市的经验或可为佛山参考。 在利用大数据进行城市管理方面，杭州是其中的佼佼者。杭州正在运作“城市数据大脑”，通过数据分析，科学设置红绿灯市场，缓解交通拥堵等。它还能帮助城市思考、决策，成为一座能够自我调节的城市。 如今，大数据已经渗透并深入应用到杭州的政府管理、工业制造、商业金融、教育科技、民生服务等经济社会各领域，成为促进生产方式、生活方式和社会管理方式创新变革的重要驱动力。 在贵阳，全国首家大数据交易所的诞生，不仅解决了传统运营商企业拥有大量数据资源却因政策导致数据资产变现困难的问题，还吸引了海量优质数据资源，培育数据产业创新企业，使得贵阳抢占了大数据产业发展的制高点。 为了更好地进行数据应用，提供数据增值服务，贵阳还设置了呼叫中心，负责具体的数据服务和数据应用。该中心与数据交易所构成了当地大数据产业发展的关键基础。 实施大数据战略，对于政府部门来说，不仅意味着降低企业经营成本，推动地区经济产业发展，也意味着以此加速政府理念的创新、政府职能的转变和政府流程的再造，最终实现全面深化改革。 佛山“大数据+”的城市新局正在徐徐拉开帷幕。 本文转自d1net（转载）