前言
正所谓 “抬头看天，低头走路”，大数据从业者既要脚踏实地立足当前技术栈做出高效易用的大数据产品，又要仰望星空顺应大数据的发展趋势，做出有技术前瞻性能适应未来变化的大数据产品。
明哥希望通过本文，梳理下历年 Gartner hype cycle 中关于大数据的部分，带领大家理清大数据行业的发展历史和趋势。
需要说明的是，这些趋势不是遥远的虚无缥缈的（比如量子计算），而是已经在发生并将持续影响未来三至五年的实实在在的大数据的发展趋势。
介绍下 Gartner hype cycle
Gartner Hype Cycle, 直译为炒作周期, 大家一般称为技术成熟度曲线，是 Gartner 对各种新技术或其他创新的典型发展过程的图形化的描述。
Gartner 自 1995 年起，每年都针对各种技术和应用领域创建 90 多张技术成熟度曲线，用来帮助客户跟踪技术的成熟度和未来潜力。 Gartner 将每项技术的发展过程分为五个阶段:
- 创新萌发期/技术萌发期（Innovation Trigger）：技术成熟度曲线从技术突破、公开示范、产品发布或引起媒体和行业对一项技术创新的兴趣的其他事件开始；
- 顶峰期/过热期/期望峰值期（Peak of Inflated Expectations）：在这种新技术上的建设和预期出现高峰，超出其能力的当前现实，有些情况下会形成投资泡沫；
- 低谷期/幻灭期（Trough of Disillusionment）：不可避免地，人们对结果的失望开始取代人们最初对潜在价值的热望。绩效问题、低于预期的采用率或未能在预期时间获得财务收益都导致预期破灭；
- 爬升期/复苏期(Slope of Enlightenment)：一些早期采纳者克服了最初的困难，开始获得收益，并继续努力前行。基于早期采纳者的经验，人们对可以获得良好效果的技术应用区域和方法加深了理解，更为重要的是，人们知道了这种技术在哪些方面没有或几乎没有价值；
- 稳定期/成熟期（Plateau of Productivity）：技术的实际效益得到证明和认可后，越来越多的企业感到可以接受当前已经大幅降低的风险水平。由于生产价值和使用价值，技术采用率开始快速上升(“曲棍球棒形”)，渗透很快加速。
Gartner hype cycle
历年 Gartner Emerging Technologies Hype Cycle 中大数据的身影
我们看下历年 Gartner Emerging Technologies Hype Cycle 中大数据的身影：
- Gartner 自 2011 年起开始将大数据“big data” 纳入 Emerging Technologies Hype Cycle 并进入到上升期/创新萌发期 (当时还被称为 “big data and extreme information processing and management”);
- 在 2012 年 “big data” 开始进入顶峰期;
- 在 2013 年达到顶峰期的顶峰;
- 并在 2014 年最后一次被收录 Emerging Technologies Hype Cycle 的顶峰期;
- 在此之后历年的 Emerging Technologies Hype Cycle 中就再也没有大数据“big data”的身影了。
Hype Cycle for Big Data
在 2012 年和 2013 年，Gartner 还专门发布了针对大数据领域 hype cycle：
Gartner 在 2014 年后不再将大数据收录到 Emerging Tec 2012hnologies Hype Cycle 中，也不再有专门针对大数据行业的 hype cycle，说明了什么？
Gartner 在 2014 年后不再将大数据收录到 Emerging Technologies Hype Cycle 中，也不再有专门针对大数据行业的 hype cycle, 并不能说明大数据的没落，恰恰相反，这正说明大数据已经快速步入到了稳定的成熟期，也已经渗透到了各行各业的方方面面，藏身于很多技术领域的 hype cycle 身影之后。
正如负责编写 Emerging Technologies Hype Cycle 的 Gartner 分析师 Betsy Burton 所说：
“There’s a couple of really important changes, We’ve retired the big data hype cycle. I know some clients may be really surprised by that because the big data hype cycle was a really important one for many years. But what’s happening is that big data has quickly moved over the Peak of Inflated Expectations, and has become prevalent in our lives across many hype cycles. So big data has become a part of many hype cycles.”, "I would not consider big data to be an emerging technology, this hype cycle is very focused. I look at emerging trends."
2020 年 Gartner 针对数据和分析领域发布的多个 hype cycle
在 2020 年，Gartner 针对数据和分析领域，发布了以下多个 hype cycle，这背后其实都是大数据的身影:
- Hype Cycle for Enterprise Information Management
- Hype Cycle for Analytics and Business Intelligence
- Hype Cycle for Data Management
- Hype Cycle for Data Science and Machine Learning
- Hype Cycle for Artificial Intelligence
- Hype Cycle for the Internet of Things
- Hype Cycle for Data and Analytics Governance and Master Data Management
- Hype Cycle for Natural Language Technologies
- Hype Cycle for Data Security
- Hype Cycle for Customer Experience Analytics
对大数据从业人员的启示
通过梳理以上历年 Gartner hype cycle 中大数据的身影，我们大体了解了大数据的历史和发展趋势，这也对大数据行业的从业人员，尤其是从业经验较长的大数据从业人员，提出了新的要求：
- 大数据从业人员，需要对大数据进行重定义和再认识，不能再简简单单局限在对大数据 5V 的认识上；（就像忒修斯之船所映射的哲学悖论那样，大数据已经不再是原来的大数据了！）
- 大数据从业人员，不能固步自封，将自己限定在“小”的大数据技术如 hadoop 上，而要扩大视野到整个“大”大数据生态，包括 hadoop 生态，数据库生态，云计算生态，物联网生态，机器学习和人工智能生态，等等；
- 大数据从业人员，要在广度和深度上，不断学习和提高自己，确保自身技术的与时俱进；
- 具体来讲，大数据从业人员，要了解和熟悉以下相关术语的概念和内涵：数据仓库，数据湖泊，数据沼泽，数据湖仓/湖仓一体，流批一体，元数据，主数据，数据编织/数据经纬（data fabric）, 云计算，雾计算，物联网，车联网，边缘计算，OLTP, OLAP, HTAP, HSAP，NoSQL, NewSql，等等。
