Tapdata 创始人唐建法:以秒级响应速度,为企业提供实时数据服务 | 阿里云云原生加速器特别报道

本文涉及的产品
云原生网关 MSE Higress,422元/月
容器服务 Serverless 版 ACK Serverless,317元额度 多规格
应用实时监控服务-用户体验监控,每月100OCU免费额度
简介: Tapdata 一直以生态伙伴的身份与阿里云保持着深度合作。未来,借助阿里云的生态战略与生态集成技术的全面开放,双方的紧密合作将进入新的阶段,共同为中国数千万家企业提供数字化转型服务。

作者:云原生加速器


数字化转型正当时,各行各业都在乘风破浪,加速数字化进程。随着信息化、数字化的不断渗透,企业在经营和业务过程中产生的数据爆发式增长。数据驱动增长的现实条件之下,对数据的获取、处理和应用的需求愈发迫切。


然而,多年烟囱式的信息化建设,造成许多孤岛式系统和数据,海量而零散的数据,成为企业数字化征程上最大“拦路虎”。随着数字化进程加快,数据的时效性也关乎到企业的生存发展。

1.jpeg


如果能够将这些孤岛式的数据平台以某种方式连接起来,并且给他们安上一个个“水龙头”,当企业需要的时候,一打开水龙头,数据就像水一样源源不断地流出来。让用户使用属于他们的数据,像喝新鲜扎啤那么简单。这正是钛铂数据(Tapdata)在做的事情。


让企业使用数据像拧开水龙那样简单


过去数十年间,企业在信息化进程中搭建了非常多的业务系统。如今数字化浪潮奔涌而至,各行各业迸发出各种定制化业务系统的需求。随着数据架构日益低代码化和平台化,各类新的业务和数据系统数量仍在不断扩张。


企业在信息化和数字化建设过程中,通常涉及到两类数据的处理:OLTP和OLAP。其中,OLTP(Online Transaction Processing )指事务型系统,如浏览电商网页、下单、打车、内部流程等;OLAP(Online Analytical Processing)即分析型系统,指对已产生的业务数据,通过聚合、分组统计、AI等方式进行分析,得出一些洞察,以改进业务流程或提升客户体验。


当企业开始使用ERP、BI报表、数据大屏、标签画像等各类系统时,由此产生的海量数据也散落在不同系统。当有新业务时,往往需要从不同数据库里提取不同结构的数据。然而,这些数据源可能有成千上万甚至百万个,不同源库之间数据并不相通,处于一种数据孤岛的状态,导致数据应用的价值低效且难以释放。


随着IT架构的迭代升级和业务端的全渠道营销,新一代的运营型分析以及交互型业务场景逐渐成为主流数据应用。企业需要获取最新的实时数据,为客户做及时的业务响应。尽管目前数据库和存储库已经很强大,很多企业也拥有各类SaaS系统,但针对交互式App或运营分析的场景,对实时数据支持力度有限。


2.jpeg


在数字化转型过程中,企业面临着两大难题,一是多年信息化过程中造成的数据孤岛,一是对数据实时性要求越来越高。在 NoSQL 数据库公司 MongoDB 担任首席架构师的时候,唐建法就观察到了这个刚性需求。


唐建法曾在北美留学、工作十余年。2014年,加入 MongoDB,通过大会、博客、文档翻译、免费社区技术支持等方式,一手打造了 MongoDB 非盈利的技术交流中文社区。


在 MongoDB 工作期间,唐建法接触到很多行业的客户,他从客户侧也强烈地感受到了,企业在数字化转型过程中遇到的上述的数据难题。


事实上,数据仓、大数据平台、数据中台等几代数据工具和架构都在解决“数据孤岛”问题,只是支持的核心业务偏 OLAP 场景,重在对历史数据做洞察和分析,能为企业提供即时数据,用于 OLTP 业务支撑的实时数据平台十分匮乏。


另外,企业在 OLTP 上的预算投入占到 90% 以上,虽然这个比例随着数据分析价值的凸显正在逐渐缩小,但仍有巨大市场潜力。


正是基于这些考量,一个能够快速打通数据孤岛,为 OLTP 业务提供实时数据的新型平台就呼之欲出。


2019年9月,唐建法从 MongoDB 辞职,创办了 Tapdata,推出面向事务型业务(OLTP)的 DaaS 平台,提供了一套易集成、易维护、完整且实时的数据平台解决方案,助力企业数字化转型。


经过3年发展,唐建法当初的构想已经实现,Tapdata 已经搭建了像自来水管一样的数据架构,当需要数据时,企业直接拧水龙头,就能获得新鲜数据。


打造一款好用的新一代实时数据产品


作为国内实时 DaaS 赛道的开创者和领跑者,Tapdata 一直聚焦数据即服务,成为一家针对企业运营中的 TP 业务,以毫秒级响应速度,提供实时数据平台服务。


“国内实时数据处理集成,包括Daas服务、主数据服务,Tapdata 是领先的。目前Tapdata 已经有7000多家用户,同步的数据已达到几百亿行的级别”唐建法谈到。


今年6月,Tapdata 官宣自带 ETL 的实时数据平台 Tapdata Live Data Platform 上线。这款产品的核心突破点在于,实现了完整的基于 CDC 的异构数据实时集成和计算建模的能力,可以源源不断对数十种源数据库实时采集并输送到 DaaS 存储,确保数据在DaaS 里始终得到实时更新。

3.gif


唐建法谈到,Tapdata 产品最明确的定位有两个方向,其中之一,是做云上数据集成,也就SaaS服务。另一个是在云上搭建数据服务平台,帮助企业把数据集中到这个托管平台,提供无代码的实时数据服务,满足企业一站式获取数据的需求。


据了解,Tapdata Live Data Platform 具备实时数据集成(ETL)和实时数据服务(DaaS)两大核心技术能力。可以做到对企业所有数据系统进行无缝无代码实时打通,从多套系统中进行数据实时采集,然后同步到中央化的数据平台,并通过 API 或反向同步方式,为下游业务的交互式应用、微服务或交互式分析提供新鲜实时的数据。


通俗来讲,就是当有新业务时,企业不需要再去各个地方做数据同步、复制、开发,操作人员只须用一个标准的操作方式就能获取最新最实时的数据。


唐建法称,相较于传统方案,Tapdata 的核心竞争力体现在“全链路实时”。从数据产生开始,第一时间对数据进行实时采集、加工和服务。从采集到交付,整个过程最快用时不到一秒钟。而以前的方案都是基于小时或者最快15分钟才能做一些数据的抽取同步。

Tapdata 在消费端上呈现出的数据,也都是一些最新的数据或业务状态,这也是全链路实时能力的体现,即提供更加实时、快速的产品体验。


总体而言,Tapdata 的核心能力在于多源异构数据库的实时打通,拖拉拽模式的数据开发,以及低代码数据发布及推送能力,提供毫秒级查询响应及数以万计的并发,和源系统的数据延迟保持在亚秒级。


为方便用户使用,Tapdata 的实时数据平台设置三种发布形式。其中,线上版本针对新一代企业,或已在云上的云原生公司、互联网公司等。线下版则是针对很多尚未在云上的传统企业。


因为实时 DaaS 难度大、概念新,许多企业并没有那么容易接受,Tapdata 在市场推广上采取“曲线救国”的方式。比如,开放了开源版本,即通过一种源代码可用的方式,使不能上云的用户也能使用到 Tapdata 的先进技术。


唐建法解释称,商业化和开源并不矛盾的,通过开源方式能让产品更广泛地触达目标用户,让大家体会到实时数据的价值,能进一步了解并采用 Tapdata 的数据架构及产品,对商业版有一定促进作用。另外,打磨产品最关键的是接收到用户的反馈,开源是一个非常好的共创产品的渠道。


成立三年来,Tapdata 发展迅速,早期就有很不错的资本投入,先后获得变量资本和蓝海资本以及五源资本、XVC 及德联资本数千万美元投资。而且获得诸多行业标杆客户认可,包括中国移动、中国一汽、周生生、TCL、南方电网、富邦银行等。


4.png


早在2020年,Tapdata 营收超过千万元,实现收支均衡。Tapdata将海外市场作为未来增长的重要方向。在尚未开源和推广的情况下,Tapdata 已经获得若干海外付费客户。


作为一家技术驱动产品的公司,唐建法认为,产品是公司的灵魂,创业成功的关键在于打造一款好产品。只有好产品,才能让团队长久地保持热情。另外,还要跑在好的赛道上。


在唐建法看来,实时 DaaS 赛道非常清晰,每个企业都有对数据进行集成加工处理的需求,而且上云是未来发展趋势。只要抓住机会,把产品做好,市场是非常广阔的。


成长在阿里云:云原生助力企业打破传统数据库瓶颈


随着越来越多企业迁移上云,具有高性能、高可用性和高安全性等特点的云上托管数据库及云原生数据库,正成为企业实现高效创新,打破传统数据库瓶颈的首选。


在唐建法看来,云原生是以云作为起点,所有计算存储处理,信息化或者数字化都是基于云,做基础架构的方式。Tapdata 本身是一个连接数据的产品,其开发测试、环境部署、产品交付都很依赖云来发展。


相比于互联网等云原生企业,传统企业在数字化转型时面临的数据挑战更为艰巨,他们也将目光投放到能大大降低成本的云原生数据库的建设中。


唐建法判断,按照趋势,即使是传统企业,未来也都会需要做规划和迁移,最终把主要的基础架构都搬到云上。


而一些互联网公司一开始所有数据库、应用或服务,全部构建在云上,在不同的云上可能有不同的数据或业务的系统。对于这些云原生企业,Tapdata也可以帮他们把数据打通连接,为其新业务提供很好的数据支撑。


基于云原生架构,Tapdata 在国内率先推出“异构数据实时同步 SaaS 平台”——Tapdata Cloud。


今年8月底,Tapdata Cloud 入选阿里云首期云原生加速器。本次通过产品生态集成认证,是云原生自加速器项目启动后,Tapdata 与阿里云正式在产品层面展开合作。


5.jpeg

第一期阿里云云原生加速器路演


阿里云拥有丰富的云原生产品家族,有超过300款的产品,近千个技术解决方案。阿里云产品生态集成认证,是面向阿里云合作伙伴自有产品、解决方案与阿里云相关产品的兼容性、可用性的技术能力认证。


此番认证,表明 Tapdata 的技术能力、产品应用水平已满足阿里云相关产品的适配性要求,有利于双方一起丰富云原生产业生态圈,加速云原生落地。


唐建法认为,阿里云的云生态可圈可点,产品能力最为完整。通过云原生加速器项目,Tapdata 接触到阿里云很多产品线,也与阿里云的一些产品做了实质性的对接。阿里云提供的一些资源、产品和技术,帮助Tapdata的产品更好地扩展出去,促进增长。


唐建法表示,与阿里云的合作,基于阿里云Serverless产品能力,使 Tapdata 研发效率大幅提升,节省部署时间和上云成本,且能提供更好的客户体验。


Tapdata 一直以生态伙伴的身份与阿里云保持着深度合作。未来,借助阿里云的生态战略与生态集成技术的全面开放,双方的紧密合作将进入新的阶段,共同为中国数千万家企业提供数字化转型服务。

相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。   相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
相关文章
|
11天前
|
Kubernetes Cloud Native 云计算
云原生技术深度解析:重塑企业IT架构的未来####
本文深入探讨了云原生技术的核心理念、关键技术组件及其对企业IT架构转型的深远影响。通过剖析Kubernetes、微服务、容器化等核心技术,本文揭示了云原生如何提升应用的灵活性、可扩展性和可维护性,助力企业在数字化转型中保持领先地位。 ####
|
9天前
|
运维 Cloud Native 应用服务中间件
阿里云微服务引擎 MSE 及 云原生 API 网关 2024 年 10 月产品动态
阿里云微服务引擎 MSE 面向业界主流开源微服务项目, 提供注册配置中心和分布式协调(原生支持 Nacos/ZooKeeper/Eureka )、云原生网关(原生支持Higress/Nginx/Envoy,遵循Ingress标准)、微服务治理(原生支持 Spring Cloud/Dubbo/Sentinel,遵循 OpenSergo 服务治理规范)能力。API 网关 (API Gateway),提供 APl 托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等 API 生命周期阶段。帮助您快速构建以 API 为核心的系统架构.满足新技术引入、系统集成、业务中台等诸多场景需要
|
10天前
|
运维 Cloud Native Devops
云原生架构:重塑企业IT的未来####
随着数字化转型浪潮的汹涌,云原生架构凭借其高度灵活、可扩展和高效的特性,正逐步成为企业IT系统的核心。本文将深入探讨云原生架构的核心要素、技术优势以及如何引领企业实现业务创新与敏捷交付。 ####
|
21天前
|
敏捷开发 Cloud Native 持续交付
云原生技术在现代企业中的应用与实践
【10月更文挑战第23天】本文将深入探讨云原生技术在现代企业中的广泛应用,并结合具体案例分析其对企业数字化转型的推动作用。我们将从云原生技术的基本原理出发,逐步揭示其在提高业务敏捷性、降低成本和增强系统可靠性方面的优势。同时,文章还将分享一系列成功实施云原生技术的企业案例,为读者提供实践中的参考和启示。最后,我们将讨论云原生技术面临的挑战及未来的发展趋势,为企业在这一领域的进一步探索提供指导。
|
25天前
|
Cloud Native Devops 持续交付
云原生架构:重塑企业IT的无形之手####
本文旨在探讨云原生架构如何成为推动企业数字化转型的核心动力,它不仅是一种技术升级,更是业务与开发模式的深刻变革。通过剖析云原生的核心要素——微服务、容器化、持续集成/持续部署(CI/CD)、以及DevOps文化,本文揭示了这一架构如何提升系统的弹性、可扩展性和敏捷性,为企业在竞争激烈的市场环境中赋予快速响应和创新的能力。不同于传统综述,本文将以一个虚构案例贯穿始终,直观展示云原生架构从理论到实践的转化过程,为读者提供一幅生动的技术蓝图。 --- ###
|
29天前
|
运维 监控 Cloud Native
云原生技术在现代企业中的应用与挑战####
【10月更文挑战第15天】 本文深入探讨了云原生技术如何重塑企业的IT架构,并分析了其带来的机遇与面临的挑战。通过案例分析,揭示了云原生技术在提升业务敏捷性、降低运维成本方面的显著优势,同时也指出了在安全性、多云管理等方面的潜在难题,为企业决策者提供了有价值的参考。 ####
25 3
|
25天前
|
运维 Cloud Native 持续交付
云原生技术解析:从IO出发,以阿里云原生为例
【10月更文挑战第24天】随着互联网技术的不断发展,传统的单体应用架构逐渐暴露出扩展性差、迭代速度慢等问题。为了应对这些挑战,云原生技术应运而生。云原生是一种利用云计算的优势,以更灵活、可扩展和可靠的方式构建和部署应用程序的方法。它强调以容器、微服务、自动化和持续交付为核心,旨在提高开发效率、增强系统的灵活性和可维护性。阿里云作为国内领先的云服务商,在云原生领域有着深厚的积累和实践。
52 0
|
6天前
|
Cloud Native 安全 数据安全/隐私保护
云原生架构下的微服务治理与挑战####
随着云计算技术的飞速发展,云原生架构以其高效、灵活、可扩展的特性成为现代企业IT架构的首选。本文聚焦于云原生环境下的微服务治理问题,探讨其在促进业务敏捷性的同时所面临的挑战及应对策略。通过分析微服务拆分、服务间通信、故障隔离与恢复等关键环节,本文旨在为读者提供一个关于如何在云原生环境中有效实施微服务治理的全面视角,助力企业在数字化转型的道路上稳健前行。 ####
|
7天前
|
运维 Kubernetes Cloud Native
云原生技术:容器化与微服务架构的完美结合
【10月更文挑战第37天】在数字化转型的浪潮中,云原生技术以其灵活性和高效性成为企业的新宠。本文将深入探讨云原生的核心概念,包括容器化技术和微服务架构,以及它们如何共同推动现代应用的发展。我们将通过实际代码示例,展示如何在Kubernetes集群上部署一个简单的微服务,揭示云原生技术的强大能力和未来潜力。
|
17天前
|
弹性计算 Kubernetes Cloud Native
云原生架构下的微服务设计原则与实践####
本文深入探讨了在云原生环境中,微服务架构的设计原则、关键技术及实践案例。通过剖析传统单体架构面临的挑战,引出微服务作为解决方案的优势,并详细阐述了微服务设计的几大核心原则:单一职责、独立部署、弹性伸缩和服务自治。文章还介绍了容器化技术、Kubernetes等云原生工具如何助力微服务的高效实施,并通过一个实际项目案例,展示了从服务拆分到持续集成/持续部署(CI/CD)流程的完整实现路径,为读者提供了宝贵的实践经验和启发。 ####