天使轮获数百万投资,神箭手从爬虫切入构建大数据应用开发平台

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

随着数字化进程的加速,企业越来越重视数据的价值。根据IDC预计,全球大数据市场规模在2019年将达到1870亿美金。其中,企业除了关注自身的经营数据之外,对于外部数据,尤其是与自身息息相关的(如竞品动态、舆情信息等)数据也非常关注。

在获取这些数据时,最常用的手段就是爬虫技术。但传统的爬虫开发难度大,除了需要自己搭建服务器并运维,还需要工程师根据爬取需求编写代码、对接代理服务等等。计算下来,企业平均每月开发和运维成本往往需要上万元。

而猎云网今天带来的“神箭手”则为个人开发者和企业提供了简单便捷的爬虫工具。该项目创始人吴桐2013年硕士毕业于西安交大软件工程专业,毕业后加入谷歌搜索基础设施组,2014年离开谷歌创办壁虎数据恢复项目。

2015年8月,吴桐再度出发创办神箭手,从爬虫切入,希望把谷歌的大数据开发的管理理念带给更多用户。其核心创始团队都是吴桐的大学同窗,从大三时期就与吴桐一起创业。吴桐向猎云网独家透露,神箭手曾于2015年11月获得过来自中路资本的数百万元天使轮融资。

吴桐介绍,神箭手致力于成为一个一站式大数据应用开发平台,旨在通过为客户提供完整的开发架构和套件,降低大数据和AI应用开发的部署难度,实现从数据采集、清洗、训练、导出的完整生命周期。

当然,对于尚在起步阶段的神箭手来说,实现完整数据处理周期尚需时日。不过,该平台已经在第一步的数据采集方面体现出了自己的特点与优势。“爬虫市场”就是其中之一。

为了最大限度降低个人开发者和企业使用爬虫的技术门槛,神箭手团队自行编写了上百个爬虫,使用者无需关注如何设置IP、如何设置验证码,甚至对编程一窍不通的小白用户,也可以直接使用。

image

  神箭手操作界面

据猎云网了解,神箭手提供的爬虫可爬取的数据源囊括社交、电商、生活服务、互金、休闲旅游、汽车交通、医疗健康以及其他等多种分类。包括微博、淘宝、天猫、京东等网站的爬虫,都能在爬虫市场中找到。

值得一提的是,神箭手提供的爬虫目前全部都是团队自行编写。之所以尚未提供第三方开发者编写的爬虫,吴桐认为,爬虫对于代码编写技术要求较高,否则在运行时稳定性将受到影响。

虽然如此,但吴桐强调,现在的神箭手并非仅仅提供傻瓜式爬虫,而是一个开发平台。如果平台提供的爬虫无法满足用户需求,那么有开发实力的用户也可以在神箭手平台上自行编写爬虫并使用,并且平台对于这种用户还会有一定的鼓励。

除爬虫以外,目前平台也提供了诸多API调用。“其实,无论是爬虫还是API,甚至是直接购买数据池,都是用户获取数据的方式。我们希望夯实数据采集的第一步,再为用户提供后续的数据服务。”吴桐说。

在商业模式上,神箭手采用的是销售计算节点(服务器)的方式,每个节点79元,节点越多,爬虫爬取的速度越快。当然,平台也有套餐销售,根据节点数不同分为个人版和企业版。用户购买节点之后,根据爬虫所适用的最低套餐即可使用爬虫。而API则根据调用次数进行收费。

自2015年底产品上线以来,神箭手已积累了超过4万名用户注册使用,其中包括500多家企业套餐付费客户,目前月收入已超过20万元。

在数据采集器市场,其实已有包括八爪鱼这种工具存在。对于细分领域的竞争,吴桐认为,八爪鱼等产品是以软件形式存在,必须本地运行,这在数据爬取和软件更新时就会有所限制。而神箭手则是云服务形式,更灵活,自主性更强。另外其更专注对头部网站的爬取,这也是客户的重点需求。

接下来,吴桐透露,神箭手在解决了第一步数据采集之后,就要向云端机器学习、数据清洗、BI等后续环节迈进。另外,为企业提供私有化部署也是神箭手下一阶段的计划之一。

未来,吴桐希望能够将谷歌的代码管理理念融入神箭手,现在正在进行运行权限管理的研发,在未来实现云协同开发。

目前,该项目正在进行新一轮融资。

本文转自d1net(转载)

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
19天前
|
SQL 分布式计算 大数据
大数据新视界 --大数据大厂之Hive与大数据融合:构建强大数据仓库实战指南
本文深入介绍 Hive 与大数据融合构建强大数据仓库的实战指南。涵盖 Hive 简介、优势、安装配置、数据处理、性能优化及安全管理等内容,并通过互联网广告和物流行业案例分析,展示其实际应用。具有专业性、可操作性和参考价值。
大数据新视界 --大数据大厂之Hive与大数据融合:构建强大数据仓库实战指南
|
21天前
|
数据采集 XML 存储
Headers池技术在Python爬虫反反爬中的应用
Headers池技术在Python爬虫反反爬中的应用
|
3月前
|
存储 SQL 大数据
【重磅发布】AllData数据中台核心功能:湖仓一体化平台
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
【重磅发布】AllData数据中台核心功能:湖仓一体化平台
|
3月前
|
SQL 存储 HIVE
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享,主要涵盖四个方面:鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖,解决了Hudi入湖的痛点,并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外,还探讨了湖仓一体平台的落地效果及未来技术发展方向,包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。
350 1
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
|
2月前
|
SQL 存储 HIVE
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
192 2
|
3月前
|
存储 分布式计算 大数据
基于阿里云大数据平台的实时数据湖构建与数据分析实战
在大数据时代,数据湖作为集中存储和处理海量数据的架构,成为企业数据管理的核心。阿里云提供包括MaxCompute、DataWorks、E-MapReduce等在内的完整大数据平台,支持从数据采集、存储、处理到分析的全流程。本文通过电商平台案例,展示如何基于阿里云构建实时数据湖,实现数据价值挖掘。平台优势包括全托管服务、高扩展性、丰富的生态集成和强大的数据分析工具。
|
3月前
|
SQL 人工智能 大数据
【4月重点功能发布】阿里云大数据+ AI 一体化平台
【4月重点功能发布】阿里云大数据+ AI 一体化平台
|
3月前
|
SQL 人工智能 分布式计算
【3月重点功能发布】阿里云大数据+ AI 一体化平台
【3月重点功能发布】阿里云大数据+ AI 一体化平台
|
1月前
|
数据采集 测试技术 C++
无headers爬虫 vs 带headers爬虫:Python性能对比
无headers爬虫 vs 带headers爬虫:Python性能对比
|
13天前
|
数据采集 存储 NoSQL
分布式爬虫去重:Python + Redis实现高效URL去重
分布式爬虫去重:Python + Redis实现高效URL去重

热门文章

最新文章