游击式大数据软件使农民的数据分析速度加快了五倍

简介:

收集数据后,在批处理模式数据集市下聚集和查询数据,以获取商业智能,这是实际应用大数据及分析的主要方式。它还有助于为新兴国家的人们确保有一个公平的竞争环境,为他们节省时间,并且迅速深入了解数据查询情况。

Springg就是个例子,荷兰的这家农业软件公司在与世界各地的农民合作。由于发展中国家缺乏基础设施,又认识到这些国家的农民需要与发达国家的农民那样同样可以访问农业信息,Springg想要找到一种方法,可以从田间获取宝贵数据,这些数据经评估后,可以将宝贵的信息迅速返回给较偏远地区的农民。

Talend公司专门提供Springg使用的大数据集成软件,首席营销官(CMO)阿什利·斯特拉普(Ashley Stirrup)说:“对于农民来说,采取土壤样本很重要,那样你就能更清楚地了解土地的特性,可以施什么类型的肥料,以便作物有最高产量。”

在以往,田地土壤样本在当地采取后,送到远在几百英里、乃至几千英里之外的实验室进行分析。

斯特拉普说:“Springg想要做的就是,在肯尼亚建立可以利用物联网技术的移动测试中心。”通过使用移动测试中心,Springg就能够借助传感器收集当地的土壤数据,然后在现场进行土壤分析,那样当地农民立即就能了解土壤情况以及最适合作物的肥料。土壤数据直接在田间加以收集和分析。然后发送到集中式数据库,可以在更综合、更全面的环境下进一步分析数据。

斯特拉普特别指出:“对于当地农民来说,这个过程极为高效,它将实验室分析土壤的速度加快了五倍。在欠发达地区,结果准确性和成本至关重要。这关系到一户家庭能否自给自足或者孩子能否上学。”

想把本地数据收集和分析之间的所有点联系起来,然后将数据发送到远地更庞大的数据资料库,这就需要形形色色的技术,从无线通信、移动电话,到可以处理不同国家电信环境的灵活的通讯协议,不一而足。斯特拉普说:“我们自己的数据工具应用于这种使用场合,我们想要一种解决方案可以处理任何类型的移动设备,并可以根据需要支持简单的通信协议。”

在当地的游击式田间应用程序(比如借助物联网传感器现场收集数据)中,还要确保数据准备和传输具有灵活性,那样可以捕获、分析、最终利用数据。

斯特拉普说:“有了这一种方法,你可以调入从世界各地的传感器收集而来的数据。然后,你可以在现场实时或近实时分析该数据,从数据立即获得当地结果。”

之后,数据从世界各地的多个收集点收集而来,然后发送到集中式数据资料库,数据可以改而用于众多用途。

斯特拉普说:“进一步利用这种农业数据的一种方法就是应用于金融市场。当一个系统能够分析并生成从世界各地的农业收集点收集而来的宝贵信息,许多公司就能更深入地了解当前的作物产量与历史趋势相比如何,天气状况对收成起到了怎样的影响,对大宗商品价格可能会有什么样的影响。”

使用这种“田间”的游击式数据收集和分析,立即将结果返回给当地农民,随后一路发送到大型数据资料库,然后数据进行进一步的分析,用于各大金融市场的趋势建模和决策,这种使用仍处于初期阶段,不过对于一种从宏观和微观两方面都可加以分析的数据模式而言,结果大有希望。

原文发布时间为:2016年6月29日
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
2月前
|
数据可视化 大数据 关系型数据库
基于python大数据技术的医疗数据分析与研究
在数字化时代,医疗数据呈爆炸式增长,涵盖患者信息、检查指标、生活方式等。大数据技术助力疾病预测、资源优化与智慧医疗发展,结合Python、MySQL与B/S架构,推动医疗系统高效实现。
|
2月前
|
机器学习/深度学习 搜索推荐 数据挖掘
数据分析真能让音乐产业更好听吗?——聊聊大数据在音乐里的那些事
数据分析真能让音乐产业更好听吗?——聊聊大数据在音乐里的那些事
187 9
|
3月前
|
数据可视化 数据挖掘 大数据
基于python大数据的水文数据分析可视化系统
本研究针对水文数据分析中的整合难、分析单一和可视化不足等问题,提出构建基于Python的水文数据分析可视化系统。通过整合多源数据,结合大数据、云计算与人工智能技术,实现水文数据的高效处理、深度挖掘与直观展示,为水资源管理、防洪减灾和生态保护提供科学决策支持,具有重要的应用价值和社会意义。
|
4月前
|
存储 数据挖掘 大数据
基于python大数据的用户行为数据分析系统
本系统基于Python大数据技术,深入研究用户行为数据分析,结合Pandas、NumPy等工具提升数据处理效率,利用B/S架构与MySQL数据库实现高效存储与访问。研究涵盖技术背景、学术与商业意义、国内外研究现状及PyCharm、Python语言等关键技术,助力企业精准营销与产品优化,具有广泛的应用前景与社会价值。
|
5月前
|
机器学习/深度学习 Java 大数据
Java 大视界 -- Java 大数据在智能政务公共资源交易数据分析与监管中的应用(202)
本篇文章深入探讨了 Java 大数据在智能政务公共资源交易监管中的创新应用。通过构建高效的数据采集、智能分析与可视化决策系统,Java 大数据技术成功破解了传统监管中的数据孤岛、效率低下和监管滞后等难题,为公共资源交易打造了“智慧卫士”,助力政务监管迈向智能化、精准化新时代。
|
机器学习/深度学习 数据采集 数据可视化
基于爬虫和机器学习的招聘数据分析与可视化系统,python django框架,前端bootstrap,机器学习有八种带有可视化大屏和后台
本文介绍了一个基于Python Django框架和Bootstrap前端技术,集成了机器学习算法和数据可视化的招聘数据分析与可视化系统,该系统通过爬虫技术获取职位信息,并使用多种机器学习模型进行薪资预测、职位匹配和趋势分析,提供了一个直观的可视化大屏和后台管理系统,以优化招聘策略并提升决策质量。
874 4
|
数据采集 数据可视化 数据挖掘
数据分析大神养成记:Python+Pandas+Matplotlib助你飞跃!
在数字化时代,数据分析至关重要,而Python凭借其强大的数据处理能力和丰富的库支持,已成为该领域的首选工具。Python作为基石,提供简洁语法和全面功能,适用于从数据预处理到高级分析的各种任务。Pandas库则像是神兵利器,其DataFrame结构让表格型数据的处理变得简单高效,支持数据的增删改查及复杂变换。配合Matplotlib这一数据可视化的魔法棒,能以直观图表展现数据分析结果。掌握这三大神器,你也能成为数据分析领域的高手!
262 2
|
机器学习/深度学习 算法 数据挖掘
2023 年第二届钉钉杯大学生大数据挑战赛初赛 初赛 A:智能手机用户监测数据分析 问题二分类与回归问题Python代码分析
本文介绍了2023年第二届钉钉杯大学生大数据挑战赛初赛A题的Python代码分析,涉及智能手机用户监测数据分析中的聚类分析和APP使用情况的分类与回归问题。
372 0
2023 年第二届钉钉杯大学生大数据挑战赛初赛 初赛 A:智能手机用户监测数据分析 问题二分类与回归问题Python代码分析
|
机器学习/深度学习 算法 数据挖掘
数据分析的 10 个最佳 Python 库
数据分析的 10 个最佳 Python 库
1218 4
数据分析的 10 个最佳 Python 库
|
机器学习/深度学习 数据采集 数据可视化
数据分析之旅:用Python探索世界
数据分析之旅:用Python探索世界
153 3