Facebook的“大数据”到底有多大

简介:

据说这是一个“大数据”的时代,到底有多大呢?

Facebook最近在总部的一次会议中披露的一组数据可以给大家一个初步的印象,来一起看看每天Facebook上都得处理多少数据吧:

25亿 Facebook上分享的内容条数

27亿 “赞”的数量,

3亿 上传照片数

500+TB 新产生的数据

105TB 每半小时通过Hive扫描的数据

100+PB(1PB=1024TB) 单个HDFS(分布式文件系统)集群中的磁盘容量

FB的工程总监Parikh解释了这些数据对于Facebook的意义:“大数据的意义在于真正对你的生意有内在的洞见。如果你不能好好利用自己收集到的数据,那你只是空有一堆数据而已,不叫大数据。”

目前Facebook有着世界最大的分布式文件系统,单个集群中的数据存储量就超过100PB。在Facebook内部,从一开始就没有在不同的部门之间(比如广告部和用户支持部)设立障碍或者分割数据。这样一来产品开发者就可以跨部门获得数据,实时知晓最近的改动是否增加了用户浏览时间或者促成了更多的广告点击。

作为普通用户,大家也许会对如此海量的数据心存不安,担心自己的数据被随意浏览。对此Facebook表示有各种防范措施来防止此类事情的发生,比如所有的数据读取记录都会被存档,哪些人看过哪些数据都是记录在案的;如果有员工越线,会被直接开除。Parikh着重强调:“在这件事上我们的政策是零容忍。”

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
SQL 存储 分布式计算
Facebook 正式开源其大数据查询引擎 Presto
Facebook 正式宣布开源 Presto —— 数据查询引擎,可对250PB以上的数据进行快速地交互式分析。该项目始于 2012 年秋季开始开发,目前该项目已经在超过 1000 名 Facebook 雇员中使用,运行超过 30000 个查询,每日数据在 1PB 级别。Facebook 称 Presto 的性能比诸如 Hive 和 Map*Reduce 要好上 10 倍有多。
639 0
Facebook 正式开源其大数据查询引擎 Presto
|
人工智能 大数据 流计算
阿里云,Facebook,英特尔,Databricks, Flink 大数据&AI前沿技术一文看尽—2019杭州云栖大会 “大数据&AI” 峰会全集
本次大数据&AI峰会围绕 “大数据和AI” 主题,深入讨论大数据及AI发展的新形势、新挑战和新机遇。主题演讲内容涉及大数据*AI各个方面,广泛且深入。从阿里巴巴 “AI加持的飞天大数据平台、AI at Facebook、英特尔在数据分析和人工智能技术方面的创新,到广受开发者关注的Flink和Spark,通过数据,算力,算法深入阐述数据为本,智能为用,将大数据与AI深度融合,呈现了业界最前沿技术。
2837 0
阿里云,Facebook,英特尔,Databricks, Flink 大数据&AI前沿技术一文看尽—2019杭州云栖大会 “大数据&AI” 峰会全集
|
存储 分布式计算 固态存储
|
大数据 关系型数据库 数据中心
|
机器学习/深度学习 算法 决策智能
【重磅开源】Facebook开源 Nevergrad:一种用于无梯度优化的开源工具
【重磅开源】Facebook开源 Nevergrad:一种用于无梯度优化的开源工具
546 0
|
缓存 数据可视化 测试技术
开源多年后,Facebook这个调试工具,再登Github热门榜
让许多工程师合作开发大型应用大多会面临一个挑战,通常没有一个人知道每个模块是如何工作的,这种技能会让开发新功能、调查Bug或优化性能变得困难,为了解决这个问题,Facebook创建并开源了Flipper,一个可扩展的跨平台的调试工具,用来调试 iOS 和 Android 应用。近日又双叒登上了Github热榜。
|
前端开发 JavaScript 测试技术
Facebook 开源可扩展文本编辑器 Lexical
Meta(原 Facebook)近日开源可扩展文本编辑器 Lexical,源代码托管在 GitHub 上采用 MIT 许可证。
814 0
Facebook 开源可扩展文本编辑器 Lexical

热门文章

最新文章