# 日志服务 #
0
关注
47459内容
首次揭秘|为6.4亿人次出行提供无线网络的技术架构
借助“互联网+大数据+机场”三轮驱动，掌慧纵盈每年为6.4亿人次出行提供无线网络连接服务。
随着业务的拓展，随之后来的挑战是数据量的暴增。
2016年，掌慧纵盈（股票代码：835736）通过阿里云产品，率先构建了业界领先的大数据平台。
本文阐述了一家物联网企业的业务架构和数据架构，以及技术选型
|
亿级用户平台的大数据实践
我们现有1.6 亿用户，每周在大数据平台生成2T的数据量。我们只需2个月便建成了自己的大数据中心，每月的资源花费小于1万元。通过这一系列的数据，我们认为，我们当初的选择是正确的。
|
一线实践 | 借助混沌工程工具 ChaosBlade 构建高可用的分布式系统
在分布式架构环境下，服务间的依赖日益复杂，可能没有人能说清单个故障对整个系统的影响，构建一个高可用的分布式系统面临着很大挑战。在可控范围或环境下，使用 ChaosBlade 工具，对系统注入各种故障，持续提升分布式系统的容错和弹性能力，以构建高可用的分布式系统。
Hadoop默认支持集成OSS，作为Hadoop兼容的文件系统
Apache Hadoop默认支持阿里云OSS对象存储系统，作为Hadoop兼容的文件系统。OSS是中国云计算厂商第一个也是目前唯一一个被Hadoop官方版本支持的云存储系统。这意味着全球用户Hadoop生态的离线、交互、数据仓库、深度学习等程序，可以在不需要改代码的情况下，自由读写OSS的对象存储。
基于Spark Streaming 进行 MySQL Binlog 日志准实时传输
基本架构
RDS -> SLS -> Spark Streaming -> Spark HDFS
上述链路主要包含3个过程：
如何把 RDS 的 binlog 收集到 SLS。
如何通过 Spark Streaming 将 SLS 中的日志读取出来，进行分析。
全面提升，阿里云 Docker / Kubernetes(K8S) 日志解决方案与选型对比
日志服务再次升级Kubernetes（K8S）的日志解决方案。1分钟内即可完成整个集群部署，支持动态扩容，提供采集宿主机日志、容器日志、容器stdout等所有数据源的一站式采集。
Kubeflow实战系列: 利用TFJob运行分布式TensorFlow
TensorFlow作为现在最为流行的深度学习代码库，在数据科学家中间非常流行，特别是可以明显加速训练效率的分布式训练更是杀手级的特性。但是如何真正部署和运行大规模的分布式模型训练，却成了新的挑战。
免费试用