硅谷飘来五个字,SMACK


简介: 上次我们跟大家分享了「少打一局王者荣耀就能上手Spring Cloud?!」,学到就是赚到,翘课的同学抓紧补习了。本期为大家带来全新「与硅谷大数据工程师吃着火锅唱着歌就把SMACK入门了」篇。
上次我们跟大家分享了「 少打一局王者荣耀就能上手Spring Cloud?!」,学到就是赚到,翘课的同学抓紧补习了。本期为大家带来全新「 与硅谷大数据工程师吃着火锅唱着歌就把SMACK入门了」篇。
SMACK起源于硅谷,旨在提供更快更强的大数据处理能力。SMACK刚登上技术舞台,便将传统的数据处理能力提升了一个量级,狠狠打了hadoop等技术的老脸,从此有了一个响亮的名字SMACK。(假的)
硅谷飘来五个字,SMACK

hadoop:听说你很拽厚 !    now listen, you have free-style ?  what’s your name?
SMACK:  emmmmmmmm

那么, SMACK到底是什么?
SMACK是由Spark、Mesos、Akka、Cassandra、Kafka 5个技术名词的缩写,以Spark平台为大数据运算引擎(煤气灶)、搭配分散式资源管理平台Mesos(鸳鸯锅)、以及消息处理平台Kafka(红油锅底)、脸书和Twitter都爱用的NoSQL资料库Cassandra(食材)、再加上分散式运算工具Akka(漏勺),适用于广泛的数据处理场景的大数据框架(重庆老灶火锅)。
当然,SMACK框架中的技术可以自由增加或替换,以此完成不断升级的大数据处理需求。SMCAK云框架里,我们在引擎层增加了Flink用于处理实时数据(麻油小碗),使用Kubernetes替换Mesos作为容器层(九宫格锅)。这里以某网站数据为例,提供SMACK大数据框架的最佳实践,包括SMACK、数据接入、数据展示在内的完整框架展示。


注意,数据餐厅的火锅盛宴即将开始!

Step 1. 安装云帮PaaS平台(整体式厨房)
好雨云帮PaaS平台【免费版、自助安装】
好雨云帮PaaS平台【企业版】
  • 平台运行最小环境要求:4核CPU & 8GB 内存
  • 框架运行最小环境要求:8核CPU & 32GB 内存
Step 2.下载SMACK Dockercompose文件(外卖小火锅,配送到家的那种,懂伐)
注:这个compose文件已经包含示例数据(带锅底),如需导入自己的项目数据,请看 Step 6。
Step 3.将compose文件导入云帮平台(升锅开火)
1.找到docker-compose_ACP 文件
硅谷飘来五个字,SMACK

2.通过云帮平台启动


硅谷飘来五个字,SMACK

3.下一步…  一步….  步….
硅谷飘来五个字,SMACK

注意!这里有个组件拓扑图。

硅谷飘来五个字,SMACK

再次注意!这里需要全部开启“对外服务”(应用组组件之间互相通讯)。

硅谷飘来五个字,SMACK

又一次注意!有四个组件需要额外开启“外部访问”。
硅谷飘来五个字,SMACK

硅谷飘来五个字,SMACK

硅谷飘来五个字,SMACK

硅谷飘来五个字,SMACK

3.设置完成后,点击页面下方“建立一组应用”
各组件变绿以后,表示创建成功,SMACK 为ready状态。(开锅大吉)
硅谷飘来五个字,SMACK

(我变绿了,但我也变强了)
还是注意! 接下来需要调整组件内存。(以海边的kafka为例)
(打开之前导入docker-compose_ACP文件)
190bc0ceaea373d85710b1fc247b3ababb34f18d
进行内存调整设置
硅谷飘来五个字,SMACK

硅谷飘来五个字,SMACK

硅谷飘来五个字,SMACK

硅谷飘来五个字,SMACK

调整完成后,点击“设置”,系统自动调整内存。
硅谷飘来五个字,SMACK

(其他组件调整方式同kafka)

Step  4.示例数据导入(自带锅底)

1.由于每个人的口味不同,这里以Grafana为例。

2.配置SMACK云框架中的示例数据(Grafana数据源设置)
硅谷飘来五个字,SMACK

Step 5.数据展示效果(盛盘动筷)
硅谷飘来五个字,SMACK

Step 6.如何变成自己的项目(下自己的喜欢菜,让别人无菜可吃)
修改docker-compose.yml文件,找到akka-instream并添加,然后重新部署(重复 step 3-4-5,咕噜咕噜咕噜)

—————————————————客气的结束语————————————————

大数据火锅盛宴,各位吃的还满意吗? 要不要我下面.... 
下面给大家预告下第三期「两学一做,拥护基于区块链的智能合约技术」 ,预计跟最phone 8同期发布,敬请期待。
相关文章
|
弹性计算 监控 Linux
跨云厂商网络接入&数据迁移
从华为云、腾讯云接入/搬站到阿里云网络时,暴露数据库公网 IP 有安全隐患,使用传统的 IPSec VPN 配置 VPN 网关过程繁琐,且连接带宽和速度不稳定,传输大量数据耗时很久。通过将 SAG vCPE 镜像部署在您网络的宿主机中,使宿主机作为一个 CPE(Customer-premises equipment)设备为您提供上云服务,突破了物理的限制,更加灵活地帮您将网络接入阿里云。
跨云厂商网络接入&数据迁移
|
5月前
|
人工智能 自然语言处理 API
阿里云Qwen Cloud正式发布 面向Agent时代全新云服务全解析
随着AI智能体技术迎来爆发式增长,智能体已经不再是辅助工具,逐步演变成为云服务消费的核心主体。传统云平台以人类用户为中心设计的界面交互、操作逻辑,已经难以适配AI Agent无规律弹性调用、短时任务瞬时启停、自动化流程高频运行的全新需求。面对全球市场AI算力需求持续攀升,智能体带动模型调用量与云资源消耗呈指数级增长的行业现状,阿里云于5月26日在新加坡面向全球市场正式重磅推出Qwen Cloud全新云服务平台。
1896 1
|
5月前
|
存储 人工智能 安全
|
12月前
|
存储 运维 监控
干货推荐:分钟级定位 IO 瓶颈,多租户云环境下的智能诊断
聚焦高频的 IO 异常场景,构建了从问题发现,根因诊断到解决方案的 IO 一键诊断能力。
|
8月前
|
运维 API 调度
阿里云/本地部署OpenClaw多Agent架构完全指南:Multi‑Agent与主Agent+Sub‑Agent选型、大模型配置流程
在OpenClaw的实际使用中,用户最容易陷入架构困惑:到底应该使用**Multi‑Agent(多独立智能体)**,还是**主Agent + Sub‑Agent(总控+子代理)**?两种模式在设计目标、运行机制、数据隔离、权限管理、消息路由上完全不同,混用会导致上下文混乱、维护成本飙升、系统不稳定。
3085 16
|
7月前
|
人工智能 自然语言处理 搜索推荐
AI英语个性化学习系统的开发
“AI英语个性化学习系统”深度融合教育学与算法,以知识图谱、学习者画像和自适应推荐构成三位一体架构;集成智能语音测评、深度知识追踪与RAG情景对话,实现“教-学-练-测”闭环。强调循序渐进与记忆保持,真正千人千面。(239字)
|
人工智能 自然语言处理 算法
2025智能客服选型指南:核心原理、关键功能与价值剖析(附2025趋势洞察)
2025年智能客服核心趋势:情感分析、全渠道整合、预测引擎及知识图谱自进化能力构成关键选型维度。以合力亿捷等先进方案为例,其融合大模型与业务流自动化技术,助力某零售企业客服效率提升50%,用户满意度增长25%。聚焦业务适配、数据治理与渐进式部署是成功核心。
|
11月前
|
弹性计算 容灾 关系型数据库
数据备份与容灾:基于云备份与跨地域复制的企业级方案设计
在数字化转型中,数据是企业核心资产。本文基于阿里云云备份与跨地域复制能力,构建满足严苛RPO/RTO要求的企业级数据保护体系,涵盖ECS、RDS、OSS的分层备份与容灾设计,结合自动化恢复与全局流量切换,实现业务连续性保障,助力企业提升数据安全与业务韧性。(238字)
|
敏捷开发 数据可视化 开发工具
如何使用分支管理代码更改?
如何使用分支管理代码更改?
952 57
|
人工智能 自然语言处理 调度
数字人|数字人平台重点推荐与选择指南
数字人企业正引领虚拟与现实融合新潮流。像衍科技、灵眸数字、幻界科技三大标杆,以全栈技术、AI交互与元宇宙布局驱动产业升级,覆盖影视、电商、教育等场景,推动数字人从技术突破迈向规模化应用,开启数字经济新篇章。(238字)

热门文章

最新文章