【推荐系统】系统相关配置

本文涉及的产品
云原生网关 MSE Higress,422元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: 【推荐系统】系统相关配置

先改成自动DHCP看看自己的网段,然后在改成对应的手动静态

然后去更改hosts

里面的网址映射

vim /etc/hosts

mysql:apt-get 安装的8.0版本,已经开机自启,只做提供hive元数据用

账号:root

密码:111111

Python版本管理器:pyenv

**开机后远程ssh登录root用户(强烈推荐)****,远程连接三台机器成功,**一来可以确认网络正常,二来终端操作方便,Ubuntu图形终端复制粘贴操作麻烦。

或者在jack图形用户打开终端sudo su切换root用户操作(不建议)

所有机器操作一定要在root用户下面,jack用户只用来管理Ubuntu的图形界面用

开机可以运行zsh,zsh带有操作记录高亮功能。

开机后开启实验环境的命令:存放在/root/开机操作顺序.txt

cat /root/开机操作顺序.txt

开启hbase注意所有机器同步时间: ntpdate 0.cn.pool.ntp.org

/opt/hadoop/sbin/start-all.sh

三台机器 zkServer.sh start

开启metastore: hive --service metastore -p 9083

nohup hive --service metastore -p 9083 > /root/nohup_logs/hive-service-metastore.nohup 2>&1 &

/opt/hbase/bin/start-hbase.sh

/opt/spark/sbin/start-all.sh

/opt/livy/bin/livy-server start

启动hive 远程连接服务: hive --service hiveserver2

nohup hive --service hiveserver2 > /root/nohup_logs/hiveserver2.nohup 2>&1 &

hbase 远程访问服务开启命令: hbase thrift

nohup hbase thrift > /root/nohup_logs/hbase-thrift-server.nohup 2>&1 &

后台运行jupyter: nohup jupyter notebook --allow-root --ip=master > /root/nohup_logs/jupyter-server.nohup 2>&1 &

后天运行逻辑: nohup 你的运行代码 > 输出保存的位置 2>&1 &

开启进程管理工具: supervisord -c /etc/supervisord.conf

pycharm软件运行环境:

PYTHONUNBUFFERED=1;JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64;SPARK_HOME=/opt/spark;HADOOP_HOME=/opt/hadoop;PYSPARK_PYTHON=/root/.pyenv/shims/python;PYSPARK_DRIVER_PYTHON=/root/.pyenv/shims/python;PYSPARK_SUBMIT_ARGS=–packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.2.2 pyspark-shell

删除一个复制文件时的致命循环bug,会导致scp,cp无限大的软连接:

rm /opt/zookeeper/zookeeper

两台从机器删除

rm -rvf /opt/zookeeper/zookeeper

集群大部分软件位置:/opt

具体位置参考pycharm软件运行环境

大数据环境管理地址:ip地址以更改后自己的静态配置

hadoop端口:

http://172.16.161.15:9870/

http://172.16.161.15:8088/

spark端口:http://172.16.161.15:8081/

hbase:http://172.16.161.15:16010/

友情提示:虚拟机可不兴压缩啊

Mac电脑我虚拟机被我压缩报废了,vmx打不开,我也得去下群里面的虚拟机了。

好尴尬啊,这虚拟机可不兴压缩啊。

6010/

友情提示:虚拟机可不兴压缩啊

Mac电脑我虚拟机被我压缩报废了,vmx打不开,我也得去下群里面的虚拟机了。

好尴尬啊,这虚拟机可不兴压缩啊。


相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
2月前
|
前端开发 搜索推荐 算法
中草药管理与推荐系统Python+Django网页界面+推荐算法+计算机课设系统+网站开发
中草药管理与推荐系统。本系统使用Python作为主要开发语言,前端使用HTML,CSS,BootStrap等技术和框架搭建前端界面,后端使用Django框架处理应用请求,使用Ajax等技术实现前后端的数据通信。实现了一个综合性的中草药管理与推荐平台。具体功能如下: - 系统分为普通用户和管理员两个角色 - 普通用户可以登录,注册、查看物品信息、收藏物品、发布评论、编辑个人信息、柱状图饼状图可视化物品信息、并依据用户注册时选择的标签进行推荐 和 根据用户对物品的评分 使用协同过滤推荐算法进行推荐 - 管理员可以在后台对用户和物品信息进行管理编辑
87 12
中草药管理与推荐系统Python+Django网页界面+推荐算法+计算机课设系统+网站开发
|
6月前
|
设计模式 搜索推荐 测试技术
电影推荐系统的设计与实现(论文+系统)_kaic
电影推荐系统的设计与实现(论文+系统)_kaic
|
数据采集 NoSQL 搜索推荐
推荐系统-Task03离线物料系统的构建
新闻物料爬取:主要采用scrapy爬虫工具,在每天晚上23点将当天的新闻内容从网页中进行抓取,存入MongoDB的SinaNews数据库中。
147 0
推荐系统-Task03离线物料系统的构建
|
机器学习/深度学习 搜索推荐 NoSQL
【新闻推荐系统】(task1)系统搭建基本流程
回顾之前学习王喆老师的《深度学习推荐系统》的sparrow recsys电影推荐系统,大家都会很着急地了解最新的推荐架构中的神经网络模型
701 0
【新闻推荐系统】(task1)系统搭建基本流程
|
3月前
|
搜索推荐 前端开发 数据可视化
【优秀python web毕设案例】基于协同过滤算法的酒店推荐系统,django框架+bootstrap前端+echarts可视化,有后台有爬虫
本文介绍了一个基于Django框架、协同过滤算法、ECharts数据可视化以及Bootstrap前端技术的酒店推荐系统,该系统通过用户行为分析和推荐算法优化,提供个性化的酒店推荐和直观的数据展示,以提升用户体验。
158 1
|
5月前
|
搜索推荐 算法 小程序
基于Java协同过滤算法的电影推荐系统设计和实现(源码+LW+调试文档+讲解等)
基于Java协同过滤算法的电影推荐系统设计和实现(源码+LW+调试文档+讲解等)
|
5月前
|
搜索推荐 算法 小程序
基于Java协同过滤算法的图书推荐系统设计和实现(源码+LW+调试文档+讲解等)
基于Java协同过滤算法的图书推荐系统设计和实现(源码+LW+调试文档+讲解等)
|
3月前
|
搜索推荐 前端开发 数据可视化
基于Python协同过滤的旅游景点推荐系统,采用Django框架,MySQL数据存储,Bootstrap前端,echarts可视化实现
本文介绍了一个基于Python协同过滤算法的旅游景点推荐系统,该系统采用Django框架、MySQL数据库、Bootstrap前端和echarts数据可视化技术,旨在为用户提供个性化的旅游推荐服务,提升用户体验和旅游市场增长。
289 9
基于Python协同过滤的旅游景点推荐系统,采用Django框架,MySQL数据存储,Bootstrap前端,echarts可视化实现
|
3月前
|
搜索推荐 前端开发 算法
基于用户画像及协同过滤算法的音乐推荐系统,采用Django框架、bootstrap前端,MySQL数据库
本文介绍了一个基于用户画像和协同过滤算法的音乐推荐系统,使用Django框架、Bootstrap前端和MySQL数据库构建,旨在为用户提供个性化的音乐推荐服务,提高推荐准确性和用户满意度。
269 7
基于用户画像及协同过滤算法的音乐推荐系统,采用Django框架、bootstrap前端,MySQL数据库
|
6月前
|
搜索推荐 算法 前端开发
美食物管理与推荐系统Python+Django网站开发+协同过滤推荐算法应用【计算机课设项目推荐】
美食物管理与推荐系统Python+Django网站开发+协同过滤推荐算法应用【计算机课设项目推荐】
200 4
美食物管理与推荐系统Python+Django网站开发+协同过滤推荐算法应用【计算机课设项目推荐】
下一篇
无影云桌面