Using colcon to build packages:使用colcon来构建软件包
@[toc]参考官方文档:Using colcon to build packages这是一个关于如何用colcon创建和构建ROS 2工作区(workspace)的简要教程。它是一个实用的教程,而不是为了取代核心文档。Colcon简介colcon是ROS构建工具catkin_make、catkin_make_isolated、catkin_tools和ament_tools的迭代。关于colcon设计的更多信息,请参见A universal build tool。源代码可以在GitHub组织colcon中找到。基本概念一个ROS工作区是一个具有特定结构的目录。通常有一个src子目录。在这个子目录中,ROS软件包的源代码将被放在那里。通常情况下,该目录开始时是空的。colcon进行源外构建。默认情况下,它将创建以下目录作为src目录的同级目录:build目录将是存储中间文件的地方。每一个包都将创建一个子文件夹。install目录是每个软件包将被安装到的地方。默认情况下,每个软件包将被安装到一个单独的子目录中。log目录包含关于每个colcon调用的各种日志信息。与catkin相比,没有devel目录。创建一个工作空间mkdir -p ~/ros2_ws/src
cd ~/ros2_ws现在工作空间只包含一个空文件夹 src:.
└── src
1 directory, 0 files添加一些源文件将示例代码下载到src目录中:git clone https://github.com/ros2/examples src/examples -b humble现在工作空间应该结构如下:.
└── src
└── examples
├── CONTRIBUTING.md
├── LICENSE
├── rclcpp
├── rclpy
└── README.md
4 directories, 3 filesSource底层为现有的ROS 2安装设置好环境可以为工作空间提供示例软件包构建所需的依赖项,这一点很重要。 这是通过source由二进制安装或源文件安装提供的安装脚本来实现的。我们称这种环境为底层。 我们的工作区 ros2_ws 将叠加在现有 ROS 2 安装之上。 通常,建议在计划迭代少量包时使用叠加,而不是将所有包放入同一个工作区。构建工作空间在工作区的根目录中,运行 colcon build。 由于 ament_cmake 等构建类型不支持开发空间的概念并且需要安装包,因此 colcon 支持选项 --symlink-install。 这允许通过更改源空间中的文件(例如 Python 文件或其他未编译的资源)来更改已安装的文件,以加快迭代速度。colcon build --symlink-install构建完成后,我们应该看到 build 、install 和 log 目录:.
├── build
├── install
├── log
└── src
4 directories, 0 files运行测试要运行我们刚刚建立的软件包的测试,请运行以下命令:colcon testSource环境当colcon成功完成构建后,其输出结果将在 install 目录中。在你使用任何已安装的可执行文件或库之前,你将需要把它们添加到你的路径和库路径中。这些文件将把所有需要的元素添加到你的路径(path)和库路径(library path)中,colcon将在安装目录中生成bash/bat文件,以帮助设置环境。这些文件将把所有需要的元素添加到你的路径和库路径中,并提供软件包所导出的任何bash或shell命令。. install/setup.bash尝试演示设置好环境后,我们可以运行由colcon构建的可执行文件。让我们运行例子中的一个订阅者节点:ros2 run examples_rclcpp_minimal_subscriber subscriber_member_function在另一个终端中,让我们运行一个发布者节点(不要忘了设置环境):ros2 run examples_rclcpp_minimal_publisher publisher_member_function您应该看到来自发布者和订阅者的消息的数量在增加。创建自己的软件包(package)colcon使用REP 149中定义的package.xml规范(也支持format 2)。colcon支持多种构建类型。推荐的构建类型是ament_cmake和ament_python。也支持纯cmake包。ament_python构建的一个例子是ament_index_python package,其中setup.py是构建的主要入口。像demo_nodes_cpp这样的包使用ament_cmake构建类型,并使用CMake作为构建工具。为了方便起见,你可以使用 ros2 pkg create 这个工具来创建一个基于模板的新软件包。对于catkin用户,这相当于catkin_create_package。设置colcon_cd和tab补全命令 colcon_cd 允许你快速地将shell的当前工作目录改为软件包的目录。举例来说,colcon_cd some_ros_package将迅速把你带到~/ros2_install/src/some_ros_package目录。echo "source /usr/share/colcon_cd/function/colcon_cd.sh" >> ~/.bashrc
echo "export _colcon_cd_root=/opt/ros/humble/" >> ~/.bashrc
echo "source /usr/share/colcon_argcomplete/hook/colcon-argcomplete.bash" >> ~/.bashrc对于zsh,使用echo "source /usr/share/colcon_cd/function/colcon_cd.sh" >> ~/.zshrc
echo "export _colcon_cd_root=/opt/ros/humble/" >> ~/.zshrc
echo "source /usr/share/colcon_argcomplete/hook/colcon-argcomplete.zsh" >> ~/.zshrc提示如果你不想构建某个特定的软件包,在这个软件包的目录中建立一个名为COLCON_IGNORE的空文件。如果您想避免在 CMake 包中配置和构建测试,您可以传递:--cmake-args -DBUILD_TESTING=0。如果你想从一个包中运行一个特定的测试,使用如下命令:colcon test --packages-select YOUR_PKG_NAME --ctest-args -R YOUR_TEST_IN_PKG
Python 异步: 在非阻塞子进程中运行命令(19)
动动发财的小手,点个赞吧!我们可以从 asyncio 执行命令。该命令将在我们可以使用非阻塞 I/O 写入和读取的子进程中运行。1. 什么是 asyncio.subprocess.Processasyncio.subprocess.Process 类提供了由 asyncio 运行的子进程的表示。它在 asyncio 程序中提供子进程的句柄,允许对其执行操作,例如等待和终止它。该 API 与 multiprocessing.Process 类非常相似,可能与 subprocess.Popen 类更相似。具体来说,它与 subprocess.Popen 共享 wait()、communicate() 和 send_signal() 等方法以及 stdin、stdout 和 stderr 等属性。现在我们知道了 asyncio.subprocess.Process 类是什么,让我们看看如何在我们的 asyncio 程序中使用它。我们不直接创建 asyncio.subprocess.Process。相反,在 asyncio 程序中执行子进程时,会为我们创建一个类的实例。有两种方法可以将外部程序作为子流程执行并获取 Process 实例,它们是:asyncio.create_subprocess_exec() 用于直接运行命令。asyncio.create_subprocess_shell() 用于通过 shell 运行命令。让我们依次看一下每个示例。2. 如何直接运行命令命令是在命令行(终端或命令提示符)上执行的程序。这是另一个直接运行的程序。Linux 和 macOS 上的常见示例可能是:‘ls’ 列出目录的内容‘cat’报告文件的内容“data”报告日期‘echo’ 报告一个字符串‘sleep’ 睡眠几秒钟我们可以通过 create_subprocess_exec() 函数从 asyncio 程序执行命令。asyncio.create_subprocess_exec() 函数接受一个命令并直接执行它。这很有用,因为它允许命令在子进程中执行,并允许 asyncio 协程读取、写入和等待它。与 asyncio.create_subprocess_shell() 函数不同,asyncio.create_subprocess_exec() 不会使用 shell 执行命令。这意味着 shell 提供的功能,例如 shell 变量、脚本和通配符,在执行命令时不可用。这也意味着执行命令可能更安全,因为没有机会进行 shell 注入。现在我们知道了 asyncio.create_subprocess_exec() 的作用,让我们看看如何使用它。2.1. 如何使用 Asyncio create_subprocess_exec()asyncio.create_subprocess_exec() 函数将在子进程中执行给定的字符串命令。它返回一个代表子进程的 asyncio.subprocess.Process 对象。create_subprocess_exec() 函数是一个协程,这意味着我们必须等待它。它会在子流程启动后返回,而不是在子流程完成时返回。...
# execute a command in a subprocess
process = await asyncio.create_subprocess_exec('ls')正在执行的命令的参数必须作为后续参数提供给 create_subprocess_exec() 函数。...
# execute a command with arguments in a subprocess
process = await asyncio.create_subprocess_exec('ls', '-l')我们可以通过等待 wait() 方法来等待子进程完成。...
# wait for the subprocess to terminate
await process.wait()我们可以通过调用 terminate() 或 kill() 方法直接停止子进程,这将在子进程中引发一个信号。...
# terminate the subprocess
process.terminate()命令的输入和输出将由 stdin、stderr 和 stdout 处理。我们可以让 asyncio 程序处理子进程的输入或输出。这可以通过指定输入或输出流并指定要重定向的常量来实现,例如 asyncio.subprocess.PIPE。例如,我们可以将命令的输出重定向到 asyncio 程序:...
# start a subprocess and redirect output
process = await asyncio.create_subprocess_exec('ls', stdout=asyncio.subprocess.PIPE)然后我们可以通过 asyncio.subprocess.Process 实例通过 communicate() 方法读取程序的输出。此方法是协程,必须等待。它用于通过子流程发送和接收数据。...
# read data from the subprocess
line = process.communicate()我们还可以通过以字节为单位设置“input”参数,通过 communicate() 方法将数据发送到子进程。...
# start a subprocess and redirect input
process = await asyncio.create_subprocess_exec('ls', stdin=asyncio.subprocess.PIPE)
# send data to the subprocess
process.communicate(input=b'Hello\n')在后台,asyncio.subprocess.PIPE 将子进程配置为指向 StreamReader 或 StreamWriter,用于向子进程发送数据或从子进程发送数据,并且 communicate() 方法将从配置的读取器读取或写入字节。我们可以通过子进程通过 stdin、stdout 和 stderr 属性直接与 StreamReader 或 StreamWriter 交互。...
# read a line from the subprocess output stream
line = await process.stdout.readline()现在我们知道如何使用 create_subprocess_exec() 函数,让我们看一些工作示例。2.2. Asyncio create_subprocess_exec() 示例我们可以探索如何在 asyncio 的子进程中运行命令。在这个例子中,我们将执行“echo”命令来报告一个字符串。echo 命令将直接在标准输出上报告提供的字符串。下面列出了完整的示例。请注意,此示例假设您可以访问“echo”命令,我不确定它是否适用于 Windows。# SuperFastPython.com
# example of executing a command as a subprocess with asyncio
import asyncio
# main coroutine
async def main():
# start executing a command in a subprocess
process = await asyncio.create_subprocess_exec('echo', 'Hello World')
# report the details of the subprocess
print(f'subprocess: {process}')
# entry point
asyncio.run(main())运行示例首先创建 main() 协程并将其作为 asyncio 程序的入口点执行。main() 协程运行并调用 create_subprocess_exec() 函数来执行命令。main() 协程在创建子进程时挂起。返回一个 Process 实例。main() 协程恢复并报告子进程的详细信息。 main() 进程终止,asyncio 程序终止。echo 命令的输出在命令行上报告。这突出了我们如何从 asyncio 程序执行命令。Hello World
subprocess: <Process 50249>3. 如何通过 Shell 运行命令我们可以使用 shell 执行命令。shell 是命令行的用户界面,称为命令行解释器 (CLI)。它将代表用户解释和执行命令。它还提供诸如用于脚本、通配符、管道、shell 变量(例如 PATH)等的原始编程语言等功能。例如,我们可以将一条命令的输出重定向为另一条命令的输入,比如将“/etc/services”文件的内容重定向到word count命令“wc”中,统计行数:cat /etc/services | wc -l基于 Unix 的操作系统中的 shell 示例包括:shell 已经在运行,它被用来启动 Python 程序。您无需执行任何特殊操作即可获取或访问 shell。我们可以通过 create_subprocess_shell() 函数从 asyncio 程序执行命令。asyncio.create_subprocess_shell() 函数接受一个命令并使用当前用户 shell 执行它。这很有用,因为它不仅允许执行命令,还允许使用 shell 的功能,例如重定向、通配符等。该命令将在执行 asyncio 程序的进程的子进程中执行。重要的是,asyncio 程序能够与子进程异步交互,例如通过协程。通过 shell 而不是直接执行命令时,可能会有安全考虑。这是因为请求执行命令和正在执行的命令之间至少存在一层间接和解释,允许可能的恶意注入。现在我们知道了 asyncio.create_subprocess_shell() 的作用,让我们看看如何使用它。3.1. 如何使用 Asyncio create_subprocess_shell()asyncio.create_subprocess_shell() 函数将通过当前 shell 执行给定的字符串命令。它返回一个表示进程的 asyncio.subprocess.Process 对象。它与我们在上一节中看到的 create_subprocess_shell() 函数非常相似。不过,我们将回顾如何使用该函数以及如何通过 Process 实例与流程交互(以防您直接跳到本节)。create_subprocess_shell() 函数是一个协程,这意味着我们必须等待它。它会在子流程启动后返回,而不是在子流程完成时返回。...
# start a subprocess
process = await asyncio.create_subprocess_shell('ls')我们可以通过等待 wait() 方法来等待子进程完成。...
# wait for the subprocess to terminate
await process.wait()我们可以通过调用 terminate() 或 kill() 方法直接停止子进程,这将在子进程中引发一个信号。命令的输入和输出将由 shell 处理,例如标准输入、标准错误和标准输出。我们可以让 asyncio 程序处理子进程的输入或输出。这可以通过指定输入或输出流并指定要重定向的常量来实现,例如 asyncio.subprocess.PIPE。例如,我们可以将命令的输出重定向到 asyncio 程序:...
# start a subprocess and redirect output
process = await asyncio.create_subprocess_shell('ls', stdout=asyncio.subprocess.PIPE)然后我们可以通过 asyncio.subprocess.Process 实例通过 communicate() 方法读取程序的输出。此方法是协程,必须等待。它用于通过子流程发送和接收数据。...
# read data from the subprocess
line = process.communicate()我们还可以通过以字节为单位设置“input”参数,通过 communicate() 方法将数据发送到子进程。...
# start a subprocess and redirect input
process = await asyncio.create_subprocess_shell('ls', stdin=asyncio.subprocess.PIPE)
# send data to the subprocess
process.communicate(input=b'Hello\n')在后台,asyncio.subprocess.PIPE 将子进程配置为指向 StreamReader 或 StreamWriter,用于向子进程发送数据或从子进程发送数据,并且 communicate() 方法将从配置的读取器读取或写入字节。我们可以通过子进程通过 stdin、stdout 和 stderr 属性直接与 StreamReader 或 StreamWriter 交互。...
# read a line from the subprocess output stream
line = await process.stdout.readline()现在我们知道如何使用 create_subprocess_shell() 函数,让我们看一些工作示例。3.2. Asyncio create_subprocess_shell() 示例我们可以探索如何使用 shell 在 asyncio 的子进程中运行命令。在这个例子中,我们将执行“echo”命令来报告一个字符串。echo 命令将直接在标准输出上报告提供的字符串。下面列出了完整的示例。请注意,此示例假设您可以访问“echo”命令,我不确定它是否适用于 Windows。# SuperFastPython.com
# example of executing a shell command as a subprocess with asyncio
import asyncio
# main coroutine
async def main():
# start executing a shell command in a subprocess
process = await asyncio.create_subprocess_shell('echo Hello World')
# report the details of the subprocess
print(f'subprocess: {process}')
# entry point
asyncio.run(main())运行示例首先创建 main() 协程并将其作为 asyncio 程序的入口点执行。main() 协程运行并调用 create_subprocess_shell() 函数来执行命令。main() 协程运行并调用 create_subprocess_shell() 函数来执行命令。main() 协程恢复并报告子进程的详细信息。 main() 进程终止,asyncio 程序终止。echo 命令的输出在命令行上报告。这突出显示了我们如何使用 shell 从 asyncio 程序执行命令。subprocess: <Process 43916>
Hello World
Understanding parameters:理解参数(Parameter)
@[toc]参考官方文档:Understanding parameters背景参数是一个节点的配置值。你可以把参数看成是节点的设置。节点可以将参数存储为整数、浮点数、布尔值、字符串和列表。在ROS 2中,每个节点都维护自己的参数。关于参数的更多背景,请看About parameters in ROS 2。1. 准备环境打开一个新的终端并运行:ros2 run turtlesim turtlesim_node打开另一个终端并运行:ros2 run turtlesim turtle_teleop_key2. ros2 param list 命令要查看属于你的节点的参数,打开一个新的终端并输入命令:ros2 param list你会看到节点命名空间,/teleop_turtle 和 /turtlesim ,后面是每个节点的参数。/teleop_turtle:
qos_overrides./parameter_events.publisher.depth
qos_overrides./parameter_events.publisher.durability
qos_overrides./parameter_events.publisher.history
qos_overrides./parameter_events.publisher.reliability
scale_angular
scale_linear
use_sim_time
/turtlesim:
background_b
background_g
background_r
qos_overrides./parameter_events.publisher.depth
qos_overrides./parameter_events.publisher.durability
qos_overrides./parameter_events.publisher.history
qos_overrides./parameter_events.publisher.reliability
use_sim_time每个节点都有参数use_sim_time;这不是turtlesim独有的。根据它们的名字,看起来 /turtlesim 的参数使用RGB颜色值来确定turtlesim窗口的背景颜色。要确定一个参数的类型,你可以使用 ros2 param get 命令。3. ros2 param get 命令要显示一个参数的类型和当前值,使用命令:ros2 param get <node_name> <parameter_name>例如找出 /turtlesim 的参数 background_g 的当前值:ros2 param get /turtlesim background_g返回值如下:Integer value is: 86现在你知道 background_g 是整数值。如果你对 background_r 和 background_b 运行同样的命令,你将分别得到69和255的数值。4. ros2 param set 命令要在运行时改变一个参数的值,使用命令:ros2 param set <node_name> <parameter_name> <value>例如改变 /turtlesim 的背景颜色:ros2 param set /turtlesim background_r 150你的终端应该返回信息:Set parameter successful并且你的 turtlesim 窗口的背景应该会改变颜色。用set命令设置参数只会在你当前的会话中改变它们,而不是永久性的。然而,你可以保存你的设置,并在下次启动节点时重新加载它们。5. ros2 param dump 命令你可以通过使用这条命令查看一个节点的所有当前参数值:ros2 param dump <node_name>该命令默认打印到标准输出(stdout),但你也可以将参数值重定向到一个文件中,以便以后保存。要把你目前对 /turtlesim 的参数配置保存到文件 turtlesim.yaml 中,请输入命令:ros2 param dump /turtlesim > turtlesim.yaml你会在你的shell运行的工作目录中发现一个新文件。如果你打开这个文件,你会看到以下内容:/turtlesim:
ros__parameters:
background_b: 255
background_g: 86
background_r: 150
qos_overrides:
/parameter_events:
publisher:
depth: 1000
durability: volatile
history: keep_last
reliability: reliable
use_sim_time: false如果你想在将来用相同的参数重新加载节点,导出参数就会很方便。6. ros2 param load 命令你可以使用命令从文件中向当前运行的节点加载参数:ros2 param load <node_name> <parameter_file>要把用 ros2 param dump 生成的 turtlesim.yaml 文件加载到 /turtlesim 节点的参数中,请输入命令:ros2 param load /turtlesim turtlesim.yaml你的终端将返回信息:Set parameter background_b successfulSet parameter background_g successfulSet parameter background_r successfulSet parameter qos_overrides./parameter_events.publisher.depth failed: parameter 'qos_overrides./parameter_events.publisher.depth' cannot be set because it is read-onlySet parameter qos_overrides./parameter_events.publisher.durability failed: parameter 'qos_overrides./parameter_events.publisher.durability' cannot be set because it is read-onlySet parameter qos_overrides./parameter_events.publisher.history failed: parameter 'qos_overrides./parameter_events.publisher.history' cannot be set because it is read-onlySet parameter qos_overrides./parameter_events.publisher.reliability failed: parameter 'qos_overrides./parameter_events.publisher.reliability' cannot be set because it is read-onlySet parameter use_sim_time successful只读参数只能在启动时修改,之后不能修改,这就是为什么对 "qos_overrides "参数有一些警告。7. 在节点启动时加载参数文件要使用你保存的参数值启动同一个节点,请使用:ros2 run <package_name> <executable_name> --ros-args --params-file <file_name>这与你启动 turtlesim 时使用的命令相同,但增加了标志 --ros-args 和 --params-file ,后面是你要加载的文件。例如:ros2 run turtlesim turtlesim_node --ros-args --params-file turtlesim.yamlturtlesim 窗口应该像往常一样出现,但背景是你之前设置的紫色。在这种情况下,参数在启动时被修改,所以指定的只读参数也将生效。
FlutterEngine 桌面端架构浅析
1 前言在钉钉 Flutter 桌面端落地过程中,我们遇到了很多仅仅依赖 Flutter 官方文档无法解决的问题,例如:桌面端集成模式问题、内存泄露问题、卡顿问题、光标焦点异常问题等。由于无法直接通过官方文档得到答案,我们便尝试通过分析源码实现和设计文档来寻找解决办法。虽然最终大部分问题得以解决,但是在这过程中有两点一直困扰我们:Flutter 生态中桌面端相关资料极少。少部分官方公开资料也仅有比较宽泛的介绍,缺少详细方案设计信息;业界对 FlutterEngine 架构分析和讨论,大多也仅仅设计移动端,桌面端相关内容很少涉及;FlutterEngine 在移动端和桌面端 Embedder 层设计有较大差异,移动端相关资料/方案无法直接应用到桌面端。因此我们便萌生了整理一份 Flutter 桌面端资料集的想法。一方面来作为 Flutter 桌面端设计的入门资料,降低大家上手学习桌面端引擎设计的门槛、提升效率;另外一方面也可作为工具手册,为后续我们可能逐步落地的桌面端引擎改造提供技术储备。本文主要从宏观角度来介绍一下 FlutterEngine 桌面端设计,从发展历史、架构概述、与移动端引擎对比等角度做一下阐述,以期望读者通过本文的介绍,能对 FlutterEngine 桌面端实现方案有一个整体的了解。2 发展脉络通过查阅各种资料我们发现,Flutter 目标虽然是提供一套可跨多端的 UI 套件,但是 Flutter Desktop 项目发展最初并未被直接纳入 Flutter 项目。不过 Flutter Desktop 主要技术人员仍然来自 Google 团队,Flutter Desktop 项目前期独立 Flutter 主项目发展,或许是出于项目管理上的考虑。Flutter Desktop 发展初期 git 项目为 flutter-desktop-embedding[1], 技术讨论组为Desktop Embedding for Flutter[2]。通过分析 git commit 记录以及讨论主题,我们大致可梳理出 Flutter Desktop 发展脉络时间轴:3 架构对比Flutter 桌面端与移动端引擎实现差异主要聚焦在两部分:是否使用 Embedder API;如何处理 Windows Resize。下面针对上述两点分别介绍一下。3.1 Embedder API关于 Flutter 架构设计,最权威的资料当然来自官方团队提供文档(来源[3]):注:由于 Web 平台下的实现与其它平台有较大差异、且钉钉在实际应用中并未涉及,因此在此不再分析。无论是移动端还是桌面端,Flutter 三层结构中的 Framework(Dart) 以及 Engine(C++) 实现是共享的,实现上的主要差异聚焦在 Platform 集成上。在梳理 Flutter Desktop 桌面端发展脉络时我们已经知道,桌面端实现整体建立在 Embedder API 基础之上(Commit[4]):由下至上我们对上图做一下简单说明:Shell 即 FlutterEngine 平台无关的核心实现部分,如 Dart Runtime、Skia等;Embedder API是 Flutter 封装的平台无关接口层,其主要价值在于封装底层实现、简化接入流程、降低新平台接入成本;Android/iOS/macOS/Windows Embedder 是平台接入层,各端根据根据平台规则注入 Flutter 运行所依赖的部分,比如 渲染画布、线程管理、插件机制等;Android/iOS/macOS/Windows Interface是开发接口层,即 Flutter 面向不同平台暴露的使用 API。虽然不同语言暴露 API 的形式可能略有差异,但是在接口语义上四端基本一致。3.2 Desktop Resize在进一步分析 FlutterEngine 桌面端源码时,我们发了其相比移动端实现,除了多一层 Embedder API 以外,还有一层用于管理桌面窗口大小变化的模块:FlutterResizeSynchronizer 。在查阅相关资料之后找到此模块相关的 设计文档:How to handle resize in desktop embeddings[6];Handling flutter view resizing on macOS[7];Support double buffering for window resizing[8];在设计文档中有对此问题的说明:简单来说即 Flutter 在异步线程渲染与 Window 在主线程变化,会导致出现 Crash、重影等一系列问题。FlutterResizeSynchronizer 的出现即为了解决此类问题。4 实现分析本小结我们以 macOS Embedder 为例,来分下一下 Flutter 桌面端集成部分的实现。为了方便移动端的同学更好理解,部分内容会以 iOS 端实现来做对比说明。4.1 类图下面这种即根据 3.1 小节的架构简图,结合 FlutterEngine macOS 端实现梳理出的核心类图:为了便于对比理解,我们在看看 iOS 端对应的核心类图:通过对比上两张类图,我们可以初步得到以下信息:桌面端部分实现相比移动端增加一层跨平台的 Embedder API,虽然理论上可简化部分上层实现,但是因为涉及到多渲染模式、图层合成等因素的影响,桌面端整体架构复杂度并不低于移动端;Desktop Resize 主要由 FlutterView 来控制,在移动端端中 FlutterView 实现较薄,主要用于承载 Flutter 所需的画布;但是在桌面端其功能更为复杂,已直接参与到 Flutter 绘制流程中,并在其中起到关键作用;Shell 层做了较好的抽象,绝大部分场景可做到实现与平台无关;4.2 流程对比通过4.1小节的内容我们可知,FlutterEngine 在桌面端和移动端的差异主要聚焦在渲染绘制阶段。根据 Flutter 官方分享资料我们知道,Flutter 渲染大致分为两个阶段:第一阶段主要在 UI 线程工作,大部分由 Dart 层的 Flutter Framework 实现;第二阶段在 CPU 线程工作,主要由 FlutterEngine 中的 C++ 层模块实现。针对以上两点,第一阶段无论什么平台基本都是一致的,下面我们就结合实现大致对比一下 iOS 端与 macOS 端的第二阶段流程差异。阶段iOSmacOS1DoDrawDoDraw2DrawToSurfaceDrawToSurface3AcquireFrameAcquireFrame4SubmitSubmit5PresentTry Present(窗口变化中则同步等待)6FlushDoFlush注意:上述流程对比仅供示意说明问题,并非严谨流程图,有很多细节表格中并未体现阶段 5~6 所示即 3.2 小节讨论到的「Desktop Resize」控制模块,结合 4.1 中的类图,渲染链路最终会沿着红线所表示的链路回到 FlutterView 模块,最终由 FlutterView + FlutterResizeSynchronizer + FlutterResizableBackingStoreProvider + FlutterSurfaceManager 相互配合,完成安全可靠的绘制:移动端应为不涉及窗口大小变化,因为并无此流程。通过上述对比我们可知,Flutter 桌面端相比移动端实现,渲染流程主要变化在于增加窗口大小变化管理模块,窗口大小变化和 Flutter 页面渲染存在同步影响:如果在渲染过程中窗口发生变化,则变化动作需要等待渲染流程结束之后才可响应:可能导致 Native 主进程卡顿;如果 Flutter 渲染过程中存在窗口变化,则会在窗口变化结束之后才会响应渲染:可能影响 Flutter 侧动画效果等;在钉钉桌面端落地过程中,我们即处理过因为上述同步规则导致的 Flutter 页面创建阶段卡顿,最终通过尽量避免 Window 变化的方式来绕过。5 小结本文主要梳理了一下 FluttterEngine 桌面端发展脉络,并针对 FlutterEngine 桌面实现核心内容做了梳理。通过第3和第4两个小节的分析我们可以看到,Flutter Desktop 最初基于 Embedder API 来实现,或许是期望能够通过通用的 Embedder API 来降低接入成本;并且我们通过查阅 flutter-desktop-embedding[9]commit 记录,最初基于 Embedder API 确实可以做到只通过极少的几个文件,即完成 Flutter Mac 端运行的效果:但是随着场景复杂度的深入,分层过多带来的弊端逐渐显露出来:在核心任何一个功能增强,都需要对 Platform、Embedder、Shell 三层同时做改造,并且因为要保证 Embedder 和 Shell 层的向兼容性,Embedder 层变得越来越臃肿。以 Embedder 中负责引擎初始化的 FlutterEngineInitialize 函数为例:其代码行数约有460行;函数入参合法性校验代码有80行;用于配置启动参数的 FlutterProjectArgs 结构体有34的成员;用于配置渲染模式的 FlutterRenderConfig 内嵌全部4中渲染模式配置,每种配置10+个不同的成员;大量的函数指针 Callback.虽然现在无法判断未来 Flutter Desktop 的实现是否会一直基于 Embedder API 来实现,但基于目前时间点来看,基于 Embedder API 带来的扩展复杂度成本已经逐步掩盖了 Embedder API 所带来封装收益。后面我们会进一步分析 FlutterEngine 桌面端核心流程,并尝试去对齐一些目前移动端支持、但桌面端暂未支持的能力,服务于钉钉业务的同时,也希望能为 Flutter 生态贡献一份力量。
Linux基础操作
1.os概念,定位 操作系统是一款管理软件,管理硬件和软件。对上提供良好、稳定和安全、高效的运行环境;对下管理好软硬件资源。2.查看Linux主机ip和使用XSHell登陆主机、XSHell下的复制黏贴查看Linux主机ip:在终端下敲 ifconfig 指令, 查看到 ip 地址。。使用XSHell登录主机:在XSHell终端写:ssh [ip]。ip 为刚才看到的 ifconfig 结果.如果网络畅通, 将会提示输入用户名密码. 输入即可正确登陆。XSHell下的复制黏贴:复制: ctrl + insert (有些同学的 insert 需要配合 fn 来按) 粘贴: shift + insert ctrl + c / ctrl + v 是不行的3.ls指令语法: ls [选项][目录或文件]功能:对于目录,该命令列出该目录下的所有子目录与文件。对于文件,将列出文件名以及其他信息常用选项:-a 列出目录下的所有文件,包括以 . 开头的隐含文件。-d 将目录象文件一样显示,而不是显示其下的文件。 如: ls –d 指定目录-i 输出文件的 i 节点的索引信息。 如 ls –ai 指定文件-k 以 k 字节的形式表示文件的大小。 ls –alk 指定文件-l 列出文件的详细信息。-n 用数字的 UID,GID 代替名称。 (介绍 UID, GID)-F 在每个文件名后附上一个字符以说明该文件的类型, “*”表示可执行的普通文件; “/”表示目录; “@”表示符号链接; “|”表示FIFOs; “=”表示套接字(sockets)。(目录类型识别)-r 对目录反向排序。-t 以时间排序。-s 在l文件名后输出该文件的大小。(大小排序,如何找到目录下最大的文件)-R 列出所有子目录下的文件。 (递归)-1 一行只输出一个文件。这里列出今天刚刚学习到的:①ls指令:显示当前路径下的文件或者目录名称。编辑 ②ls -l指令:显示当前路径下的文件或者目录的更详细的属性信息。PS:文件 = 文件内容数据+文件属性数据。因此文件本身是需要占用空间的,即使是空文件,显示0KB,但其属性是占用空间的。文件之间(普通文件 VS 目录):普通文件就是普通的文件,目录现在可以人为是文件夹。 ③ls -a 与ls -al指令:ls -a显示目录下的所有文件,包括以.开头的隐藏文件。ls -al是ls -a和ls -l的结合,显示更详细的属性信息4.pwd指令语法: pwd功能:显示用户当前所在的目录5.cd指令 语法:cd 目录名功能:改变工作目录。将当前工作目录改变到指定的目录下。cd .. : 返回上级目录。cd /home/litao/linux/ : 绝对路径。cd ../day02/ : 相对路径。cd ~:进入用户家目。cd -:返回最近访问目录。cd指令:切换路径,进入目标路径进行操作。cd . 和cd .. 指令 :cd .是当前目录 cd ..是返回上级目录 。cd ~指令:进入家目录。root的家目录是单独的,而所有用户的家目录,都是在/home/XXX。这里显示root家目录。 cd -指令:返回最近访问目录。可以理解为在两个目录下反复横跳。 在分析绝对路径和相对路径前,先要知道Linux系统中,磁盘上的文件和目录被组成一棵目录树,每个节点都是目录或文件。其实几乎任何操作系统文件的目录组织结构是一颗多叉树。 多叉树,有叶子节点和路上节点(其实就是父节点,或非叶子节点,在Linux下这样称呼比较好理解),路上节点一定只能是目录,而叶子节点,可以是普通文件,也可以是空目录。而我们为什么喜欢用路径来表示一个文件?因为,从根目录到一个文件的路径,是唯一的!尽管某个文件有很多个,放在不同的目录里面,但是,我们可以通过路径,找到那个唯一!因此,这里分为绝对路径和相对路径。cd /home/litao/linux/ : 绝对路径。就是直接从根目录开始往下走。cd ../day02/ : 相对路径。就是,如果我们在处于某个目录中,但是想找到另外的目录中的文件,不需要返回根目录,而是可以通过这个目录,更换到目标目录中,接着找到目标文件。6.touch指令语法:touch [选项]... 文件...功能: touch命令参数可更改文档或目录的日期时间,包括存取时间和更改时间,或者新建一个不存在的文件。常用选项:-a 或--time=atime或--time=access或--time=use只更改存取时间。-c 或--no-create 不建立任何文档。-d 使用指定的日期时间,而非现在的时间。-f 此参数将忽略不予处理,仅负责解决BSD版本touch指令的兼容性问题。-m 或--time=mtime或--time=modify 只更改变动时间。-r 把指定文档或目录的日期时间,统统设成和参考文档或目录的日期时间相同。-t 使用指定的日期时间,而非现在的时间 touch指令就是在Linux下用来创建普通文件的指令7.mkdir指令语法: mkdir [选项] dirname...功能:在当前目录下创建一个名为 “dirname”的目录-p, --parents 可以是一个路径名称。此时若路径中的某些目录尚不存在,加上此选项后,系统将自动建立好那些尚不存在的目录,即一次可以建立多个目录。即在使用mkdir命令创建新的目录时,在其父目录不存在时先创建父目录的指令就是 mkdir -p XXX/XXX8.rmdir指令&&rm指令rmdir是一个与mkdir相对应的命令。 mkdir是建立目录,而rmdir是删除命令。语法: rmdir [-p][dirName]适用对象:具有当前目录操作权限的所有使用者功能:删除空目录常用选项:-p 当子目录被删除后如果父目录也变成空目录的话,就连带父目录一起删除rm命令可以同时删除文件或目录
语法: rm [-f-i-r-v][dirName/dir]适用对象:所有使用者功能:删除文件或目录(rm默认删除普通文件,加上-r,即可删除目录)常用选项:-f 即使文件属性为只读(即写保护),亦直接删除-i 删除前逐一询问确认-r 删除目录及其下所有文件 9.man指令inux的命令有很多参数,我们不可能全记住,我们可以通过查看联机手册获取帮助。也就是说:man是一个查看命令、系统调用、C接口的一个手册。man默认从1号手册开始查找,找到即停。man可以根据手册查找:man 1/2/3 命令/接口/C。访问Linux手册页的命令是:man 语法: man [选项] 命令常用选项-k 根据关键字搜索联机帮助num 只在第num章节找-a 将所有章节的都显示出来,比如 man printf 它缺省从第一章开始搜索,知道就停止,用a选项,当按下q退出,他会继续往后面搜索,直到所有章节都搜索完毕。解释一下,面手册分为8章1 是普通的命令2 是系统调用,如open,write之类的(通过这个,至少可以很方便的查到调用这个函数,需要加什么头文件)3 是库函数,如printf,fread4是特殊文件,也就是/dev下的各种设备文件5 是指文件的格式,比如passwd, 就会说明这个文件中各个字段的含义6 是给游戏留的,由各个游戏自己定义7 是附件还有一些变量,比如向environ这种全局变量在这里就有说明8 是系统管理用的命令,这些命令只能由root使用,如ifconfig10. cp指令语法: cp [选项] 源文件或目录 目标文件或目录功能: 复制文件或目录说明: cp指令用于复制文件或目录,如同时指定两个以上的文件或目录,且最后的目的地是一个已经存在的目录,则它会把前面指定的所有文件或目录复制到此目录中。若同时指定多个文件或目录,而最后的目的地并非一个已存在的目录,则会出现错误信息。cp拷贝目录或者文件,-r -f -i 同rm# ls
a firstfile new_firstdir test.txt
# cp test.txt a
# cd a
# ll
drwxr-xr-x 3 root root 4096 Sep 18 10:33 b
-rw-r--r-- 1 root root 168908 Sep 27 15:47 test.txt11. mv指令mv命令是move的缩写,可以用来移动文件或者将文件改名(move (rename) files),是Linux系统下常用的命令,经常用来备份文件或者目录。1.mv的功能类似剪切功能,移动目录或文件。 2.对文件或目录重命名语法: mv [选项] 源文件或目录 目标文件或目录功能:1. 视mv命令中第二个参数类型的不同(是目标文件还是目标目录), mv命令将文件重命名或将其移至一个新的目录中。2. 当第二个参数类型是文件时, mv命令完成文件重命名,此时,源文件只能有一个(也可以是源目录名),它将所给的源文件或目录重命名为给定的目标文件名。3. 当第二个参数是已存在的目录名称时,源文件或目录参数可以有多个, mv命令将各参数指定的源文件均移至目标目录中。常用选项:-f : force 强制的意思,如果目标文件已经存在,不会询问而直接覆盖-i :若目标文件 (destination) 已经存在时,就会询问是否覆盖!# pwd
/root/new_firstdir
[root@VM-12-9-centos new_firstdir]# ll
total 0
# touch aaa
# mv aaa new_firstdir
# cd new_firstdir
[root@VM-12-9-centos new_firstdir]# ls
aaa12. cat指令语法: cat [选项][文件] 功能: 查看目标文件的内容常用选项:-b 对非空输出行编号-n 对输出的所有行编号-s 不输出多行空行# ls
a firstfile new_firstdir test.txt
]# cat test.txt
hello 106 [0]
hello 106 [1]
hello 106 [2]
hello 106 [3]
hello 106 [4]
hello 106 [5]
hello 106 [6]
hello 106 [7]
hello 106 [8]
hello 106 [9]
hello 106 [10]另外,还有一个类似的指令:tac。它的功能,也是cat一样的,打印、显示。不过,cat和tac的打印的顺序是相反的。# tac test.txt
hello 106 [10000]
hello 106 [9999]
hello 106 [9998]
hello 106 [9997]
hello 106 [9996]
hello 106 [9995]
hello 106 [9994]
hello 106 [9993]
hello 106 [9992]
hello 106 [9991]
hello 106 [9990]13. more指令语法: more [选项][文件]功能: more命令,功能类似 cat常用选项:-n 对输出的所有行编号q 退出more对于上面的cat或tac指令,上面其实是有一万个数据,如果我们需要查找第5千个数据的时候,需要不断的往上或往下翻阅,这其实是很麻烦的,因此,more指令可以解决这样的问题。总的来说:cat和tac适合比较小的文本或者代码段,而more和接下来要说的less指令,适合大的(日志之类的).# more -5000 test.txt
hello 106 [4985]
hello 106 [4986]
hello 106 [4987]
hello 106 [4988]
hello 106 [4989]
hello 106 [4990]
hello 106 [4991]
hello 106 [4992]
hello 106 [4993]
hello 106 [4994]
hello 106 [4995]
hello 106 [4996]
hello 106 [4997]
hello 106 [4998]
hello 106 [4999]14. less指令less 工具也是对文件或其它输出进行分页显示的工具,应该说是linux正统查看文件内容的工具,功能极其强大。less 的用法比起 more 更加的有弹性。在 more 的时候,我们并没有办法向前面翻, 只能往后面看但若使用了 less 时,就可以使用 [pageup][pagedown] 等按键的功能来往前往后翻看文件,更容易用来查看一个文件的内容!除此之外,在 less 里头可以拥有更多的搜索功能,不止可以向下搜,也可以向上搜。语法: less [参数] 文件功能:less与more类似,但使用less可以随意浏览文件,而more仅能向前移动,却不能向后移动,而且less在查看之前不会加载整个文件选项:-i 忽略搜索时的大小写-N 显示每行的行号/字符串:向下搜索“字符串”的功能?字符串:向上搜索“字符串”的功能n:重复前一个搜索(与 / 或 ? 有关)N:反向重复前一个搜索(与 / 或 ? 有关)q:quit15. head指令head 与 tail 就像它的名字一样的浅显易懂,它是用来显示开头或结尾某个数量的文字区块, head 用来显示档案的开头至标准输出中,而 tail 想当然尔就是看档案的结尾语法: head [参数]... [文件]...功能:head 用来显示档案的开头至标准输出中,默认head命令打印其相应文件的开头10行。选项:-n<行数> 显示的行数# head -10 test.txt
hello 106 [0]
hello 106 [1]
hello 106 [2]
hello 106 [3]
hello 106 [4]
hello 106 [5]
hello 106 [6]
hello 106 [7]
hello 106 [8]
hello 106 [9]16. tail指令ail 命令从指定点开始将文件写到标准输出.使用tail命令的-f选项可以方便的查阅正在改变的日志文件,tail -f filename会把filename里最尾部的内容显示在屏幕上,并且不但刷新,使你看到最新的文件内容语法: tail[必要参数][选择参数][文件]功能: 用于显示指定文件末尾内容,不指定文件时,作为输入信息进行处理。常用查看日志文件。选项: -f 循环读取-n<行数> 显示行数# tail -3 test.txt
hello 106 [9998]
hello 106 [9999]
hello 106 [10000]这里插入一个点:管道。就当提前预习:如果,我想取中间十行的数据【1000,1010】,怎么办。有两种方法:第一种,是创建一个文件来接收前1010,然后再读取这个文件的后10行,但是这样很麻烦,而已要创建文件。所以,第二种方法是利用管道:这里先浅浅地理解什么是管道:管道是传输资源的东西,一般都要有一个入口一个出口。那么:下面代码中:' | '就是管道,可以将head看成管道的入口,tail看成管道的出口,而管道里面,先放进了前面的"head -1010 test.txt"的数据,然后tail再从管道里面取"tail -3"的数据。# head -1010 test.txt | tail -3
hello 106 [1000]
hello 106 [1001]
hello 106 [1002] 那么,我们将这里是数据,进行逆序,那么,再加跟管道进去就好了!# head -1010 test.txt | tail -3 | tac
hello 106 [1002]
hello 106 [1001]
hello 106 [1000]17.时间相关的指令date显示date 指定格式显示时间: date +%Y:%m:%ddate 用法: date [OPTION]... [+FORMAT]1.在显示方面,使用者可以设定欲显示的格式,格式设定为一个加号后接数个标记,其中常用的标记列表如下
%H : 小时(00..23)%M : 分钟(00..59)%S : 秒(00..61)%X : 相当于 %H:%M:%S%d : 日 (01..31)%m : 月份 (01..12)%Y : 完整年份 (0000..9999)%F : 相当于 %Y-%m-%d2.在设定时间方面
date -s //设置当前时间,只有root权限才能设置,其他只能查看。date -s 20080523 //设置成20080523,这样会把具体时间设置成空00:00:00date -s 01:01:01 //设置具体时间,不会对日期做更改date -s “01:01:01 2008-05-23″ //这样可以设置全部时间date -s “01:01:01 20080523″ //这样可以设置全部时间date -s “2008-05-23 01:01:01″ //这样可以设置全部时间date -s “20080523 01:01:01″ //这样可以设置全部时间3.时间戳时间->时间戳: date +%s时间戳->时间: date -d@1508749502Unix时间戳(英文为Unix epoch, Unix time, POSIX time 或 Unix timestamp)是从1970年1月1日(UTC/GMT的午夜)开始所经过的秒数,不考虑闰秒18.cal指令cal命令可以用来显示公历(阳历)日历。公历是现在国际通用的历法,又称格列历,通称阳历。 “阳历”又名“太阳历”,系以地球绕行太阳一周为一年,为西方各国所通用,故又名“西历”命令格式: cal [参数][月份][年份]功能: 用于查看日历等时间信息,如只有一个参数,则表示年份(1-9999),如有两个参数,则表示月份和年份常用选项:-3 显示系统前一个月,当前月,下一个月的月历-j 显示在当年中的第几天(一年日期按天算,从1月1号算起,默认显示当前月在一年中的天数)-y 显示当前年份的日历19 find质指令:-nameLinux下find命令在目录结构中搜索文件,并执行指定的操作。Linux下find命令提供了相当多的查找条件,功能很强大。由于find具有强大的功能,所以它的选项也很多,其中大部分选项都值得我们花时间来了解一下。即使系统中含有网络文件系统( NFS), find命令在该文件系统中同样有效,只你具有相应的权限。在运行一个非常消耗资源的find命令时,很多人都倾向于把它放在后台执行,因为遍历一个大的文件系统可能会花费很长的时间(这里是指30G字节以上的文件系统)语法: find pathname -options功能: 用于在文件树种查找文件,并作出相应的处理(可能访问磁盘,进而导致效率低下)常用选项:-name 按照文件名查找文件[root@VM-12-9-centos ~]# ll
total 12
a
firstfile
lesson4
_firstdir
# find ~ -name test.txt
a/test.txt
a/lesson4/test.txt
lesson4/test.txt
# cd lesson4
lesson4]# ll
total 168
test.txt
lesson4]# find ~ -name firstfile
/root/firstfile拓展关于搜索查找的指令:①which 用来查找命令的路径的指令# which pwd
/usr/bin/pwd
# which rm
alias rm='rm -i'
/usr/bin/rm这里有个指令:alias,它用于对一个指令进行重命名。于此同时,当我们执行ll或ls指令的时候,会发现,文件和目录的颜色不一样,那是因为alias带上了colors的指令。# which ls
alias ls='ls --color=auto'②whereis:在特定的路径下,查找指定的文件名对应的指令或者文档# whereis ls
ls: /usr/bin/ls /usr/share/man/man1/ls.1.gz
# whereis test.txt
test: /usr/bin/test /usr/share/man/man1/test.1.gz20. grep指令文本内容的过滤工具,对文本内容进行匹配,匹配成功的进行行显示语法: grep [选项] 搜寻字符串 文件功能: 在文件中搜索字符串,将找到的行打印出来常用选项:-i :忽略大小写的不同,所以大小写视为相同-n :顺便输出行号-v :反向选择,亦即显示出没有 '搜寻字符串' 内容的那一行# grep '9999' test.txt
hello 106 [9999]
# grep '999' test.txt
hello 106 [999]
hello 106 [1999]
hello 106 [2999]
hello 106 [3999]
hello 106 [4999]
hello 106 [5999]
hello 106 [6999]
hello 106 [7999]
hello 106 [8999]
hello 106 [9990]
hello 106 [9991]
hello 106 [9992]
hello 106 [9993]
hello 106 [9994]
hello 106 [9995]
hello 106 [9996]
hello 106 [9997]
hello 106 [9998]
hello 106 [9999]-n带上行号:# grep -n '999' test.txt
1000:hello 106 [999]
2000:hello 106 [1999]
3000:hello 106 [2999]
......-i:# vim test.txt
# grep 'abc' test.txt
abc
abc
abc
# grep -i 'abc' test.txt
abc
ABC
aBc
Abc
abc
abc
ABC
# grep 'x' test.txt
x
x-v:就是反向。补充1:wc -l 统计行数# grep '999' test.txt | wc -l
19补充2:sort 按照ASCII码进行排序(升序)# touch file.txt
# ll
total 180
a
file.txt
firstfile
lesson4
new_firstdir
test.txt
# vim file.txt
# cat file.txt
111111
2222
33333
44444444
66666
555555
7777
# sort file.txt
111111
2222
33333
44444444
555555
66666
7777补充3:uniq 对文本内容中,相邻,相等的,去重。# vim file.txt
# cat file.txt
111111
2222
33333
44444444
66666
555555
7777
7777
7777
7777
22222
555555
555555
555555
# uniq file.txt
111111
2222
33333
44444444
66666
555555
7777
22222
555555我们发现,有一些没有相邻的,没去去重,我们可以利用管道,先进行排序,然后再去重# sort file.txt
111111
2222
22222
33333
44444444
555555
555555
555555
555555
66666
7777
7777
7777
7777
# sort file.txt | uniq
111111
2222
22222
33333
44444444
555555
66666
777721. zip/unzip指令语法: zip 压缩文件.zip 目录或文件功能: 将目录或文件压缩成zip格式常用选项:-r 递 归处理,将指定目录下的所有文件和子目录一并处理例子:将test2目录压缩: zip test2.zip test2/*解压到tmp目录: unzip test2.zip -d /tmpzip默认对一个目录进行打包压缩的时候,只会对目录文件打包压缩,也就是目录文件的内容不达标压缩。于此,需要加上-r递归。zip -r 你的压缩包(自定义) dir(要打包压缩的目录) unzip 你的压缩包(自定义)--在当前目录下进行解包解压的功能# mkdir temp
# ll
total 244
a
file.txt
firstfile
lesson4
my.zip
new_firstdir
temp
test.txt
# mv my.zip temp
# ll
total 188
a
5 file.txt
firstfile
lesson4
53 new_firstdir
temp
test.txt
# cd temp
# ll
total 56
my.zip
# unzip my.zip
Archive: my.zip
creating: a/
creating: a/b/
creating: a/b/c/
creating: a/b/c/d/
inflating: a/test.txt
creating: a/lesson4/
inflating: a/lesson4/test.txt
inflating: a/my.tgz
# ll
total 60
a
my.zip
# tree a
a
|-- b
| `-- c
| `-- d
|-- lesson4
| `-- test.txt
|-- my.tgz
`-- test.txt
4 directories, 3 files
# pwd
/root/temp
# ll
total 60
a
my.zip
# cd a
# ll
total 204
b
lesson4
my.tgz
test.txt
# tree b
b
`-- c
`-- d
2 directories, 0 files
# less test.txt
[3]+ Stopped less test.txt上面的是解压到当前目录,那么,接下来的指令,便是解压到指定目录中:unzip my.zip -d /home/XXX或者/root/XXX# unzip my.zip -d /root/a/b
Archive: my.zip
creating: /root/a/b/a/
creating: /root/a/b/a/b/
creating: /root/a/b/a/b/c/
creating: /root/a/b/a/b/c/d/
inflating: /root/a/b/a/test.txt
creating: /root/a/b/a/lesson4/
inflating: /root/a/b/a/lesson4/test.txt
inflating: /root/a/b/a/my.tgz22 tar指令:打包/解包,不打开,直接看内容tar [-cxtzjvf] 文件与目录 ....
参数:
-c :建立一个压缩文件的参数指令(create 的意思);-x :解开一个压缩文件的参数指令!-t :查看 tarfile 里面的文件!-z :是否同时具有 gzip 的属性?亦即是否需要用 gzip 压缩?-j :是否同时具有 bzip2 的属性?亦即是否需要用 bzip2 压缩?-v :压缩的过程中显示文件!这个常用,但不建议用在背景执行过程!-f :使用档名,请留意,在 f 之后要立即接档名喔!不要再加参数!-C : 解压到指定目录下面代码中,分别实现了打包压缩和解包的操作:打包压缩:tar -czf oh.tgz(压缩包名字)lesson4(压缩的目录文件名)(czf:c代表创建一个压缩包,z代表使用z代表的算法,f代表文件名)。 解包:tar -xzf oh.tgz x代表解开压缩包。如果带个v,-xzvf -cvzf 会把过程显示出来。~]# ll
total 188
a
file.txt
firstfile
lesson4
firstdir
temp
test.txt
~]# tree lesson4
lesson4
`-- test.txt
0 directories, 1 file
~]# tar -czf oh.tgz lesson4
~]# ll
total 216
a
file.txt
firstfile
lesson4
new_firstdir
oh.tgz
temp
test.txt
~]# mv oh.tgz temp
~]# cd temp
temp]# ll
total 28
oh.tgz
# tar -xzf oh.tgz
# ll
total 32
lesson4
oh.tgz
# tree lesson4
lesson4
`-- test.txt
0 directories, 1 file不解压,看里面的内容:相当于windows下,点开压缩包,查看里面的东西一样。-ttemp]# tar -tf oh.tgz
lesson4/
lesson4/test.txt上面的也是默认到当前目录。那么,指定路径解压,就需要 -C 指令a
file.txt
firstfile
new_firstdir
temp
test.txt
~]# cd temp
temp]# ll
total 32
lesson4
oh.tgz
temp]# tar -xzvf oh.tgz -C ~
lesson4/
lesson4/test.txt
temp]# ls ~
a file.txt firstfile lesson4 new_firstdir temp test.txt23. bc指令:bc命令可以很方便的进行浮点运算。temp]# bc
bc 1.06.95
30-90
-60
3.25-36.3
-33.05
^Z
[5]+ Stopped bc
temp]# echo "1+2+3+4+5+6+7+8+9"
1+2+3+4+5+6+7+8+9
temp]# echo "1+2+3+4+5+6+7+8+9" | bc
4524. uname -r 指令语法: uname [选项]功能: uname用来获取电脑和操作系统的相关信息。补充说明: uname可显示linux主机所用的操作系统的版本、硬件的名称等基本信息 常用选项:
-a或–all 详细输出所有信息,依次为内核名称,主机名,内核版本号,内核版本,硬件名,处理器类型,硬件平台类型,操作系统名称25. 重要的几个热键[TAB],[ctrl]-c,[ctrl]-d[Tab]按键---具有『命令补全』和『档案补齐』的功能[Ctrl]-c按键---让当前的程序『停掉』[Ctrl]-d按键---通常代表着:『键盘输入结束(End Of File, EOF 戒 End OfInput)』的意思;另外他也可以用来取代exit26. 关机语法: shutdown [选项] ** 常见选项: ** -h :将系统的服务停掉后,立即关机。 -r : 在将系统的服务器停掉之后就重新启动。 -t sec : -t 后面加秒数,亦即『过几秒后关机』的意思27. 拓展◆安装和登录命令: login、 shutdown、 halt、 reboot、 install、 mount、 umount、 chsh、 exit、 last;◆ 文件处理命令: file、 mkdir、 grep、 dd、 find、 mv、 ls、 diff、 cat、 ln;◆ 系统管理相关命令: df、 top、 free、 quota、 at、 lp、 adduser、 groupadd、 kill、 crontab;◆ 网络操作命令: ifconfig、 ip、 ping、 netstat、 telnet、 ftp、 route、 rlogin、 rcp、 finger、 mail、 nslookup;◆ 系统安全相关命令: passwd、 su、 umask、 chgrp、 chmod、 chown、 chattr、 sudo ps、 who;◆ 其它命令: tar、 unzip、 gunzip、 unarj、 mtools、 man、 unendcode、 uudecode。查看xpu:lscpu查看内存:lsmem查看磁盘:df -h查看登录了服务器的账号,也就是用户:who 27.1 shell命令以及运行原理Linux严格意义上说的是一个操作系统,我们称之为“核心(kernel) “ ,但我们一般用户,不能直接使用kernel。而是通过kernel的“外壳”程序,也就是所谓的shell,来与kernel沟通。如何理解?为什么不能直接使用kernel?从技术角度, Shell的最简单定义:命令行解释器(command Interpreter)主要包含:将使用者的命令翻译给核心(kernel)处理。同时,将核心的处理结果翻译给使用者。对比windows GUI,我们操作windows 不是直接操作windows内核,而是通过图形接口,点击,从而完成我们的操作(比如进入D盘的操作,我们通常是双击D盘盘符.或者运行起来一个应用序)。shell 对于Linux,有相同的作用,主要是对我们的指令进行解析,解析指令给Linux内核。反馈结果在通过内核运行出结果,通过shell解析给用户。windows的图形界面,本质也是一种外壳程序。所以,Linux shell命令行外壳 和 Windows图形界面,本质是一样的。通过用户——shell——内核这样的结构,可以有效的执行很多指令。当用户传入的是非法指令,那么,shell会直接拒绝,不需要进入到内核当中,也起到了保护作用。帮助理解:如果说你是一个闷骚且害羞的程序员,那shell就像媒婆,操作系统内核就是你们村头漂亮的且有让你心动的MM小花。你看上了小花,但是有不好意思直接表白,那就让你你家人找媒婆帮你提亲,所有的事情你都直接跟媒婆沟通,由媒婆转达你的意思给小花,而我们找到媒婆姓王,所以我们叫它王婆,它对应我们常使用的bash27.2 Linux权限的概念Linux下有两种用户:超级用户(root)、普通用户。超级用户:可以再linux系统下做任何事情,不受限制普通用户:在linux下做有限的事情。超级用户的命令提示符是“#”,普通用户的命令提示符是“$命令: su [用户名]功能:切换用户。例如,要从root用户切换到普通用户user,则使用 su user。 要从普通用户user切换到root用户则使用 su root(root可以省略),此时系统会提示输入root用户的口令~]$ su -
Password:
~]# pwd
/root
~]# su wjmhlh
]$ pwd
/root
]$ whoami
wjmhlh
]$ su
Password:
~]# whoami
root
~]# su wjmhlh
]$
# 代表root $代表普通用户~]$ pwd
/home/wjmhlh
~]$ clear
~]$ mkdir lesson5
~]$ ll
total 4
lesson5
~]$ cd lesson5
lesson5]$ su -
Password:
Last login: Thu Oct 6 16:44:28 CST 2022 on pts/0
~]# whoami
root
~]# exit
logout
lesson5]$ whoami
wjmhlh
lesson5]$ su
Password:
lesson5]# whoami
root
lesson5]# su wjmhlh
lesson5]$ whoami
wjmhlh
lesson5]$
root与普通用户之间的切换操作当我不想转换为root用户,但是需要root权限的时候,可以使用命令sudo XXX。但会有个问题,那就是,root对普通用户的信任。当root对普通用户信任的时候,使用sudo XXX后,再使用whoami的时候,发现,我们的权限更换成了root,但不信任,就会出现以下信息: ~]$ sudo whoami[sudo] password for wjmhlh: wjmhlh is not in the sudoers file. This incident will be reported.所以,说了那么多,什么是权限?我们为什么需要权限?①什么是权限?权限是约束人的(一个人或者某群体)。而对于人,并不是真的去约束这个人或群体,而是对他的身份或者扮演的角色进行约束。就好比如,我张三,开通了某奇艺的会员,我张三能去看VIP电影,真的是因为我是张三,所以我能看吗?如果另外的一个人也是叫做张三,他能也看吗?不!仅仅是因为我在某奇艺的身份!因此:文件权限 = 人+文件属性。27.3 Linux权限管理续上:人—>角色—>权限。角色(身份)->(拥有者:owner 其他人:other 所属组:grouper)lesson5]$ touch file.txtlesson5]$ lltotal 0-rw-rw-r-- 1 wjmhlh wjmhlh 0 Oct 7 13:43 file.txt第一个红: 文件的拥有者 第二个红:文件的所属组,因为这里只有我一个人在用。对于其他人,则是,用户在访问这个文件的时候,用户名与拥有者和所属组的名字不相同的话,那么,这个用户就是其他人other。那么,为什么要存在所属组呢?文件创建者是拥有者,拥有者以外的是其他人,这个能很好的理解。而所属组,用来干嘛?所谓组,那就是一群人在一起奋斗的组别。如果有一天,一个项目中,几个团队共用一个Linux机器。我想要给我的团队小组成员看我的代码,即对他们开源,但是又不能给小组以外的人看,如果没有所属组,那么,我需要将拥有者和其他人的权限放开,这时候,只要是个人都能查看我的代码了。这样显然是绝对不行的!因此,所属组就诞生了,我只需要在所属组中,对我的小组成员开源,其他人也不能看见,这就皆大欢喜了!文件属性是啥?文件属性:r(读权限) w(写权限) x(执行权限)来介绍一些小知识:lesson5]$ mkdir dirlesson5]$ lltotal 4drwxrwxr-x 2 wjmhlh wjmhlh 4096 Oct 7 14:00 dir第一个红: 文件的拥有者 第二个红:文件的所属组第一个绿是文件大小。第一个蓝指的是最近修改或创建时间之前我们讲过,文件 = 内容 + 属性。所以,上面那行信息,都是属于文件的属性而橙色部分:看第一个字符:剩下的部分:所以,我们阅读权限的正确方法是:drwxrwxr-x 2 wjmhlh wjmhlh 4096 Oct 7 14:00 dir对于dir,它是目录文件,拥有者允许读权限、写权限和执行权限;所属组允许读权限、写权限和执行权限;其他人允许读权限,不允许写权限,允许执行权限。同理:-rw-rw-r-- 1 wjmhlh wjmhlh 0 Oct 7 13:43 file.txt对于file.txt,它是普通文件,拥有者允许读权限、写权限和不允许执行权限;所属组允许读权限、写权限和不允许执行权限;其他人允许读权限,不允许写权限,不允许执行权限。还有噢,其实,rwx可以使用二进制来表示,然后三组转换成八进制数字。结合以下的指令:# chmod 664 /home/abc.txt# chmod 640 /home/abc.txt接下来,我们来看看,如何操作权限?chmod
功能: 设置文件的访问权限格式: chmod [参数] 权限 文件名常用选项:R -> 递归修改目录文件的权限说明:只有文件的拥有者和root才可以改变文件的权限chmod① 用户表示符+/-=权限字符+:向权限范围增加权限代号所表示的权限-:向权限范围取消权限代号所表示的权限=:向权限范围赋予权限代号所表示的权限用户符号:u:拥有者g:拥有者同组用o:其它用户a:所有用户例子:lesson5]$ whoamiwjmhlhlesson5]$ chmod u-r file.txt //去掉读权限 //拥有者lesson5]$ lltotal 4drwxrwxr-x 2 wjmhlh wjmhlh 4096 Oct 7 14:00 dir--w-rw-r-- 1 wjmhlh wjmhlh 0 Oct 7 13:43 file.txtlesson5]$ chmod u+x file.txt // 增加执行权限 //拥有者lesson5]$ lltotal 4drwxrwxr-x 2 wjmhlh wjmhlh 4096 Oct 7 14:00 dir--wxrw-r-- 1 wjmhlh wjmhlh 0 Oct 7 13:43 file.txt lesson5]$ chmod u-rwx file.txt // 去掉读写执行权限 //拥有者 lesson5]$ lltotal 4drwxrwxr-x 2 wjmhlh wjmhlh 4096 Oct 7 14:00 dir----rw-r-- 1 wjmhlh wjmhlh 0 Oct 7 13:43 file.txt lesson5]$ chmod u+rw file.txt //增加读和执行权限 //拥有者lesson5]$ lltotal 4drwxrwxr-x 2 wjmhlh wjmhlh 4096 Oct 7 14:00 dir-rw-rw-r-- 1 wjmhlh wjmhlh 0 Oct 7 13:43 file.txt同时,如果我们需要同时操作拥有者、所属组和其他人的权限,可以用逗号分开。chmod u-rwx,u-rwx,g-rwx,o-rwx file.txt也可以chmod a-rwx file.txt值得注意的是,当拥有者的某个权限失效时,但是所属组拥有,我们使用拥有者来操作这个失效的权限时,依然无法执行,既然所属组拥有这个权限。因为,对于拥有者——所属组——other,是if——else if ——else的关系,拥有者没有,那么,匹配到所属组也是拥有者的名称,那么,这个权限也不能使用!还有一点的就是:root不受权限的约束!root能够删掉普通用户的任意权限,但是却可以在用户没有这个文件的权限的时候,去操作这个权限!比如,-rw-rw-r-- 1 wjmhlh wjmhlh 0 Oct 7 13:43 file.txt。普通用户只有r和w。root可以将两个也删掉,变成----rw-r--。删掉后,root依然可以对其进行读写和执行。你一点脾气都没有!所以,root一定不能丢!chown功能:修改文件的拥有者格式: chown [参数] 用户名 文件名实例:# chown user1 f1# chown -R user1 filegroup1当然,当你要将一个东西给别人的时候,需要跟别人说一声,我们可以使用sudo 来强行给。————sudo chown XXX file同时将拥有者和所属组都修改给别人,那么是这样的:sudo chown XXX:XXX filechgrp
功能:修改文件或目录的所属组格式: chgrp [参数] 用户组名 文件名常用选项: -R 递归修改文件或目录的所属组file指令:功能说明:辨识文件类型。语法: file [选项] 文件或目录常用选项-c 详细显示指令执行过程,便于排错或分析程序执行的情形。-z 尝试去解读压缩文件的内容。drwxrwxr-x 2 wjmhlh wjmhlh 4096 Oct 7 14:00 dir-rw-rw-r-- 1 wjmhlh wjmhlh 0 Oct 7 13:43 file.txt lesson5]$ file dirdir: directory lesson5]$ file file.txtfile.txt: empty关于使用sudo分配权限,后续再解析。为什么需要权限?便于系统进行安全的管理。那么,为什么在我们创建了目录或者文件后,默认的权限是我们所看到的样子,意思是说,为什么一开始不是rwx rwx rwx,而是rw- rw- rw-等等类似的样子?因为Linux规定:目录:起始权限:777文件:起始权限:666$umask0002——>000 000 010---系统会默认配置好umask 权限掩码:反是在umask出现的权限,都必须在起始权限中去掉!!!这里的去掉,不是做减法,而是按位与&最终权限 = 起始权限 & (^umask),即现对umask进行按位取反,再进行按位与,最终得到最终权限。比如:值得注意的一点是:umask是可以被修改的,也就是,默认的是0002,但我们可以修改为0444,0000. umask 0000最后,关于rwx的一些补充:r—读权限,并不决定我们能否进入这个目录或文件,而是决定了我们能否使用ls或ll来查看里面的内容 w—写权限。决定了能否在目录里面创建文件或目录x—执行权限,决定了我们能否进入这个目录或文件所以为什么系统规定目录的默认的权限是777开始的?因为所有的目录,在创建初,一般都可以进入(x)。
shell 以root 的权限运行的核心点是什么?
shell 以root 的权限运行的核心点是什么?
EMQX+HStreamDB 实现物联网流数据高效持久化
在 IoT 场景中,通常面临设备数量庞大、数据产生速率高、累积数据量巨大等挑战。因此,如何接入、存储和处理这些海量设备数据就成为了一个关键的问题。EMQX 作为一款强大的物联网 MQTT 消息服务器,单个集群可处理上亿设备连接,同时提供了丰富的数据集成功能。HStreamDB 作为一款分布式流数据库,不仅可以高效存储来自 EMQX 的海量设备数据,而且提供实时处理分析能力。EMQX 与 HStreamDB 都具备高可扩展性和可靠性,两者结合不仅能够满足大规模 IoT 应用的性能和稳定性需求,同时能够提升应用的实时性。近期 EMQX Enterprise 4.4.15 发布,更新了对 HStreamDB 最新版本的支持,本文将具体介绍如何通过 EMQX 规则引擎将数据持久化到 HStreamDB,实现 MQTT 数据流的存储与实时处理。注:本文介绍的集成步骤基于 EMQX 4.4.15 和 HStreamDB 0.14.0 以上版本。连接到 HStreamDB 集群在下面的教程中,我们假设有一个正在运行的 EMQX Enterprise 集群和正在运行的 HStreamDB 集群。如需部署 EMQX Enterprise 集群,请参考 EMQX Enterprise docs。如需部署 HStreamDB 集群,请参考 HStreamDB docs,其中包含关于如何用 Docker 快速部署的说明。我们可以通过 Docker 来部署 HStreamDB 客户端并连接到 HStreamDB 集群:# 获取帮助信息
docker run -it --rm --name some-hstream-cli --network host hstreamdb/hstream:v0.14.0 hstream --help我们在此使用 hstream stream 命令创建一个 stream,供接下来的示例使用:# 使用 hstream stream 命令创建 streams
docker run -it --rm --name some-hstream-cli --network host hstreamdb/hstream:v0.14.0 hstream stream create basic_condition_info_0 -r 3 -b $(( 7 * 24 * 60 * 60 ))接下来,连接到 HStreamDB 集群,启动交互式 HStream SQL shell:docker run -it --rm --name some-hstream-cli --network host hstreamdb/hstream:v0.14.0 hstream sql --service-url "<<YOUR-SERVICE-URL>>"
# 如果要使用安全连接,还需要填写 --tls-ca, --tls-key, --tls-cert 参数如果连接成功,将会出现 __ _________________ _________ __ ___
/ / / / ___/_ __/ __ \/ ____/ | / |/ /
/ /_/ /\__ \ / / / /_/ / __/ / /| | / /|_/ /
/ __ /___/ // / / _, _/ /___/ ___ |/ / / /
/_/ /_//____//_/ /_/ |_/_____/_/ |_/_/ /_/
Command
:h To show these help info
:q To exit command line interface
:help [sql_operation] To show full usage of sql statement
SQL STATEMENTS:
To create a simplest stream:
CREATE STREAM stream_name;
To create a query select all fields from a stream:
SELECT * FROM stream_name EMIT CHANGES;
To insert values to a stream:
INSERT INTO stream_name (field1, field2) VALUES (1, 2);可以使用 show streams; 来查看已经创建的 streams 的信息:> show streams;
+-------------------------------------------+---------+----------------+-------------+
| Stream Name | Replica | Retention Time | Shard Count |
+-------------------------------------------+---------+----------------+-------------+
| basic_condition_info_0 | 3 | 604800 seconds | 1 |
+-------------------------------------------+---------+----------------+-------------+创建 HStreamDB 资源在利用 EMQX 规则引擎将数据持久化到 HStreamDB 之前,需要创建一个 HStreamDB 资源。为此,请访问 EMQX Dashboard,单击 规则引擎 -> 资源 → 创建 ,选择 HStreamDB 资源,输入 HStreamDB 地址并填写必要的选项。可用选项如下表:在选择开启 SSL 时,会出现额外的 SSL 配置界面,可以粘贴所需配置内容或上传文件。创建数据持久化到 HStreamDB 的规则点击 规则引擎 -> 规则 -> 创建。编辑 SQL 规则并添加操作,您可以在字符串模板中使用 SQL 变量。请注意,本文档中介绍的 SQL 规则仅供演示,实际的 SQL 应根据业务设计进行编写。单击 添加操作,选择「数据持久化」以将数据保存到 HStreamDB 中。选择上一步创建的资源并输入参数。可用参数如下表:点击 确定 来确认添加行为。在 HStream SQL Shell 中获取实时的数据更新从 EMQX 规则引擎持久化到 HStreamDB 的数据可以使用 HStream SQL Shell 实时读出新写入 stream 的内容。现在,数据已经被写入 HStreamDB,可以使用任何消费方式来消费消息。文档使用了一个简单的消费方法:使用 HStream SQL shell 进行查询。此外,读者可以自由选择使用自己喜欢的编程语言 SDK 编写消费端。# docker run -it --rm --name some-hstream-cli --network host hstreamdb/hstream:v0.14.0 hstream sql
> select * from basic_condition_info_0 emit changes;当前的 select 查询没有结果可供打印出,这是因为还没有数据通过 EMQX 的规则引擎向 HStreamDB 写入。一旦有数据写入,便可以在 HStream SQL shell 观察到数据的即时更新。目前在 HStreamDB 使用 SQL 对 streams 做查询,只会打印出创建查询后的结果。如果在 EMQX 停止向 HStreamDB 写入后创建查询,可能观察不到产生的结果。向 EMQX 写入消息测试规则引擎可以使用跨平台的桌面客户端 MQTT X 来连接到 EMQX 并发送消息:从 EMQX Dashboard 获取规则引擎的运行数据指标访问对应的规则引擎界面:如果规则引擎运行数据指标正常,则代表 EMQX 会将数据持久化到 HStreamDB。一旦写入成功,便可以在前面步骤启动的 HStream SQL Shell 中看到实时的数据更新。# docker run -it --rm --name some-hstream-cli --network host hstreamdb/hstream:v0.14.0 hstream sql
> select * from basic_condition_info_0 emit changes;
{"current-number-of-people":247.0,"device-health":true,"number-of-people-in-line":14.0,"submitter":"admin-07","temperature":27.0}
{"current-number-of-people":220.0,"device-health":true,"number-of-people-in-line":13.0,"submitter":"admin-07","temperature":27.2}
{"current-number-of-people":135.0,"device-health":true,"number-of-people-in-line":2.0,"submitter":"admin-01","temperature":26.9}
{"current-number-of-people":137.0,"device-health":true,"number-of-people-in-line":0.0,"submitter":"admin-01","temperature":26.9}结语至此,我们就完成了通过 EMQX 规则引擎将数据持久化到 HStreamDB 的主要流程。将 EMQX 采集到的数据存储到 HStreamDB 后,可以对这些数据进行实时处理与分析,为上层 AI、大数据等应用提供支撑,进一步发掘和利用数据价值。作为首个专为流数据设计的云原生流数据库,HStreamDB 与 EMQX 结合可以实现一站式存储和实时处理海量物联网数据,精简物联网应用数据栈,加速企业的物联网应用开发。版权声明: 本文为 EMQ 原创,转载请注明出处。原文链接:https://www.emqx.com/zh/blog/integration-practice-of-emqx-and-hstreamdb
NoSQL中访问数据库时如何用代码实现MongoDB Shell呢?
NoSQL中访问数据库时如何用代码实现MongoDB Shell呢?
灰度发布实验准备时,使用ACK 集群里面的Cloud Shell 进行连接干什么?
灰度发布实验准备时,使用ACK 集群里面的Cloud Shell 进行连接干什么?
执行.sh文件(shell脚本)的几种方式
第一种:(要进到shell脚本所在文件夹中)sh helloworld.sh第二种:(要进到shell脚本所在文件夹中)bash helloworld.sh第三种:(要进到shell脚本所在文件夹中)./helloworld.sh第四种:/home/data/helloworld.sh注意:如果刚创建.sh文件,使用./ 或者绝对路径执行不了时,很可能是因为权限不够。此时你可以使用chmod命令来给shell文件授权。之后就能正常运行了。chmod +x helloworld.sh