YoungCheung

AnolisOS8.6 升级openssh版本

Wed, 19 Jun 2024 09:18:00 +0800

一、升级背景

Anolis OS release 8.6操作系统自带的openssh版本为8.0，被扫出openssh的漏洞，故升级最新版本整改漏洞。

二、升级注意事项

1.龙蜥操作系统自带了openssl 1.1.1k，所以无需安装其他版本的openssl，以免导致冲突。

2.升级前先备份openssh的配置文件目录，多打开一个会话窗口保持ssh连接，为了保险起见建议打开telnet服务，防止升级失败openssh无法启动导致远程不到服务器。

3.编译安装时如提示缺少一些文件导致安装报错，可通过yum工具进行依赖包的安装。

三、升级步骤

3.1 编译安装

#备份原始配置
$ \cp -a  /etc/ssh /etc/ssh_bak
$ \cp -a  /etc/pam.d/sshd /etc/pam.d/sshd_bak

# 下载源码
$ mkdir /test
$ cd /test
$ wget https://mirrors.aliyun.com/pub/OpenBSD/OpenSSH/portable/openssh-9.7p1.tar.gz
$ tar xf openssh-9.7p1.tar.gz
$ cd openssh-9.7p1

#卸载旧版openssh
$ yum remove openssh -y

#编译安装
$ yum install -y zlib-devel.x86_64 openssl-devel.x86_64 pam-devel.x86_64 gcc
$ ./configure --prefix=/usr --sysconfdir=/etc/ssh  --with-zlib=/usr/lib --with-ssl-dir=/etc/pki/tls --with-pam

$ make && make install

#生成ssh服务管理脚本和自启动
$ install -m644 contrib/redhat/sshd.pam /etc/pam.d/sshd 
$ cp contrib/redhat/sshd.init /etc/init.d/sshdchmod a+x /etc/init.d/sshd
$ chkconfig --add sshd

#还原配置
$ \cp  -a /etc/ssh/sshd_config /etc/ssh/sshd_config_default
$ \cp -a  /etc/pam.d/sshd /etc/pam.d/sshd_default

$ cat /etc/ssh_bak/sshd_config >/etc/ssh/sshd_config
$ cat /etc/pam.d/sshd_bak >/etc/pam.d/sshd

#重启sshd
$ systemctl restart sshd

#查看ssh和sshd版本
$ ssh -V
$ sshd -V

3.2 RPM制作并升级操作

# 安装依赖包
$ yum install -y rpm-build rpmdevtools gcc gcc-c++  perl glibc glibc-devel openssl-devel openssl pcre-devel zlib zlib-devel make wget krb5-devel pam-devel libX11-devel xmkmf libXt-devel initscripts libXt-devel imake gtk2-devel lrzsz
 
# 创建RPM包的相关目录
$ mkdir -pv /root/rpmbuild
$ cd /root/rpmbuild
$ rpmdev-setuptree
$ tree
.
├── BUILD
├── RPMS
├── SOURCES
├── SPECS
└── SRPMS
5 directories, 0 files 
 
# 打开OpenSSH官网下载最新版本的Openssh 9.3p2和相关依赖包
$ cd /root/rpmbuild/SOURCES/
$ wget  https://cdn.openbsd.org/pub/OpenBSD/OpenSSH/portable/openssh-9.7p1.tar.gz
$ tar -xf openssh-9.7p1.tar.gz
$ wget https://src.fedoraproject.org/repo/pkgs/openssh/x11-ssh-askpass-1.2.4.1.tar.gz/8f2e41f3f7eaa8543a2440454637f3c3/x11-ssh-askpass-1.2.4.1.tar.gz
 
# 配置相关编译文件
$ cp openssh-9.7p1/contrib/redhat/openssh.spec /root/rpmbuild/SPECS/
$ cd /root/rpmbuild/SPECS/

#不生产ask包（可选）
$ sed -i -e "s/%global no_gnome_askpass 0/%global no_gnome_askpass 1/g" openssh.spec
$ sed -i -e "s/%global no_x11_askpass 0/%global no_x11_askpass 1/g" openssh.spec
#修改openssl-devel的报错（如未报错不用执行）
$ sed -i '/openssl-devel < 1.1/s/^/#/' openssh.spec
#修改PreReq的报错（如未报错不用执行）
$ sed -i '/PreReq:/s/^/#/' openssh.spec
 
# 编译文件
$ rpmbuild -ba openssh.spec
 
# 
$ cd /root/rpmbuild/RPMS/x86_64
$ ll
-rw-r--r-- 1 root root  627876 6月  19 09:46 openssh-9.7p1-1.an8.x86_64.rpm
-rw-r--r-- 1 root root  623488 6月  19 09:46 openssh-clients-9.7p1-1.an8.x86_64.rpm
-rw-r--r-- 1 root root  970000 6月  19 09:46 openssh-debuginfo-9.7p1-1.an8.x86_64.rpm
-rw-r--r-- 1 root root  496012 6月  19 09:46 openssh-server-9.7p1-1.an8.x86_64.rpm

 
# 打包所有rpm包
tar -zcvf openssh9.7p1_an8_rpm.tar.gz *.rpm

#问题参考 https://www.cnblogs.com/JimmyThomas/p/16257866.html

3.3 使用RPM升级openssh操作

#备份原始配置
$ \cp -a  /etc/ssh /etc/ssh_bak
$ \cp -a  /etc/pam.d/sshd /etc/pam.d/sshd_bak

#查看当前openssh版本
# rpm -qa|grep openssh
openssh-8.0p1-13.0.1.an8.x86_64
openssh-server-8.0p1-13.0.1.an8.x86_64
openssh-clients-8.0p1-13.0.1.an8.x86_64
openssh-askpass-8.0p1-13.0.1.an8.x86_64

#卸载旧版openssh
$ yum remove openssh -y

#执行升级
$ rpm -Uvh openssh-*rpm

#还原配置
$ \cp  -a /etc/ssh/sshd_config /etc/ssh/sshd_config_default
$ \cp -a  /etc/pam.d/sshd /etc/pam.d/sshd_default

$ cat /etc/ssh_bak/sshd_config >/etc/ssh/sshd_config
$ cat /etc/pam.d/sshd_bak >/etc/pam.d/sshd

#修改权限并重启sshd
$ chmod 600 /etc/ssh/ssh_host_rsa_key
$ chmod 600 /etc/ssh/ssh_host_ecdsa_key
$ chmod 600 /etc/ssh/ssh_host_ed25519_key
$ systemctl restart sshd

注意：从8.8开始默认禁用使用SHA-1哈希算法的RSA签名，从9.5以后ssh-keygen 默认使用Ed25519加密算法，dsa从openssh 9.0就不再使用，rsa从openssh 9.3开始就不再使用。详情请阅读：OpenSSH: Release Notes

3.4 正确创建key的方式

$ ssh-keygen -t ed25519

3.5 使用源码升级后未找到ssh-copy-id命令

rpm升级openssh之后，高版本的openssh-clinet已经没有ssh-copy-id命令，对于用此命令做免密登陆，不是很方便。

如果使用openssh源码的话，解压之后，会在openssh-9.7p1/contrib下生产ssh-copy-id文件

$ chmod +x ssh-copy-id && mv ssh-copy-id /usr/bin

Kafka 3.5.1 基于kraft 集群搭建

Fri, 25 Aug 2023 12:10:01 +0800

一、简介

Apache 软件基金会发布了包含许多新特性和改进的 Kafka 3.3.1。这是第一个标志着可以在生产环境中使用 KRaft（Kafka Raft）共识协议的版本。在几年的开发过程中，它先是在 Kafka 2.8 早期访问版本中发布，然后又在 Kafka 3.0 预览版本中发布。

KRaft 是一种共识协议，可以直接在 Kafka 中管理元数据。元数据的管理被整合到了 Kafka 当中，而不需要使用像 ZooKeeper 这样的第三方工具，这大大简化了 Kafka 的架构。这种新的 KRaft 模式提高了分区的可伸缩性和弹性，同时简化了 Kafka 的部署，现在可以不依赖 ZooKeeper 单独部署 Kafka 了。

KRaft 使用了 Raft 共识算法的一种基于事件的变体，因此得名。

二、集群安装

2.1 环境规划

2.2 集群安装

2.2.1 下载并解压

$ wget https://downloads.apache.org/kafka/3.5.1/kafka_2.13-3.5.1.tgz

2.2.2 修改配置文件

$ cd /opt/kafka_2.13-3.5.1/config/kraft
 
[root@k8s-master1 kraft]# grep -Ev "^#|^$" server.properties
$ vi server.properties
process.roles=broker,controller
node.id=1
controller.quorum.voters=1@192.168.1.215:9093,2@192.168.1.216:9093,3@192.168.1.217:9093
listeners=PLAINTEXT://:9092,CONTROLLER://:9093
inter.broker.listener.name=PLAINTEXT
advertised.listeners=PLAINTEXT://192.168.1.215:9092
controller.listener.names=CONTROLLER
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
#数据存储位置
log.dirs=/opt/kafka_2.13-3.5.1/logs/kraft-combined-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000

注意：集群内主机配置文件都需要修改，差异如下

# 节点ID，自己设置每个节点的值要不同
node.id=1
# 使用IP端口，每个节点填写自己节点的IP
advertised.listeners=PLAINTEXT://192.168.1.215:9092

2.2.3 初始化集群

在其中一台服务器上执行下面命令生成一个uuid

$ sh bin/kafka-storage.sh random-uuid
 16K1urtBT6iLRg_L77bY9Q

用该uuid格式化kafka存储目录，集群内服务器都要执行以下命令

$ sh bin/kafka-storage.sh format -t 16K1urtBT6iLRg_L77bY9Q -c config/kraft/server.properties

2.2.3 启动集群

$ sh bin/kafka-server-start.sh -daemon config/kraft/server.properties

2.2.4 验证集群

创建topic

$ sh bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic test --partitions 3 --replication-factor 3
Created topic test.

查看topic详情

$ sh bin/kafka-topics.sh --bootstrap-server localhost:9092 --describe test
Topic: test     TopicId: GtjDnrWsSza0bHufc3pIRQ PartitionCount: 3       ReplicationFactor: 3    Configs: segment.bytes=1073741824
        Topic: test     Partition: 0    Leader: 1       Replicas: 1,2,3 Isr: 1,2,3
        Topic: test     Partition: 1    Leader: 2       Replicas: 2,3,1 Isr: 2,3,1
        Topic: test     Partition: 2    Leader: 3       Replicas: 3,1,2 Isr: 3,1,2

openEuler22.03-LTS配置本地yum源

Thu, 09 Mar 2023 10:09:56 +0800

本地yum源是指将操作系统的安装介质文件（ISO）映射至挂载点的方式提供yum源，适合无互联网、无内部私有网络yum源的环境。

一、上传ISO文件至操作系统指定目录内

　本文以将 openEuler-22.03-LTS-x86_64-dvd.iso 文件上传至/u01/soft/目录内，做为配置yum源的原始文件。

[root@euler-node001 ~]# mkdir /u01/soft -p
[root@euler-node001 ~]# cd /u01/soft/
[root@euler-node001 soft]# pwd
/u01/soft
[root@euler-node001 soft]# ls -l
总用量 3561476
-rw-r--r-- 1 root root 3646947328  3月  9 10:17 openEuler-22.03-LTS-x86_64-dvd.iso

二、创建挂载目录与挂载ISO文件

[root@euler-node001 soft]# mkdir -p /mnt/cdrom
[root@euler-node001 soft]# mount -o loop /u01/soft/openEuler-22.03-LTS-x86_64-dvd.iso  /mnt/cdrom/
mount: /mnt/cdrom: WARNING: source write-protected, mounted read-only.

输出信息：mount: /mnt/cdrom: WARNING: source write-protected, mounted read-only.

--mount命令的 -o选项，loop，是指把一个文件当成硬盘分区mount到目录。

　上面为挂载成功后用df-h命令显示的效果。

三、配置yum配置文件openEuler.repo

[root@euler-node001 soft]# cd /etc/yum.repos.d/
[root@euler-node001 yum.repos.d]# cp openEuler.repo{,.bak}
[root@euler-node001 yum.repos.d]# vi /etc/yum.repos.d/openEuler.repo
[root@euler-node001 yum.repos.d]# cat  /etc/yum.repos.d/openEuler.repo
[OS]
name=OS
baseurl=file:///mnt/cdrom
enabled=1
gpgcheck=1
gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-openEuler
[everything]
name=everything
baseurl=file:///mnt/cdrom
enabled=1
gpgcheck=1
gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-openEuler
[EPOL]
name=EPOL
baseurl=file:///mnt/cdrom
enabled=1
gpgcheck=1
gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-openEuler
[debuginfo]
name=debuginfo
baseurl=file:///mnt/cdrom
enabled=1
gpgcheck=1
gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-openEuler
[source]
name=source
baseurl=file:///mnt/cdrom
enabled=1
gpgcheck=1
gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-openEuler
[update]
name=update
baseurl=file:///mnt/cdrom
enabled=1
gpgcheck=1
gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-openEuler

如上所示，把文中所有baseurl的值全部写成file:///mnt/cdrom ，所有gpgkey的值全部写成file:///mnt/cdrom/RPM-GPG-KEY-openEuler。

修改保存后，清除并重新建立yum缓存：

yum clean all
yum makecache

RabbitMQ集群部署

Fri, 03 Mar 2023 09:35:08 +0800

一、简介

1.1. 概述

RabbitMQ是一个消息中间件:它接受并转发消息。你可以把它当做一个快递站点，当你要发送一个包裹时，你把你的包裹放到快递站，快递员最终会把你的快递送到收件人那里，按照这种逻辑RabbitMQ是一个快递站，一个快递员帮你传递快件。RabbitMQ与快递站的主要区别在于，它不处理快件而是接收，存储和转发消息数据。、

1.2 工作原理示意图

1.3 名词介绍

1、Broker:接收和分发消息的应用，RabbitMQ Server就是Message Broker

2、Connection: publisher / consumer和 broker之间的TCP连接

3、Channel:如果每一次访问RabbitMQ都建立一个Connection，在消息量大的时候建立TCP

Connection的开销将是巨大的，效率也较低。Channel是在connection 内部建立的逻辑连接，如果应用程序支持多线程，通常每个thread创建单独的channel进行通讯，AMQP method包含了channel id 帮助客户端和message broker识别 channel，所以channel 之间是完全隔离的。Channel作为轻量级的Connection极大减少了操作系统建TCP connection的开销

4、Exchange: message 到达 broker 的第一站，根据分发规则，匹配查询表中的 routing key，分发消息到queue 中去。常用的类型有: direct (point-to-point), topic(publish-subscribe) and fanout

(multicast)

5、Routing Key:生产者将消息发送到交换机时会携带一个key,来指定路由规则

6、binding Key:在绑定Exchange和Queue时，会指定一个BindingKey,生产者发送消息携带的RoutingKey会和bindingKey对比，若一致就将消息分发至这个队列

7、vHost 虚拟主机：每一个RabbitMQ服务器可以开设多个虚拟主机每一个vhost本质上是一个mini版的RabbitMQ服务器，拥有自己的 "交换机exchange、绑定Binding、队列Queue"，更重要的是每一个vhost拥有独立的权限机制，这样就能安全地使用一个RabbitMQ服务器来服务多个应用程序，其中每个vhost服务一个应用程序。

1.4 交换机类型

1.direct Exchange(直接交换机)

匹配路由键，只有完全匹配消息才会被转发

2.Fanout Excange（扇出交换机）

将消息发送至所有的队列

3.Topic Exchange(主题交换机)

将路由按模式匹配，此时队列需要绑定要一个模式上。符号“#”匹配一个或多个词，符号“匹配不多不少一个词。因此“abc.#”能够匹配到“abc.def.ghi”，但是“abc.” 只会匹配到“abc.def”。

4.Header Exchange

在绑定Exchange和Queue的时候指定一组键值对，header为键，根据请求消息中携带的header进行路由

1.5 工作模式

1.5.1 simple（简单模式）

一个消费者消费一个生产者生产的东西。

1.5.2 Work queues(工作模式)

一个生产者生产信息，多个消费者进行消费，但是一条消息只能消费一次

1.5.3 Publish/Subscribe（发布订阅模式）

生产者首先投递消息到交换机，订阅了这个交换机的队列就会收到生产者投递的消息

1.5.4 Routing（路由模式）

生产者生产消息投递到direct交换机中，扇出交换机会根据消息携带的routing Key匹配相应的队列

1.5.5 Topics（主题模式）

生产者生产消息投递到topic交换机中，上面是完全匹配路由键，而主题模式是模糊匹配，只要有合适规则的路由就会投递给消费者

1.6 保证消息的稳定性

1.消息持久化

RabbitMQ的消息默认存在内存中的，一旦服务器意外挂掉，消息就会丢失。

消息持久化需做到三点

A、Exchange设置持久化

B、Queue设置持久化

C、Message持久化发送：发送消息设置发送模式deliveryMode=2，代表持久化消息

2.ACK确认机制

多个消费者同时收取消息，收取消息到一半，突然某个消费者挂掉，要保证此条消息不丢失，就需要acknowledgement机制，就是消费者消费完要通知服务端，服务端才将数据删除这样就解决了，及时一个消费者出了问题，没有同步消息给服务端，还有其他的消费端去消费，保证了消息不丢的case。

3.设置集群镜像模式

我们先来介绍下RabbitMQ三种部署模式：

1）单节点模式：最简单的情况，非集群模式，节点挂了，消息就不能用了。业务可能瘫痪，只能等待。

2）普通模式：默认的集群模式，某个节点挂了，该节点上的消息不能用，有影响的业务瘫痪，只能等待节点恢复重启可用（必须持久化消息情况下）。

3）镜像模式：把需要的队列做成镜像队列，存在于多个节点，属于RabbitMQ的HA方案

4.消息补偿机制

持久化的消息，保存到硬盘过程中，当前队列节点挂了，存储节点硬盘又坏了，消息丢了，怎么办？

产线网络环境太复杂，所以不知数太多，消息补偿机制需要建立在消息要写入DB日志，发送日志，接受日志，两者的状态必须记录。然后根据DB日志记录check 消息发送消费是否成功，不成功，进行消息补偿措施，重新发送消息处理。

1.7 如何实现延迟队列

RabbitMQ本身没有延迟队列，需要靠TTL和DLX模拟出延迟的效果

1、 TTL（Time To Live）

RabbitMQ可以针对Queue和Message设置 x-message-tt，来控制消息的生存时间，如果超时，则消息变为dead letter

RabbitMQ针对队列中的消息过期时间有两种方法可以设置。

A: 通过队列属性设置，队列中所有消息都有相同的过期时间。

B: 对消息进行单独设置，每条消息TTL可以不同。

如果同时使用，则消息的过期时间以两者之间TTL较小的那个数值为准。消息在队列的生存时间一旦超过设置的TTL值，就成为dead letter

2、DLX (Dead-Letter-Exchange)

RabbitMQ的Queue可以配置x-dead-letter-exchange 和x-dead-letter-routing-key（可选）两个参数，如果队列内出现了dead letter，则按照这两个参数重新路由。

x-dead-letter-exchange：出现dead letter之后将dead letter重新发送到指定exchange

x-dead-letter-routing-key：指定routing-key发送

队列出现dead letter的情况有：

A、消息或者队列的TTL过期

B、队列达到最大长度

C、消息被消费端拒绝（basic.reject or basic.nack）并且requeue=false

D、利用DLX，当消息在一个队列中变成死信后，它能被重新publish到另一个Exchange。这时候消息就可以重新被消费。

二、Rabbitmq部署

2.1 主机规划

2.2 下载软件包

安装二进制rabbitmq需要安装erlang语言包，每个rabbitmq版本需要的erlang版本也不一样，要注意

比对地址：http://www.rabbitmq.com/which-erlang.html

安装Erlang环境，注意版本要与RabbitMQ版本对应。这里演示我们选择以下版本下载：

wget https://github.com/erlang/otp/releases/download/OTP-25.0/otp_src_25.0.tar.gz
wget https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.11.4/rabbitmq-server-generic-unix-3.11.4.tar.xz

2.3 安装依赖

sudo yum install make gcc gcc-c++ build-essential openssl openssl-devel unixODBC unixODBC-devel kernel-devel m4 ncurses-devel -y

2.4 解压安装erlang环境

tar xf otp_src_25.0.tar.gz -C /data
cd otp_src_25.0/
./configure --prefix=/data/erlang
make && make install

此报错可忽略，若想要解决参考：

在编译rabbitmq过程中报错：rabbitmq wxWidgets must be installed on your system.

wxWidgets官网

[root@linux-node001]# otp_src_25.0]# yum -y install bzip2
[root@linux-node001 otp_src_25.0]# tar -jxvf  wxWidgets-3.0.5.tar.bz2 
[root@linux-node001t otp_src_25.0]# cd wxWidgets-3.0.5
[root@linux-node001 otp_src_25.0]# ./configure && make && sudo make install

2.5 添加环境变量

$ vi /etc/profile
export ERLANG_HOME=/data/erlang
export PATH=$ERLANG_HOME/bin:$PATH

$ source /etc/profile

2.6 安装rabbitmq依赖

 sudo yum install socat -y

2.7 解压rabbitmq并配置环境变量

tar xf rabbitmq-server-generic-unix-3.11.4.tar.xz -C /data/
mv rabbitmq_server-3.11.4 rabbitmq

$ vi /etc/profile
export ERLANG_HOME=/data/rabbitmq
export PATH=$ERLANG_HOME/sbin:$PATH

$ source /etc/profile

2.8 后台启动rabbitmq

rabbitmq-server -detached

2.9 开启管理页面插件

rabbitmq-plugins enable rabbitmq_management

2.10 修改默认guest并创建用户

rabbitmqctl add_user zhangsir  Admin@123
rabbitmqctl add_user operation Admin@123

2.11 指定用户权限

rabbitmqctl set_user_tags zhangsir administrator
rabbitmqctl set_user_tags operation administrator

2.12 用户角色类型

用户角色5种类型：
none：无任何角色。新创建的用户的角色默认为none。
management：可以访问Web管理页面。
policymaker：包含management的所有权限，并且可以管理策略（policy）和参数（parameter）。
monitoring：包含management的所有权限，并且可以看到所有连接（connections）、信道（channels）以及节点相关的信息。
administartor：包含monitoring的所有权限，并且可以管理用户、虚拟主机、权限、策略、参数等等。
administator代表了最高的权限。

2.13 用户授权

命令格式：rabbitmqctl set_permissions [-p vhosts] {user} {conf} {write} {read}
[-p vhost]：授予用户访问权限的 vhost 名称，如果不写默认为 /。
user：指定哪个用户可以访问该vhost的权限。
conf：用户在哪些资源上拥有可配置权限（支持正则表达式）。
write：用户在哪些资源上拥有写权限（支持正则表达式）。
read：用户在哪些资源上拥有读权限（支持正则表达式）。

$ rabbitmqctl set_permissions -p "/"  operation ".*" ".*" ".*"

2.14 登录

如果业务使用单节到此结束，接下来我们继续配置集群。

2.16 配置rabbitmq集群

2.16.1 停止服务并拷贝erlang cookie

/data/rabbitmq/sbin/rabbitmqctl  stop

cat  /home/operation/.erlang.cookie  (每台机器复制内容保持一致）
rsync  -av  /home/operation/.erlang.cookie  节点的ip:/home/operation/.erlang.cookie（支持rsync复制下）

#启动
/data/rabbitmq/sbin/rabbitmq-server   -detached （每台机器启动服务）

2.16.2 将rabbitmq节点加入集群

#192.168.1.11 

rabbitmqctl stop_app
rabbitmqctl join_cluster rabbit@node1  --ram
rabbitmqctl start_app
rabbitmqctl cluster_status


#192.168.1.12 

rabbitmqctl stop_app
rabbitmqctl join_cluster rabbit@node1  --disc
rabbitmqctl start_app
rabbitmqctl cluster_status

2.16.2 查看集群状态

rabbitmqctl cluster_status

2.16.3 访问IP：15672查看集群情况

三、配置镜像队列

3.1 设置镜像队列策略

# 任意节点
rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'

将所有队列设置为镜像队列，即队列会被复制到各个节点，各个节点状态一致，RabbitMQ高可用集群就已经搭建好了,我们可以重启服务，查看其队列是否在从节点同步

3.2 移除集群节点[拓展]

rabbitmqctl forget_cluster_node rabbit@linux-node002

3.3 修改集群名称（默认为第一个node名称）[拓展]

# 任意节点
rabbitmqctl set_cluster_name rabbitmq_cluster1

3.4 测试队列同步

在node1上

队列开始同步

登录其他两个node查看，镜像队列已经同步。

Activemq的高可用—基于Zookeeper的主从集群

Wed, 01 Mar 2023 12:16:49 +0800

一、Activemq介绍

1.1 Activemq简介

Activemq 是Apache出品，最流行的，能力强劲的开源消息总线。完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现。

1.2 Activemq特性

多种语言和协议编写客户端。语言: Java, C, C++, C#, Ruby, Perl, Python, PHP。应用协议: OpenWire,Stomp REST,WS Notification,XMPP,AMQP 完全支持JMS1.1和J2EE 1.4规范 (持久化,XA消息,事务)；

对Spring的支持,ActiveMQ可以很容易内嵌到使用Spring的系统里面去,而且也支持Spring2.0的特性；

通过常见J2EE服务器(如 Geronimo,JBoss 4, GlassFish,WebLogic)的测试,其中通过JCA 1.5 resourceadaptors的配置,可以让ActiveMQ可以自动的部署到任何兼容J2EE1.4商业服务器上支持多种传送协议:in-VM,TCP,SSL,NIO,UDP,JGroups,JXTA

支持通过JDBC和journal提供高速的消息持久化

从设计上保证了高性能的集群,客户端-服务器,点对点

支持Ajax

支持与Axis的整合可以很容易得调用内嵌JMS provider,进行测试

二、环境部署演示

2.1 主机规划

2.2 搭建zookeeper集群（略）

zk集群地址：

zkAddress="192.168.1.10:2181,192.168.1.11:2181,192.168.1.12:2181"

2.3 搭建Activemq集群

2.3.1 下载Activemq安装包

cd /data
wget https://mirrors.tuna.tsinghua.edu.cn/apache/activemq/5.18.3/apache-activemq-5.18.3-bin.tar.gz

2.3.2 解压

tar xf apache-activemq-5.18.3-bin.tar.gz -C /data/
mv apache-activemq-5.18.3 activemq
cd activemq

#下载jdk13并解压
https://download.java.net/java/GA/jdk13/5b8a42f3905b406298b72d750b6919f6/33/GPL/openjdk-13_linux-x64_bin.tar.gz
修改 env，vi /data/activemq/bin/env ,增加如下配置
JAVA_HOME="/data/activemq/jdk-13"
CLASSPATH=.:$JAVA_HOME/lib
PATH=$PATH:$JAVA_HOME/bin

2.3.3 修改控制台的登录用户名密码

cd /data/activemq/conf/
vi jetty-realm.properties

#用户名:密码,权限
admin: admin,admin
user: user,user
operation: Admin@123,admin

2.3.4 配置策安全略，禁止无关人员访问发送接收信息

#新增一个插件,在<broker>节点里面<systemUsage>节点前面添加
<plugins>  
    <simpleAuthenticationPlugin>  
        <users>  
            <authenticationUser username="${activemq.username}" password="${activemq.password}" groups="users,admins"/>  
        </users>  
    </simpleAuthenticationPlugin>  
</plugins>

2.3.5 修改三台服务器管控台端口。默认为8161。

vi /data/activemq/conf/jetty.xml

2.3.5 集群持久化配置

注意：3个activemq的brokerName必须相同，否则不能加入集群。

<persistenceAdapter>
            <!--<kahaDB directory="${activemq.data}/kahadb"/>-->
            <replicatedLevelDB
            directory="${activemq.data}/leveldb"
            replicas="3"
            bind="tcp://0.0.0.0:62621"
            zkAddress="192.168.1.10:2181,192.168.1.11:2181,192.168.1.12:2181"
                        zkPassword=""
            hostname="本机IP"
            zkPath="/activemq/leveldb-stores" />
        </persistenceAdapter>

2.3.6 启动

/data/activemq/bin/activemq start

2.4 集群管理

（1）通过使用ZooInspector工具查看zookeeper集群情况

（2）http://192.168.1.10:8161/admin 默认用户名与口令为admin登录ActiveMQ管理端

通过以上步骤，便可以实现Activemq的主从集群，当Master主节点出现故障宕机后，Slave从节点便会通过投票机制，票数最多的Slave从节点升级为新的Master主节点，用来提供服务。当故障节点恢复之后，会重新加入到集群中并连接 Master 进入Slave 模式。

客户端配置：failover:(tcp:192.168.1.10:61616,192.168.1.11:61616,192.168.1.12:61616)?randomize=false

基于OpenLDAP_MirrorMode的OpenLDAP高可用

Tue, 28 Feb 2023 10:11:30 +0800

1、主机规划

2、示意图

3、基础环境准备

#关闭selinux和防火墙
sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config && sestatus
/bin/systemctl disable firewalld.service && /bin/systemctl stop firewalld.service

#配置阿里源
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
sed -i 's/$releasever/7/g' /etc/yum.repos.d/CentOS-Base.repo
yum clean all && yum list

4、安装依赖包和下载软件包

#安装依赖
sudo yum -y install libtool-ltdl libtool-ltdl-devel gcc openssl openssl-devel cyrus-sasl* libdb* sasl*
sudo mkdir /data/ -p 
sudo chown -R operation:operation /data/
cd /data/
wget ftp://ftp.openldap.org/pub/OpenLDAP/openldap-release/openldap-2.4.45.tgz
wget http://download.oracle.com/berkeley-db/db-4.6.21.tar.gz

二、安装Berkeley DB和openldap

编译安装openldap需要数据库的支持，openldap的数据库支持Berkeley DB,Oracle,Mysql,MariaDB,GDBM等数据库。默认openldap采用Berkeley DB，并且openldap对数据库有一定的要求，openldap 2.4的软件为例，需要Berkeley DB 4.4版本以上.

2.1 编译安装Berkeley DB

tar -xf db-4.6.21.tar.gz -C /data
cd /data/db-4.6.21/build_unix/ && mkdir /data/BerkeleyDB
../dist/configure --prefix=/data/BerkeleyDB
make && make install

echo "/data/BerkeleyDB/lib/" >> /etc/ld.so.conf
ldconfig -v
ln -sv /data/BerkeleyDB/include /usr/include/BerkeleyDB

2.2 编译安装openldap

tar -xf openldap-2.4.45.tgz -C /data
cd /data/openldap-2.4.45/
./configure --prefix=/data/openldap --enable-syslog --enable-modules --enable-debug --with-tls CPPFLAGS=-I/data/BerkeleyDB/include/ LDFLAGS=-L/data/BerkeleyDB/lib/ --enable-ldap --enable-relay --enable-accesslog --enable-auditlog --enable-syncprov --with-cyrus-sasl --enable-spasswd
make depend
make && make install

echo "/data/openldap/lib/" >> /etc/ld.so.conf
ldconfig -v
ln -sv /data/openldap/include/ /usr/include/ldap
ln -s /data/openldap/bin/* /usr/local/bin/
ln -s /data/openldap/sbin/* /usr/local/sbin/

2.3 配置openldap

配置openldap的方法有两种

* 通过修改配置文件实现配置

* 通过配置数据库的形式完成配置（slapd.d下的数据库配置文件）,属于动态配置不需要重启slapd进程,此配置文件在cn=config目录下的LDIF的配置文件。此文件不建议手动修改，用ldap命令生成。

这里，我们将通过第一种通过修改配置文件实现的方式来演示。

2.3.1 创建用户(假如以ldap用户启动)

sudo useradd ldap

2.3.1 创建rootdn密码

sudo /usr/local/sbin/slappasswd
New password:
Re-enter new password:
{SSHA}COM7SL18KzRv+ZI4iYC7lVZdiYrie0PX

2.3.3 创建相关目录及授权

mkdir /data/openldap/{data,log,var} -p

cp /data/openldap/etc/openldap/DB_CONFIG.example /data/openldap/data/DB_CONFIG
chown -R ldap:ldap /data/openldap/
chmod 700 -R /data/openldap/data

2.3.4 修改配置文件

$ vi /data/openldap/etc/openldap/slapd.conf

include /data/openldap/etc/openldap/schema/core.schema
include /data/openldap/etc/openldap/schema/collective.schema
include /data/openldap/etc/openldap/schema/corba.schema
include /data/openldap/etc/openldap/schema/cosine.schema
include /data/openldap/etc/openldap/schema/duaconf.schema
include /data/openldap/etc/openldap/schema/dyngroup.schema
include /data/openldap/etc/openldap/schema/inetorgperson.schema
include /data/openldap/etc/openldap/schema/java.schema
include /data/openldap/etc/openldap/schema/misc.schema
include /data/openldap/etc/openldap/schema/nis.schema
include /data/openldap/etc/openldap/schema/openldap.schema
include /data/openldap/etc/openldap/schema/ppolicy.schema
pidfile /data/openldap/var/run/slapd.pid
argsfile /data/openldap/var/run/slapd.args
loglevel 256
logfile /data/openldap/log/slapd.log
moduleload syncprov.la
disallow bind_anon
database mdb
maxsize		1073741824
directory	/data/openldap/data
suffix		"dc=iopst,dc=com"
rootdn		"cn=www,dc=iopst,dc=com"
access to dn.subtree="ou=huyu,ou=group,dc=iopst,dc=com"
  by group.exact="cn=admin,ou=huyu,ou=group,dc=iopst,dc=com" write
access to * by * read
rootpw {SSHA}04W6/rxm3B4Re/uI+ecU12GWCm5+aUmOZ
index objectclass eq
overlay syncprov
syncprov-checkpoint 100 10
syncprov-sessionlog 100
serverID 1
syncrepl rid=1
         provider=ldap://10.148.170.129:389
         bindmethod=simple
         binddn="cn=www,dc=iopst,dc=com"
         credentials=123456
         searchbase="dc=iopst,dc=com"
         schemachecking=off
         type=refreshAndPersist
         retry="60 +"

syncrepl rid=2
         provider=ldap://10.148.170.130:389
         bindmethod=simple
         binddn="cn=www,dc=iopst,dc=com"
         credentials=123456
         searchbase="dc=iopst,dc=com"
         schemachecking=off
         type=refreshAndPersist
         retry="60 +"
mirrormode on
mirrormode on

注意：两个服务器的配置文件有两个地方不一致

1）serverID不一致

2）provider=ldap://：port 不一致

2.3.5 开启日志功能

通过修改配置文件开启日志功能
sudo vim /etc/rsyslog.d/slapd.conf
local4.* /data/openldap/log/openldap.log

sudo systemctl restart  rsyslog

2.3.6 启动ldap

sudo /data/openldap/libexec/slapd -u ldap

三、PHPLDAPadmin安装

3.1 安装工具

yum -y install httpd php php-ldap php-gd php-mbstring php-pear php-bcmath php-xml
yum -y install epel-release
yum --enablerepo=epel -y install phpldapadmin

3.2 修改配置文件

vim /etc/phpldapadmin/config.php 
修改如下：
$servers->setValue('login','attr','dn');
//$servers->setValue('login','attr','uid');

vi /etc/httpd/conf.d/phpldapadmin.conf
#Apache2.4 
Require local
Require all granted

#Apache 2.2
Order Deny,Allow
Deny from all
Allow from all

3.3 启动httpd

systemctl start httpd

3.4 访问http://10.148.170.129 && http://10.148.170.130

四、数据同步演示

现在在10.148.170.129创建一个OU名为t1

可以看到已经同步到10.148.170.130，现在我们在10.148.170.130上创建一个OU名为t2

四、问题处理

4. 1、 This base cannot be created with PLA.（如果导入用户恢复无需操作）

1）添加一个base.ldif文件，里面的dc和配置文件里的保持一致即可
dn: dc=iopst,dc=cn
o: ldap
objectclass: dcObject
objectclass: organization

2）然后执行命令导入数据库
ldapadd -f base.ldif -x -D cn=www,dc=iopst,dc=cn  -W

然后会提示输入密码，添加成功会提示增加了一个新的节点
Enter LDAP Password:
adding new entry "dc=iopst,dc=cn"

3）在 phpldapadmin 控制面板刷新下，发现根节点已经变成了可以编辑的状态了。

五、数据导出与导入

#导出
 /data/openldap/bin/ldapsearch -LLL  -x  -w admin@123 -D "cn=www,dc=iopst,dc=com" -b "dc=iopst,dc=com" > backup_data2.ldif
 
#导入
/data/openldap/bin/ldapadd -x -D "cn=www,dc=iopst,dc=cn" -w "admin@123" -f  backup_data.ldif

logstash离线安装插件

Tue, 16 Aug 2022 16:56:55 +0800

1、离线安装命令

$ ./bin/logstash-plugin install file:///path/logstash-7.16.3/logstash-offline-plugins-7.16.3.zip

2、检查插件是否安装成功

$ ./logstash-plugin list

ELK-7.16.3集群部署实战

Mon, 25 Apr 2022 15:33:25 +0800

ELK是一款开源的海量日志搜索分析平台，能够完美的解决我们上述的问题，对日志进行集中采集和实时索引，提供实时搜索、分析、可视化、报警等功能，帮助企业在统一平台实时管理日志数据，进行线上业务实时监控、异常原因定位、数据统计分析。ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。

Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统；它构建于Apache Lucene搜索引擎库之上

Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch

Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据

一个完整的集中式日志系统，需要包含以下几个主要特点：

1）收集－能够采集多种来源的日志数据;

2）传输－能够稳定的把日志数据传输到中央系统;

3）存储－如何存储日志数据;

4）分析－可以支持 UI 分析;

5）警告－能够提供错误报告，监控机制;

而ELK则提供了一整套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用。是目前主流的一种日志系统。

官方网站https://www.elastic.co/products

集群部署规划架构图（演示）：

ELK下载地址：

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.16.3-linux-x86_64.tar.gz 
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.16.3-linux-x86_64.tar.gz 
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.16.3-linux-x86_64.tar.gz

基础环境准备

1、关闭防火墙和selinux

systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config

2、内核优化

# /etc/security/limits.conf（可选）
末尾添加
* soft nofile 65535
* hard nofile 65535
* soft nproc 65535
* hard nproc 65535

#/etc/sysctl.conf
如下参数
net.ipv4.tcp_max_syn_backlog = 65536
net.core.netdev_max_backlog = 32768
net.core.somaxconn = 32768
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_syn_retries = 2
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_mem = 94500000 915000000 927000000
net.ipv4.tcp_max_orphans = 3276800
net.ipv4.tcp_fin_timeout = 120
net.ipv4.tcp_keepalive_time = 120
net.ipv4.ip_local_port_range = 1024 65535
net.ipv4.tcp_max_tw_buckets = 30000
fs.file-max=655350
vm.max_map_count = 262144
net.core.somaxconn= 65535
net.ipv4.ip_forward = 1
net.ipv6.conf.all.disable_ipv6=1

#生效
sudo sysctl -p

一、Elasticsearch

1、创建数据目录和授权（所有主机执行以下操作）

tar xf elasticsearch-7.16.3-linux-x86_64.tar.gz -C /data/
cd /data/elasticsearch-7.16.3
sudo mkdir /data/elasticsearch-7.16.3/es7.16.3 -p

注意：es需要使用非root用户启动。

2、修改配置

cluster.name: meta-meeting
node.name: node-129
path.data: /data/elasticsearch-7.16.3/es7.16.3
path.logs: /data/elasticsearch-7.16.3/logs
network.host: 10.148.181.129
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: ["10.148.181.129:9300", "10.148.181.130:9300","10.148.181.131:9300"]
cluster.initial_master_nodes: ["10.148.181.129:9300", "10.148.181.130:9300","10.148.181.131:9300"]
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /data/elasticsearch-7.16.3/config/elasticsearch-certificates.p12
xpack.security.transport.ssl.truststore.path: /data/elasticsearch-7.16.3/config/elasticsearch-certificates.p12
xpack.monitoring.collection.enabled: true


cluster.name: meta-meeting
node.name: node-130
path.data: /data/elasticsearch-7.16.3/es7.16.3
path.logs: /data/elasticsearch-7.16.3/logs
network.host: 10.148.181.130
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: ["10.148.181.129:9300", "10.148.181.130:9300","10.148.181.131:9300"]
cluster.initial_master_nodes: ["10.148.181.129:9300", "10.148.181.130:9300","10.148.181.131:9300"]
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /data/elasticsearch-7.16.3/config/elasticsearch-certificates.p12
xpack.security.transport.ssl.truststore.path: /data/elasticsearch-7.16.3/config/elasticsearch-certificates.p12
xpack.monitoring.collection.enabled: true


cluster.name: meta-meeting
node.name: node-131
path.data: /data/elasticsearch-7.16.3/es7.16.3
path.logs: /data/elasticsearch-7.16.3/logs
network.host: 10.148.181.131
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: ["10.148.181.129:9300", "10.148.181.130:9300","10.148.181.131:9300"]
cluster.initial_master_nodes: ["10.148.181.129:9300", "10.148.181.130:9300","10.148.181.131:9300"]
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /data/elasticsearch-7.16.3/config/elasticsearch-certificates.p12
xpack.security.transport.ssl.truststore.path: /data/elasticsearch-7.16.3/config/elasticsearch-certificates.p12
xpack.monitoring.collection.enabled: true

3、生成证书并拷贝到其他节点

bin/elasticsearch-certutil cert -out /data/elasticsearch-7.16.3/config/elasticsearch-certificates.p12 -pass ""

scp -r config/elasticsearch-certificates.p12 10.148.181.130:/data/elasticsearch-7.16.3/config/                                                                                              
scp -r config/elasticsearch-certificates.p12 10.148.181.131:/data/elasticsearch-7.16.3/config/

4、依次启动elasticsearch

bin/elasticsearch -d

5、生成集群密码

bin/elasticsearch-setup-passwords interactive

手动设置密码，elastic,apm_system,kibana,logstash_system,beats_system,remote_monitoring_user，这些用户登录时会用到。

浏览器登录http://ip:9200显示如下：

二、logstash

本文我们以filebeat输入nginx日志到kafka为例，首先我们要部署filebeat，简述安装过程如下

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.5.0-linux-x86_64.tar.gz
tar  xf filebeat-6.5.0-linux-x86_64.tar.gz -C /data/
cd /data/filebeat-6.5.0
修改文件filebeat.yml

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 3
output.kafka:
  hosts: ["kafka1:9092","kafka2:9092","kafka3:9092"]   #注意需要填写IP地址
  topic: "nginx" #请根据项目topic填写
  codec.json:
    pretty: false

启动nginx module

$ ./filebeat modules enable nginx

修改文件modules.d/nginx.yml
- module: nginx
  # Access logs
  access:
    enabled: true

    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths: ["path/logs/access.log"]

  # Error logs
  error:
    enabled: true

    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths: ["path/logs/error.log"]

启动filebeat
nohup ./filebeat -e -c filebeat.yml > filebeat.log &

1、部署logstash（任意一台主机部署即可）

tar xf logstash-7.16.3-linux-x86_64.tar.gz -C /data/
cd logstash-7.16.3/config

2、meta-nginx.conf 模板

input {
 kafka {
    bootstrap_servers => "kafka1:9092,kafka2:9092,kafka3:9092"    
    topics => ["nginx"]
    codec => "json"
    group_id => "meta-nginx"
    auto_offset_reset=>"latest"
	consumer_threads => 2
    decorate_events => true
  }
}

output {
    elasticsearch {
             hosts => [ "http://es1:9200","http://es2:9200","http://es3:9200" ]
             index=> "meta-nginx-%{+YYYY.MM.dd}"
             template_name=>"meta-nginx-template"
             manage_template=>false
             user => "elastic" 
             password => "password"
    }
}

3、启动logstash

nohup ../bin/logstash -f meta-nginx.conf -l ../logs/meta-nginx/ --config.reload.automatic >/dev/null &

注意如果要启动多个需要删除 .lock文件

三、kibana

1、解压kibana

tar xf kibana-7.16.3-linux-x86_64.tar.gz -C /data/
cd /data/kibana-7.16.3-linux-x86_64/

2、修改config/kibana.yml

server.port: 5601
server.host: "本机IP"
server.basePath: "/meta"
server.rewriteBasePath: true
elasticsearch.hosts: ["http://es1:9200","http://es2:9200",http://es3:9200]
elasticsearch.username: "kibana_system"
elasticsearch.password: "password"

3、启动kibana

nohup bin/kibana &

4、浏览器访问http://ip:5601/meta

Container Runtime

Sun, 24 Apr 2022 13:39:42 +0800

为了在 Pod 中运行容器，Kubernetes 使用容器运行时（Container Runtime）。

默认情况下，Kubernetes 使用容器运行时接口（Container Runtime Interface，CRI）来与你所选择的容器运行时交互。

如果你不指定运行时，则 kubeadm 会自动尝试检测到系统上已经安装的运行时，方法是扫描一组众所周知的 Unix 域套接字。下面的表格列举了一些查找的容器运行时及其对应的套接字路径：

运行时	域套接字
Docker Engine	`/var/run/dockershim.sock`
containerd	`/run/containerd/containerd.sock`
CRI-O	`/var/run/crio/crio.sock`

如果同时检测到 Docker Engine 和 containerd，kubeadm 将优先考虑 Docker Engine。这是必然的，因为 Docker 18.09 附带了 containerd 并且两者都是可以检测到的，即使你仅安装了 Docker。 **如果检测到其他两个或多个运行时，kubeadm 输出错误信息并退出。**

kubelet 可以使用已弃用的 dockershim 适配器与 Docker Engine 集成（dockershim 是 kubelet 本身的一部分）。

containerd

1、安装和配置的先决条件

cat <<EOF | sudo tee /etc/modules-load.d/containerd.conf
overlay
br_netfilter
EOF

sudo modprobe overlay
sudo modprobe br_netfilter

# 设置必需的 sysctl 参数，这些参数在重新启动后仍然存在。
cat <<EOF | sudo tee /etc/sysctl.d/99-kubernetes-cri.conf
net.bridge.bridge-nf-call-iptables  = 1
net.ipv4.ip_forward                 = 1
net.bridge.bridge-nf-call-ip6tables = 1
EOF

# 应用 sysctl 参数而无需重新启动
sudo sysctl --system

2、下载continerd

yum install  containerd.io  -y

3、配置containerd

sudo mkdir -p /etc/containerd 
containerd config default | sudo tee /etc/containerd/config.toml

4、修改配置和修改systemd cgroup程序驱动

结合 runc 使用 systemd cgroup 驱动，在 /etc/containerd/config.toml 中设置
# 找到containerd.runtimes.runc.options，在其下加入SystemdCgroup = true
[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
              SystemdCgroup = true
    [plugins."io.containerd.grpc.v1.cri".cni]

# 将sandbox_image默认地址改为符合版本地址
sandbox_image = "registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.6"

#配置crictl客户端连接的运行时位置
cat > /etc/crictl.yaml <<EOF
runtime-endpoint: unix:///run/containerd/containerd.sock
image-endpoint: unix:///run/containerd/containerd.sock
timeout: 10
debug: false
EOF

5、启动

sudo systemctl restart containerd

Mongodb4.4.13集群安装实战

Tue, 19 Apr 2022 14:19:33 +0800

1、环境规划

2、创建目录

mkdir -p /data/mongodb/{data,logs,apps,run}
mkdir -p /data/mongodb/data/shard{1,2,3}
mkdir -p /data/mongodb/data/config
mkdir -p /data/mongodb/conf
mkdir -p /tmp/mongodb/configsvr
mkdir -p /tmp/mongodb/shard1
mkdir -p /tmp/mongodb/shard2
mkdir -p /tmp/mongodb/shard3
mkdir -p /tmp/mongodb/mongos

3、创建Keyfile Security

$ openssl rand -base64 756 > /data/mongodb/conf/mongodb.key
$ chmod 400 /data/mongodb/conf/mongodb.key
$ scp -r /data/mongodb/conf/mongodb.key  nodeIP:/data/mongodb/conf/

4、创建配置文件

tee /data/mongodb/conf/configsvr.yml <<-'EOF'
systemLog:
  destination: "file"
  logAppend: true
  path: "/data/mongodb/logs/configsvr.log"
storage:
  dbPath: "/data/mongodb/data/config"
  journal:
    enabled: true
  engine: "wiredTiger"
  wiredTiger:
    engineConfig:
      directoryForIndexes: true
      cacheSizeGB: 2
processManagement:
  fork: true
  pidFilePath: "/data/mongodb/run/configsvr.pid"
  timeZoneInfo: "/usr/share/zoneinfo"
net:
  port: 27019
  bindIp: "::,0.0.0.0"
  maxIncomingConnections: 5000
  unixDomainSocket:
    enabled: true
    pathPrefix: "/tmp/mongodb/configsvr"
    filePermissions: 0700
setParameter:
  enableLocalhostAuthBypass: true
security:
  clusterAuthMode: "keyFile"
  keyFile: "/data/mongodb/conf/mongodb.key"
  authorization: "enabled"
replication:
  replSetName: "replCluster"
sharding:
  clusterRole: "configsvr"
EOF

创建shard配置文件

tee /data/mongodb/conf/shard1.yml <<-'EOF'
systemLog:
  destination: "file"
  logAppend: true
  path: "/data/mongodb/logs/shard1.log"
storage:
  dbPath: "/data/mongodb/data/shard1"
  journal:
    enabled: true
  engine: "wiredTiger"
  wiredTiger:
    engineConfig:
      directoryForIndexes: true
      cacheSizeGB: 2
processManagement:
  fork: true
  pidFilePath: "/data/mongodb/run/shard1.pid"
  timeZoneInfo: "/usr/share/zoneinfo"
net:
  port: 29017
  bindIp: "::,0.0.0.0"
  maxIncomingConnections: 5000
  unixDomainSocket:
    enabled: true
    pathPrefix: "/tmp/mongodb/shard1"
    filePermissions: 0700
setParameter:
  enableLocalhostAuthBypass: true
security:
  clusterAuthMode: "keyFile"
  keyFile: "/data/mongodb/conf/mongodb.key"
  authorization: "enabled"
replication:
  replSetName: "shard1"
sharding:
  clusterRole: "shardsvr"
EOF

tee /data/mongodb/conf/shard2.yml <<-'EOF'
systemLog:
  destination: "file"
  logAppend: true
  path: "/data/mongodb/logs/shard2.log"
storage:
  dbPath: "/data/mongodb/data/shard2"
  journal:
    enabled: true
  engine: "wiredTiger"
  wiredTiger:
    engineConfig:
      directoryForIndexes: true
      cacheSizeGB: 2
processManagement:
  fork: true
  pidFilePath: "/data/mongodb/run/shard2.pid"
  timeZoneInfo: "/usr/share/zoneinfo"
net:
  port: 29018
  bindIp: "::,0.0.0.0"
  maxIncomingConnections: 5000
  unixDomainSocket:
    enabled: true
    pathPrefix: "/tmp/mongodb/shard2"
    filePermissions: 0700
setParameter:
  enableLocalhostAuthBypass: true
security:
  clusterAuthMode: "keyFile"
  keyFile: "/data/mongodb/conf/mongodb.key"
  authorization: "enabled"
replication:
  replSetName: "shard2"
sharding:
  clusterRole: "shardsvr"
EOF

tee /data/mongodb/conf/shard3.yml <<-'EOF'
systemLog:
  destination: "file"
  logAppend: true
  path: "/data/mongodb/logs/shard3.log"
storage:
  dbPath: "/data/mongodb/data/shard3"
  journal:
    enabled: true
  engine: "wiredTiger"
  wiredTiger:
    engineConfig:
      directoryForIndexes: true
      cacheSizeGB: 2
processManagement:
  fork: true
  pidFilePath: "/data/mongodb/run/shard3.pid"
  timeZoneInfo: "/usr/share/zoneinfo"
net:
  port: 29019
  bindIp: "::,0.0.0.0"
  maxIncomingConnections: 5000
  unixDomainSocket:
    enabled: true
    pathPrefix: "/tmp/mongodb/shard3"
    filePermissions: 0700
setParameter:
  enableLocalhostAuthBypass: true
security:
  clusterAuthMode: "keyFile"
  keyFile: "/data/mongodb/conf/mongodb.key"
  authorization: "enabled"
replication:
  replSetName: "shard3"
sharding:
  clusterRole: "shardsvr"
EOF

创建mongos.yml

tee /data/mongodb/conf/mongos.yml <<-'EOF'
systemLog:
  destination: "file"
  logAppend: true
  path: "/data/mongodb/logs/mongos.log"
processManagement:
  fork: true
  pidFilePath: "/data/mongodb/run/mongos.pid"
  timeZoneInfo: "/usr/share/zoneinfo"
net:
  port: 27017
  bindIp: "::,0.0.0.0"
  maxIncomingConnections: 5000
  unixDomainSocket:
    enabled: true
    pathPrefix: "/tmp/mongodb/mongos"
    filePermissions: 0700
setParameter:
  enableLocalhostAuthBypass: true
security:
  clusterAuthMode: "keyFile"
  keyFile: "/data/mongodb/conf/mongodb.key"
replication:
  localPingThresholdMs: 15
sharding:
  # 出处的replCluster与configsvr.yml中replication.replSetName配置的名称保持一致
  configDB: "replCluster/192.168.137.5:27019,192.168.137.6:27019,192.168.137.7:27019"
EOF

5、启动和初始化相关服务

$ cd /data/mongodb/
$ mongod --config ./conf/configsvr.yml
$ mongo localhost:27019
rs.initiate({_id: "replCluster", configsvr: true, members: [{_id: 0, host: "192.168.137.5:27019"},{_id: 1,host: "192.168.137.6:27019"},{_id: 2,host: "192.168.137.7:27019"}]})
rs.status()


$ mongod --config ./conf/shard1.yml
$ mongo localhost:29017
rs.initiate({_id:"shard1",members:[{_id: 0, host: "192.168.137.5:29017"},{_id: 1,host: "192.168.137.6:29017"},{_id: 2,host: "192.168.137.7:29017"}]})
rs.status()

$ mongod --config ./conf/shard2.yml
$ mongo localhost:29018
rs.initiate({_id:"shard2",members:[{_id: 0, host: "192.168.137.5:29018"},{_id: 1,host: "192.168.137.6:29018"},{_id: 2,host: "192.168.137.7:29018"}]})
rs.status()

$ mongod --config ./conf/shard3.yml
$ mongo localhost:29019
rs.initiate({_id:"shard3",members:[{_id: 0, host: "192.168.137.5:29019"},{_id: 1,host: "192.168.137.6:29019"},{_id: 2,host: "192.168.137.7:29019"}]})
rs.status()

6、启动和初始化mongos

$ mongos --config ./conf/mongos.yml
$ mongo localhost:27017
MongoDB shell version v4.4.13
connecting to: mongodb://localhost:27017/test?compressors=disabled&gssapiServiceName=mongodb
Implicit session: session { "id" : UUID("2a4f50a7-29bf-40c0-8ffc-8c81074f31be") }
MongoDB server version: 4.4.13
mongos> admin = db.getSiblingDB("admin");
admin

#Create the user administrator.
mongos> admin.createUser({user:"admin",pwd:passwordPrompt(),roles:[{role:"userAdminAnyDatabase",db:"admin"}]});
Enter password:
Successfully added user: {
        "user" : "admin",
        "roles" : [
                {
                        "role" : "userAdminAnyDatabase",
                        "db" : "admin"
                }
        ]
}

#Authenticate as the user administrator.
mongos> db.getSiblingDB("admin").auth("admin", passwordPrompt());
Enter password:
1

#Create Administrative User for Cluster Management
mongos> db.getSiblingDB("admin").createUser({"user":"root","pwd":passwordPrompt(),roles:[{"role":"clusterAdmin","db":"admin"}]});
Enter password:
Successfully added user: {
        "user" : "root",
        "roles" : [
                {
                        "role" : "clusterAdmin",
                        "db" : "admin"
                }
        ]
}

7、添加分片到集群

注意：以下都必须以集群管理员登录进行操作

$ mongo --host 192.168.137.5 --port 27017 -u "root" -p --authenticationDatabase "admin"
MongoDB shell version v4.4.13
Enter password:
connecting to: mongodb://192.168.137.5:27017/?authSource=admin&compressors=disabled&gssapiServiceName=mongodb
Implicit session: session { "id" : UUID("7fa077ee-5ba8-4256-8e78-dc6a4fb9fc01") }
MongoDB server version: 4.4.13
---
The server generated these startup warnings when booting:
        2022-04-19T14:54:46.540+08:00: You are running this process as the root user, which is not recommended
---
mongos> sh.addShard("shard1/192.168.137.5:29017,192.168.137.6:29017,192.168.137.7:29017");
{
        "shardAdded" : "shard1",
        "ok" : 1,
        "operationTime" : Timestamp(1650351575, 3),
        "$clusterTime" : {
                "clusterTime" : Timestamp(1650351576, 1),
                "signature" : {
                        "hash" : BinData(0,"0Isi8A729Q65bpG72CaNNcwC8jE="),
                        "keyId" : NumberLong("7088204486748930069")
                }
        }
}
mongos> sh.addShard("shard2/192.168.137.5:29018,192.168.137.6:29018,192.168.137.7:29018");
{
        "shardAdded" : "shard2",
        "ok" : 1,
        "operationTime" : Timestamp(1650351587, 3),
        "$clusterTime" : {
                "clusterTime" : Timestamp(1650351587, 3),
                "signature" : {
                        "hash" : BinData(0,"LIfpd7Oic2+9l7Dfw/14HEV41i0="),
                        "keyId" : NumberLong("7088204486748930069")
                }
        }
}
mongos> sh.addShard("shard3/192.168.137.5:29019,192.168.137.6:29019,192.168.137.7:29019");
{
        "shardAdded" : "shard3",
        "ok" : 1,
        "operationTime" : Timestamp(1650351593, 2),
        "$clusterTime" : {
                "clusterTime" : Timestamp(1650351593, 2),
                "signature" : {
                        "hash" : BinData(0,"t2mrOOeL3gvshZRb6kMmdSOagTA="),
                        "keyId" : NumberLong("7088204486748930069")
                }
        }
}
mongos> sh.status();
--- Sharding Status ---
  sharding version: {
        "_id" : 1,
        "minCompatibleVersion" : 5,
        "currentVersion" : 6,
        "clusterId" : ObjectId("625e5c6dde34df14051f52b9")
  }
  shards:
        {  "_id" : "shard1",  "host" : "shard1/192.168.137.5:29017,192.168.137.6:29017,192.168.137.7:29017",  "state" : 1 }
        {  "_id" : "shard2",  "host" : "shard2/192.168.137.5:29018,192.168.137.6:29018,192.168.137.7:29018",  "state" : 1 }
        {  "_id" : "shard3",  "host" : "shard3/192.168.137.5:29019,192.168.137.6:29019,192.168.137.7:29019",  "state" : 1 }
  active mongoses:
        "4.4.13" : 1
  autosplit:
        Currently enabled: yes
  balancer:
        Currently enabled:  yes
        Currently running:  no
        Failed balancer rounds in last 5 attempts:  0
        Migration Results for the last 24 hours:
                No recent migrations
  databases:
        {  "_id" : "config",  "primary" : "config",  "partitioned" : true }

8、创建test库并授权和enableShard

mongos> use test
switched to db test
#Enable Sharding for a Database
mongos> sh.enableSharding("test");
{
        "ok" : 1,
        "operationTime" : Timestamp(1650351729, 4),
        "$clusterTime" : {
                "clusterTime" : Timestamp(1650351729, 4),
                "signature" : {
                        "hash" : BinData(0,"dxCD31CPgO4e22gX3rrHg5LV2/c="),
                        "keyId" : NumberLong("7088204486748930069")
                }
        }
}
#Shard a Collection
mongos> sh.shardCollection("test.user",{"id":1});
{
        "collectionsharded" : "test.user",
        "collectionUUID" : UUID("d283f69d-1ba0-491a-a4f9-8d9088016830"),
        "ok" : 1,
        "operationTime" : Timestamp(1650351740, 5),
        "$clusterTime" : {
                "clusterTime" : Timestamp(1650351740, 5),
                "signature" : {
                        "hash" : BinData(0,"e+etCFvF35U8eINVOD7RXAjnX8M="),
                        "keyId" : NumberLong("7088204486748930069")
                }
        }
}

mongo --host 192.168.137.5 --port 27017 -u "admin" -p --authenticationDatabase "admin"
MongoDB shell version v4.4.13
Enter password:
connecting to: mongodb://192.168.137.5:27017/?authSource=admin&compressors=disabled&gssapiServiceName=mongodb
Implicit session: session { "id" : UUID("87083031-dc97-4420-95d4-03469bf86411") }
MongoDB server version: 4.4.13
mongos> use admin
switched to db admin
mongos>
mongos>
mongos>
#根据自己的需求在创建普通用户（不建议创建root权限的用户操作数据库，此处为了操作方便），例如，read或者readWrite权限的用户
mongos> db.getSiblingDB("admin").createUser({"user":"metameeting","pwd":password,roles:[{"role":"readWrite","db":"test"}]});
Enter password:
Successfully added user: {
        "user" : "metameeting",
        "roles" : [
                {
                        "role" : "readWrite",
                        "db" : "test"
                }
        ]
}

9、测试用户写入和查询数据

mongo --host 192.168.137.5 --port 27017 -u "metameeting" -p --authenticationDatabase "admin"
MongoDB shell version v4.4.13
Enter password:
connecting to: mongodb://192.168.137.5:27017/?authSource=admin&compressors=disabled&gssapiServiceName=mongodb
Implicit session: session { "id" : UUID("551e3b7a-4678-40ed-9cc4-c18a521b6f26") }
MongoDB server version: 4.4.13
mongos> use test
switched to db test
mongos> db.test.insert({"test1":"meta1"})
WriteResult({ "nInserted" : 1 })
mongos> db.test.find()
{ "_id" : ObjectId("625e5f7aadd84bbc8eb36730"), "test1" : "meta1" }

10、启动脚本

tee /data/mongodb/cluster.sh <<-'EOF'
#!/bin/bash

hosts=( 192.168.137.5 192.168.137.6 192.168.137.7 )

mongo_start(){
  source ~/.bashrc
  pre_mongod=`ps -ef | grep mongod | grep -v grep`
  pre_mongos=`ps -ef | grep mongos | grep -v grep`
  if [[ !$pre_mongod ]] && [[ !$pre_mongos ]]; then
    for host in ${hosts[@]}
    do
      echo "******** $host configsvr start... ********"
      ssh $host mongod --config /data/mongodb/conf/configsvr.yml
    done
    sleep 2

    for host in ${hosts[@]}
    do
      echo "********** $host shard start... **********"
      ssh $host mongod --config /data/mongodb/conf/shard1.yml
      ssh $host mongod --config /data/mongodb/conf/shard2.yml
      ssh $host mongod --config /data/mongodb/conf/shard3.yml
    done
    sleep 2

    for host in ${hosts[@]}
    do
      echo "********** $host mongos start... **********"
      ssh $host mongos --config /data/mongodb/conf/mongos.yml
    done
  else
    echo "check whether the process has stopped!"
  fi
}

mongo_stop(){
  source ~/.bashrc
  for host in ${hosts[@]}
  do
    echo "************ $host mongos stop... ***********"
    ssh $host "cat /data/mongodb/run/mongos.pid | xargs kill -15"
  done
  sleep 3

  for host in ${hosts[@]}
  do
    echo "************ $host shard stop... ************"
    ssh $host "cat /data/mongodb/run/shard1.pid | xargs kill -15"
    ssh $host "cat /data/mongodb/run/shard2.pid | xargs kill -15"
    ssh $host "cat /data/mongodb/run/shard3.pid | xargs kill -15"
  done
  sleep 3

  for host in ${hosts[@]}
  do
    echo "********** $host configsvr stop... **********"
    ssh $host "cat /data/mongodb/run/configsvr.pid | xargs kill -15"
  done
}

mongo_status(){
  source ~/.bashrc
  for host in ${hosts[@]}
  do
    echo "*************** $host status ***************"
    ssh $host ps -ef | grep mongo* | grep -v grep
  done
}

case $1 in
  start)
    echo "************** start mongodb ***************"
    mongo_start
    echo "************** start finish ****************"
  ;;
  stop)
    echo "************** stop mongodb ****************"
    mongo_stop
    echo "*************** stop finish ****************"
  ;;
  status)
    echo "*********** mongodb-4.4.13 status **********"
    mongo_status
  ;;
  *)
    echo "************* illegal argument *************"
esac
EOF

11、修改密码

./mongo --host xxx --port 27107 -u "admin" -p --authenticationDatabase "admin"
> use admin 
> db.changeUserPassword('user','newpassword')； 
> db.auth('user','newpassword');