创建一台 Linux 路由器设备以模拟弱网环境

在某些时候需要模拟一些弱网环境,而 Linux 本身通过可以配置成一个路由,同时结合流量整形命令 tc 可以达到弱网以及流量限制的功能。

对于流量整形,单个网络适配器只能正对出口带宽进行整形,所以需要配置一台路由以便于双向流量整形 (WAN 及 LAN)。同时此路由设备后面可以接入多台主机设备,以便于统一配置弱网环境。

文本以 CentOS 7 为例在 Windows 桌面环境的 VMware 虚拟机环境下配置一个弱网模拟的路由。

对于其它虚拟机软件或平台,可以找到类似的方法配置网络。对于其它 Linux 发行版也可以找到对应的网络配置,此方法大概率兼容更高的 CentOS 版本以及 RHEL

虚拟机配置

需要两台虚拟机,一台作为路由设备,一台作为客户机。客户机也可以用其它操作系统,例如 Win 10,这里不影响实际配置。

路由机的网卡选择桥接模式(或者NAT,取决于需要)。另外添加一个额外的网适配器,选择自定义网络 VMNet19。

客户机的唯一网络适配器选择自定网络 VMNet19。

继续阅读“创建一台 Linux 路由器设备以模拟弱网环境”

KCP 协议基本数据结构和算法介绍

(本文Github地址为: learning-kcp-protocol)

在特定的应用场合,单纯的使用 TCP 不能满足需要。直接使用 UDP 数据报不能保证数据的可靠性,常需要在应用层基于 UDP 实现一套可靠的传输协议。

直接使用 KCP 协议是一种选择,它实现了健全的自动重传协议,并在此之上提供了自由的参数调整。通过配置参数和合适的调用方式来适应不同场景的需求。

KCP 简介:

KCP是一个快速可靠协议,能以比 TCP 浪费 10%-20% 的带宽的代价,换取平均延迟降低 30%-40%,且最大延迟降低三倍的传输效果。纯算法实现,并不负责底层协议(如UDP)的收发,需要使用者自己定义下层数据包的发送方式,以 callback的方式提供给 KCP。 连时钟都需要外部传递进来,内部不会有任何一次系统调用。
整个协议只有 ikcp.h, ikcp.c两个源文件,可以方便的集成到用户自己的协议栈中。也许你实现了一个P2P,或者某个基于 UDP的协议,而缺乏一套完善的ARQ可靠协议实现,那么简单的拷贝这两个文件到现有项目中,稍微编写两行代码,即可使用。

本文对 KCP 协议的基础收发流程、拥塞窗口、超时算法作简单介绍,并同时提供了参考的示例代码。

参阅的 KCP 的版本为撰写文章时的最新版本。本文不会完全贴上所有KCP的源代码,会在关键处添加指向源代码相应位置的链接。

继续阅读“KCP 协议基本数据结构和算法介绍”

AI 中 100% 缩放显示与实际像素问题

illustrator 中遇到一个实际编辑的大小和导出图片后缩放大小不一致的问题,最开始以为是文档栅格效果设置的问题,实际修改无效果。

解决方案:https://illustrator.uservoice.com/forums/333657-illustrator-desktop-feature-requests/suggestions/33253402-100-size-is-actually-actual-size

取消首选项中:常规->以 100% 缩放比例显示打印大小。

Windows Server 2019 部署 L2TP/ipsec 服务的一些坑

关于部署远程服务的文章视频网上内容已经很多了:

部署:https://www.snel.com/support/how-to-set-up-an-l2tp-ipsec-vpn-on-windows-server-2019/

自动路由规则添加:http://woshub.com/add-routes-after-connect-vpn-windows/

但是有些坑要注意:Win 10 内置的 L2TP/ipsec 的客户端默认不能连接NAT后面的L2TP服务器,需要按照说明处理:https://github.com/hwdsl2/setup-ipsec-vpn/blob/master/docs/clients-zh.md#windows-%E9%94%99%E8%AF%AF-809

另外建议首次配置不要用 Windows 设备当测试客户端(包括Windows Server 自己),建议用其它设备 iOS/MAC/Android 连接 L2TP 服务器。

需要给用户设置拨入中的网络访问权限为允许。

另外编写了一个快速配置 L2TP 客户端的 Win 脚本:https://github.com/frimin/l2tp-ipsec-setup-client.ps1

使用 Linux 内置 tc 命令来模拟弱网环境

大多数 Linux 发行版中都带有流量控制的命令 tc。

关于 tc 的 qdisc 可以文末的文章可以理解更多 tc 的 qdisc 相关的内容。

这里直接给出模拟弱网的命令。

直接作用于指定物理网卡:

# 200m 延迟 30ms 抖动 + 10%丢包 + 10%重复 + 10% 乱序
tc qdisc add dev ens256 root netem delay 200ms 30ms loss 10% duplicate 10% reorder 10%

作用于网卡下指定的端口,这里以 2000 端口为例:

tc qdisc add dev ens256 root handle 1: htb
tc class add dev ens256 parent 1: classid 1:10 htb rate 10000mbit
tc qdisc add dev ens256 parent 1:10 handle 10: netem delay 200ms 30ms loss 10% duplicate 10% reorder 10%
tc filter add dev ens256 parent 1:0 protocol ip prio 1 u32 match ip dport 2000 0xffff flowid 1:10

更复杂一点的情况,若当前机器为路由设备,出口网卡为 ens192, 内部网络为 ens256 网段为 192.168.200.0/24, 对传入该网段 2000 端口和从 2000 端口传出的数据全部执行流量控制:

tc qdisc del dev ens192 root
tc qdisc add dev ens192 root handle 1: htb
tc class add dev ens192 parent 1: classid 1:10 htb rate 10000mbit
tc qdisc add dev ens192 parent 1:10 handle 10: netem delay 150ms 30ms
tc filter add dev ens192 parent 1:0 protocol ip prio 1 u32 match ip src 192.168.200.0/24 match ip sport 2000 0xffff flowid 1:10

tc qdisc del dev ens256 root
tc qdisc add dev ens256 root handle 1: htb
tc class add dev ens256 parent 1: classid 1:10 htb rate 10000mbit
tc qdisc add dev ens256 parent 1:10 handle 10: netem delay 150ms 30ms
tc filter add dev ens256 parent 1:0 protocol ip prio 1 u32 match ip dst 192.168.200.0/24 match ip dport 2000 0xffff flowid 1:10

另外一种,除了 192.168.200.0/24 相关 22/3389 端口之外所有的转发流量进行丢包:

tc qdisc del dev ens192 root
tc qdisc add dev ens192 root handle 1: htb
tc class add dev ens192 parent 1: classid 1:1 htb rate 10000mbit
tc class add dev ens192 parent 1: classid 1:2 htb rate 10000mbit
tc filter add dev ens192 parent 1: protocol ip prio 1 u32 match ip src 192.168.200.0/24 match ip sport 22 0xffff flowid 1:1
tc filter add dev ens192 parent 1: protocol ip prio 2 u32 match ip src 192.168.200.0/24 match ip sport 3389 0xffff flowid 1:1
tc filter add dev ens192 parent 1: protocol ip prio 3 u32 match ip src 192.168.200.0/24 flowid 1:2
tc qdisc add dev ens192 parent 1:2 handle 20: netem delay 100ms 15ms loss 2% duplicate 2% reorder 2%

tc qdisc del dev ens224 root
tc qdisc add dev ens224 root handle 1: htb
tc class add dev ens224 parent 1: classid 1:1 htb rate 10000mbit
tc class add dev ens224 parent 1: classid 1:2 htb rate 10000mbit
tc filter add dev ens224 parent 1: protocol ip prio 1 u32 match ip dst 192.168.200.0/24 match ip dport 22 0xffff flowid 1:1
tc filter add dev ens224 parent 1: protocol ip prio 2 u32 match ip dst 192.168.200.0/24 match ip dport 3389 0xffff flowid 1:1
tc filter add dev ens224 parent 1: protocol ip prio 3 u32 match ip dst 192.168.200.0/24 flowid 1:2
tc qdisc add dev ens224 parent 1:2 handle 10: netem delay 100ms 15ms loss 2% duplicate 2% reorder 2%

移除流量控制规则:

 tc qdisc del dev ens256 root

查看状态:

tc -s qdisc show dev ens256
tc -s class show dev ens256
tc -s filter show dev ens256

其他相关命令

# 删除 filter 
tc filter del dev ens256 parent 1: handle 800::800 prio 1 protocol ip u32

参考文章

tc(8), tc-netem(8)
https://arthurchiao.art/blog/lartc-qdisc-zh/ (页面快照备份)

使用 ntpd 时间同步

有些服务需要依赖正确的时间,本地部署 ntpd 服务来平滑同步时间:

rm -f /etc/localtime 
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

安装 ntp

yum install ntp -y

http://www.pool.ntp.org/zone/cn 获取 ntp 同步服务地址。编辑 /etc/ntp.conf 填入新的同步地址:

server 0.pool.ntp.org
server 1.pool.ntp.org
server 2.pool.ntp.org
server 3.pool.ntp.org

或者使用阿里云的 ntp 同步服务器:

server ntp.aliyun.com iburst minpoll 6 maxpoll 10
server ntp1.aliyun.com iburst minpoll 6 maxpoll 10
server ntp2.aliyun.com iburst minpoll 6 maxpoll 10
server ntp3.aliyun.com iburst minpoll 6 maxpoll 10
server ntp4.aliyun.com iburst minpoll 6 maxpoll 10
server ntp5.aliyun.com iburst minpoll 6 maxpoll 10
server ntp6.aliyun.com iburst minpoll 6 maxpoll 10

开机启动和启动 ntpd 服务:

systemctl enable ntpd
systemctl start ntpd

也可以停止 ntpd 服务后进行手动同步:

systemctl stop ntpd
ntpdate 0.pool.ntp.org

CentOS 中部署 DNS 服务

CentOS 下的名字服务的部署和基础配置:

安装包

先安装相关软件包。

yum install bind-chroot bind-utils -y

编辑 /etc/named.conf 文件,在 option 配置中编辑 listen-on 与 allow-query 选项,前者添加额外的服务监听端口,后者添加授权查询请求主机。

options {
        listen-on port 53 { 127.0.0.1; 10.1.1.1; 10.1.2.1; };
        ...
        allow-query     { localhost; 10.1.1.0/24; 10.1.2.0/24; };
        ....
}

zone "test.local" IN {
        type master;
        file "test.local.zone";
        allow-update { none; };
};

创建和编辑简单区域文件

创建文件 /var/named/test.local.zone 并编辑以下内容

$ORIGIN test.local.
$TTL 86400
@       IN  SOA dns1.test.local. root.test.local. (
        2021122501      ; serial
        21600           ; refresh after 6 hours
        3600            ; retry after 1 hour
        604800          ; expire after 1 week
        86400 )         ; minimum TTL of 1 day

@       IN  NS  dns1.test.local.
dns1    IN  A   10.1.1.1
@       IN  A   10.1.1.1
www     IN  CNAME       test.local.

编辑完成名字区域文件后建议使用命令检查一下合法性:

named-checkzone test.local /var/named/test.local.zone

启动名字服务:

systemctl enable named-chroot
systemctl start named-chroot
继续阅读“CentOS 中部署 DNS 服务”

直通 SATA 设备到 ESXi 虚拟机中

SSH 连接到 ESXi,列出所有设备:

 ls -l /vmfs/devices/disks

从设备创建 vmdk:

vmkfstools -z /vmfs/devices/disks/t10.ATA_____HGST_HDN726050ALE610____________________NAG4P4YX____________ "/vmfs/volumes/Samsung 850 Pro/Ubuntu Storage/HGST_RDM_1.vmdk"

之后就可以添加硬盘到虚拟机中。

参考文章

https://gist.github.com/Hengjie/1520114890bebe8f805d337af4b3a064

使用树莓派 GPIO 端口控制继电器开启主机

安装 ESXi 的主机因为是用的家用机主板,兼容性原因网卡 PICE 开机不能使用,主板仅支持异常断电自启。在异常断电之后,有远程物理按下开机的需求。

PC家用机开机本质就是把主板上的 Power Switch 针脚连接到机箱上,按钮按下给两个针脚路后主板开机。

想起树莓派有 GPIO 端口,一番研究之下确实可以通过树莓派驱动继电器来实现打开主板电源的功能。

准备工作

需要材料:

1.树莓派3B+ (40针版本GPIO)

2.杜邦线(公对母若干,母对母x3)

3.KV019 继电器(若有更多需求,也可以买多路继电器,这里仅使用单路继电器,仅需¥1.56)

4. 杜邦线一分二(可选,没有的话只能使用树莓派开机,不能按下物理按键)

5.小号平口螺丝刀

继续阅读“使用树莓派 GPIO 端口控制继电器开启主机”

树莓派写入系统镜像后无可用空间的问题

因为某些原因战损了旧的16G存储卡,换用32G之后,使用官方 Raspberry Pi Imager 写入官方镜像后启动发现无可用空间:

输入命令:

sudo raspi-config

然后选择 Advanced Options ->Expand Filesystem 选项,之后 reboot 系统即可。