阅读视图

发现新文章,点击刷新页面。

将 Debian11 升级到 Debian12

作者 Teacher Du

为了增加服务的稳定性,杜老师采购了几台主机用于增加节点。其中有些平台仅支持 Debian11 系统,所以只好手动更新至 Debian12。这里总结分享一下升级方法!

备份系统

在进行任何重大系统升级前,最好备份重要数据。

可以使用如 Timeshift 或其它备份工具来完成这个任务。

更新系统

1
2
apt update
apt -y dist-upgrade

注意:在开始升级到 Debian12 前,确保 Debian11 系统是最新。打开终端或通过 SSH 访问 Debian11 控制台,并运行以下命令来更新系统。

编辑 APT 源配置文件

1
sed -i 's/bullseye/bookworm/g' /etc/apt/sources.list

注意:使用命令处理源配置文件/etc/apt/sources.list 文件,将所有 bullseye 替换为 bookworm

更新 APT 软件包索引

1
apt update

注意:运行上面命令来更新软件包索引。

APT 最小化系统升级

1
apt upgrade --without-new-pkgs

注意:准备操作系统的最小化系统升级,避免出现兼容问题。

完全升级到 Debian12

1
apt -y full-upgrade

注意:运行上面命令来完成从 Debian11 到 Debian12 的完全升级。

重启并清理软件包

完成升级后使用下面的命令重启系统:

1
reboot

最后,清理系统升级后留下的不再需要的过时软件包:

1
apt --purge autoremove

检查系统服务

使用 systemctl 命令检查系统服务的状态,确保所有服务正常运行。

需要注意的是,如果使用的是第三方应用程序或专有驱动程序,可能需要在升级后重新配置它们。

20 个 IT 运维必知的指标

作者 Teacher Du

在运维实际工作中,常用的 20 个关键指标可以帮助我们全面评估和优化系统性能。这些指标涵盖了系统性能等多个方面,对于全面评估和优化 IT 运维和 Linux 运维工作至关重要。

响应时间

指标说明:用户发起请求到系统返回响应的时间,是评估系统性能和用户体验重要指标。

参考阈值:一般应控制在几百毫秒到数秒间,具体取决于应用类型和用户期望。

Error Rate 错误率

指标说明:系统处理请求时发生错误百分比,用于评估系统的稳定性和可靠性。

参考阈值:低于 1%错误率通常是良好的,具体取决于应用业务和服务级别协议。

Throughput 吞吐量

指标说明:单位时间内系统处理请求数,反映系统处理能力和资源利用率。

参考阈值:根据应用的负载和性能要求进行优化,通常是希望吞吐量越高越好。

Availability 可用性

指标说明:在一定时间范围内系统正常运行的百分比,衡量系统的持久性和稳定性。

参考阈值:高可用性通常要求在 99%以上,具体取决于应用的业务需求。

CPU 使用率

指标说明:CPU 运行在非空闲状态的时间占比,反映 CPU 的繁忙程度。

参考阈值:合理控制 CPU 使用率,避免过载。

内存利用

指标说明:系统内存使用情况,包括已使用和空闲内存。

参考阈值:保持合理的内存利用率,避免内存溢出。

磁盘读写

指标说明:磁盘的读写速度和效率,影响数据访问性能。

参考阈值:根据应用需求优化磁盘性能。

网络延迟

指标说明:数据在网络传输过程的延迟时间,影响系统的通信和数据交互。

参考阈值:低于几十毫秒网络延迟通常是良好的,但具体取决于应用的实时性要求。

Concurrent Connections 并发连接数

指标说明:同一时刻系统处理的并发连接数,用于评估系统并发能力。

参考阈值:根据系统类型和业务需求确定合适并发连接数。

Database Response Time 数据库响应时间

指标说明:数据库处理查询请求的时间,直接影响应用的数据库交互性能。

参考阈值:通常应控制在几百毫秒到数秒间,具体取决于数据库负载和查询复杂度。

Security Incident Rate 安全事件率

指标说明:某一时间段内发生安全事件数量,用于评估系统的安全性和受攻击风险。

参考阈值:低于 1%安全事件率通常是良好的,具体取决于系统的安全需求。

日志分析时间

指标说明:系统日志分析平均时间,用于评估日志监控和故障排查的效率。

参考阈值:高效日志分析通常应在分钟级别完成,具体取决系统规模和日志量。

资源利用效率

指标说明:资源使用率与提供服务关系,评估系统对资源的有效利用程度。

参考阈值:较高资源利用效率表示系统有效利用资源,具体的标准根据系统类型和业务需求而异。

Scheduled Task Accuracy 定时任务准确性

指标说明:定时任务执行的准确性,用于评估系统计划任务的可靠性。

参考阈值:较高的准确性表明系统能够按照预定计划执行任务,通常维持在 95%以上。

Durability 持久性

指标说明:系统数据的持久性,即数据在面对故障时的保持能力,用于评估系统的数据安全性。

参考阈值:高持久性表明系统能够有效保护数据,通常应达到 99%以上。

故障恢复时间

指标说明:系统从故障发生到完全恢复所需平均时间,用于评估系统可恢复性。

参考阈值:较短的 MTTR 表示系统能够快速从故障中恢复,具体标准根据业务需求而异。

平均故障间隔时间

指标说明:系统在连续运行中平均经历故障间隔时间,用于评估系统的稳定性。

参考阈值:较长的 MTBF 表示系统较为稳定,具体标准根据业务需求而异。

安全漏洞修复时间

指标说明:发现安全漏洞后系统修复的平均时间,用于评估系统对安全威胁的应对速度。

参考阈值:较短的修复时间有助于降低安全风险,通常在几天到一周之间。

User Satisfaction 用户满意度

指标说明:用户对系统满意度,通过用户反馈和调查评估系统的用户体验。

参考阈值:高用户满意度是系统成功的关键,通常维持在 90%以上。

自动化采纳率

指标说明:系统运维和部署过程中自动化工具和流程采纳程度,用于评估系统运维效率。

参考阈值:较高自动化采纳率表示系统运维更加高效,通常在 70%以上。

Nginx 反代 SSL_do_handshake 问题解决思路

作者 Teacher Du

前两天收到一个来自去不图床用户的反馈,说在香港区域访问图床时出现了 502 Bad Gateway 的错误,经过排查后发现是 Nginx 反代 SSL_do_handshake 出现问题,这里分享一下该问题的解决思路。

问题说明

是否遇到过使用 Nginx 反代网站时出现 502 Bad Gateway,明明正常访问都没问题 , 可是反代就 502 Bad Gateway , 查看错误日志显示:

1
2024/07/15 17:14:08 [error] 245105#0: *1324376 SSL_do_handshake() failed (SSL: error:1408F10B:SSL routines:ssl3_get_record:wrong version number) while SSL handshaking to upstream, client: 69.162.124.229, server: 7bu.top, request: "GET / HTTP/1.1", upstream: "https://211.101.237.240:443/", host: "7bu.top", referrer: "https://7bu.top"

初步分析问题发现是由于网站启用 SNI,Nginx 反代时默认没有加入以下参数,故无法成功 handshake 上游的 SSL,则导致 502 Bad Gateway 错误:

1
proxy_ssl_server_name on;

什么是 SNI

SNI 有点像邮寄包裹到公寓楼而不是独栋的房子。将邮件邮寄到某人的独栋房子时,仅街道地址就足以将包裹送给收件人。但当包裹进入公寓楼时,除街道地址外,还需公寓号码。否则,包裹可能无法送达收件人或根本无法交付。

许多 Web 服务器更像是公寓大楼而不是独栋房子,因为它们承载多个域名,因此仅 IP 地址不足以指示用户尝试访问哪个域。这可能会导致服务器显示错误 SSL 证书,从而阻止或终止 HTTPS 连接。就像如果没有正确的收件人签名,包裹将无法送到指定的地址一样。

当多个网站托管在一台服务器上并共享一个 IP 地址,并且每个网站都有自己的 SSL 证书,在客户端设备尝试安全连接到其中一个网站时,服务器可能不知道验证哪一个 SSL 证书。

服务器名称指示旨在解决此问题。SNI 是 TLS 协议的扩展,该协议在 HTTPS 中使用。包含在握手流程中,以确保客户端设备能够尝试访问网站的正确 SSL 证书。该扩展使得可以在 TLS 握手期间指定网站的主机名或域名,而不是在握手之后打开 HTTP 连接时指定。

解决方法

将下面的代码加入到 Nginx 配置文件的 location 块中,注意将 7bu.top 改为要反代的域名:

1
2
proxy_ssl_name 7bu.top;
proxy_ssl_server_name on;

某塔发向代理配置文件完整示例如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
location ^~ /
{
proxy_pass https://c.dusays.com:443;
proxy_set_header Host 7bu.top;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header REMOTE-HOST $remote_addr;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection $connection_upgrade;
proxy_http_version 1.1;
proxy_ssl_name 7bu.top;
proxy_ssl_server_name on;
# proxy_hide_header Upgrade;

add_header X-Cache $upstream_cache_status;
#Set Nginx Cache


if ( $uri ~* "\.(gif|png|jpg|css|js|woff|woff2)$" )
{
expires 1m;
}
proxy_ignore_headers Set-Cookie Cache-Control expires;
proxy_cache cache_one;
proxy_cache_key $host$uri$is_args$args;
proxy_cache_valid 200 304 301 302 2440m;
}

CDN 设置项

这种情况一般出现在 Nginx 反代,偶尔使用 CDN 时也会出现这个问题,大多都是配置 CDN 的时候没有设置 SNI 导致的问题。可以通过设置回源 HOST 来解决,下图以 99CDN 面板为例:

借助 CF 解决 Docker 镜像拉取问题

作者 Teacher Du

之前为小伙伴们提供了 Docker 镜像拉取问题的解决方案,但使用 Render 平台时出现了无法拉取部署镜像问题,Distribution Registry 又需要自行采购境外主机。本文介绍如何借助 Cloudflare 解决 Docker 镜像拉取问题。

写在前面

之前分享了如何使用 Render 平台解决 Docker 镜像拉取的问题,但 Render 平台限制了该服务部署,无法继续白嫖。

后来又分享了如何通过自行部署 Distribution Registry 解决 Docker 镜像拉取问题,但不少小伙伴留言哭穷,还是希望可以通过白嫖的方式解决该问题。

其实不少的博主都分享了如何通过 CF 的 Workers 解决镜像拉取问题,杜老师也试了一下,非常好用,就整理了一份部署教程,分享给需要的小伙伴们!

因为需通过 CF 实现,所以要准备一个可以托管到 CF 的域名。有人推荐使用 eu.org 的免费域名,但杜老师试了申请好多次都没有成功,可以点击 这里 领取一个免费的 TOP 域名「找不到领取页面可在评论区留言」

部署过程

CF 账号申请过程和域名托管步骤这里就不说了,在页面左侧找到 Workers——概述,点创建 Worker:

项目名称可自定义,也可使用 CF 自动生成的,点击右下角处部署:

待看到项目部署成功页面后,点击右上角的编辑代码:

将部署代码区域的内容调整后粘贴到页面中的代码区域,然后点击右上角的部署按钮:

返回项目页面,点击设置,切换到触发器,我们添加一个路由。这里以 docker.birdteam.net 为例,区域则选择顶级域,最后点击右下角处添加路由:

切换到域名 DNS 记录页面,添加一个 A 类记录,主机名填写 docker,记录值可随意填写。注意务必开启代理状态,保存即可:

部署代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
let hub_host = 'registry-1.docker.io'
const auth_url = 'https://auth.docker.io'
let workers_url = 'https://docker.birdteam.net'
let UA = ['netcraft'];
function routeByHosts(host) {
const routes = {
"quay": "quay.io",
"gcr": "gcr.io",
"k8s-gcr": "k8s.gcr.io",
"k8s": "registry.k8s.io",
"ghcr": "ghcr.io",
"cloudsmith": "docker.cloudsmith.io",
"test": "registry-1.docker.io",
};
if (host in routes) return [ routes[host], false ];
else return [ hub_host, true ];
}
const PREFLIGHT_INIT = {
headers: new Headers({
'access-control-allow-origin': '*',
'access-control-allow-methods': 'GET,POST,PUT,PATCH,TRACE,DELETE,HEAD,OPTIONS',
'access-control-max-age': '1728000',
}),
}
function makeRes(body, status = 200, headers = {}) {
headers['access-control-allow-origin'] = '*'
return new Response(body, { status, headers })
}
function newUrl(urlStr) {
try {
return new URL(urlStr)
} catch (err) {
return null
}
}
function isUUID(uuid) {
const uuidRegex = /^[0-9a-f]{8}-[0-9a-f]{4}-[4][0-9a-f]{3}-[89ab][0-9a-f]{3}-[0-9a-f]{12}$/i;
return uuidRegex.test(uuid);
}
async function nginx() {
const text = `
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
body {
width: 35em;
margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif;
}
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>
<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>
<p><em>Thank you for using nginx.</em></p>
</body>
</html>
`
return text ;
}
export default {
async fetch(request, env, ctx) {
const getReqHeader = (key) => request.headers.get(key);
let url = new URL(request.url);
const userAgentHeader = request.headers.get('User-Agent');
const userAgent = userAgentHeader ? userAgentHeader.toLowerCase() : "null";
if (env.UA) UA = UA.concat(await ADD(env.UA));
workers_url = `https://${url.hostname}`;
const pathname = url.pathname;
const hostname = url.searchParams.get('hubhost') || url.hostname;
const hostTop = hostname.split('.')[0];
const checkHost = routeByHosts(hostTop);
hub_host = checkHost[0];
const fakePage = checkHost[1];
console.log(`域名头部: ${hostTop}\n反代地址: ${hub_host}\n伪装首页: ${fakePage}`);
const isUuid = isUUID(pathname.split('/')[1].split('/')[0]);
if (UA.some(fxxk => userAgent.includes(fxxk)) && UA.length > 0){
return new Response(await nginx(), {
headers: {
'Content-Type': 'text/html; charset=UTF-8',
},
});
}
const conditions = [
isUuid,
pathname.includes('/_'),
pathname.includes('/r'),
pathname.includes('/v2/user'),
pathname.includes('/v2/orgs'),
pathname.includes('/v2/_catalog'),
pathname.includes('/v2/categories'),
pathname.includes('/v2/feature-flags'),
pathname.includes('search'),
pathname.includes('source'),
pathname === '/',
pathname === '/favicon.ico',
pathname === '/auth/profile',
];
if (conditions.some(condition => condition) && (fakePage === true || hostTop == 'docker')) {
if (env.URL302){
return Response.redirect(env.URL302, 302);
} else if (env.URL){
if (env.URL.toLowerCase() == 'nginx'){
return new Response(await nginx(), {
headers: {
'Content-Type': 'text/html; charset=UTF-8',
},
});
} else return fetch(new Request(env.URL, request));
}
const newUrl = new URL("https://registry.hub.docker.com" + pathname + url.search);
const headers = new Headers(request.headers);
headers.set('Host', 'registry.hub.docker.com');
const newRequest = new Request(newUrl, {
method: request.method,
headers: headers,
body: request.method !== 'GET' && request.method !== 'HEAD' ? await request.blob() : null,
redirect: 'follow'
});
return fetch(newRequest);
}
if (!/%2F/.test(url.search) && /%3A/.test(url.toString())) {
let modifiedUrl = url.toString().replace(/%3A(?=.*?&)/, '%3Alibrary%2F');
url = new URL(modifiedUrl);
console.log(`handle_url: ${url}`)
}
if (url.pathname.includes('/token')) {
let token_parameter = {
headers: {
'Host': 'auth.docker.io',
'User-Agent': getReqHeader("User-Agent"),
'Accept': getReqHeader("Accept"),
'Accept-Language': getReqHeader("Accept-Language"),
'Accept-Encoding': getReqHeader("Accept-Encoding"),
'Connection': 'keep-alive',
'Cache-Control': 'max-age=0'
}
};
let token_url = auth_url + url.pathname + url.search
return fetch(new Request(token_url, request), token_parameter)
}
if (/^\/v2\/[^/]+\/[^/]+\/[^/]+$/.test(url.pathname) && !/^\/v2\/library/.test(url.pathname)) {
url.pathname = url.pathname.replace(/\/v2\//, '/v2/library/');
console.log(`modified_url: ${url.pathname}`)
}
url.hostname = hub_host;
let parameter = {
headers: {
'Host': hub_host,
'User-Agent': getReqHeader("User-Agent"),
'Accept': getReqHeader("Accept"),
'Accept-Language': getReqHeader("Accept-Language"),
'Accept-Encoding': getReqHeader("Accept-Encoding"),
'Connection': 'keep-alive',
'Cache-Control': 'max-age=0'
},
cacheTtl: 3600
};
if (request.headers.has("Authorization")) {
parameter.headers.Authorization = getReqHeader("Authorization");
}
let original_response = await fetch(new Request(url, request), parameter)
let original_response_clone = original_response.clone();
let original_text = original_response_clone.body;
let response_headers = original_response.headers;
let new_response_headers = new Headers(response_headers);
let status = original_response.status;
if (new_response_headers.get("Www-Authenticate")) {
let auth = new_response_headers.get("Www-Authenticate");
let re = new RegExp(auth_url, 'g');
new_response_headers.set("Www-Authenticate", response_headers.get("Www-Authenticate").replace(re, workers_url));
}
if (new_response_headers.get("Location")) {
return httpHandler(request, new_response_headers.get("Location"))
}
let response = new Response(original_text, {
status,
headers: new_response_headers
})
return response;
}
};
function httpHandler(req, pathname) {
const reqHdrRaw = req.headers
if (req.method === 'OPTIONS' &&
reqHdrRaw.has('access-control-request-headers')
) {
return new Response(null, PREFLIGHT_INIT)
}
let rawLen = ''
const reqHdrNew = new Headers(reqHdrRaw)
const refer = reqHdrNew.get('referer')
let urlStr = pathname
const urlObj = newUrl(urlStr)
const reqInit = {
method: req.method,
headers: reqHdrNew,
redirect: 'follow',
body: req.body
}
return proxy(urlObj, reqInit, rawLen)
}
async function proxy(urlObj, reqInit, rawLen) {
const res = await fetch(urlObj.href, reqInit)
const resHdrOld = res.headers
const resHdrNew = new Headers(resHdrOld)
if (rawLen) {
const newLen = resHdrOld.get('content-length') || ''
const badLen = (rawLen !== newLen)
if (badLen) {
return makeRes(res.body, 400, {
'--error': `bad len: ${newLen}, except: ${rawLen}`,
'access-control-expose-headers': '--error',
})
}
}
const status = res.status
resHdrNew.set('access-control-expose-headers', '*')
resHdrNew.set('access-control-allow-origin', '*')
resHdrNew.set('Cache-Control', 'max-age=1500')
resHdrNew.delete('content-security-policy')
resHdrNew.delete('content-security-policy-report-only')
resHdrNew.delete('clear-site-data')
return new Response(res.body, {
status,
headers: resHdrNew
})
}
async function ADD(envadd) {
var addtext = envadd.replace(/[ |"'\r\n]+/g, ',').replace(/,+/g, ',');
//console.log(addtext);
if (addtext.charAt(0) == ',') addtext = addtext.slice(1);
if (addtext.charAt(addtext.length -1) == ',') addtext = addtext.slice(0, addtext.length - 1);
const add = addtext.split(',');
//console.log(add);
return add ;
}

注意:在粘贴前,需要调整第三行的代码,将 docker.birdteam.net 改为您的域名。

自建 Docker 镜像存储库解决拉取问题

作者 Teacher Du

Distribution Registry 是一个开源镜像仓库,用于存储和管理 Docker 镜像。它允许您在 Linux 服务器上创建私有的 Docker 镜像仓库,以便团队成员共享、访问镜像,也可用于加速拉取「解决境内拉取问题」

主要功能

镜像存储、管理。Distribution Registry 提供功能强大的仓库系统,用于存储和管理 Docker 镜像,方便团队成员之间的共享和访问。

可私有化部署。您可以在自己的 Linux 服务器上搭建私有的 Distribution Registry,以满足安全和隐私要求。

访问控制。支持设置访问权限,可以控制谁可以拉取和推送镜像,以保护您的镜像和数据的安全性。

标签、版本管理。可以为镜像设置标签和版本,方便对镜像进行分类和管理。

兼容性好。Distribution Registry 兼容 Docker 镜像仓库的标准 API,可以使用 Docker CLI 或其它 Docker 客户端工具与之交互。

支持指定上游源 URL。可通过指定上游源 URL 以加速镜像拉取,解决境内拉取问题。

安装配置

这里推荐使用 Docker 来部署,将下面的内容保存到 docker-compose.yml

1
2
3
4
5
6
7
8
services:
docker-registry:
image: registry:2.8.3
restart: always
ports:
- 5000:5000
volumes:
- ./data:/var/lib/registry

然后使用下面命令启动即可:

1
docker-compose up -d

当出现上游源 URL 无法使用时,可以通过添加下面参数来指定上游源地址:

1
2
3
4
5
proxy:
remoteurl: https://registry-1.docker.io
username: [username]
password: [password]
ttl: 168h

可以通过参数来指定缓存的方式「注意两个 cache 选其一,互相冲突」

1
2
3
4
5
6
cache:
blobdescriptor: redis
blobdescriptorsize: 10000
cache:
blobdescriptor: inmemory
blobdescriptorsize: 10000

参数说明

上文中出现的参数说明如下:

参数必填描述
remoteurlYDocker Hub 上存储库 URL。
usernameN私有存储库中注册的用户名。
passwordN私有存储库中注册密码。
ttlN代理缓存过期时间,0 为禁止缓存过期。
blobdescriptorY指定缓存方式,inmemory 为内存缓存,redis 则为 Redis 缓存。
blobdescriptorsizeN要存储在缓存中的描述符数限制。如果参数设置为 0,则允许缓存在没有大小限制的情况下增长。

注意事项

修改客户端的配置文件,默认路径为/etc/docker/daemon.json,添加如下内容:

1
2
3
4
5
{
"registry-mirrors": [
"http://IP:5000"
]
}

因为默认不支持 HTTPS,需使用 Nginx 配置反向代理。运行下面的命令重启 Docker 服务:

1
systemctl restart docker
❌