搜索到
46
篇与
默认分类
的结果
-
FTP同步目录减负，动态路径+使用布隆过滤器 + 跳过已复制文件 {message type="error" content="头疼问题"/}FTP源目录： D:\linux_sync\{业务}\files\YYYY\M（多业务：lsqy、lssj、lsyh、tzjj、tzwl、lsjn 等） 目标目录： D:\ftpfile\{业务}\files\YYYY\M FTP 策略：每 5 分钟清空 ftpfile，只保留短期文件目前定时：1 分钟执行一次 Python 脚本痛点：原脚本每次全量递归 D:\linux_sync ，遍历 3 年历史文件，对每个文件算 MD5 签名，磁盘 IO 和 CPU 消耗越来越大，"扫盘"感明显{message type="success" content="优化方案"/}{alert type="success"}优化项原方案新方案扫描范围os.walk 遍历全部历史文件只扫描当前年月目录（如 2026\7），历史文件完全不碰遍历速度os.walkos.scandir（Windows 快 3~5 倍）哈希开销外层 MD5 + 布隆内部 MD5/SHA256去掉外层 MD5，直接传字符串给布隆过滤器业务扩展写死在路径里BUSINESS_DIRS 列表配置，加目录改一行即可测试验证无新增 -d / --dry-run 模拟运行，只看不复制目录自动创建需手动确认目标端目录不存在自动 mkdir{/alert}{message type="success" content="脚本特性"/}布隆过滤器保留：bloom_filter.pkl 继续复用，历史已同步记录不丢失，月初切换目录后旧签名不影响新文件判断零误判设计：布隆过滤器只用于"跳过已复制"，签名包含 相对路径|大小|修改时间，文件修改后会重新复制日志轮转： D:\sync_config\sync.log 超过 1MB 自动备份为 .old月初自动切换：8 月 1 号自动扫 20268，无需人工干预；若目录未生成则跳过等待下一周期{message type="success" content="脚本内容"/}{collapse}{collapse-item label="脚本内容保存为xxx.py" open}#!/usr/bin/env python3 # -*- coding: utf-8 -*- r""" 按月分目录增量同步工具 - 源根: D:\linux_sync\{biz}\files\YYYY\M - 目标根: D:\ftpfile\{biz}\files\YYYY\M - 只扫当月目录，保留原布隆过滤器逻辑 - 新增 --dry-run / -d 参数：模拟运行，不实际复制 """ import os import sys import pickle import hashlib import shutil import time from datetime import datetime # ========== 配置 ========== SOURCE_ROOT = r"D:\linux_sync" FTP_ROOT = r"D:\ftpfile" FILES_SUBDIR = "files" BUSINESS_DIRS = ['lsqy', 'lssj', 'lsyh', 'tzjj', 'tzwl', 'lsjn'] CONFIG_DIR = r"D:\sync_config" BLOOM_FILE = os.path.join(CONFIG_DIR, "bloom_filter.pkl") LOG_FILE = os.path.join(CONFIG_DIR, "sync.log") INITIAL_CAPACITY = 100000 ERROR_RATE = 0.001 # ========== 布隆过滤器（完全保留原实现）========== class SimpleBloomFilter: def __init__(self, capacity=100000, error_rate=0.001): self.capacity = capacity self.error_rate = error_rate self.count = 0 import math self.size = int(-capacity * math.log(error_rate) / (math.log(2) ** 2)) self.num_hashes = int(self.size / capacity * math.log(2)) self.size = max(self.size, 1000) self.num_hashes = max(self.num_hashes, 3) self.num_hashes = min(self.num_hashes, 10) self.bits = bytearray((self.size + 7) // 8) print(f"[INIT] 布隆过滤器: 容量={capacity}, 误判率={error_rate*100}%, " f"位数组={self.size}位, 哈希函数={self.num_hashes}个") def _hashes(self, item): h1 = int(hashlib.md5(item.encode()).hexdigest(), 16) h2 = int(hashlib.sha256(item.encode()).hexdigest(), 16) for i in range(self.num_hashes): yield (h1 + i * h2) % self.size def add(self, item): for pos in self._hashes(item): byte_idx = pos // 8 bit_idx = pos % 8 self.bits[byte_idx] |= (1 << bit_idx) self.count += 1 def __contains__(self, item): for pos in self._hashes(item): byte_idx = pos // 8 bit_idx = pos % 8 if not (self.bits[byte_idx] & (1 << bit_idx)): return False return True def __getstate__(self): return { 'capacity': self.capacity, 'error_rate': self.error_rate, 'count': self.count, 'size': self.size, 'num_hashes': self.num_hashes, 'bits': self.bits } def __setstate__(self, state): self.capacity = state['capacity'] self.error_rate = state['error_rate'] self.count = state['count'] self.size = state['size'] self.num_hashes = state['num_hashes'] self.bits = state['bits'] # ========== 日志（保留原实现）========== def log(msg): timestamp = datetime.now().strftime("%Y-%m-%d %H:%M:%S") if os.path.exists(LOG_FILE) and os.path.getsize(LOG_FILE) > 1024*1024: backup = LOG_FILE + ".old" if os.path.exists(backup): os.remove(backup) shutil.move(LOG_FILE, backup) with open(LOG_FILE, 'a', encoding='utf-8') as f: f.write(f"[{timestamp}] [ROTATE] 日志超过1MB，已备份\n") line = f"[{timestamp}] {msg}" print(line) with open(LOG_FILE, 'a', encoding='utf-8') as f: f.write(line + '\n') # ========== 自动定位当月目录 ========== def get_current_month_dirs(): now = datetime.now() year = str(now.year) month_variants = [str(now.month), f"{now.month:02d}"] dirs = [] for biz in BUSINESS_DIRS: source_year = os.path.join(SOURCE_ROOT, biz, FILES_SUBDIR, year) if not os.path.exists(source_year): continue month_dir = None for m in month_variants: mp = os.path.join(source_year, m) if os.path.exists(mp): month_dir = m break if month_dir: source_month = os.path.join(source_year, month_dir) target_month = os.path.join(FTP_ROOT, biz, FILES_SUBDIR, year, month_dir) dirs.append((source_month, target_month, biz)) return dirs # ========== 文件签名（基准改为 SOURCE_ROOT，兼容旧 .pkl）========== def file_signature(filepath): try: stat = os.stat(filepath) rel_path = os.path.relpath(filepath, SOURCE_ROOT) key = f"{rel_path}|{stat.st_size}|{int(stat.st_mtime)}" return hashlib.md5(key.encode()).hexdigest() except Exception as e: log(f"[ERROR] 无法获取文件信息: {filepath}, 错误: {e}") return None # ========== 遍历工具（os.scandir 替代 os.walk）========== def scandir_recursive(path): try: with os.scandir(path) as it: for entry in it: if entry.is_dir(follow_symlinks=False): yield from scandir_recursive(entry.path) elif entry.is_file(follow_symlinks=False): yield entry except (PermissionError, OSError): pass def ensure_dir(path, dry_run=False): if dry_run: return # 模拟模式不创建目录 if not os.path.exists(path): os.makedirs(path, exist_ok=True) # ========== 复制函数（支持模拟模式）========== def copy_file(src, dst, dry_run=False): if dry_run: print(f" [DRY-RUN] 会复制: {os.path.relpath(src, SOURCE_ROOT)}") return True try: shutil.copy2(src, dst) return True except Exception as e: log(f"[ERROR] 复制失败: {src} -> {dst}, 错误: {e}") return False # ========== 布隆过滤器持久化（保留原实现）========== def load_bloom(): if os.path.exists(BLOOM_FILE): try: with open(BLOOM_FILE, 'rb') as f: bloom = pickle.load(f) log(f"[LOAD] 加载已有过滤器，已记录约 {bloom.count} 个文件") return bloom except Exception as e: log(f"[WARN] 加载失败，创建新的: {e}") bloom = SimpleBloomFilter(INITIAL_CAPACITY, ERROR_RATE) log("[INIT] 创建新布隆过滤器") return bloom def save_bloom(bloom): try: with open(BLOOM_FILE, 'wb') as f: pickle.dump(bloom, f) size = os.path.getsize(BLOOM_FILE) log(f"[SAVE] 过滤器已保存，文件大小: {size} bytes") return True except Exception as e: log(f"[ERROR] 保存失败: {e}") return False # ========== 同步核心（支持模拟模式）========== def sync_monthly_directories(bloom, dirs, dry_run=False): total_copied = total_skipped = total_errors = 0 for source, target, biz in dirs: copied = skipped = errors = 0 ensure_dir(target, dry_run) mode_tag = "[DRY-RUN]" if dry_run else "[START]" log(f"{mode_tag} 扫描 [{biz}]: {source}") start_time = time.time() for entry in scandir_recursive(source): sig = file_signature(entry.path) if sig is None: errors += 1 continue if sig in bloom: skipped += 1 if skipped % 1000 == 0: print(f" [{biz}] 已跳过 {skipped} 个文件...", end='\r') else: rel_path = os.path.relpath(entry.path, source) dst_file = os.path.join(target, rel_path) ensure_dir(os.path.dirname(dst_file), dry_run) if copy_file(entry.path, dst_file, dry_run): if not dry_run: bloom.add(sig) copied += 1 stat = os.stat(entry.path) if not dry_run: log(f"[COPY] [{biz}] #{copied}: {rel_path} (大小: {stat.st_size} 字节)") if copied % 100 == 0: print(f" [{biz}] 已复制 {copied} 个文件...", end='\r') else: errors += 1 elapsed = time.time() - start_time log(f"[DONE] [{biz}] 完成，耗时: {elapsed:.2f}秒 | 复制:{copied} 跳过:{skipped} 错误:{errors}") total_copied += copied total_skipped += skipped total_errors += errors return total_copied, total_skipped, total_errors # ========== 主程序 ========== def main(): import argparse parser = argparse.ArgumentParser(description='按月分目录增量同步工具') parser.add_argument('--reset', action='store_true', help='重置过滤器') parser.add_argument('--status', action='store_true', help='查看过滤器状态') parser.add_argument('-d', '--dry-run', action='store_true', help='模拟运行，不实际复制') args = parser.parse_args() ensure_dir(CONFIG_DIR) if args.reset: if os.path.exists(BLOOM_FILE): backup = BLOOM_FILE + ".backup." + datetime.now().strftime("%Y%m%d%H%M%S") shutil.move(BLOOM_FILE, backup) log(f"[RESET] 旧过滤器已备份: {backup}") log("[RESET] 过滤器已重置") return if args.status: if os.path.exists(BLOOM_FILE): bloom = load_bloom() print(f"\n过滤器状态:") print(f" 文件: {BLOOM_FILE}") print(f" 大小: {os.path.getsize(BLOOM_FILE)} bytes") print(f" 已记录: ~{bloom.count}") else: print("过滤器不存在") return dirs = get_current_month_dirs() if not dirs: log(f"[SKIP] 当前年月({datetime.now().strftime('%Y-%m')})无目录需要扫描") return log("=" * 50) mode = "模拟运行" if args.dry_run else "按月同步启动" log(f"{mode} | 当前年月: {datetime.now().strftime('%Y-%m')}") log(f"本次扫描 {len(dirs)} 个业务目录: {[d[2] for d in dirs]}") bloom = load_bloom() copied, skipped, errors = sync_monthly_directories(bloom, dirs, dry_run=args.dry_run) if args.dry_run: print(f"\n{'='*50}") print("[DRY-RUN] 模拟完成，未执行任何复制") print(f" 本会复制: {copied}") print(f" 本会跳过: {skipped}") print(f" 错误: {errors}") print("=" * 50) log(f"[DRY-RUN SUMMARY] 本会复制{copied}, 跳过{skipped}, 错误{errors}") else: if save_bloom(bloom): print(f"\n{'='*50}") print("同步完成统计") print(f" 复制文件: {copied}") print(f" 跳过文件: {skipped}") print(f" 错误: {errors}") print(f" 过滤器已记录: ~{bloom.count}") print("=" * 50) log(f"[SUMMARY] 复制{copied}, 跳过{skipped}, 错误{errors}") else: log("[ERROR] 同步完成但保存过滤器失败！") sys.exit(1) if __name__ == "__main__": main(){/collapse-item}{/collapse}{message type="success" content="使用方式"/}1. 模拟测试（先看会复制什么） cmd C:\Users\Administrator\AppData\Local\Programs\Python\Python312\python.exe D:\sync_config\sync.py -d 2. 正式运行 cmd C:\Users\Administrator\AppData\Local\Programs\Python\Python312\python.exe D:\sync_config\sync.py 3. 重置过滤器（全量重新复制） cmd C:\Users\Administrator\AppData\Local\Programs\Python\Python312\python.exe D:\sync_config\sync.py --reset 4. 查看过滤器状态 cmd C:\Users\Administrator\AppData\Local\Programs\Python\Python312\python.exe D:\sync_config\sync.py --status{message type="info" content="定时任务配置（Windows 任务计划程序）"/}程序：C:\Users\Administrator\AppData\Local\Programs\Python\Python312\python.exe 参数：D:\sync_config\sync.py 起始目录：D:\sync_config 频率：每 1 分钟 超时限制：2 分钟（防止异常挂起）{message type="info" content="文件清单"/}{alert type="info"}文件路径说明脚本D:\sync_config\sync.py主程序过滤器D:\sync_config\bloom_filter.pkl二进制状态文件，记录已同步签名日志D:\sync_config\sync.log运行日志，超 1MB 自动轮转旧日志D:\sync_config\sync.log.old轮转备份{/alert} -
FTP同步路径动态挂载 FTP同步和rsync同步是两种不同的文件传输/同步机制，核心区别在于传输策略和差异检测方式： {alert type="success"}维度FTP 同步rsync 同步差异检测无内置差异检测，通常需配合外部工具内置强大的块级差异算法扫描方式取决于具体工具，但普遍需要全量扫描首次全量，后续增量（基于校验和）传输内容通常传输整个文件只传输变化的部分（delta）方向性单向推送/拉取双向同步支持压缩无原生支持传输过程中实时压缩断点续传部分客户端支持原生支持权限/属性通常不保留完整保留（时间戳、权限、软链接等）{/alert}FTP 是否每次都全部扫描？传统 FTP 客户端/脚本：是的，通常需要全量扫描。标准 FTP 协议本身没有"增量同步"概念常见做法（如 lftp 的 mirror、Python ftplib 脚本）需要：遍历远程目录列表对比本地文件（时间戳或大小）决定是否重新传输这意味着每次都要读取远程完整文件列表，对大目录开销明显指定的目录文件与日俱增，rsync没法用只能用ftp，那么有没有办法让它每个月自动换目录挂载，比如现在是7月1日自动创建并挂载7月份的目录，到了8月1日就自动创建和挂载8月份的目录。按照这个需求可以通过 Docker 的动态挂载切换目录，目的是通过按月分目录来减少每次扫描的文件数量。方案是修改docker-compose.yml配置指定env参数加定时脚本来实现。{message type="success" content="docker-compose.yml配置"/}services: vsftpd: image: fauria/vsftpd container_name: vsftpd restart: unless-stopped #network_mode: host ports: # - "20:20" - "2121:21" # 控制端口 - "65500-65509:65500-65509" # PASV 端口范围 volumes: # === 统一时区卷挂载 === - /etc/localtime:/etc/localtime:ro - /usr/share/zoneinfo:/usr/share/zoneinfo:ro # === 数据存储挂载 === - /data/vdb/docker/compose/vsftpd/logs/vsftpd.log:/var/log/vsftpd.log #日志 #- /data/vdb/docker/compose/web/nginx/html/zssjapi/uploads/files:/home/vsftpd/xj_zssj_sync/zssj # === 动态挂载 === - ${CURRENT_MONTH_DIR}:/home/vsftpd/xj_zssj_sync/${CURRENT_YEAR}/${CURRENT_MONTH}:rw environment: TZ: Asia/Shanghai FTP_USER: ${FTP_USER} FTP_PASS: ${FTP_PASS} # PASV_ADDRESS: 10.28.4.172 # 宿主机IP PASV_ADDRESS: 10.10.11.11 # 宿主机能访问到的 PASV_MIN_PORT: 65500 PASV_MAX_PORT: 65509 USER_ID: 1000 GROUP_ID: 1000{message type="success" content="脚本"/}#!/bin/bash # /opt/1panel/docker/compose/vsftpd/scripts/ftp-monthly-rotate.sh set -e # 配置 COMPOSE_DIR="/opt/1panel/docker/compose/vsftpd" ENV_FILE="${COMPOSE_DIR}/.env" FTP_USER="xj_zssj_sync" FTP_PASS="Xj@zssj123" BASE_DIR="/data/vdb/docker/compose/web/nginx/html/zssjapi/uploads/files" # 获取当前小时和分钟（测试用） # CURRENT_HOUR=$(date +%H) # CURRENT_MINUTE=$(date +%M) # CURRENT_MONTH_DIR="${BASE_DIR}/test_${CURRENT_HOUR}/test_${CURRENT_MINUTE}" # 获取当前年月（月份不带前导零）用于生产 CURRENT_YEAR=$(date +%Y) CURRENT_MONTH=$(date +%-m | sed 's/^0//') CURRENT_MONTH_DIR="${BASE_DIR}/${CURRENT_YEAR}/${CURRENT_MONTH}" # 创建新目录 mkdir -p "${CURRENT_MONTH_DIR}" chmod 755 "${CURRENT_MONTH_DIR}" # 创建测试文件 # echo "Created at: $(date '+%Y-%m-%d %H:%M:%S')" > "${CURRENT_MONTH_DIR}/test_${TIMESTAMP}.txt" # echo "Directory: ${CURRENT_MONTH_DIR}" >> "${CURRENT_MONTH_DIR}/test_${TIMESTAMP}.txt" # 更新 .env 文件 cat > ${ENV_FILE} << EOF FTP_USER=${FTP_USER} FTP_PASS=${FTP_PASS} CURRENT_YEAR=${CURRENT_YEAR} CURRENT_MONTH=${CURRENT_MONTH} CURRENT_MONTH_DIR=${CURRENT_MONTH_DIR} EOF # 重启服务 cd ${COMPOSE_DIR} docker-compose down docker-compose up -d echo "$(date '+%Y-%m-%d %H:%M:%S'): FTP 已切换至 ${CURRENT_MONTH_DIR}" >> /data/vdb/docker/compose/vsftpd/logs/ftp-rotate.log {message type="success" content="部署命令"/}# 1. 备份原配置 cp /opt/1panel/docker/compose/vsftpd/docker-compose.yml /opt/1panel/docker/compose/vsftpd/docker-compose.yml.bak # 2. 修改 docker-compose.yml（按上面内容修改） # 3. 创建脚本目录和文件 mkdir -p /opt/1panel/docker/compose/vsftpd/scripts vi /opt/1panel/docker/compose/vsftpd/scripts/ftp-monthly-rotate.sh # 粘贴上面脚本内容 # 4. 赋予执行权限 chmod +x /opt/1panel/docker/compose/vsftpd/scripts/ftp-monthly-rotate.sh # 5. 执行测试 /opt/1panel/docker/compose/vsftpd/scripts/ftp-monthly-rotate.sh # 6. 验证 docker compose ps docker inspect vsftpd | grep -A 5 "Mounts" cat /opt/1panel/docker/compose/vsftpd/.env{message type="success" content="添加定时任务（每小时执行）测试"/}crontab -e # 添加 0 * * * * /opt/1panel/docker/compose/vsftpd/scripts/ftp-monthly-rotate.sh # 稳定跑后改成每月 # 修改定时任务为每月执行 crontab -e # 改为 0 2 1 * * /opt/1panel/docker/compose/vsftpd/scripts/ftp-monthly-rotate.sh{message type="success" content="测试完成后恢复年月版本"/}# 编辑脚本，注释掉测试部分，恢复年月部分 vi /opt/1panel/docker/compose/vsftpd/scripts/ftp-monthly-rotate.sh # 获取当前年月（月份不带前导零） CURRENT_YEAR=$(date +%Y) CURRENT_MONTH=$(date +%-m | sed 's/^0//') CURRENT_MONTH_DIR="${BASE_DIR}/${CURRENT_YEAR}/${CURRENT_MONTH}" # 注释掉小时分钟 # CURRENT_HOUR=$(date +%H) # CURRENT_MINUTE=$(date +%M) # CURRENT_MONTH_DIR="${BASE_DIR}/test_${CURRENT_HOUR}${CURRENT_MINUTE}"不同机器只需要修改这两处：{message type="success" content="docker-compose.yml 改动"/}volumes: # === 动态挂载（由.env控制） === - ${CURRENT_MONTH_DIR}:/home/vsftpd/xj_tzsj_sync/tzsj:rw environment: FTP_USER: ${FTP_USER} FTP_PASS: ${FTP_PASS}其它都在 .env 里动态变化脚本每次执行会重新生成 .env：cat > ${ENV_FILE} << EOF FTP_USER=${FTP_USER} FTP_PASS=${FTP_PASS} CURRENT_HOUR=${CURRENT_HOUR} CURRENT_MINUTE=${CURRENT_MINUTE} CURRENT_MONTH_DIR=${CURRENT_MONTH_DIR} EOF{message type="success" content="创建一个带时间戳的测试文件"/}# 获取时间戳（用于文件名） TIMESTAMP=$(date '+%Y%m%d_%H%M%S') # 创建新目录 mkdir -p "${CURRENT_MONTH_DIR}" chmod 755 "${CURRENT_MONTH_DIR}" # 创建测试文件 echo "Created at: $(date '+%Y-%m-%d %H:%M:%S')" > "${CURRENT_MONTH_DIR}/test_${TIMESTAMP}.txt" echo "Directory: ${CURRENT_MONTH_DIR}" >> "${CURRENT_MONTH_DIR}/test_${TIMESTAMP}.txt"执行后，目录里会有这样的文件：/data/.../uploads/files/test_1430/ └── test_20260716_143000.txt{collapse}{collapse-item label="软链接方式-每小时测试" open}#!/bin/bash # /usr/local/bin/ftp-test-hourly.sh set -e HOURLY_BASE="/data/vdb/tmp/hourly_dir" LINK_PATH="/data/vdb/docker/compose/vsftpd/test" TIMESTAMP=$(date +%Y%m%d_%H%M%S) NEW_DIR="${HOURLY_BASE}/${TIMESTAMP}" # 创建新目录 mkdir -p "${NEW_DIR}" chmod 755 "${NEW_DIR}" # 创建测试文件 echo "Created at: $(date '+%Y-%m-%d %H:%M:%S')" > "${NEW_DIR}/test_${TIMESTAMP}.txt" echo "Directory: ${NEW_DIR}" >> "${NEW_DIR}/test_${TIMESTAMP}.txt" # 更新符号链接 if [ -e "${LINK_PATH}" ] && [ ! -L "${LINK_PATH}" ]; then BACKUP="${LINK_PATH}.backup.$(date +%s)" mv "${LINK_PATH}" "${BACKUP}" echo "已备份旧目录到 ${BACKUP}" fi ln -sfn "${NEW_DIR}" "${LINK_PATH}" # 重启容器使新挂载生效 docker restart vsftpd # 验证容器内内容 echo "=== 容器内验证 ===" docker exec vsftpd ls -la /home/vsftpd/xj_tzsj_sync/test 2>/dev/null || echo "容器验证失败" # 记录日志 echo "$(date '+%Y-%m-%d %H:%M:%S'): 链接已指向 ${NEW_DIR}，容器已重启" >> /data/vdb/tmp/ftp-test.log # 输出状态 echo "=== 宿主机状态 ===" ls -la "$(dirname ${LINK_PATH})" | grep test echo "链接指向: $(readlink ${LINK_PATH})" ls -la "${LINK_PATH}/"{/collapse-item}{/collapse}
-
13.5k star Docker 日志不用再敲命令行！7MB 轻量开源 Web 实时日志工具 Dozzle，多主机一键监控，浏览器实时查看所有 Docker 容器日志 科技虫致力于分享一些优秀的开源程序和客户端软件。比如商城、小程序、H5、网站、办公系统、OA、CRM、ERP、内容管理系统CMS、物联网系统、智能硬件、人工智能AI、大数据分析、智慧大屏、工具类软件、编程类软件工具、服务器运维、网络安全、前端技术、后台技术。为了方便大家，我把往期所有发表过的内容按分类整理成一个文档发表到了gitee上。地址：https://gitee.com/php_andy/software-box喜欢的可以去给个免费的star，你的鼓励是我继续创作的动力。非常感谢。本地调试、服务器排错时，反复敲docker logs -f切换容器真的很麻烦，多台宿主机还要挨个登录服务器看日志，效率极低。今天分享一款纯轻量化开源Web日志工具Dozzle，无需数据库、不持久化存储日志，仅7MB镜像，浏览器实时流式查看容器日志，支持正则、SQL检索，单机、集群、多主机全部适配，新手5分钟部署完成。一、项目基础档案项目名称：Dozzle开源地址：https://github.com/amir20/dozzle开源协议：MIT开发语言：Go后端 + Vue前端适配系统：Docker、Docker Swarm、K8s、Podman最低依赖：Docker Engine 19.03+（API 1.40+）核心适用人群：后端开发、运维工程师、个人站长、容器爱好者、本地环境调试开发者二、核心功能亮点1. 极致轻量化，零资源消耗功能：压缩镜像仅7MB，无日志持久化存储，仅实时流式转发容器输出，内存占用极低。痛点：ELK、Grafana+Loki组件多、耗内存硬盘，本地/小型服务器部署成本高。使用价值：个人服务器、本地开发机无负担常驻，不抢占业务容器资源。2. 多维度日志检索，支持SQL查询功能：容器名模糊搜索、正则过滤日志、浏览器端直接执行SQL筛选日志（内置DuckDB WASM）。痛点：原生docker logs筛选只能配合grep，复杂报错批量筛选极繁琐。使用价值：微服务大量日志快速定位异常堆栈，复杂报错一键过滤。3. 分屏多容器同屏查看+实时资源监控功能：支持分割屏幕同时查看多个容器日志；面板实时展示容器CPU、内存占用曲线。痛点：排查服务联动报错，需要多开终端分别跟踪容器日志，无法直观对比。使用价值：微服务联调、服务雪崩排错时，同步观察多容器输出与资源占用。4. 多主机集群统一监控（Agent/Swarm双模式）功能：Agent模式多台Docker主机接入同一面板；Swarm全局部署自动识别集群节点。痛点：多台服务器需要登录每台机器查看日志，无法统一管理。使用价值：小型集群、多宿主机运维，一个网页统一查看全部容器日志。5. 完善权限认证，支持反向代理对接功能：文件账号密码认证、Authelia等代理转发鉴权；暗色模式适配长时间调试。痛点：工具裸暴露公网存在安全风险，无权限隔离多人共用。使用价值：内网/公网部署后，分配账号给开发同事，无需开放服务器SSH权限。6. 兼容Podman、K8s，容器内交互式终端功能：适配无守护进程Podman；浏览器直接exec进入容器执行命令，启停容器。痛点：切换Podman环境找不到配套日志工具，查看日志还要额外操作终端。使用价值：多容器环境统一一套日志面板，不用切换不同工具。三、适用场景&适配人群✅ 适合使用1. 个人开发本地调试：本地Docker环境，不想频繁敲命令跟踪日志。2. 小型服务器/个人站长：单台服务器部署网站、后端服务，轻量无资源压力。3. 中小运维团队：多台Docker宿主机、Swarm集群，统一日志可视化面板。4. 测试环境排错：预发环境实时跟踪报错，无需搭建重型日志存储系统。5. Podman/K8s轻量监控：无重型日志组件需求，仅需实时查看容器输出。❌ 不适合使用1. 生产长期日志留存：Dozzle不存储日志，Docker日志轮转后旧日志无法回看，长期归档选ELK/Loki。2. 大规模百万级日志检索：无离线持久化检索能力，海量日志分析不适用。3. 容器日志输出至本地文件：仅读取stdout/stderr，容器内文件日志无法采集。四、实测体验&客观优缺点上手体验部署仅一行Docker命令，无需额外数据库、中间件；前端Vue页面加载流畅，日志流式推送无延迟；新手无需配置，挂载docker.sock即可直接使用，高级多主机配置文档清晰。核心优势1. 部署零门槛，一行命令启动，Docker Compose一键编排；2. 资源占用极低，7MB镜像，闲置内存几乎无消耗；3. 检索能力强，模糊/正则/SQL三层日志筛选，排错效率拉满；4. 统一管理多宿主机、Swarm集群，单页面管控全部容器；5. 自带容器资源监控、网页终端，一站式调试；6. MIT开源无商业限制，完全免费自用。现存短板1. 无日志持久化：仅实时查看，Docker日志轮转后历史日志丢失，无法离线检索；2. 仅采集容器标准输出，容器内本地文件日志无法读取；3. 默认无鉴权，直接暴露外网存在安全风险，需手动配置账号；4. 不适合海量生产日志长期存储、审计场景；5. 反向代理需特殊缓冲配置，否则日志流会卡顿。五、极简快速上手教程1. 单机一键运行（推荐新手）# 拉取镜像docker pull amir20/dozzle:latest# 启动容器，挂载docker套接字，持久化配置docker run --name dozzle -d \--volume=/var/run/docker.sock:/var/run/docker.sock \-v dozzle_data:/data \-p 8080:8080 \amir20/dozzle:latest访问地址：http://服务器IP:80802. Docker Compose标准配置services: dozzle: container_name: dozzle image: amir20/dozzle:latest volumes: - /var/run/docker.sock:/var/run/docker.sock - dozzle_data:/data ports: - 8080:8080volumes: dozzle_data:启动：docker-compose up -d3. 多主机Agent模式（远程服务器）远程主机（Agent节点）docker run -d -v /var/run/docker.sock:/var/run/docker.sock -p 7007:7007 amir20/dozzle:latest agent主面板节点（接入所有Agent）docker run -d -p 8080:8080 \-e DOZZLE_REMOTE_AGENT="192.168.1.100:7007,192.168.1.101:7007" \-v /var/run/docker.sock:/var/run/docker.sock \amir20/dozzle:latestDozzle是面向容器场景的轻量化实时日志Web面板，主打零部署成本、低资源占用，适合本地开发、小型服务器、轻量集群实时排错。如果仅需实时查看容器stdout日志，它是最优选择；若需要日志长期归档、海量离线检索，建议搭配Loki/ELK使用。你平时查看Docker日志习惯用命令行还是可视化工具？有没有遇到过多服务器日志统一管理的痛点？喜欢的话点击下方卡片关注一下我吧，为您推荐更多优秀好用的程序和软件。你也可以给我留言或私信，说出你需要的程序和软件，我帮大家推荐。创作不易 分享,点赞,在看 支持一下,🙏感谢。
-
Linux SSH 远程连接——密钥免密登录与 scp/rsync 传文件 大家好，我是冯哥的缓存。前几篇我们把Shell配置好了、脚本会写了、函数库建好了、dotfiles 也能一键同步了。接下来聊一个使用频率极高的技能：SSH 远程连接。不管是：·在家远程连公司或云服务器·在办公室操控实验室的 Linux 机器·把文件从 A 机器传到 B 机器·通过跳板机登录内网服务器…… 都离不开 SSH。而且，如果每次连服务器还在手动输密码，看完这篇之后也许会觉得"那真的是在浪费时间"。一、SSH 是什么，工作原理简介1.1 用一句话解释 SSHSSH（Secure Shell）是一种加密的远程登录协议，可以在本机的终端里操控另一台机器，就像坐在那台机器面前一样，几乎所有远程操作都离不开它。和远程桌面（VNC、RDP）的区别：·SSH是纯命令行界面，速度快、带宽占用极小·远程桌面是图形界面，方便但需要更多资源1.2
-
部署OpenVPN的快捷方法 在我的微信公众号里曾经写过OpenVPN的部署方法，好几个步骤都涉及到密钥、证书的生成，还要理解网络方面的一些概念，iptables也需要进行配置，想想都比较繁琐。那正好公司也需要部署OpenVPN，到网上查了一些资料，看到了使用Docker Compose的部署方式，一下子就简单了很多，特分享下。Github的链接地址：https://github.com/GavinTan/openvpn然后就参考部署方式：docker-compose.ymlservices: openvpn: image: yyxx/openvpn cap_add: - NET_ADMIN ports: - "1194:1194/udp" - "8833:8833" volumes: - ./data:/data - /etc/localtime:/etc/localtime:ro restart: unless-stopped安装docker和docker compose可以通过一个脚本部署：sudo yum install -y git && git clone https://github.com/slobys/docker.git && cd docker && chmod +x docker.sh && ./docker.shdocker compose的启动命令：[root@VM-16-7-centos openvpn]# docker compose down[+] Running 2/2 ✔ Container openvpn-openvpn-1 Removed 10.2s ✔ Network openvpn_default Removed 0.1s [root@VM-16-7-centos openvpn]# docker compose up -d[+] Running 2/2 ✔ Network openvpn_default Created 0.0s ✔ Container openvpn-openvpn-1 Started 0.3s [root@VM-16-7-centos openvpn]# docker ps -aCONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMESdecbc91a763e yyxx/openvpn "docker-entrypoint.s…" 4 seconds ago Up 3 seconds 0.0.0.0:1194->1194/udp, :::1194->1194/udp, 0.0.0.0:8833->8833/tcp, :::8833->8833/tcp openvpn-openvpn-1然后我们就可以到OpenVPN-WEB页面进行管理：http://<ip地址>:8833账号是admin，默认密码是admin。然后就是设置VPN账户和配置文件等。客户端下载：https://openvpn.net/community/然后导入配置配置，可以连接成功。图标显示绿色，说明已经连接成功。
