星光下的赶路人

Django + Doris CRC32 分表实战：问题汇总与解决方案

Wed, 06 May 2026 16:32:46 +0800

一次从零到一的 Django 分表实践，记录踩过的所有坑

前言

最近在做一个零售户管理系统，需要处理十亿级的数据。考虑到 Doris 的强大分析能力，使用 Doris 作为数据库，并基于 CRC32 算法实现自动分表。过程并不顺利，遇到了各种各样的问题。记录这些问题及解决方案，希望能帮助到有类似需求的开发者。

问题1：Doris 数据库连接失败

错误信息：

django.db.utils.OperationalError: (2003, "Can't connect to MySQL server on 'xxx'")

问题原因：

Doris 使用 MySQL 协议，但端口不是默认的 3306
防火墙未开放 Doris 端口
未安装 PyMySQL 驱动

解决方案：

# settings.py
DATABASES = {
    'doris': {
        'ENGINE': 'django.db.backends.mysql',
        'NAME': 'your_database',
        'USER': 'your_user',
        'PASSWORD': 'your_password',
        'HOST': 'your_doris_host',
        'PORT': '9030',  # Doris 默认 MySQL 协议端口
        'OPTIONS': {
            'init_command': "SET sql_mode='STRICT_TRANS_TABLES'",
            'charset': 'utf8mb4',
        },
    }
}

关键点：

Doris 的 MySQL 协议端口通常是 9030（不是 3306）
需要安装 pymysql：pip install pymysql
在 __init__.py 中添加：import pymysql; pymysql.install_as_MySQLdb()

问题2：NameError: name ‘BaseLicense’ is not defined

错误信息：

NameError: name 'BaseLicense' is not defined

问题原因：

在 router.py 中使用了 BaseLicense 但没有导入或定义
模型定义顺序导致引用问题

解决方案：

方案一：在 router.py 中定义（简单但不推荐）

# router.py
class BaseLicense(models.Model):
    class Meta:
        abstract = True

方案二：分离模型和路由逻辑（推荐）

# models.py
class BaseLicense(models.Model):
    # 字段定义...
    class Meta:
        abstract = True

# router.py
from .models import BaseLicense  # 正确导入

最佳实践：

将所有模型定义在 models.py 中
路由逻辑单独放在 router.py 或 shard_router.py
使用明确的导入路径

问题3：no such table: t_license_8

错误信息：

django.db.utils.OperationalError: no such table: t_license_8

问题原因：

Django 默认使用 default 数据库连接
default 配置的是 SQLite，但实际表在 Doris 中
未指定使用 Doris 数据库

解决方案：

方案一：每次查询指定数据库（简单直接）

result = model.objects.using('doris').get(lic_no=lic_no)

方案二：配置数据库路由器（优雅）

# db_router.py
class DorisRouter:
    def db_for_read(self, model, **hints):
        if model.__name__.startswith('License_'):
            return 'doris'
        return None

# settings.py
DATABASE_ROUTERS = ['your_app.db_router.DorisRouter']

知识点：

using() 方法用于指定数据库
数据库路由器可以实现自动化路由
记得在 settings 中注册路由器

问题4：Unknown column ‘id’ in ‘t_license_8’

错误信息：

django.db.utils.OperationalError: (1054, "errCode = 2, detailMessage = Unknown column 'id' in 't_license_8'")

问题原因：

Django 模型默认会自动添加一个名为 id 的自增主键字段
Doris 表使用 retailer_uuid 作为主键，没有 id 字段

解决方案：

class BaseLicense(models.Model):
    # ✅ 必须明确指定主键字段
    retailer_uuid = models.CharField(
        max_length=96, 
        primary_key=True,  # 关键：指定为主键
        verbose_name='零售户UUID'
    )
    lic_no = models.CharField(max_length=60, null=True)
    # ... 其他字段

    class Meta:
        abstract = True
        managed = False  # 禁止 Django 管理表结构

关键点：

必须用 primary_key=True 标记主键字段
设置 managed = False 避免 Django 尝试创建/修改表
abstract = True 让基类不创建实际表

问题5：Object of type License_t_license_8 is not JSON serializable

错误信息：

TypeError: Object of type License_t_license_8 is not JSON serializable

问题原因：

Django ORM 返回的是模型对象，不是字典
JSON 序列化器无法处理 Django 模型实例

解决方案对比：

方案	代码	优点	缺点
使用 values()	`model.objects.filter().values().first()`	直接返回字典，性能好	返回的是字典，不是模型实例
使用 model_to_dict	`model_to_dict(obj)`	可转换已有模型实例	需要先获取实例
手动构建字典	`{'field': obj.field}`	完全可控	代码冗长
使用 Django 序列化器	`serializers.serialize('json', queryset)`	功能完整	返回格式特殊

推荐方案：

# 方案一：直接使用 values()（推荐）
@router.get("/license")
def get_license(request, lic_no: str):
    model = get_model_for_license(lic_no)
    result = model.objects.using('doris').filter(
        lic_no=lic_no
    ).values().first()  # 直接返回字典
    return result

# 方案二：使用 model_to_dict
from django.forms.models import model_to_dict

@router.get("/license")
def get_license(request, lic_no: str):
    model = get_model_for_license(lic_no)
    obj = model.objects.using('doris').get(lic_no=lic_no)
    return model_to_dict(obj)  # 转换为字典

一键删除所有Anaconda虚拟环境（安全、干净、彻底）

Mon, 27 Apr 2026 16:52:44 +0800

最安全、最简单、直接清空所有环境的方法，不用一个个删，也不会弄坏你的 base 环境。

核心命令（直接复制运行）

先打开 Anaconda Prompt（Windows）或终端（Mac/Linux），执行：

1. 查看所有环境（确认一下）

conda env list

2. 批量删除所有自定义环境

for /f "skip=1 tokens=1" %i in ('conda env list ^| findstr /v "base"') do conda remove -n %i --all -y

上面这行是 Windows 专用命令，直接复制粘贴运行即可。

运行后它会自动逐个删除所有非 base 的环境，全程不需要你手动确认。

Mac / Linux 系统用这个命令

conda env list | grep -v 'base' | awk '{print $1}' | xargs -I {} conda remove -n {} --all -y

重要提醒

不会删除 base 环境（你的 Anaconda 本体不会坏）
不会删除 Anaconda 软件
只删除你自己创建的所有虚拟环境
删完后执行 conda env list，只会剩下 base

删完后彻底清理缓存（释放大量空间）

环境删完后，再运行这个清理缓存，能多出几个G空间：

conda clean -a -y

总结

Windows 用我给的 for /f 命令一键清空所有环境
Mac/Linux 用对应的 bash 一键清空
最后用 conda clean -a -y 彻底清理
全程安全、不会损坏 Anaconda

Django 操作 Redis 完整教程

Sat, 25 Apr 2026 09:21:59 +0800

Redis 是一款高性能的内存数据库，Django 中常用来做缓存、会话存储、计数器、消息队列等。下面我带你从安装配置 → 基础使用 → 高级操作完整掌握 Django 操作 Redis 的方法。

一、环境准备

1. 安装依赖包

Django 操作 Redis 最常用的库是 django-redis（官方推荐）：

pip install django-redis redis

2. 本地/服务器启动 Redis

确保你的设备已经安装并启动了 Redis 服务：

Windows：下载 Redis 安装包，启动 redis-server.exe
Mac/Linux：brew install redis 或 apt install redis-server，执行 redis-server 启动

二、Django 配置 Redis

打开项目的 settings.py，添加以下配置：

1. 核心配置（最常用）

# settings.py

# 配置 Redis 为缓存后端
CACHES = {
    "default": {
        "BACKEND": "django_redis.cache.RedisCache",
        # Redis 地址：格式 redis://:密码@主机:端口/数据库编号
        # 无密码：redis://127.0.0.1:6379/1
        "LOCATION": "redis://127.0.0.1:6379/1",
        "OPTIONS": {
            "CLIENT_CLASS": "django_redis.client.DefaultClient",
            # 连接池配置（优化性能）
            "CONNECTION_POOL_KWARGS": {"max_connections": 100}
        }
    }
}

# 可选：将 Django 会话存储到 Redis
SESSION_ENGINE = "django.contrib.sessions.backends.cache"
SESSION_CACHE_ALIAS = "default"

三、基础操作（缓存/键值对）

django-redis 封装了 Django 原生缓存 API，无需手动连接 Redis，直接调用即可。

1. 导入缓存对象

from django.core.cache import cache

2. 常用命令

# 1. 设置缓存（key, value, 过期时间/秒）
cache.set("username", "zhangsan", timeout=60)  # 60秒后过期
cache.set("age", 20)  # 不写timeout：永久有效

# 2. 获取缓存
name = cache.get("username")  # 存在返回值，不存在返回None
age = cache.get("age", 0)  # 不存在时返回默认值0

# 3. 删除缓存
cache.delete("username")  # 删除指定key
cache.clear()  # 清空当前数据库所有缓存（谨慎使用！）

# 4. 判断key是否存在
cache.has_key("username")

# 5. 自增/自减（适合做计数器、点赞数）
cache.set("view_count", 0)
cache.incr("view_count")  # +1 → 1
cache.incr("view_count", 5)  # +5 → 6
cache.decr("view_count")  # -1 → 5

四、直接操作原生 Redis 命令（进阶）

Django 封装的 API 不够用时，可以获取原生 Redis 连接，执行 Redis 所有原生命令（哈希、列表、集合等）。

1. 获取原生 Redis 客户端

from django_redis import get_redis_connection

# 获取连接（使用settings.py中配置的default连接）
redis_conn = get_redis_connection("default")

2. 原生 Redis 常用操作

# 字符串
redis_conn.set("name", "lisi")
print(redis_conn.get("name").decode())  # 二进制转字符串

# 哈希（适合存储对象）
redis_conn.hset("user:1", "name", "wangwu")
redis_conn.hset("user:1", "age", 25)
print(redis_conn.hgetall("user:1"))  # 获取所有字段

# 列表
redis_conn.lpush("task_list", "任务1")
redis_conn.rpush("task_list", "任务2")
print(redis_conn.lrange("task_list", 0, -1))  # 获取所有元素

# 设置过期时间
redis_conn.expire("user:1", 300)  # 5分钟后过期

# 删除key
redis_conn.delete("name")

五、实战：Django 视图中使用 Redis

示例：文章浏览量统计（防刷新）

# views.py
from django.shortcuts import render
from django.core.cache import cache

def article_detail(request, article_id):
    # 浏览量key
    view_key = f"article:{article_id}:views"

    # 自增浏览量
    cache.incr(view_key)

    # 获取浏览量
    view_count = cache.get(view_key, 0)

    return render(request, "article.html", {"views": view_count})

示例：缓存热门数据（优化数据库查询）

def hot_articles(request):
    # 先从缓存取
    hot_list = cache.get("hot_article_list")

    # 缓存不存在，查询数据库并写入缓存
    if not hot_list:
        hot_list = Article.objects.filter(is_hot=True)
        cache.set("hot_article_list", hot_list, timeout=60*10)  # 缓存10分钟

    return render(request, "hot.html", {"articles": hot_list})

六、常用场景总结

缓存页面/数据：减少数据库压力，提升响应速度
会话存储：SESSION_ENGINE 配置后，Django 会话自动存在 Redis
计数器：点赞数、浏览量、签到统计（incr 命令）
分布式锁：解决高并发下的数据安全问题
消息队列：配合 celery 做异步任务

总结

安装：pip install django-redis redis
配置：settings.py 中配置 CACHES
简单使用：from django.core.cache import cache 调用封装方法
高级使用：get_redis_connection() 获取原生连接，执行所有 Redis 命令
核心用途：缓存、计数器、会话、高并发优化

大数据处理技术方案拆分、异步、缓存、分批、冷热分离

Fri, 24 Apr 2026 09:55:52 +0800

一、拆分技术（分库分表）：解决数据量膨胀瓶颈

核心目标：通过数据的垂直/水平拆分，突破单库单表性能上限，实现业务隔离与高效查询。

按地市拆分（city_code）
- 逻辑：不同地市卷烟数据物理隔离，跨地市业务通过路由实现，查询天然不跨区。
- 优势：贴合烟草行业地市化运营特性，避免跨库关联，大幅提升单业务查询性能。
按时间拆分（周/日）
- 逻辑：订单数据按周/日粒度分表，环比同比类统计仅需查询对应周期数据。
- 优势：时间范围查询性能提升数倍，避免扫描全表数据。
哈希拆分（retailer_id）
- 逻辑：采用 CRC32(retailer_id) % 64 哈希算法，实现零售户数据均匀分布到64个分表，全平台路由规则统一。
- 优势：避免数据倾斜，保障单零售户数据查询的高效性。
三层分表规则（地市 + 周 + 零售户哈希）
- 适用场景：订单表等高频写入、高频查询的核心业务表。
- 优势：兼顾业务隔离、时间查询与单主体数据查询的性能，是烟草订单场景的最佳实践。
多数据库兼容
- 支持MySQL、PostgreSQL、Doris、ADB等主流数据库，适配在线事务、离线分析等不同业务场景。

二、异步处理：削峰填谷，提升系统吞吐量

核心目标：将同步耗时操作转为异步处理，降低主链路响应时间，提升系统并发承载能力。

消息队列MQ（Kafka/RocketMQ）
- 场景：订单削峰、业务解耦、订单入库异步化。
- 优势：抗住流量峰值，避免突发流量压垮数据库，同时实现业务模块解耦。
异步线程池（Java @Async / Python ThreadPool）
- 场景：非核心业务逻辑异步执行，如日志记录、通知推送、非实时统计计算。
- 优势：主流程快速响应，后台线程池处理耗时任务，提升用户体验。
定时调度异步（DataWorks/XXL-Job）
- 场景：凌晨离线跑批，计算环比同比、日/周/月统计报表。
- 优势：避开业务高峰期，不影响日间业务性能，同时利用闲时资源完成大数据量计算。
CDC异步同步（Canal/Flink CDC）
- 场景：MySQL业务数据实时同步至Doris数仓，实现业务库与分析库的解耦。
- 优势：低延迟同步数据，业务库无额外压力，数仓可支撑复杂分析查询。
HTTP异步接口（DataWorks回调）
- 场景：DataWorks跑批完成后，异步调用业务系统接口推送计算结果。
- 优势：避免跑批任务阻塞，实现业务系统与调度平台的解耦。

三、缓存技术：减少数据库访问，提升热点数据查询性能

核心目标：构建多级缓存体系，实现99%以上请求不直接访问数据库，降低数据库压力。

本地缓存（Caffeine）
- 场景：存储字典数据、地市/卷烟白名单、配置信息等低频变更数据。
- 优势：读取速度极快，无网络开销，适合静态/半静态数据缓存。
分布式缓存（Redis）
- 场景：缓存零售户信息、订单详情、统计指标、热门商品数据。
- 优势：支持高并发读写，可设置过期时间，实现数据共享与一致性控制。
多级缓存架构（本地 → Redis → DB）
- 逻辑：优先读取本地缓存，未命中则读取Redis，仍未命中再查询数据库，同时回写缓存。
- 优势：多层级防护，大幅降低数据库访问压力，提升整体查询性能。
预计算缓存
- 场景：环比同比、同档位对标等复杂统计指标，提前计算并写入Redis。
- 优势：用户查询时直接读取缓存，响应时间从秒级降至毫秒级。
缓存安全策略
- 防穿透/击穿/雪崩：通过布隆过滤器、互斥锁、过期时间打散等机制保障缓存稳定性。
- 主动更新：定时刷新热点数据缓存，避免缓存与数据库数据不一致。

四、分批处理：避免全表操作，降低单次任务资源消耗

核心目标：将大数据量操作拆分为多批次执行，避免锁表、超时，保障业务稳定性。

主键分批
- 实现：通过 WHERE id BETWEEN 1 AND 1000 按主键范围拆分数据，逐批处理。
- 优势：避免全表扫描，降低单次查询的IO与内存消耗。
游标分批
- 实现：通过 WHERE id > ? LIMIT 1000 实现深度分页，避免OFFSET偏移量导致的性能问题。
- 优势：解决大数据量分页查询卡顿问题，实现高效分页。
分区分批
- 实现：按地市/分区维度拆分数据，仅扫描目标分区数据。
- 优势：结合数据库分区特性，大幅减少扫描数据量，提升处理效率。
调度分片
- 实现：DataWorks任务分片并行执行，例如40万零售户数据多实例并行处理。
- 优势：利用分布式调度能力，将小时级任务压缩至分钟级完成。
批量SQL操作
- 实现：批量INSERT/UPDATE操作，采用小事务提交，避免大事务锁表。
- 优势：减少数据库连接次数，同时避免大事务导致的锁等待与回滚风险。

五、冷热分离：优化存储成本，提升热数据性能

核心目标：将高频访问的热数据与低频访问的冷数据分离，实现性能与成本的平衡。

热数据（SSD存储）
- 范围：近30天订单数据、高频读写业务数据。
- 优势：SSD高IO性能保障高频查询与写入的低延迟。
冷数据（OSS/归档存储）
- 范围：30天以上历史订单数据、归档业务数据。
- 优势：低成本存储，大幅降低整体存储成本。
自动TTL策略
- 实现：Doris/ADB按时间自动将热数据转为冷数据，业务无感知。
- 优势：无需人工干预，自动完成数据冷热流转，保障业务连续性。
分区迁移
- 实现：按周/月分区，将过期分区自动迁移至OSS归档存储。
- 优势：结合分区特性，实现批量数据迁移，降低运维成本。
统一查询入口
- 实现：业务SQL无需修改，引擎自动路由冷热数据。
- 优势：对业务透明，无需改造代码即可实现冷热数据统一查询。

方案总结与落地建议

技术方向	核心解决问题	落地优先级
分库分表	数据量膨胀导致的性能瓶颈	高（订单等核心业务表优先）
异步处理	高并发流量冲击、主链路响应慢	高（订单入库、统计计算优先）
多级缓存	数据库访问压力大、热点数据查询慢	高（统计指标、基础数据优先）
分批处理	大数据量操作超时、锁表	中（跑批任务、批量更新优先）
冷热分离	存储成本高、热数据性能下降	中（历史订单、归档数据优先）

落地时建议以核心业务场景（如订单处理、统计报表）为切入点，先搭建缓存与异步处理体系，再逐步推进分库分表与冷热分离改造，同时配套监控与压测，保障每一步改造的稳定性。

可用的github访问工具 Watt Toolkit

Wed, 22 Apr 2026 13:33:59 +0800

Watt Toolkit（原名 Steam++）是一款开源、跨平台的多功能游戏工具箱，主要面向使用 Steam、Epic、Uplay 等游戏平台 的玩家。它旨在优化游戏平台的使用体验，尤其针对国内用户常遇到的访问慢、加载卡顿、多账号切换繁琐等问题。

一、Watt Toolkit 是什么？

定位：本地运行的轻量级工具，不依赖远程服务器，也不转发全局流量。
核心机制：通过本地反向代理 + 脚本注入方式，优化特定网站（如 Steam 社区、创意工坊、商店等）的访问速度和稳定性。
安全性：完全开源（GitHub 项目），不接触你的账号密码或游戏文件，无广告、无捆绑、免费使用。
跨平台支持：Windows、macOS、Linux，以及 Android/iOS 移动端。

二、主要功能与用途

1. 网络加速

加速 Steam、Epic、Discord、Twitch 等平台相关服务。
支持脚本注入（类似浏览器插件），可自定义网页功能（如显示隐藏内容、批量操作等）。

2. 多账号快速切换

自动读取本地已登录的 Steam/Epic/Uplay 账号。
一键切换，无需反复输入账号密码。

3. 游戏库存管理

查看并编辑 Steam 游戏库（如修改游戏名称、封面）。
支持家庭共享库排序与禁用。

4. 本地令牌（Steam Guard）管理

安全存储多个账号的两步验证令牌。
支持扫码导入、文件导入、云同步。
可在移动端确认交易或登录请求。

5. 实用游戏工具

强制窗口无边框化。
Steam 下载完成自动关机。
存档备份、挂卡辅助等（部分功能需配合脚本）。

三、如何使用 Watt Toolkit？

✅ 电脑端使用步骤：

下载安装
- 官网或 GitHub 发布页下载：[https://steampp.net/)
- 支持 Windows/macOS/Linux。
启动软件
- 首次运行会进入“网络加速”界面。
启用加速
- 勾选需要加速的服务（如 Steam 商店、社区、创意工坊）。
- 点击【一键加速】，软件会自动配置本地代理（通常监听 127.0.0.1:端口）。
配置系统/浏览器代理（可选）
- 大多数情况下，Watt Toolkit 会自动设置系统代理。
- 也可手动在浏览器或 Steam 客户端中设置 HTTP 代理为 127.0.0.1:对应端口。
使用其他功能
- 切换账号：点击【账号切换】→ 选择账号。
- 管理令牌：进入【本地令牌】→ 添加 Steam 账号（扫码或导入）。
- 安装脚本：在【网络加速】→【脚本配置】→【脚本工坊】中获取增强功能。

📱 手机端使用（Android/iOS）：

主要用于 Steam 令牌管理 和 移动端加速。
安装后可通过扫码或文件导入 Steam 令牌。
启动加速后，配合手机网络使用（适合在外时快速登录或确认交易）。

四、注意事项

不修改游戏文件，不影响反作弊系统（如 VAC、Easy Anti-Cheat）。
无需注册账号，所有数据本地存储（可选加密）。
脚本功能需谨慎使用，部分脚本可能违反平台规则（建议仅用于 UI 增强）。

总结

Watt Toolkit = Steam 优化器 + 多账号管家 + 本地令牌 + 轻量代理工具

如果你是 Steam 玩家，经常遇到：

创意工坊打不开
社区加载慢
有多个账号来回切换麻烦
想安全保管 Steam 令牌

那么 Watt Toolkit 是一个值得尝试的免费开源工具，能显著提升游戏平台使用体验。

如需最新版下载或详细教程，可访问官网：[https://steampp.net/)

大数据分表实操教程

Tue, 21 Apr 2026 11:45:21 +0800

一、适用场景

单表数据量超千万/过亿，查询、更新、删除缓慢
按地市、周、店铺、商品多维度聚合统计
多地市卷烟目录不同，需地市隔离
需要环比、同比、同档位/同业态/同面积对标
多语言/多库（Java、Python、MySQL、PG、Doris）统一路由
大批量增删改查，避免锁表、长事务、夯库

二、分表核心原则（直接背）

查询维度 = 分表维度（按什么查，就按什么分）
统计必须预计算，不实时扫明细
字符串ID统一用 CRC32 + 取模，全平台结果一致
三层结构：地市 + 时间 + 哈希，均衡又好查
只在业务库保留近期数据，历史入Doris数仓

三、统一哈希算法（全平台通用）

目标

字符串 retailer_id 在所有系统计算出相同表序号

统一公式

哈希值 = CRC32(retailer_id)
表序号 = 哈希值 % 分表数量（推荐 32 / 64）

各平台实现

1）MySQL

MOD(CRC32(retailer_id), 64)

2）PostgreSQL（先建函数）

CREATE OR REPLACE FUNCTION crc32(text) RETURNS bigint AS $$
DECLARE
    crc bigint := 4294967295;
    bytes bytea;
    i integer;
    b integer;
    j integer;
BEGIN
    bytes := convert_to($1, 'UTF8');
    FOR i IN 0 .. octet_length(bytes)-1 LOOP
        b := get_byte(bytes, i);
        crc := crc # b;
        FOR j IN 0 ..7 LOOP
            IF (crc & 1) <> 0 THEN
                crc := (crc >>1) # 3988292384;
            ELSE
                crc := crc >>1;
            END IF;
        END LOOP;
    END LOOP;
    RETURN (crc # 4294967295) & 4294967295;
END;
$$ LANGUAGE plpgsql IMMUTABLE;

MOD(crc32(retailer_id), 64)

3）Doris

MOD(CRC32(retailer_id), 64)

4）Java

public static int tableIndex(String retailerId, int cnt) {
    CRC32 crc32 = new CRC32();
    crc32.update(retailerId.getBytes(StandardCharsets.UTF_8));
    return (int) (crc32.getValue() % cnt);
}

5）Python

import zlib
def table_index(retailer_id, cnt):
    return zlib.crc32(retailer_id.encode()) % cnt

四、最终分表方案（直接落地）

1. 订单主表分表

按：地市 + 店铺哈希

order_main_{city_code}_{00-63}
例：order_main_410100_12

2. 订单详情表分表（核心）

按：地市 + 自然周 + 店铺哈希

order_item_{city_code}_{order_week}_{00-31}
例：order_item_410100_2026W16_07

为什么这么分？

地市：不同商品隔离，统计不跨地市
周：环比同比只查相邻周，速度极快
哈希：数据均匀，单表不大，不锁表

五、MySQL 建表示例（可直接执行）

订单详情分表模板

CREATE TABLE order_item_410100_2026W16_00 (
    id bigint primary key auto_increment,
    city_code varchar(10),
    order_week char(6),
    retailer_id varchar(32),
    order_id varchar(32),
    product_id varchar(32),
    qty int,
    amt decimal(12,2),
    create_time datetime,
    index idx_retailer_week (retailer_id, order_week),
    index idx_product (product_id)
);

六、Doris 建表示例（数仓历史明细）

CREATE TABLE order_item_doris (
    city_code     varchar(10),
    order_week    char(6),
    retailer_id   varchar(32),
    product_id    varchar(32),
    qty           int,
    amt           decimal(12,2)
)
ENGINE=OLAP
DUPLICATE KEY(city_code, order_week, retailer_id)
PARTITION BY RANGE(order_week) (
    FROM ("2025W01") TO ("2027W01") EVERY ("W1")
)
DISTRIBUTED BY HASH(city_code, retailer_id) BUCKETS 32;

七、指标层设计（环比同比必备）

1）商品周汇总表

retailer_week_stats (
    city_code,
    order_week,
    retailer_id,
    total_qty, total_amt, product_cnt
)

2）圈群单品周指标表（同档位/业态/面积对标）

group_product_week_stats (
    city_code,
    order_week,
    group_type  varchar(16),  -- 档位/业态/面积/区域/诚信小组
    group_code  varchar(32),
    product_id  varchar(32),
    avg_qty     decimal(10,2),
    avg_price   decimal(10,2),
    retail_cnt  int
)

八、大批量操作规范（防卡死）

1）大批量删除

禁止 delete from t where ... 删百万级
改用 分批删除（每次 1000~2000 行）
历史数据直接按周/地市归档后 DROP 分区

2）大批量更新

拆小事务
非实时用 MQ异步
关闭不必要索引

3）查询优化

禁止 select *、禁止深分页
高频指标放入 Redis
统计走 Doris，不打业务库

九、整套流程总结

字符串ID统一用 CRC32(retailer_id) % 64
订单详情按 地市 + 周 + 哈希 三层分表
MySQL 存近期数据，Doris 存全量历史
每周跑批生成 户汇总 + 圈群单品指标
前端查指标表，毫秒级出环比/同比/对标
增删改查全平台路由结果一致，不乱表

服务器未开放80和443端口情况下使用caddy开启https访问

Mon, 19 Jan 2026 17:24:12 +0800

前提：服务器需要能访问外网，且有个能解析的域名，并且在阿里云RAM用户获取AccessKey 和 accesskeysecret

下载源码xcaddy

github地址

解压并编译带dns插件的caddy包，我这里服务器是Ubuntu的，但是电脑是windows11的，所以需要交叉编译下

安装golang，网上很多，下载下来直接安装就可以

查看版本，确认安装

PS D:\code\xcaddy\cmd> go version
go version go1.25.6 windows/amd64

使用国内go代理

setx GOPROXY https://goproxy.cn,direct

再打开命令行，安装xcaddy

go clean -modcache
go install github.com/caddyserver/xcaddy/cmd/xcaddy@latest

直接打包windows版本

xcaddy build --with github.com/caddy-dns/alidns

日志，第一次编译有点慢

PS D:\code\xcaddy\cmd> xcaddy build --with github.com/caddy-dns/alidns
2026/01/19 15:28:30 [INFO] absolute output file path: D:\code\xcaddy\cmd\caddy.exe
2026/01/19 15:28:31 [INFO] Temporary folder: C:\Users\ADMINI~1\AppData\Local\Temp\buildenv_2026-01-19-1528.2530769539
2026/01/19 15:28:31 [INFO] Writing main module: C:\Users\ADMINI~1\AppData\Local\Temp\buildenv_2026-01-19-1528.2530769539\main.go
package main

import (
        caddycmd "github.com/caddyserver/caddy/v2/cmd"

        // plug in Caddy modules here
        _ "github.com/caddyserver/caddy/v2/modules/standard"
        _ "github.com/caddy-dns/alidns"
)

func main() {
        caddycmd.Main()
}
2026/01/19 15:28:31 [INFO] Initializing Go module
2026/01/19 15:28:31 [INFO] exec (timeout=0s): C:\Program Files\Go\bin\go.exe mod init caddy
go: creating new go.mod: module caddy
go: to add module requirements and sums:
        go mod tidy
2026/01/19 15:28:31 [INFO] Pinning versions
2026/01/19 15:28:31 [INFO] exec (timeout=0s): C:\Program Files\Go\bin\go.exe get -v github.com/caddyserver/caddy/v2
go: downloading github.com/caddyserver/caddy v1.0.5
go: downloading github.com/caddyserver/caddy/v2 v2.10.2
go: downloading github.com/caddyserver/certmagic v0.24.0
go: downloading github.com/cespare/xxhash/v2 v2.3.0
go: downloading github.com/google/uuid v1.6.0
go: downloading github.com/prometheus/client_golang v1.23.0
go: downloading github.com/quic-go/quic-go v0.54.0
go: downloading golang.org/x/sys v0.34.0
go: downloading go.uber.org/zap/exp v0.3.0
go: downloading go.uber.org/zap v1.27.0
go: downloading golang.org/x/term v0.33.0
go: downloading golang.org/x/time v0.12.0
go: downloading github.com/cespare/xxhash v1.1.0
go: downloading go.uber.org/multierr v1.11.0
go: downloading google.golang.org/protobuf v1.36.6
go: downloading github.com/beorn7/perks v1.0.1
go: downloading github.com/prometheus/procfs v0.16.1
go: downloading github.com/prometheus/client_model v0.6.2
go: downloading github.com/prometheus/common v0.65.0
go: downloading github.com/caddyserver/zerossl v0.1.3
go: downloading github.com/klauspost/cpuid/v2 v2.3.0
go: downloading github.com/libdns/libdns v1.1.0
go: downloading github.com/mholt/acmez/v3 v3.1.2
go: downloading github.com/miekg/dns v1.1.63
go: downloading github.com/zeebo/blake3 v0.2.4
go: downloading golang.org/x/crypto v0.40.0
go: downloading golang.org/x/net v0.42.0
go: downloading github.com/quic-go/qpack v0.5.1
go: downloading go.uber.org/mock v0.5.2
go: downloading github.com/francoispqt/gojay v1.2.13
go: downloading github.com/munnerz/goautoneg v0.0.0-20191010083416-a7dc8b61c822
go: downloading golang.org/x/tools v0.34.0
go: downloading golang.org/x/mod v0.25.0
go: downloading golang.org/x/text v0.27.0
go: downloading golang.org/x/sync v0.16.0
go: added github.com/beorn7/perks v1.0.1
go: added github.com/caddyserver/caddy/v2 v2.10.2
go: added github.com/caddyserver/certmagic v0.24.0
go: added github.com/caddyserver/zerossl v0.1.3
go: added github.com/cespare/xxhash/v2 v2.3.0
go: added github.com/francoispqt/gojay v1.2.13
go: added github.com/google/uuid v1.6.0
go: added github.com/klauspost/cpuid/v2 v2.3.0
go: added github.com/libdns/libdns v1.1.0
go: added github.com/mholt/acmez/v3 v3.1.2
go: added github.com/miekg/dns v1.1.63
go: added github.com/munnerz/goautoneg v0.0.0-20191010083416-a7dc8b61c822
go: added github.com/prometheus/client_golang v1.23.0
go: added github.com/prometheus/client_model v0.6.2
go: added github.com/prometheus/common v0.65.0
go: added github.com/prometheus/procfs v0.16.1
go: added github.com/quic-go/qpack v0.5.1
go: added github.com/quic-go/quic-go v0.54.0
go: added github.com/zeebo/blake3 v0.2.4
go: added go.uber.org/mock v0.5.2
go: added go.uber.org/multierr v1.11.0
go: added go.uber.org/zap v1.27.0
go: added go.uber.org/zap/exp v0.3.0
go: added golang.org/x/crypto v0.40.0
go: added golang.org/x/mod v0.25.0
go: added golang.org/x/net v0.42.0
go: added golang.org/x/sync v0.16.0
go: added golang.org/x/sys v0.34.0
go: added golang.org/x/term v0.33.0
go: added golang.org/x/text v0.27.0
go: added golang.org/x/time v0.12.0
go: added golang.org/x/tools v0.34.0
go: added google.golang.org/protobuf v1.36.6
2026/01/19 15:28:42 [INFO] exec (timeout=0s): C:\Program Files\Go\bin\go.exe get -v github.com/caddy-dns/alidns github.com/caddyserver/caddy/v2
go: downloading github.com/caddy-dns/alidns v1.0.26
go: downloading github.com/libdns/alidns v1.0.4-libdns.v1.beta1
go: added github.com/caddy-dns/alidns v1.0.26
go: added github.com/libdns/alidns v1.0.4-libdns.v1.beta1
2026/01/19 15:28:46 [INFO] exec (timeout=0s): C:\Program Files\Go\bin\go.exe get -v
go: downloading github.com/aryann/difflib v0.0.0-20210328193216-ff5ff6dc229b
go: downloading github.com/KimMachineGun/automemlimit v0.7.4
go: downloading github.com/dustin/go-humanize v1.0.1
go: downloading github.com/go-chi/chi/v5 v5.2.2
go: downloading github.com/smallstep/certificates v0.28.4
go: downloading github.com/spf13/pflag v1.0.7
go: downloading github.com/cloudflare/circl v1.6.1
go: downloading go.uber.org/automaxprocs v1.6.0
go: downloading github.com/smallstep/truststore v0.13.0
go: downloading gopkg.in/natefinch/lumberjack.v2 v2.2.1
protocol error: received DATA after END_STREAM
go: downloading go.step.sm/crypto v0.67.0
go: downloading golang.org/x/crypto/x509roots/fallback v0.0.0-20250305170421-49bf5b80c810
go: downloading github.com/smallstep/nosql v0.7.0
go: downloading github.com/tailscale/tscert v0.0.0-20240608151842-d3f834017e53
go: downloading github.com/google/cel-go v0.26.0
go: downloading github.com/klauspost/compress v1.18.0
go: downloading github.com/cpuguy83/go-md2man/v2 v2.0.7
go: downloading gopkg.in/yaml.v3 v3.0.1
go: downloading howett.net/plist v1.0.0
go: downloading github.com/pbnjay/memory v0.0.0-20210728143218-7b4eea64cf58
go: downloading github.com/pires/go-proxyproto v0.8.1
go: downloading github.com/Masterminds/sprig/v3 v3.3.0
go: downloading github.com/yuin/goldmark v1.7.13
go: downloading github.com/alecthomas/chroma/v2 v2.20.0
go: downloading github.com/BurntSushi/toml v1.5.0
go: downloading github.com/yuin/goldmark-highlighting/v2 v2.0.0-20230729083705-37449abec8cc
go: downloading go.opentelemetry.io/contrib/instrumentation/net/http/otelhttp v0.61.0
go: downloading go.opentelemetry.io/contrib/propagators/autoprop v0.62.0
go: downloading go.opentelemetry.io/otel/exporters/otlp/otlptrace/otlptracegrpc v1.37.0
go: downloading go.opentelemetry.io/otel v1.37.0
go: downloading go.opentelemetry.io/otel/sdk v1.37.0
go: downloading go.opentelemetry.io/otel/trace v1.37.0
go: downloading github.com/coreos/go-oidc/v3 v3.14.1
go: downloading github.com/fxamacker/cbor/v2 v2.8.0
go: downloading github.com/google/go-tpm v0.9.5
go: downloading github.com/pkg/errors v0.9.1
go: downloading github.com/smallstep/go-attestation v0.4.4-0.20241119153605-2306d5b464ca
go: downloading golang.org/x/exp v0.0.0-20250408133849-7e4ce0ab07d0
go: downloading github.com/smallstep/linkedca v0.23.0
go: downloading github.com/smallstep/cli-utils v0.12.1
go: downloading go.opentelemetry.io/otel/exporters/otlp/otlptrace v1.37.0
go: downloading google.golang.org/grpc v1.73.0
go: downloading github.com/slackhq/nebula v1.9.5
go: downloading cel.dev/expr v0.24.0
go: downloading google.golang.org/genproto/googleapis/api v0.0.0-20250603155806-513f23925822
go: downloading github.com/stoewer/go-strcase v1.2.0
go: downloading github.com/antlr4-go/antlr/v4 v4.13.0
go: downloading dario.cat/mergo v1.0.1
go: downloading github.com/Masterminds/goutils v1.1.1
go: downloading github.com/Masterminds/semver/v3 v3.3.0
go: downloading github.com/huandu/xstrings v1.5.0
go: downloading github.com/mitchellh/copystructure v1.2.0
go: downloading github.com/shopspring/decimal v1.4.0
go: downloading github.com/spf13/cast v1.7.0
go: downloading github.com/russross/blackfriday/v2 v2.1.0
go: downloading github.com/ccoveille/go-safecast v1.6.1
go: downloading github.com/go-jose/go-jose/v3 v3.0.4
go: downloading github.com/felixge/httpsnoop v1.0.4
go: downloading go.opentelemetry.io/otel/metric v1.37.0
go: downloading github.com/sirupsen/logrus v1.9.3
go: downloading github.com/smallstep/pkcs7 v0.2.1
go: downloading github.com/smallstep/scep v0.0.0-20240926084937-8cf1ca453101
go: downloading github.com/go-jose/go-jose/v4 v4.0.5
go: downloading golang.org/x/oauth2 v0.30.0
go: downloading go.opentelemetry.io/contrib/propagators/aws v1.37.0
go: downloading go.opentelemetry.io/contrib/propagators/b3 v1.37.0
go: downloading go.opentelemetry.io/contrib/propagators/jaeger v1.37.0
go: downloading go.opentelemetry.io/contrib/propagators/ot v1.37.0
go: downloading google.golang.org/genproto v0.0.0-20190306203927-b5d61aea6440
go: downloading github.com/x448/float16 v0.8.4
go: downloading google.golang.org/api v0.240.0
go: downloading github.com/russross/blackfriday v1.5.2
go: downloading github.com/rs/xid v1.6.0
go: downloading filippo.io/edwards25519 v1.1.0
go: downloading github.com/Microsoft/go-winio v0.6.0
go: downloading github.com/mitchellh/go-ps v1.0.0
go: downloading github.com/google/go-tspi v0.3.0
go: downloading github.com/urfave/cli v1.22.17
go: downloading github.com/chzyer/readline v1.5.1
go: downloading github.com/manifoldco/promptui v0.9.0
go: downloading google.golang.org/grpc/cmd/protoc-gen-go-grpc v1.5.1
go: downloading github.com/dgraph-io/badger v1.6.2
go: downloading github.com/dgraph-io/badger/v2 v2.2007.4
go: downloading go.etcd.io/bbolt v1.3.10
go: downloading github.com/go-sql-driver/mysql v1.8.1
go: downloading github.com/jackc/pgx/v5 v5.6.0
go: downloading github.com/mitchellh/reflectwalk v1.0.2
go: downloading github.com/dlclark/regexp2 v1.11.5
go: downloading go.opentelemetry.io/proto/otlp v1.7.0
go: downloading google.golang.org/genproto/googleapis/rpc v0.0.0-20250603155806-513f23925822
go: downloading github.com/go-logr/logr v1.4.3
go: downloading github.com/go-logr/stdr v1.2.2
go: downloading go.opentelemetry.io/auto/sdk v1.1.0
go: downloading github.com/dgraph-io/ristretto v0.2.0
go: downloading github.com/dgryski/go-farm v0.0.0-20200201041132-a6ae2369ad13
go: downloading github.com/golang/protobuf v1.5.4
go: downloading github.com/cenkalti/backoff/v5 v5.0.2
go: downloading github.com/google/certificate-transparency-go v1.1.8-0.20240110162603-74a5dd331745
go: downloading github.com/golang/snappy v0.0.4
go: downloading github.com/AndreasBriese/bbloom v0.0.0-20190825152654-46b345b51c96
go: downloading github.com/mgutz/ansi v0.0.0-20200706080929-d51e80ef957d
go: downloading github.com/grpc-ecosystem/grpc-gateway/v2 v2.27.1
go: downloading github.com/jackc/pgpassfile v1.0.0
go: downloading github.com/jackc/pgservicefile v0.0.0-20221227161230-091c0ba34f0a
go: downloading github.com/jackc/puddle/v2 v2.2.1
go: downloading github.com/shurcooL/sanitized_anchor_name v1.0.0
go: downloading github.com/mattn/go-colorable v0.1.13
go: downloading github.com/mattn/go-isatty v0.0.20
go: downloading github.com/grpc-ecosystem/grpc-gateway v1.5.0
go: downloading github.com/googleapis/enterprise-certificate-proxy v0.3.6
go: downloading cloud.google.com/go/auth/oauth2adapt v0.2.8
go: downloading cloud.google.com/go/auth v0.16.2
go: downloading cloud.google.com/go/compute/metadata v0.7.0
go: downloading github.com/google/s2a-go v0.1.9
go: downloading github.com/googleapis/gax-go/v2 v2.14.2
go: downloading cloud.google.com/go v0.37.0
go: downloading github.com/googleapis/gax-go v2.0.0+incompatible
go: downloading google.golang.org/genproto v0.0.0-20250505200425-f936aa4a68b2
go: downloading cloud.google.com/go/compute v1.23.3
go: downloading cloud.google.com/go v0.120.0
2026/01/19 15:29:12 [INFO] Build environment ready
2026/01/19 15:29:12 [INFO] exec (timeout=0s): C:\Program Files\Go\bin\go.exe list -m github.com/caddyserver/caddy/v2
2026/01/19 15:29:12 [INFO] Building Caddy
2026/01/19 15:29:12 [INFO] exec (timeout=0s): C:\Program Files\Go\bin\go.exe mod tidy -e
go: downloading github.com/stretchr/testify v1.10.0
go: downloading go.uber.org/goleak v1.3.0
go: downloading github.com/smallstep/assert v0.0.0-20200723003110-82e2b9b3b262
go: downloading github.com/google/go-cmp v0.7.0
go: downloading github.com/kylelemons/godebug v1.1.0
go: downloading github.com/prashantv/gostub v1.1.0
go: downloading gopkg.in/check.v1 v1.0.0-20201130134442-10cb98267c6c
go: downloading github.com/zeebo/assert v1.3.0
go: downloading go.opentelemetry.io/otel/sdk/metric v1.36.0
go: downloading github.com/alecthomas/assert/v2 v2.11.0
go: downloading github.com/google/go-tpm-tools v0.4.5
go: downloading github.com/peterbourgon/diskv/v3 v3.0.1
go: downloading github.com/schollz/jsonstore v1.1.0
go: downloading github.com/aws/aws-sdk-go-v2/config v1.29.16
go: downloading github.com/aws/aws-sdk-go-v2/service/kms v1.41.0
go: downloading cloud.google.com/go/kms v1.22.0
go: downloading github.com/chzyer/test v1.0.0
go: downloading github.com/frankban/quicktest v1.14.6
go: downloading github.com/alecthomas/repr v0.5.1
go: downloading github.com/davecgh/go-spew v1.1.2-0.20180830191138-d8f796af33cc
go: downloading github.com/pmezard/go-difflib v1.0.1-0.20181226105442-5d4384ee4fb2
go: downloading github.com/kr/pretty v0.3.1
go: downloading github.com/chzyer/logex v1.2.1
go: downloading github.com/aws/aws-sdk-go-v2 v1.36.4
go: downloading github.com/hexops/gotextdiff v1.0.3
go: downloading github.com/zeebo/pcg v1.0.1
go: downloading github.com/google/btree v1.1.2
go: downloading github.com/spaolacci/murmur3 v1.1.0
go: downloading github.com/OneOfOne/xxhash v1.2.2
go: downloading cloud.google.com/go/longrunning v0.6.7
go: downloading cloud.google.com/go/iam v1.5.2
go: downloading go.opentelemetry.io/contrib/instrumentation/google.golang.org/grpc/otelgrpc v0.61.0
go: downloading github.com/rogpeppe/go-internal v1.13.1
go: downloading github.com/kr/text v0.2.0
go: downloading github.com/aws/aws-sdk-go-v2/credentials v1.17.69
go: downloading github.com/aws/aws-sdk-go-v2/internal/ini v1.8.3
go: downloading github.com/aws/aws-sdk-go-v2/feature/ec2/imds v1.16.31
go: downloading github.com/aws/aws-sdk-go-v2/service/ssooidc v1.30.2
go: downloading github.com/aws/aws-sdk-go-v2/service/sso v1.25.4
go: downloading github.com/aws/aws-sdk-go-v2/service/sts v1.33.21
go: downloading github.com/aws/smithy-go v1.22.2
go: downloading github.com/aws/aws-sdk-go-v2/internal/configsources v1.3.35
go: downloading github.com/aws/aws-sdk-go-v2/internal/endpoints/v2 v2.6.35
go: downloading github.com/aws/aws-sdk-go-v2/service/internal/presigned-url v1.12.16
go: downloading github.com/aws/aws-sdk-go-v2/service/internal/accept-encoding v1.12.3
2026/01/19 15:29:15 [INFO] exec (timeout=0s): C:\Program Files\Go\bin\go.exe build -o D:\code\xcaddy\cmd\caddy.exe -ldflags -w -s -trimpath -tags nobadger,nomysql,nopgx
2026/01/19 15:29:42 [INFO] Build complete: .\caddy.exe
2026/01/19 15:29:42 [INFO] Cleaning up temporary folder: C:\Users\ADMINI~1\AppData\Local\Temp\buildenv_2026-01-19-1528.2530769539

.\.\caddy.exe version
v2.10.2 h1:g/gTYjGMD0dec+UgMw8SnfmJ3I9+M2TdvoRL/Ovu6U8=

设置服务器类型

$env:GOOS="linux"
$env:GOARCH="amd64"

编译Ubuntu版本

 xcaddy build --with github.com/caddy-dns/alidns --output D:\code\xcaddy\caddy-linux-amd64

上传到服务器

编写配置文件 Caddyfile，tls里面配置的阿里云申请的密钥

v4.forstyle.cc:8091 {

    tls {
        dns alidns {
            access_key_id "your access_key_id"
            access_key_secret "your access_key_secret"
        }
    }

    reverse_proxy localhost:8080
    header Host {host}
    header X-Real-IP {remote_host}
}

前台启动服务

./caddy run --config Caddyfile

后台启动

 nohup ./caddy run --config Caddyfile &

windows系统开启远程桌面，并且无需密码登录

Tue, 06 Jan 2026 09:06:24 +0800

一、开启远程桌面

右键 “此电脑”，选择 “属性”，左侧点击 “远程设置”。

在 “远程桌面” 区域，勾选 “允许远程连接到此计算机” 选项

二、添加用户

点击“选择可远程这台电脑的用户”

点击添加

输入用户名，点击右侧检查名称

点确定保存

三、关闭登录密码

按 Win+R 键，打开 “运行” 对话框，输入 “gpedit.msc” 回车，启动组策略编辑器。

依次展开 “计算机配置”>“Windows 设置”>“安全设置”>“本地策略”>“安全选项” 。

在右侧找到 “帐户：使用空白密码的本地账户只允许进行控制台登录” ，双击打开，选择 “已禁用” ，点击 “确定” 按钮。

php加速下载文件，比普通下载快三倍以上

Mon, 05 Jan 2026 17:30:29 +0800

直接通过服务器下载文件有点慢，写了个加速下载代码，使用的php5.3，windows服务器，需要修改下文件路径

差不多比直接下载文件快三倍以上。

<?php
/**
 * PHP5.3.28 服务器端ZIP下载接口（部署到服务器，浏览器请求直接下载到本地）
 * 运行环境：PHP5.3.28 + Windows + NTS + CGI/FastCGI（你的服务器环境）
 * 核心特性：高速流式下载 + 断点续传 + 大文件支持 + 内存优化 + 浏览器适配
 */
// ======================== 【必须修改的2处核心配置】 =======================
$LOCAL_ZIP_FILE = 'D:/TTT/www/your_file.zip'; // ★服务器本地的ZIP文件绝对路径（必填）
$DOWNLOAD_FILE_NAME = 'my_download.zip';     // ★下载到本地时显示的文件名（自定义）
// ==========================================================================

// 全局配置（适配你的PHP5.3环境，无需修改）
set_time_limit(0);          // 取消执行超时限制（大文件必备）
ini_set('memory_limit', '64M'); // 进一步降低内存占用，适配128M限制
ini_set('output_buffering', 'off'); // 关闭输出缓冲，流式下载核心
ob_end_clean();             // 清空缓冲区，防止文件损坏

// 初始化下载处理器
$downloader = new ServerZipDownloader();
$downloader->download($LOCAL_ZIP_FILE, $DOWNLOAD_FILE_NAME);

/**
 * 服务器端ZIP下载核心类（PHP5.3完全兼容，极致速度优化）
 */
class ServerZipDownloader
{
    /**
     * 主下载方法：响应HTTP请求，将服务器本地ZIP流式下载到客户端
     * @param string $localFile 服务器本地ZIP绝对路径
     * @param string $showName  客户端显示的下载文件名
     */
    public function download($localFile, $showName)
    {
        // ========== 第一步：前置校验（核心，防止报错） ==========
        if (!$this->checkFileExist($localFile)) {
            $this->outputError('服务器本地ZIP文件不存在！路径：'.$localFile);
            return;
        }
        
        $fileSize = filesize($localFile); // 获取服务器本地文件大小
        $fileExt  = strtolower(pathinfo($localFile, PATHINFO_EXTENSION));
        
        if ($fileExt !== 'zip') {
            $this->outputError('文件格式错误，仅支持ZIP文件下载！');
            return;
        }
        
        if ($fileSize <= 0) {
            $this->outputError('ZIP文件为空或损坏！');
            return;
        }

        // ========== 第二步：设置HTTP响应头（浏览器下载核心+断点续传） ==========
        $this->setDownloadHeaders($showName, $fileSize);

        // ========== 第三步：高速流式下载核心（速度拉满，内存零占用） ==========
        $this->streamFileToClient($localFile, $fileSize);
        exit;
    }

    /**
     * 校验服务器本地文件是否存在且可读
     */
    private function checkFileExist($file)
    {
        if (!file_exists($file)) return false;
        if (!is_file($file)) return false;
        if (!is_readable($file)) return false;
        return true;
    }

    /**
     * 设置HTTP下载响应头（关键：浏览器识别下载、断点续传、中文文件名兼容）
     */
    private function setDownloadHeaders($fileName, $fileSize)
    {
        // 解决Windows+PHP5.3中文文件名乱码问题
        $ua = isset($_SERVER['HTTP_USER_AGENT']) ? $_SERVER['HTTP_USER_AGENT'] : '';
        if (preg_match('/MSIE|Edge/i', $ua)) {
            $fileName = urlencode($fileName);
        } else {
            $fileName = iconv('UTF-8', 'GB2312//IGNORE', $fileName);
        }

        // 核心响应头（下载类型+禁用缓存）
        header('Content-Type: application/zip');
        header('Content-Disposition: attachment; filename="'.$fileName.'"');
        header('Pragma: no-cache');
        header('Cache-Control: no-cache, must-revalidate');
        header('Expires: 0');
        header('Accept-Ranges: bytes'); // 开启断点续传支持

        // 断点续传核心逻辑（适配浏览器/下载工具的暂停、续传功能）
        $range = '';
        if (isset($_SERVER['HTTP_RANGE']) && !empty($_SERVER['HTTP_RANGE'])) {
            $range = $_SERVER['HTTP_RANGE'];
            $range = preg_replace('/[\s|,].*/', '', $range);
            list($a, $range) = explode('=', $range);
            list($start, $end) = explode('-', $range);
            $start = (int)$start;
            $end   = $end ? (int)$end : $fileSize - 1;
            
            header('HTTP/1.1 206 Partial Content');
            header('Content-Length: ' . ($end - $start + 1));
            header('Content-Range: bytes ' . $start . '-' . $end . '/' . $fileSize);
        } else {
            header('Content-Length: ' . $fileSize); // 返回完整文件大小
        }
    }

    /**
     * 流式输出文件到客户端（PHP5.3速度最优方案，零内存占用，突破30M限制）
     * ✅ 替代原生readfile，解决大文件下载慢/卡死/内存溢出问题
     */
    private function streamFileToClient($file, $fileSize)
    {
        $fp = fopen($file, 'rb'); // 二进制只读模式（Windows最优）
        if (!$fp) {
            $this->outputError('服务器文件读取失败！');
            return;
        }

        // 处理断点续传的起始位置
        $start = 0;
        if (isset($_SERVER['HTTP_RANGE']) && !empty($_SERVER['HTTP_RANGE'])) {
            $range = $_SERVER['HTTP_RANGE'];
            $range = preg_replace('/[\s|,].*/', '', $range);
            list($a, $range) = explode('=', $range);
            list($start) = explode('-', $range);
            $start = (int)$start;
            fseek($fp, $start); // 定位到断点位置
        }

        // ========== 速度优化核心：分块流式输出 ==========
        $bufferSize = 1024 * 1024; // 1MB输出缓冲区（适配128M内存，速度最快）
        while (!feof($fp) && connection_status() === CONNECTION_NORMAL) {
            $buffer = fread($fp, $bufferSize);
            echo $buffer;
            ob_flush(); // 立即输出缓冲区内容
            flush();    // 强制刷新系统输出缓冲区
        }

        fclose($fp); // 关闭文件句柄
    }

    /**
     * 输出错误信息（友好提示）
     */
    private function outputError($msg)
    {
        header('Content-Type: text/html; charset=utf-8');
        echo '<meta charset="UTF-8">';
        echo '<h2 style="color:red;">下载失败</h2>';
        echo '<p>错误信息：'.$msg.'</p>';
        echo '<p>请检查服务器本地ZIP文件路径是否正确！</p>';
        exit;
    }
}
?>

浏览器播放h265编码的视频，兼容windows7及linux系统

Sun, 04 Jan 2026 13:58:19 +0800

找了好久，网上说的都试了一遍，兼容性都不好，修改代码、安装插件、使用EasyPlayer，安装 K-Lite Codec Pack等等各种办法，但是效果都不理想。后来想的不行就找个兼容的浏览器试试。

万能的豆包辅助下，找到了 Thorium 浏览器。号称地球上最快的浏览器。

官网地址 Thorium Browser

可以看到不同操作系统的下载地址

windows版本地址 Release M122 R4 (remaining builds) · Alex313031/thorium-legacy · GitHub

linux版本地址 Releases · Alex313031/thorium

阿里云盘下载地址 https://www.alipan.com/s/XdFKQahsRqf

我测试了在window7、windows10，windows11，通信UOS、麒麟v10，ubuntu等系统下都可以播放h265编码视频。

星光下的赶路人

Django + Doris CRC32 分表实战：问题汇总与解决方案

前言

问题1：Doris 数据库连接失败

问题2：NameError: name ‘BaseLicense’ is not defined

问题3：no such table: t_license_8

问题4：Unknown column ‘id’ in ‘t_license_8’

问题5：Object of type License_t_license_8 is not JSON serializable

一键删除**所有**Anaconda虚拟环境（安全、干净、彻底）

核心命令（直接复制运行）

1. 查看所有环境（确认一下）

2. 批量删除所有自定义环境

Mac / Linux 系统用这个命令

重要提醒

删完后彻底清理缓存（释放大量空间）

总结

Django 操作 Redis 完整教程

一、环境准备

1. 安装依赖包

2. 本地/服务器启动 Redis

二、Django 配置 Redis

1. 核心配置（最常用）

三、基础操作（缓存/键值对）

1. 导入缓存对象

2. 常用命令

四、直接操作原生 Redis 命令（进阶）

1. 获取原生 Redis 客户端

2. 原生 Redis 常用操作

五、实战：Django 视图中使用 Redis

示例：文章浏览量统计（防刷新）

示例：缓存热门数据（优化数据库查询）

六、常用场景总结

总结

大数据处理技术方案拆分、异步、缓存、分批、冷热分离

一、拆分技术（分库分表）：解决数据量膨胀瓶颈

二、异步处理：削峰填谷，提升系统吞吐量

三、缓存技术：减少数据库访问，提升热点数据查询性能

四、分批处理：避免全表操作，降低单次任务资源消耗

五、冷热分离：优化存储成本，提升热数据性能

方案总结与落地建议

可用的github访问工具 Watt Toolkit

一、Watt Toolkit 是什么？

二、主要功能与用途

1. 网络加速

2. 多账号快速切换

3. 游戏库存管理

4. 本地令牌（Steam Guard）管理

5. 实用游戏工具

三、如何使用 Watt Toolkit？

✅ 电脑端使用步骤：

📱 手机端使用（Android/iOS）：

四、注意事项

总结

大数据分表实操教程

一、适用场景

二、分表核心原则（直接背）

三、统一哈希算法（全平台通用）

目标

统一公式

各平台实现

1）MySQL

2）PostgreSQL（先建函数）

3）Doris

4）Java

5）Python

四、最终分表方案（直接落地）

1. 订单主表分表

2. 订单详情表分表（核心）

为什么这么分？

五、MySQL 建表示例（可直接执行）

订单详情分表模板

六、Doris 建表示例（数仓历史明细）

七、指标层设计（环比同比必备）

1）商品周汇总表

2）圈群单品周指标表（同档位/业态/面积对标）

八、大批量操作规范（防卡死）

1）大批量删除

2）大批量更新

3）查询优化

九、整套流程总结

一键删除所有Anaconda虚拟环境（安全、干净、彻底）