零停机】400万用户数据的双写迁移技术详解问题背景与挑战我们的项目是一个上门按摩服务平台，目前面临的情况是：用户和技师数据冗余存储在同一张表中用户数据量：400万+（增长迅速）技师数据量：10万+技师表字段非常多，用户字段相对较少生产环境是集群部署，支持灰度发布迁移方案设计1. 新建用户表首先，我们需要创建一个专门的用户表，只包含用户相关的字段sql -- 原始表结构（混合用户和技师）CREATE TABLE `t_user_technician` ( `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'ID', `username` varchar(64) NOT NULL COMMENT '用户名', `phone` varchar(16) NOT NULL COMMENT '号', `avatar` varchar(255) DEFAULT NULL COMMENT '头像', `gender` tinyint(1) DEFAULT '0' COMMENT '性别：0-未知，1-男，2-女', `user_type` tinyint(1) NOT NULL DEFAULT '0' COMMENT '用户类型：0-普通用户，1-技师', `create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间', `update_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间', `status` tinyint(1) NOT NULL DEFAULT '1' COMMENT '状态：0-禁用，1-启用', -- 以下是技师特有字段，普通用户为null `skill_level` tinyint(2) DEFAULT NULL COMMENT '技师等级：1-初级，2-中级，3-高级', -- 其他技师字段省略... PRIMARY KEY (`id`), UNIQUE KEY `idx_phone` (`phone`), KEY `idx_user_type` (`user_type`), KEY `idx_create_time` (`create_time`)) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='用户与技师表';-- 新建用户表CREATE TABLE `t_user` ( `id` bigint(20) NOT NULL COMMENT '用户ID，与原表保持一致', `username` varchar(64) NOT NULL COMMENT '用户名', `phone` varchar(16) NOT NULL COMMENT '号', `avatar` varchar(255) DEFAULT NULL COMMENT '头像', `gender` tinyint(1) DEFAULT '0' COMMENT '性别：0-未知，1-男，2-女', `create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间', `update_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间', `status` tinyint(1) NOT NULL DEFAULT '1' COMMENT '状态：0-禁用，1-启用', -- 其他用户字段... PRIMARY KEY (`id`), UNIQUE KEY `idx_phone` (`phone`), KEY `idx_create_time` (`create_time`)) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='用户表';2. 实体类定义// 旧表实体@Data@TableName("t_user_technician")public class UserTechnicianEntity { @TableId(type = IdType.AUTO) private Long id; private String username; private String phone; private String avatar; private Integer gender; @TableField("user_type") private Integer userType; // 0: 普通用户, 1: 技师 @TableField("create_time") private Date createTime; @TableField("update_time") private Date updateTime; private Integer status; // 技师特有字段省略...}// 新表实体@Data@TableName("t_user")public class UserEntity { @TableId(type = IdType.INPUT) // 注意这里使用INPUT类型，与旧表ID保持一致 private Long id; private String username; private String phone; private String avatar; private Integer gender; @TableField("create_time") private Date createTime; @TableField("update_time") private Date updateTime; private Integer status; // 其他字段省略...}3. Mapper接口定义java// 旧表Mapper@Mapperpublic interface UserTechnicianMapper extends BaseMapper { /** * 批量查询用户数据（仅查询普通用户） */ @Select("SELECT * FROM t_user_technician WHERE user_type = 0 AND id > #{startId} AND id < #{endId} ORDER BY id LIMIT #{limit}") List selectBatchUsers(@Param("startId") Long startId, @Param("endId") Long endId, @Param("limit") Integer limit); /** * 获取普通用户数量 */ @Select("SELECT COUNT(*) FROM t_user_technician WHERE user_type = 0") Integer countUsers();}// 新表Mapper@Mapperpublic interface UserMapper extends BaseMapper { /** * 获取最小用户ID */ @Select("SELECT MIN(id) FROM t_user") Long selectMinUserId(); /** * 批量插入用户数据 */ @Insert("") int batchInsert(@Param("list") List userList);}4. 配置双写开关java@Configuration@Data@ConfigurationProperties(prefix = "app.migration")public class MigrationProperties { /** * 是否开启双写 */ private boolean enableDualWrite = false; /** * 灰度读取新表的比例 (0-100) */ private int readFromNewTableRate = 0; /** * 数据迁移批次大小 */ private int batchSize = 1000;}5. 双写逻辑实现@Slf4j@Servicepublic class UserServiceImpl implements UserService { @Autowired private MigrationProperties migrationProperties; @Autowired private UserTechnicianMapper userTechnicianMapper; @Autowired private UserMapper userMapper; @Autowired private IdGeneratorService idGene。