《1335编号系统架构设计》由会员分享，可在线阅读，更多相关《1335编号系统架构设计（3页珍藏版）》请在金锄头文库上搜索。
1、技术架构 技术架构总览 业务框架技术方案运营监控治理安全防范 接入层 前后台分离动静分离预处理业务量监控流量切换Https 接入 接口层 服务网关，路由分发 业务链黑白名单 微服务/组件MQAPI SLA灰度 订单 服务层 Oauth 认证 产品 异步/离线MapReduce 日志收集隔离/降级 资源Hystrix 熔断 SSOAI 供应商调用栈 安全巡检 DB 水平扩充/ HDFS服务器状况身份认证 读写分离 动态规划 数据层 数据存储 分布式缓存NoSQL网络状况 IP 限制 技术方案 前台技术架构 根据用户设备及浏览器尺寸路由 PCPADMobile 其它智能设备 页面自适应、最小宽度页
2、面自适应 页面自适应 element-ui + vuejs + Echartsvuejs + muijs vuejs + muijs 金豆云 CMS配置编译发布 系统构建：Webpack , Gulp 自自基础组件库 定定 义义JSCSSResourceHtml5 组样 件式*.js，*.vue*.sass，*.css Font，ImgFont，Img 基础样式库 技术方案 微服务架构 结合现实情况，平台服务计划分二个阶段完成，先完成服务化，后续在服务化的基础上重构成微服务 第一步：服务化第二步：微服务 服务注册中心 zookeeper Load Balancer 基础服务框架 服务监控 sp
3、ring boot 服务提供者服务提供者服务提供者 业务代码业务代码业务代码报警 WebServerWebServer 分布式 RPC 服务框 架 dubbo 异构 服务提供者服务提供者服务提供者实时数据 语言 监控 服务注册中心 Proxy 业务代码业务代码业务代码zookeeper 集群 暂停 用户订单商品服务发布容器 服务提供者服务提供者服务提供者恢复 服务服务服务docker 下线 业务代码业务代码业务代码 持续集成工具 jenkins 服务治理 服务依赖调用链路服务流量性能瓶颈历史信息 用户订单商品 SLA 分析 关系分析追踪控制分析统计 DBDBDBDB 技术方案 动静分离 - C
4、DN 静态资源访问加速 静态资源文件（html，css，js，img 等） 静态数据返回业务静态图片 用户 用户动态动态数据用户静态 请求数据结果返回数据请求 回源请求 抓取数据 静态脚本附件 Web 程序数据库 内网访问，图片视频音频 数据更新维护 ECS（服务器）OSS（云存储服务） 智能压缩 对静态资源进行压缩，减少传输大小，加速分发效果 可视化监控 可通过视化监控管理，查看监控日志和统计分析制定合 适的缓存策略，并可通过从源站刷新缓存等手段主动维 护高访问资源的缓存 技术方案 负载均衡 + 弹性扩展 流量调度 多台云服务器自动进行流量分发，获得更 高水平的容错性能 扩展性 支持云服务器
5、动态扩展，实现无缝伸 缩，伸缩过程不用更换任何设备，对相 关调用和访问者零影响 安全 四层 DDoS 攻击防护，支持应用防火墙和 CC 防护，提供防护 统计页面，实时抵御网络攻击 前期方案 云 服 务 器 E C S 负载均衡 云服务器 ECS 后期根据 业务扩展 增强 负载均衡 云服务器 ECS云服务器 ECS 负载均衡云服务器 ECS云服务器 ECS 技术方案 消息系统 消息队列采用阿里云 MQ 消息发送/发布方消息接收/订阅方 TCPUDP HTTP SOAP 消息接收器消息发送器 消息持久 流入路由器 流出路由器 消息状态 元数据 消息内部服务 拦截器拦截器 转换器组件调用 事务管理
6、组件容器 故障恢复 技术方案 推荐引擎 基于阿里云的 RecEng（推荐引擎）和 MaxCompute（大数据计算服务）搭建金豆云推荐引擎，实现千人千面 基本推荐流程 客户接入数据 计算用户/ 特征提取 物品评分 用户/物品用户/物品 的原始特征 评分矩阵 用户/物品用户/物品 关系计算的耦合特征 相关性计算+ 邻近计算 用户的候选推 荐集/物品相 似物品集 推荐建模流程 推荐请求 客户效果数 API 据 OTS 物品实 时修正表 模型样本 推荐处理线OTS 离线计 程 算结果表 基于业务目标 OTS 用户实 的监督学习 时修正表 针对业务目标的API 返回 Ranking Model OTS
7、 离线 计 算结果表 离线计算在线计算 技术方案 用户认证 SSO + OAuth2 内部系统 内部系统采单点登陆方式进行管理 供应系统 资源系统 人脉系统 微 店 系 统 金豆云 认证系统 用户 信息 外部系统 外部系统连接主要分为 2 种方 式： 1.通过 ROP 平台实现数据交互 2.金豆云提供 OAuth2 认证机 制给第三方，实现页面与数据 的交互 Reque st User Url 跳转用户授权 生成 Auth Code 请求 Access Token Request Access Url 生成 Access Token 请 求 用 户 O pe nI D R e q u e s
8、t I n fo Url 生成 OpenID 获取用户资源 通过 token、openId 及 API 技术方案 分析平台 JSONEcharts | CuBI REST API报表 Spring，SpringMVC，JMS，Sqoop 事件监听定时任务数据导入 Spark API 接口数据分析数据融合 MQ 消息队 列 HBaseHadoop HDFS 分析平台基于业务数据进行数据映射与融合 整体架构基于大数据分析框架设计，并通过模块化 设计进行内部解耦，将数据收集，导入及分析功能 围绕分析模型系统处理 业务数据收集工作通过异步消息及定时导入方式实 现 底层技术实现 前端主要提供 REST
9、API 供产品平台进行数据获取。 同时采用 Echarts 或 CuBI 进行报表展现 中台服务逻辑层使用 Spring，SpringMVC 作为应用构建 及对外接口发布，配合 MQ 队列机制处理异步消息。 Spark 作为核心数据处理引擎，进行 MapReduce 处理 持久层主要采用 HBase 进行大数据存储，同时使用 Hadoop HDFS 支持分布式存储 技术方案 数据库 设计原则 1统一数据视图 保证数据的及时性、一致 性、准 确性、完整性 2 数据应用分离 应用系统只依赖逻辑数据库 应用系统不直接访问其它宿 主的数 据库，只能通过服务 访问 3数据读写分离 访问量大的数据库做读写
10、分离 数据量大的数据库做分库分表 不同业务域数据库做分区隔离 重要数据配置备库； MongoMongo DBDB 业务 业务MasterSlave 数据库数据库 (Master) (Slave) RedisRedis 报表数据 Master Slave 库 HBase Hadoop HDFS DocDocDoc 产品平台数据库设计方案采用二级缓存机制 4 合理使用缓存 一级缓存使用 Redis 副本集，对频繁访问数据进行缓存。同时围绕 Redis 单线程机制，针对大量并发场景设计 了同一用户的并发锁策略。 二级缓存使用 MongoDB 副本集，对结构化数据及频繁更新数据进行文档化数据存储 业务
11、数据库使用 MySQL 集群方案 分析平台基于大数据架构设计方案，数据库使用区域 HBase 部署策略，同时采用 Hadoop HDFS 进行分布式文件存 储 技术架构 运营监控 流量控制 应用：集群，无状态，提高访问量 水平 扩展 数据：读写分离，提高性能 应用：按业务域划分成不同子系统 业务分区 数据：数据分区 1. 分流 应用：不同业务类型分片 分片 数据：分库分表，提高数据容量 应用：分层，功能与非功能分开 动静分离 数据：冷热数据分离 无法缓解大流量 1.动态页面降级到静态 页面降级 2.整体降级到其他页面 Nginx 前端限制 3.页面部分内容 业务功能降级舍弃一些非关键业务， 如
12、购物车库存状态 应用系统限流 2. 降级 3. 限流 降级一些下游系统，客户端限流 无法缓解 应用系统降级 如一次拆分暂停服务端限流 大流量 远程服务降机到本 数据库限流 数据降级 地缓存 技术架构 运营监控 SLA 数据持久性数据可销毁性 数据无法恢复 不低于 99.9999999% 数据可迁移性数据私密性 迁入迁出网络层访问控制技术实现对不同用户资源的隔离 服务可用性数据知情权 对于数据、备份数据所在数据中心地理位置、 不低于 99.95% 数据备份数量具有知情权 故障恢复能力服务资源调配能力 724 小时的运行维护 用户可在 10 分钟内启用或释放 100 台云服务 器， 或在 5 分钟
13、内完成停机升级 CPU 和内存，并支 网络接入性能 持在线实时升级公网带宽 多线接入，0Mbps200Mbps 服务提供方 SLA 服务消费方 技术架构 治理 灰度发布 老系统老系统 DB 部分请求到旧系统上，另一部分请求到了新的灰度系统上走到 Client转发旧系统的请求，还是照原样处理走到了新版灰度系统的请求， 需要同时将请求转发给旧系统上来对应的接口上修改旧系统的数 据如果走到新系统的请求查不到该用户的数据，还需要首先同 步一份来新系统上 新系统新系统 DB Client 请求首先走到了新版本需要灰度的服务上，在经过该服务处理后， 给请求打上了 tag ，由于带上了 tag，后续访问的都
14、是配套灰度 的 服务 A 服务新版 A 服务 Tag A B 服务B 服务 Tag A C 服务新版 C 服 务 技术架构 安全 安全策略 1Https 接入 数据传输入过来加密， 防止传输过程中数据被 篡改、安全级别更高 2黑白名单 设置黑名单，使用 haproxy、nginx 过 滤恶意请求3OAuth2 认证 使用 Spring-security- oauth2 实现与第三方系统认证授权 安全策略 6安全巡警 购买阿里安骑士、 Web 应用防火墙， 防止恶意 CC 攻 击，避免网站挂马 篡改 5IP 限制 设置数据库访问 IP 列 表，保障核心数据不 受到侵犯 4Hystrix 熔断 通过 Hystrix 防护 和控制系统依赖， 防止故障连锁，以 完成对应用的熔 断、降级等策略
