《微服务和大数据支撑架构一体化》由会员分享，可在线阅读，更多相关《微服务和大数据支撑架构一体化（9页珍藏版）》请在金锄头文库上搜索。
1、微服务和大数据支撑架构一体化微服务、大数据、AI、移动、物联网、云计算是软件的革命，微服务支持devops灵敏开发，有利于开发效率提升和产品升级、运维，使用springcloud开发微服务，部署在云平台上，对产品运行的数据通过大数据进行数据处理，通过分析分析业务数据和用户行为，达成产品运营，优化业务，节省成本，提高质量和效益，这是一个系统化的的解决思路，对产品一体化供应有力的支撑。1.微服务介绍微服务是目前最先进的架构设计思想，在很多国内外大互联网公司得到胜利的应用，其核心是化繁为简、化整为零，把应用分解为小的服务模块进行独立开发。微服务的这一特点使其便于部署到容器，对整个开发、测试、运维都发
2、生了革命性影响，有力地支持了devops开发，提高效率，便于维护升级和故障处理，带来了一系列优势。那么，微服务有哪些神秘呢？下面从技术原理上进行剖析。化整为零的思路不是开发一个巨大的单体式的应用，而是将应用分解为小的、相互连接的微服务。一个微服务一般完成某个特定的功能，比如下单管理、客户管理等等。每一个微服务都是微型六角形应用，都有自己的业务规律和适配器。一些微服务还会发布API给其它微服务和应用客户端使用。其它微服务完成一个WebUI，运行时，每一个实例可能是一个云VM或者是Docker容器。SpringCloud是微服务开发的优秀框架，在springBoot的基础上进行开发，SpringC
3、loud为开发者供应了在分布式系统（如配置管理、服务发觉、断路器、智能路由、微代理、掌握总线、一次性Token全局锁、决策竞选、分布式会话和集群状态）操作的开发工具。使用SpringCloud开发者可以快速实现上述这些模式。2.容器云介绍Docker是运行微服务的最佳解决方案，容器+微服务是一个革命。Docker实际上是一个应用容器的引擎，可以让开发者特别便利地把自己的应用以及这个应用所需要的全部依靠都打进容器镜像当中，且具有可移植性，能够部署到任何服务器上。项目基于Docker构建，假如把封装的微服务比方成集装箱的话，k8s则供应了一个大轮船，装载了全部集装箱，为微服务运行供应一个稳定的运行
4、环境，用户也可以在此基础上进行管理。这里就可以享受到很多云端服务的优势。微服务采纳Kubernetes管理Docker，多个应用系统通过Docker形成集群，Kubernetes可以简洁有效地管理各个集群。Kubernetes的基本单元是Pods，用来定义一组相关的Container。Kubernetes的优点是可以通过定义一个Replicationcontroller来将同一个模块部署到任意多个容器中，并且由Kubernetes自动管理。比如定义了一个ApachePod，通过Replicationcontroller设置启动100个Replicas，系统就会在Pod创建后自动在全部可用的Mi
5、nions中启动100个ApacheContainer。并且轻松的是，当Container或者是所在的服务器不行用时，Kubernetes会自动通过启动新的Container来保持100个总数不变，这样管理一个大型系统变得轻松和简洁。容器和微服务：完善的一对可以将Linux容器视为轻量型的虚拟机，从而可以更敏捷地使用、更快速地继承和更简洁地分发它们。Docker是在这方面走在前沿的项目之一。自2022年启动以来，Docker团队（现在已是公司）供应了一种通过_inux容器构建、打包和分发云本机应用程序的特别简洁的方法。容器与虚拟机有何不同？每个虚拟机（如下图中的左侧所示）运行自己的来宾操作系统
6、实例，并供应它自己的库和二进制文件。容器（如右侧所示）是隔离的，它们共享底层的主机OS和库，只打包必要的应用程序二进制文件。g如Mf+wadContakiersarebutgha艰0$and.whenepprnprlpie,binhtprarisY1App-TErflB/亦&rwT血BiGumiOSGues*OSJ*St06Host05S*rw互通要求的是“可达、快速可达、平安并快速可达”。一个微服务内部可采纳本地方式，而微服务之间采纳service地址（无论内部怎么漂移伸缩，对外地址不变），对于公网上的调用，采纳宿主机端口映射出去是个可选方式。Prg咛PfCKMCPrpcflscFrpws?
7、(Pr&cws卅嚨护样fL27O.D1）询旬MdW冏的网络竿6何部IP的方式囲羔语个P日总勺冃己的IP疔*1Pod可驛踊成盟憎ia,毎亍2servicaMBeffiiP下层是P&d秦醉.可通过昭Ei进行集辟谎用通过宿壬/的徒口険肘，解殆卜7部访冋内制舶问题Out*r关键力量1-服务资源的隔离与互通微服务的伸缩与漂移需要与监控力量结合动态设置容器的ip。K8S采纳flanel能自动设置容器IP,自动维护pod集群，消失故障可自动启动pod，极大地提高了系统的稳定性，减轻了维护的负担。以漂移为例子，漂移有很多触发器，有由于故障的，有基于优化考虑的，比如像优化漂移这种，就要求定义很多维度，包括资源均
8、衡维度、宿主机特性维度、标签配置变更维度等，需结合多维打分对微服务进行合理调度。网络故障是非经常见的问题，为此，需要给物理机配置4块网卡，2个千兆网卡bound在一起，用于内部管理操作，2个万兆网卡bound在一起，用于外部业务访问，从而有效地加强了网络的稳定性。3微服务与devops微服务和docker，特别适合devops开发，一个image把开发、测试、部署、运维全流程打通，有利于自动化测试，一键部署，有效地提升效率和质量。实现企业级DevOps，有很多方式和着手点，比如最常用的就是从持续发布开头。而我们更聚焦企业的全生命周期，实现基于微服务架构的以下15个：IAM:身份识别与访问管理，
9、通过OAuth力量，一次登录，全网通行SPM:软件产品管理，DevOps平台的核心管理对象：产品。以产品维度为入口，管理包括产品的多版本，每个版本拥有多个组件，组件之间、组件与第三方产品之间的依赖关系等SCM:软件配置管理，主要是应用配置的管理，在编译打包时通过autoconfig技术，注入到最终部署包SRM:软件资源管理，资源，即上述产品的运行实例，所以持续发布等都是有SRM发起SEM:软件环境管理，企业环境千差万别，SEM屏蔽了异构环境的差异性，让上游系统及业务能够松耦合的运行QAF:质量保证反馈，这个系统负责收集全生命周期的数据反馈，为后续优化演进提供重要依据UMC:统一监控中心，主要收
10、集日志及资源运行信息,通过计算分析，形成相关报表，同时与告警中心对接，风险特别准实时提示VCS:版本掌握系统，默认集成GITCI:持续集成系统，默认集成JenkinsBPR：二进制仓库DPR:可部署包（镜像）仓库PM:项目管理系统，可集成redmine或wiki，目前平台是自己实现的IM:团队间即时通讯系统TM:租户管理系统MKT:云市场，平台最终期望作为中间平台，通过市场打通内容供应者与最终用户I:.准1七发布倉库翩VCSBPR/口1/!SRM1/SRMSEMDPR1.5RM：提娥血用部著.旎本粽每的力量2- 5EM臨恆环:員尸逵址1VC5:代码仓霹.用于1.:時戲成任务调厦1.SPM:轶件
11、产品mam目耐确文J甲台.用于调度塞威任L裁格崖义般用配财.脚剧1TSJ本.看SO1合观椅卫代码赛定义.2.BPR:二制文件它犀，塢译.蟹动曲试器.2.saw:jSEfflKK用于世珪炊棉用产中的2Maven.顼目构建工与抽定的环期性组样馬.三方再.钦件S,.旨n电斛彌二K制（开发、測试、生交1-J介即BPR可以犀文.OIS产坏境绪音*生懼璋较杵砺发楚用全都代码吕动骗译打包.成用于发和的訓本旳住库彌.自动化集阪埃桩弋装配DPR足最览販本J5植存rplwa孔ii!i用仓馬文料微服务对devops开发供应良好的支持，代码和配置统一管理，通过镜像编译、发布、测试、部署运行，显著地提升了开发效率，简化
12、了繁琐的流程，是一个重大的突破。DevOps领域支撑系统DcrlnyrdSiam1、%UnixlTeM.DL+fMuiliLlriTrlAJdDIIIIMliirL.1J!址stffflBIbriMl1皿115C11-tJ.HIUMC.r.：i-i-1蠹K腿MCwa环琢白1祈野削I咛I1心-11LtL|1心醴匕1足I131#曰/.总直口様缶|SysAkiLBiWrrCCCVU:&siWfh吟6|卜11:;2厂-1*r.iLiii1丸1貝程f!；怯；H舟：J14.微服务事务处理框架结合目前事务处理的精华，我司开发了太极分布式事务处理框架TJDPH，采纳牢靠消息服务和补偿处理机制，奇妙地运用数据库
13、的事务处理力量，对服务操作结果进行推断，调用应用系统自身的事务处理功能，从而有效地解决微服务的分布式事务处理问题。通过使用缓存，解决服务调用的冥等性和消息的冥等性，在事务处理时，采纳异步并行调用对应的服务，提高了性能。TJDPH是一个特别优秀的框架，优势在于提高了应用的胜利率，自动进行分布式事务处理，事务处理速度快，提高了数据的全都性，把对事务的处理由不行控变为可控，在事务处理时，采纳异步调用服务，可以提高效率。对需要人工处理的故障可一键完成，简洁快捷，实现事务处理的自动化，框架供应SDK，开发使用便利，高效有用，可以支持任何微服务架构的项目，而且可以运用于任何其他项目，是一个业界领先的世界级
14、成果。5大数据处理开发运营平台收集产品运行数据，采纳hadoop、hbase、spark、tenserflow等先进的大数据和人工智能AI技术，存储海量数据，保存全部数据、文档、资料，并采用机器学习对数据进行挖掘，使用贝叶斯算法、神经网络算法等先进技术开采数据金矿，提高数据的价值，便于优化产品，提升性能，制造性地提升产品功能和性能。大数据需要成百上千的计算机高速运算，采纳k8s供应docker容器，动态供应大量的容器支持大数据的计算，为大数据的有用供应强劲有力的支撑，而且对微服务供应良好的支持，节省成本，提升效率和质量。6公共基础平台设计公共基础平台（PAAS）是一个系统架构科学合理、开放互联
15、的应用服务平台，提供基础的功能，可以复用到全部产品，提高开发效率，节省成本，提升质量。不仅能解决数据互联互通问题，消退信息孤岛，实现资源整合与共享；而且将来能够敏捷地应对需求进展，可以依据需求的进展变化，在此平台上快速开发建设丰富多样的应用，同时保证这些应用有机统一，集成创新，发挥最大效益。基础平台供应统一门户、单点登录、用户权限管理中心、统一数据中心、统一认证中心、运维管理中心、消息推送中心、配置管理中心、统一注册及验证、统一注销、报表服务、统一会话、元数据、日志、缓存及通用基础功能等功能，通过先进的RESTAPI方式为产品供应有力的支撑，提高产品的整合力量，形成一个有机的生态系统。采纳开源的Kube
