《灰度发布在智能问答模型训练中的应用研究》由会员分享，可在线阅读，更多相关《灰度发布在智能问答模型训练中的应用研究（8页珍藏版）》请在金锄头文库上搜索。
1、 灰度发布在智能问答模型训练中的应用研究 柴立岩 庞超 张进猛摘 要：随着人工智能的广泛应用，智能模型训练成为研发周期的关键路径。灰度发布的引入，将模型训练实现多“进程”，及时抓取用户反馈信息，提高模型的成型效率。关键词：灰度发布;用户分流;人工智能;算法调优0 引言灰度发布又称金丝雀发布，是指在黑与白之间能够平滑过渡的一种发布方式。可以让一部分用户继续使用产品特性A，一部分用户用产品特性B，然后再根据用户反馈信息决定逐步扩大范围。智能模型训练实质为调整算法参数，不断地重复抓取用户反馈数据和模型调整。灰度发布的运用与传统智能模型训练相比，可以同时运行多个不同维度参数、不同权重的模型版本，结合用
2、户反馈信息，多管齐下，大大缩短模型筛选的时间，加速模型定型。1 概述1.1 智能模型训练现状目前的智能模型训练都是根据业务需求进行模型设定，利用一套模型算法来完成用户信息采集和重要节点优化，根据用户的反馈信息调优维度参数及权重参数。在日常测试中，一般要经过十多次的优化周期才能达到上线需求。此流程使得开发周期延迟，不能满足业务发展需求。1.2 建设目标借鉴知名IT企业7*24不停止服务，结合引流条件前置，完成多个模型版本无缝链接，压缩训练周期，满足业务需求。（1）将模型训练算法试行灰度发布，做到7*24不停止服务，多版本共存，标记不同引流下用户信息;通过信息的整理、加工、分析调优算法参数。（2）
3、开发灰度发布，对用户调查问卷进行分拣归档，调整模型参数，优化模型算法，缩短研发周期。（3）版本迭代上线。让算法模型按照“A类用户、B类用户-C类用户、D类用户-全网用户正式发布”的发布流程，抽取的各类用户按照系统中的不同属性来定，并不断扩大指定类型用户数量，实现新版本模型算法的平滑上线。2 概要设计2.1 传统模型训练传统模型训练流程通过需求分析以后，交由软件研发部进行开发。先进行单元代码测试和功能测试，满足业务需求的功能后进行性能测试，如果测试不通过，需要研发人员进行修改，直到测试满足业务需求后，提交到代码管理系统，执行生产环境流水线1。发布过程需要停止当前模型版本，既浪费时间又有不好的用户
4、体验。已上线版本存在测试未发现问题，用户反馈后若短期不能解决，只能进行版本回退。2.2 模型灰度发布模型灰度发布指同时存在多个版本模型，并非直接废除旧的模型使用新模型，而是有一个新旧交替前的共存。通过不断调优维度参数及权重参数，直到找到一个符合业务需求的模型版本。此方法创新点体现在可同时收集多个维度和权重下的模型分析效果，同时对多个不同参数模型进行调优，通过渐进式分析不同模型的反馈效果，即为：在较短的时间维度中，通过引流规则的条件前置，动态调整各个测试模型负载。方便建立应急演练，建立完善应急预案，并加快模型训练过程，缩短开发周期。3 模型灰度发布实践3.1 模型灰度发布概述灰度规则总体设计如图
5、1所示。核心部件为客户端、引流策略、多套服务端。客户端，处理用户请求，根据预先设定的引流规则将不同特性的用户请求转发不同的模型版本上;引流规则的设定是通过后台的管理页面进行按需配置，根据业务发展需要为接入层提供服务;多套模型测试服务，分别部署多个服务器或者同一服务器的不同容器下，根据预先设定的前置条件对用户进行分流处理，达到不同的用户请求在不同的服务器响应的效果。3.2 模型灰度规划3.2.1 灰度发布的集群根据业务需要，对现有训练模型版本进行分析2，可以部署多套后台服务或者Web页面的方式应对不同客户请求。不同的灰度规则适用不同的生产系统，针对同一模型的训练也可以间歇采用不同灰度策略来获取更
6、多的用户反馈信息，方便做到比较全面的测试效果。3.2.2 客户端客户端是一个用户发起请求所使用的工具的总称，随着电子产品的发展，目前主流的电脑端、手机端、各种自助服务终端，从容器的分类上有微信小程序、浏览器，在源端的灰度，可根据客户端的指定灰度规则，也可按照负载策略指定规则3，例如：源地址策略或IP地址轮询等多种引流方式。原始负载均衡主要是为了平衡各应用服务器的压力，将访问的用户通过预先指定的规则进行分流4。而为了满足灰度发布，在原始負载均衡上必须新建一套分流规则，需要将用户群再次进行区分，即在原来的负载均衡的策略上增加一层灰度发布的分流规则1。本次研究的系统为BS架构的软件系统，接入层采用n
7、ginx。由于BS架构的软件系统并没有直接识别客户端的能力，只能借助于cookie和seesion的机制来完成对客户端的标识和分类。客户终端灰度，可以根据用户使用playform字段对不同终端进行标识;也可以采用基于JWT的Token认证机制完成用户请求参数的处理。3.2.3 灰度发布规则制定根据要训练的模型需求，对比目前的用户画像、用户特点及用户量，也可以是普通的随机用户等。一般模型的训练是按照用户的区域范围、岗位级别、年龄分布等维护对用户进行归类，根据不同的类别，引流到相应的服务，根据筛选设定的流程规则，把不同类别用户关键信息同步到数据库集群中，再交由灰度算法调度，完成引流规则的设定。3.
8、2.4 用户分流客户端发起请求转发到后端服务器，在转发过程中根据提前设定的引流规则，可以根据终端不同或者用户特性等分发到不同的生产服务器。灰度发布算法根据数据库中的配置信息，判断当前访问者的身份明细，再配合引流的策略设置记录访问日志，以便后期对人员访问情况、操作情况、使用评价等信息的汇总分析。同时对一大批用户进行多个模型版本内测，根据分发规则区分不同版本之间的用户反馈信息，版本信息对应上用户反馈之后进行分析调优。确定出满足业务需求的模型版本后，确定线上唯一版本，根据引流规则设定，关闭其他访问渠道。通过多模型、多集群的用户测试，收集测试用户反馈信息，进行及时的版本优化，加快版本的迭代开发5。3.
9、2.5 应用效果分析根据业务需求并结合目前系统情况，笔者对智能问答模型算法进行了负载灰度、服务端灰度两种不同规则的性能测试，性能测试工具采用Jemeter。在同样客户端配置、服务器配置、网络带宽、并发量的情况下，负载灰度与服务端的性能测试，两次测试服务器吞吐量分别为63.3和67.7，这个结果差异可以忽略，与未使用灰度发布前的服务器吞吐量66.68相比差异均不大。综上分析结果，消除了灰度发布可能影响性能的疑虑。灰度发布系统的使用虽然增加了服务器代码或者负载的处理工作，但是再高并发的测试中并未影响服务器性能;模型算法的研发可以根据不同应用场景选择合适的灰度策略，尽量缩短模型算法的研发周期。4结语
10、一个智能模型算法的研发，在保证研发周期和资源合理调配的前提下4，灰度发布的运用完美解决开发周期长和线上产品问题需回退版本的应急办法。智能问答模型算法灰度发布的使用，能够尝试新的模型参数，可以大跨度测试，加快算法开发速度。同时随着人工智能给世界带来的巨大变革，算法优化的效率也急需提高，面对业务需求不断提高，如何更精进地选择合理的研发技巧来缩短开发周期，还需在更多的维度中研究灰度发布的适用场景。参考文献1周智，吴世进，徐建锋.移动互联网程序的灰度发布J.电脑知识与技术，2017（9）：47-49.2冷彪. 三维模型检索的特征描述和相关性反馈算法的研究D.北京：清华大学，2009.3 MARTINE
11、Z-GARCIA J ，CASTILLO-BARRERA F E ，PALACIO R ，et al. An ontology for knowledge condensation to support expertise location in the code phase during software development processJ. IET Software，2020（14）：11.4賈伟洋. 基于群组用户画像的农业信息化推荐算法研究D.咸阳：西北农林科技大学，2017.5周慧娟. 铁路应急管理中的预案管理与资源配置优化D.北京：北京交通大学，2011.（编辑 姚 鑫） -全文完-
