《软件测试2.0-ThreadingTest数字化企业测试私有云探秘》由会员分享,可在线阅读,更多相关《软件测试2.0-ThreadingTest数字化企业测试私有云探秘(19页珍藏版)》请在金锄头文库上搜索。
1、软件测试 2.0ThreadingTest 数字化企业测试私有云探秘继 2014 年 6 月 6 日 ThreadingTest 发布穿线测试理念以及全球首款移动端白盒测试工具个人基础版后,TT 团队应一些大型企业更高标准的测试需求,全力秘密打造企业级测试应用:ThreadingTest Cloud-数字化企业私有测试云平台(简称 TTC)。此版本将于近期向公众发布,本文提前向伙伴们做一简要介绍和分享。TTC 企业测试私有云有众多炫目亮点,先介绍三个重磅特点让大家先睹为快:1. 深度解决软件测试短板,数字化跟踪、追溯、输出测试每一步信息;2. 数字化展示企业分布式开发与测试过程、验收和维护全过
2、程;3. 测试报表精准细致、岗位权限设置完美到位、数据信息保护措施完备。互联网强大的心跳,每时每刻都向人们输出着让人眼花缭乱的应用,炫耀、比拼着各自的新、奇、特。慢一步,可能就意味着失去了站在风口的机会。于是互联网企业日夜比拼着:看谁的迭代能力更快,看谁的应用体验更好。大小企业们都不得不花费重金,集结大量的资源,进行高密度的开发与测试。然而,究竟效果如何?我们通过长久以来的大量实践可以看到,由于软件测试工具力量的薄弱,导致隐性缺陷的追踪与复现极为困难,开发工程师往往对于测试工程师描述的缺陷一头雾水,无从下手。业内普遍使用的黑盒测试工具有个致命的短板,就是在发现“前 70%”的显著缺陷后,很快就
3、会后劲不足,查错效率变得异常缓慢。在“后 30%”的测试过程中,团队往往需要花数倍的人力与物力去验证一些核心模块的正确性,但效果却差强人意。测试工程师们面对庞大而错综复杂的应用程序,往往在心理上就已经投降。就算职业修养非常高,尽职尽责地反复进行人工排查,但测试与调试的有效性由于没有数据的验证与支撑,结果也是值得商榷的。人海战术 vs 海量数据,那种被淹没的窒息感,同行们都会有深入骨髓的体验。在伟大的智能计算机时代,极为重要的软件测试工作,依然用着刀耕火种的苦工作方法,显然让人崩溃和抓狂。软件测试行业如同打游戏一样,急需强大工具进行自我武装、升级。本文介绍的 企业测试私有云非常前沿的数字化测试技
4、术独树一职,让测试界同仁眼前一亮。请普通测试工程师用简单的黑盒测试办法先快速排除“前 70%”的显著性错误,然后,把层层嵌套、相互制约的复杂逻辑分析任务交给计算机处理。计算机对海量数据快速、严谨、漂亮的处理能力,是人类的勤勉难以企及的。把测试工程师做的每个测试用例的程序执行细节,快速进行原生化的数字生成、归类和存储,并即时开展大量的后台运算和分析。它可以从测试、管理、维护,甚至开发与需求等不同维度,对项目进行全方位的数字化分析,然后输出完美的分析报表。项目管理者如同阅读财务报表一样方便:把需要密切注意和调整的问题标注出来,交给实施部门即可。实施部门通过报表进行数据对接和信息回溯,快速聚焦靶心信
5、息,落实调整方案。整个过程一气呵成,完美弥补了人工沟通与交互可能出现歧义的局限性。 针对项目岗位管理权限的不同要求,对岗位权限进行专业设置,不同岗位权限可调用的信息是被严格区分的。如:普通测试工程师,核心测试工程师、测试管理者等。企业管理者可以根据项目岗位与开发、管理的关联度,轻松设置使用权限。的国家发明专利技术“示波器”彻底杜绝了关键信息泄露的可能性。另外,大型企业一般都会涉及到分布式开发与测试的问题,TTC 在分布式测试的表现尤为值得关注。它在架构上分为客户端软件和企业测试私有云端平台,用户通过客户端平台作为媒介,接收被测试移动应用产生的测试数据并实时同步到私有云平台,云平台进行数据的计算
6、、共享,以提供团队本地多人、异地多人等形式的分布式数字化测试支持。私有云端提供 Web 功能接口,无需安装任何软件,就可以快速的浏览 TTC 平台对原始测试数据的全方位的分析和对测试的质量、进度进行数字化跟踪。企业管理者可以通过企业测试私有云平台随时调用测评数据、实时远程协同、异地测试和数据查询分析、测试数据全局共享等。一举解决了测试数据分散割裂、不统一的管理弊病。TTC 企业测试私有云平台(第一版)还有很多其它优异的技术特性,如:快速追踪并定位软件中隐蔽性极强的 BUG 缺陷、高效解决迭代维护及回归测试难问题、通过接口和自动化测试工具、单元测试工具对接等等。在此技术概览一文中就不做详述,想进
7、一步了解的伙伴们,很快可以在即将开放的官网中阅读相关资料:www.teststars.cc。TTC 企业测试私有云平台(第一版)的适用范围:TTC 平台首版将支持各种类型的安卓应用的测试,包括但不限于:企业 APP、常规移动应用、车联网智驾应用、手机游戏以及机顶盒应用等。同时支持企业级 J2EE 应用,可以对大型的应用网站进行测试。TTC 企业测试私有云平台(第一版)适用场景:应用委托方对软件开发与测试的量化考核、甲方对第三方开发和测试团队进行外包商管理、企业管理层对于应用测试、质量进行全面的掌控和分析决策。接下来,本文将向大家简要介绍有关于 TTC 企业测试私有云平台(第一版)如何使用、它无
8、需源代码的测试过程、TTC 在企业授权后如何面向工程师实施代码与测试用例的双向追溯、TTC 面向企业管理者的精美报表等内容。一、TTC 企业测试私有云平台如何使用TTC 的操作非常简单:它不改变测试人员的原有测试操作。只要开发工程师使用TTC 编译工具对代码进行插装处理后,交付打包生成后的 APK 或相应文件给测试工程师即可。测试人员只需三步操作:1、打开 TTC 示波器, 2、运行 APK 包(或相应文件),3 、直接进行原有的“点、点、点”或自动化操作。此时,TTC 将通过测试示波器把测试过程进行转换并传输到 TTC 信息共享平台中,自动关联测试人员、测试用例、测试覆盖率、测试设备、以及代
9、码等。TTC 根据企业的岗位分工和权限设置,提供给使用者不同的信息。例如:普通测试工程师只能看到总体的测试覆盖率信息而无法看到具体的代码信息;高级(核心)测试工程师可以得到 TTC 可视化的测试结果分析,以此与开发工程师进行数字化信息交互,对程序进行调整和优化;项目管理者可以实时获得测试与开发的工作进展和成果的详细报表。(参见图 1、图 2)图 1-TTC 安卓版企业测试私有云测试使用示意图图 2-TTC 安卓版企业测试私有云直观的测试使用示意图二、无需源代码的测试过程TTC 拥有国家级专利技术的 TT 测试示波器,它如同一个完美的中间件,把测试与代码两者隔离开来。应用程序实施测试时,只需要开
10、发工程师提供编译后的文件,测试工程师不需源码即可获得相关统计类和指标类的数据。我们通过 示波器,可以非常直观的看到各种程序逻辑执行的速率、频率等信息。如果需要结合源代码显示更为详细的测试信息,可以选择开通相应的权限,进行动态关联、读取详细信息。TTC 示波器也是快速定位隐藏极深的 BUG 的有力武器。它在接收数据过程中可以对接收的函数进行时间排序,这个功能为测试人员快速定位 BUG 起到决定性的作用。在传统的黑盒测试中出现一个 BUG 时,测试人员需要描述测试场景、截图或视频、日志等,然后寻找开发进行分析和定位,但是由于有些缺陷很难复现、或因人工误操作描述不详细等错误,往往使得开发人员花费大量
11、的精力进行 Debug。而通过TTC 测试,当应用程序出现崩溃点和错误时,测试或开发人员可以通过 TT 最后接收的函数信息,结合测试人员最后运行的场景,快速发现测试人员操作轨迹,并加以定位,大大缩短因 BUG 产生的额外工作量。 (参见图 3)TTC 示波器可以辅助进行等价类判断。为了确保软件具有更高的可靠性,测试用例往往需要反复执行。在传统黑盒测试中,测试人员进行等价类测试只能通过最后的输出结果加以判断不同的输入是否为等价类,条件不够充分。TT 示波器可以对每一步操作施行数字化的转换,从而对不同输入的测试指标进行精准对比,辅助进行等价类判断等。TTC 示波器可以进行程序行为变更的分析。通过对
12、比示波器记录的用例上次运行指标和本次的运行指标(参见图 4) ,可以判断对应的功能逻辑是否发生变化,并进行重点分析和回归测试,确保程序行为的变化可以被有效跟踪并对因此而可能产生的缺陷进行有效预防。TTC 的 Wild Testing 适用于多种测试场景。由于 TT 示波器支持各种真机和模拟器等移动设备、WIFI、蓝牙、 USB 等多种通讯方式,因此应用程序不管在室内封闭的测试环境中还是在户外的移动环境中,测试人员都能通过 TTC 进行有效测试。TTC 的示波器诞生不仅让原先枯燥的测试变的生动有趣,也为 TTC 奠定了它可以在行业内施行新型测试技术大推广的坚实基础。图 3-TTC 示波器三、TT
13、C 在企业授权后,面向工程师实施代码与测试用例的双向追溯什么是代码与测试用例的双向追溯?即:在 TTC 中运行一个测试用例后,通过程序,它可以自动回溯到这个测试用例执行的代码。反之,如果测试用户关注某一些代码行,它可以追溯出哪些测试用例在运行过程中跑过这段代码,并高亮显示出来给使用者。正向追溯技术:通过点击某个测试用例,追溯到该用例所对应的函数控制图,并展示其测试的逻辑和结构,点击其中某个函数,可以进行该函数的覆盖率、复杂度、代码、控制流程图等信息查看,帮助测试人员通过简单查看发现测试遗漏,有利于开发人员直接定位测试发现的缺陷,实现测试和开发之间的高效互动。因此,即使核心开发工程师离职时,整个
14、应用程序的设计与开发思路依然清晰的保留在 TTC 里。交接者通过 TT 的正向追溯,可以快速了解测试用例所展现的程序逻辑和结构等信息,快速理解和掌握程序的开发思路。逆向追溯技术:通过点击函数列表的某个函数,追溯到该函数所对应的函数调用图、控制流程图以及源码,点击其中的源码,反向追溯到该源码所执行过的测试用例列表。通常情况下,当应用程序需要进行快速迭代时,测试人员往往无法精确判断代码变更后的影响面,只能对程序进行大量的回归测试,耗神费力。但通过逆向追溯,测试人员可以清晰的看到由于代码变更而影响到的测试用例表,从而进行一致性修改。我们知道软件开发的两大核心阵营是开发和测试,两大阵营要求的技术专长各
15、不相同。长久以来,开发和测试之间的交流途径基本凭口头描述或 EXCEL 表格进行人工核对。由于缺乏合适工具造成的信息不对称,极大影响了双方的工作效率,是 IT 领域里苦无良医的恶疾。即使是 CMMI 体系,也只是提出概念,并无实实在在的工具落实。TTC 的”源码与测试用例的双向追溯“专利技术,使开发和测试界跨过了这条沟通鸿沟,“天堑变通途”。双向追溯技术如同全景调试器一样,记录了每个测试用例对应的程序内部的执行细节,细致到每个条件,分支,语句块的执行情况。开发人员可以通过双向追溯的结果去理解程序逻辑,进行软件维护以及进行可一致性的修改,优雅而轻松地解决了开发和测试最头痛的缺陷复现难题,大大提升
16、了测试和开发的交流效率。TTC 把每个测试工程师的每个测试用例进行量化分析和统计。这些量化数据既可以用来对测试结果以及测试过程进行审核,也能帮助测试人员从数字化分析角度反观测试用例设计是否合理、执行的测试用例是否不足。极大的弥补了由于测试人员自身的经验、能力、精神状况等因素,影响到的测试质量。管理者们也可以对症下药,拟定有针对性的学习计划、快速培养,使梯队成员水准即使在有限的时间里,都可以得到大幅提高。(参见图 4)图 4-代码与测试用例的双向追溯四、TTC 面向企业管理者的精美、精确报表1、测试数据的原生化和自动化生成TTC 把原来很多需要人工录入的数据,由平台代为自动化机器处理,确保所有的数据都是客观、不可篡改的。企业管理人员可以利用机器原生数据,对测试全过程进行精准的数字化管理(参见图 5、图 6、图 7)。图 5-TTC 数字化平台报表- 测试用例详细关联报表图 6 TTC 数字化平台报表-移动设备与 BUG 关联报表