《软件回归测试及其实践.ppt》由会员分享，可在线阅读，更多相关《软件回归测试及其实践.ppt（33页珍藏版）》请在金锄头文库上搜索。
1、一、一、 概述概述 在软件生命周期中的任何一个阶段，在软件生命周期中的任何一个阶段，只要软件发生了改变，就可能给该软件带只要软件发生了改变，就可能给该软件带来问题。软件的改变可能是源于发现了错来问题。软件的改变可能是源于发现了错误并做了修改，也有可能是因为在集成或误并做了修改，也有可能是因为在集成或维护阶段加入了新的模块。维护阶段加入了新的模块。 当软件中所含错误被发现时，如果错误当软件中所含错误被发现时，如果错误跟踪与管理系统不够完善，就可能会遗漏对跟踪与管理系统不够完善，就可能会遗漏对这些错误的修改；而开发者对错误理解得不这些错误的修改；而开发者对错误理解得不够透彻，也可能导致所做的修改只
2、修正了错够透彻，也可能导致所做的修改只修正了错误的外在表现，而没有修复错误本身，从而误的外在表现，而没有修复错误本身，从而造成修改失败；修改还有可能产生副作用从造成修改失败；修改还有可能产生副作用从而导致软件未被修改的部分产生新的问题，而导致软件未被修改的部分产生新的问题，使本来正常工作的功能产生错误。使本来正常工作的功能产生错误。 同样，在有新代码加入软件的时候，除同样，在有新代码加入软件的时候，除了新加入的代码中有可能含有错误外，新代了新加入的代码中有可能含有错误外，新代码还有可能对原有的代码也带来影响。码还有可能对原有的代码也带来影响。 因此，每当软件发生变化时，我们就必因此，每当软件发
3、生变化时，我们就必须重新测试现有的功能，以便确定修改是否须重新测试现有的功能，以便确定修改是否达到了预期的目的，检查修改是否损害了原达到了预期的目的，检查修改是否损害了原有的正常功能。同时，还需要补充新的测试有的正常功能。同时，还需要补充新的测试用例来测试新的或被修改了的功能。为了验用例来测试新的或被修改了的功能。为了验证修改的正确性及其影响就需要进行回归测证修改的正确性及其影响就需要进行回归测试。试。 回归测试在软件生命周期中扮演着重要回归测试在软件生命周期中扮演着重要的角色，因忽视回归测试而造成严重后果的角色，因忽视回归测试而造成严重后果的例子不计其数，导致挑战者号发射失败的例子不计其数，
4、导致挑战者号发射失败的软件缺陷就是由于复用的代码没有经过的软件缺陷就是由于复用的代码没有经过充分的回归测试造成的。充分的回归测试造成的。 回归测试作为软件生命周期的一个组成回归测试作为软件生命周期的一个组成部分，在整个软件测试过程中占有很大的工部分，在整个软件测试过程中占有很大的工作量比重，软件开发的各个阶段都会进行多作量比重，软件开发的各个阶段都会进行多次回归测试。在渐进和快速迭代开发中，新次回归测试。在渐进和快速迭代开发中，新版本的连续发布使回归测试进行的更加频繁，版本的连续发布使回归测试进行的更加频繁，而在极端编程方法中，更是要求每天都进行而在极端编程方法中，更是要求每天都进行若干次回归
5、测试。若干次回归测试。 因此，通过选择正确的回归测试策略来因此，通过选择正确的回归测试策略来改进回归测试的效率和有效性是非常有意义改进回归测试的效率和有效性是非常有意义的。的。二、二、 回归测试策略回归测试策略 对于一个软件开发项目来说，项目的测试组在对于一个软件开发项目来说，项目的测试组在实施测试的过程中会将所开发的测试用例保存到实施测试的过程中会将所开发的测试用例保存到“测试用例库测试用例库”中，并对其进行维护和管理。当得到中，并对其进行维护和管理。当得到一个软件的基线版本时，用于基线版本测试的所有一个软件的基线版本时，用于基线版本测试的所有测试用例就形成了基线测试用例库。在需要进行回测试
6、用例就形成了基线测试用例库。在需要进行回归测试的时候，就可以根据所选择的回归测试策略，归测试的时候，就可以根据所选择的回归测试策略，从基线测试用例库中提取合适的测试用例组成回归从基线测试用例库中提取合适的测试用例组成回归测试包，通过运行回归测试包来实现回归测试。保测试包，通过运行回归测试包来实现回归测试。保存在基线测试用例库中的测试用例可能是自动测试存在基线测试用例库中的测试用例可能是自动测试脚本，也有可能是测试用例的手工实现过程。脚本，也有可能是测试用例的手工实现过程。 回归测试需要时间、经费和人力来计划、回归测试需要时间、经费和人力来计划、实施和管理。为了在给定的预算和进度下，实施和管理。
7、为了在给定的预算和进度下，尽可能有效率和有效力地进行回归测试，需尽可能有效率和有效力地进行回归测试，需要对测试用例库进行维护并依据一定的策略要对测试用例库进行维护并依据一定的策略选择相应的回归测试包。选择相应的回归测试包。1、测试用例库的维护、测试用例库的维护 为了最大限度地满足客户的需要和适应应用的为了最大限度地满足客户的需要和适应应用的要求，软件在其生命周期中会频繁地被修改和不断要求，软件在其生命周期中会频繁地被修改和不断推出新的版本，修改后的或者新版本的软件会添加推出新的版本，修改后的或者新版本的软件会添加一些新的功能或者在软件功能上产生某些变化。随一些新的功能或者在软件功能上产生某些变
8、化。随着软件的改变，软件的功能和应用接口以及软件的着软件的改变，软件的功能和应用接口以及软件的实现发生了演变，测试用例库中的一些测试用例可实现发生了演变，测试用例库中的一些测试用例可能会失去针对性和有效性，而另一些测试用例可能能会失去针对性和有效性，而另一些测试用例可能会变得过时，还有一些测试用例将完全不能运行。会变得过时，还有一些测试用例将完全不能运行。 测试用例的维护是一个不间断的过程，通常测试用例的维护是一个不间断的过程，通常可以将软件开发的基线作为基准，维护的主要内可以将软件开发的基线作为基准，维护的主要内容包括下述几个方面。容包括下述几个方面。 (1)删除过时的测试用例删除过时的测试
9、用例 因为需求的改变等原因可能会使一个基线测因为需求的改变等原因可能会使一个基线测试用例不再适合被测试系统，这些测试用例就会试用例不再适合被测试系统，这些测试用例就会过时。例如，某个变量的界限发生了改变，原来过时。例如，某个变量的界限发生了改变，原来针对边界值的测试就无法完成对新边界的测试。针对边界值的测试就无法完成对新边界的测试。所以，在软件的每次修改后都应把相应的过时的所以，在软件的每次修改后都应把相应的过时的测试用例删除。测试用例删除。 (2)改进不受控制的测试用例改进不受控制的测试用例 随着软件项目的进展，测试用例库中的用例随着软件项目的进展，测试用例库中的用例会不断增加，其中会出现一
10、些对输入或运行状态会不断增加，其中会出现一些对输入或运行状态十分敏感的测试用例。这些测试不容易重复且结十分敏感的测试用例。这些测试不容易重复且结果难以控制，会影响回归测试的效率，需要进行果难以控制，会影响回归测试的效率，需要进行改进，使其达到可重复和可控制的要求。改进，使其达到可重复和可控制的要求。 (3)删除冗余的测试用例删除冗余的测试用例 如果存在两个或者更多个测试用例针对一组如果存在两个或者更多个测试用例针对一组相同的输入和输出进行测试，那么这些测试用例相同的输入和输出进行测试，那么这些测试用例是冗余的。冗余测试用例的存在降低了回归测试是冗余的。冗余测试用例的存在降低了回归测试的效率。所
11、以需要定期的整理测试用例库，并将的效率。所以需要定期的整理测试用例库，并将冗余的用例删除掉。冗余的用例删除掉。 (4)增添新的测试用例增添新的测试用例 如果某个程序段、构件或关键的接口在现有如果某个程序段、构件或关键的接口在现有的测试中没有被测试，那么应该编写新测试用例的测试中没有被测试，那么应该编写新测试用例重新对其进行测试。并将新编写的测试用例合并重新对其进行测试。并将新编写的测试用例合并到基线测试包中。到基线测试包中。 通过对测试用例库的维护不仅改善了测试用通过对测试用例库的维护不仅改善了测试用例的可用性，而且也提高了测试库的可信性，同例的可用性，而且也提高了测试库的可信性，同时还可以将
12、一个基线测试用例库的效率和效用保时还可以将一个基线测试用例库的效率和效用保持在一个较高的级别上。持在一个较高的级别上。2、回归测试包的选择、回归测试包的选择 在软件生命周期中，即使一个得到良在软件生命周期中，即使一个得到良好维护的测试用例库也可能变得相当大，好维护的测试用例库也可能变得相当大，这使每次回归测试都重新运行完整的测试这使每次回归测试都重新运行完整的测试包变得不切实际。一个完全的回归测试包包变得不切实际。一个完全的回归测试包括每个基线测试用例，时间和成本约束可括每个基线测试用例，时间和成本约束可能阻碍运行这样一个测试，有时测试组不能阻碍运行这样一个测试，有时测试组不得不选择一个缩减的
13、回归测试包来完成回得不选择一个缩减的回归测试包来完成回归测试。归测试。 回归测试的价值在于它是一个能够检测回归测试的价值在于它是一个能够检测到回归错误的受控实验。当测试组选择缩减到回归错误的受控实验。当测试组选择缩减的回归测试时，有可能删除了将揭示回归错的回归测试时，有可能删除了将揭示回归错误的测试用例，消除了发现回归错误的机会。误的测试用例，消除了发现回归错误的机会。然而，如果采用了代码相依性分析等安全的然而，如果采用了代码相依性分析等安全的缩减技术，就可以决定哪些测试用例可以被缩减技术，就可以决定哪些测试用例可以被删除而不会让回归测试的意图遭到破坏。删除而不会让回归测试的意图遭到破坏。 选
14、择回归测试策略应该兼顾效率和有效性两选择回归测试策略应该兼顾效率和有效性两个方面。常用的选择回归测试的方式包括：个方面。常用的选择回归测试的方式包括： (1)再测试全部用例再测试全部用例 选择基线测试用例库中的全部测试用例组成选择基线测试用例库中的全部测试用例组成回归测试包，这是一种比较安全的方法，再测试回归测试包，这是一种比较安全的方法，再测试全部用例具有最低的遗漏回归错误的风险，但测全部用例具有最低的遗漏回归错误的风险，但测试成本最高。全部再测试几乎可以应用到任何情试成本最高。全部再测试几乎可以应用到任何情况下，基本上不需要进行分析和重新开发，但是，况下，基本上不需要进行分析和重新开发，但
15、是，随着开发工作的进展，测试用例不断增多，重复随着开发工作的进展，测试用例不断增多，重复原先所有的测试将带来很大的工作量，往往超出原先所有的测试将带来很大的工作量，往往超出了我们的预算和进度。了我们的预算和进度。 (2)基于风险选择测试基于风险选择测试 可以基于一定的风险标准来从基线测试用例可以基于一定的风险标准来从基线测试用例库中选择回归测试包。首先运行最重要的、关键库中选择回归测试包。首先运行最重要的、关键的和可疑的测试，而跳过那些非关键的、优先级的和可疑的测试，而跳过那些非关键的、优先级别低的或者高稳定的测试用例，这些用例即便可别低的或者高稳定的测试用例，这些用例即便可能测试到缺陷，这些
16、缺陷的严重性也仅是中等或能测试到缺陷，这些缺陷的严重性也仅是中等或较低。一般而言，测试从主要特征到次要特征。较低。一般而言，测试从主要特征到次要特征。 (3)基于操作层面选择测试基于操作层面选择测试 如果基线测试用例库的测试用例是基于软件如果基线测试用例库的测试用例是基于软件操作层面开发的，测试用例的分布情况反映了系操作层面开发的，测试用例的分布情况反映了系统的实际使用情况。回归测试所使用的测试用例统的实际使用情况。回归测试所使用的测试用例个数可以由测试预算确定，回归测试可以优先选个数可以由测试预算确定，回归测试可以优先选择那些针对最重要或最频繁使用功能的测试用例，择那些针对最重要或最频繁使用
17、功能的测试用例，释放和缓解最高级别的风险，有助于尽早发现那释放和缓解最高级别的风险，有助于尽早发现那些对可靠性有最大影响的故障。这种方法可以在些对可靠性有最大影响的故障。这种方法可以在一个给定的预算下最有效的提高系统可靠性，但一个给定的预算下最有效的提高系统可靠性，但实施起来有一定的难度。实施起来有一定的难度。 (4)再测试修改的部分再测试修改的部分 当测试者对修改的局部化有足够的信心时，当测试者对修改的局部化有足够的信心时，可以通过相依性分析识别软件的修改情况并分析可以通过相依性分析识别软件的修改情况并分析修改的影响，将回归测试局限于被改变的模块和修改的影响，将回归测试局限于被改变的模块和它
18、的接口上。通常，一个回归错误一定涉及一个它的接口上。通常，一个回归错误一定涉及一个新的、修改的或删除的代码段。在允许的条件下，新的、修改的或删除的代码段。在允许的条件下，回归测试尽可能覆盖受到影响的部分。回归测试尽可能覆盖受到影响的部分。 结论结论 再测试全部用例的策略是最安全的再测试全部用例的策略是最安全的策略，但已经运行过许多次的回归测试策略，但已经运行过许多次的回归测试不太可能揭示新的错误，而且很多时候，不太可能揭示新的错误，而且很多时候，由于时间、人员、设备和经费的原因，由于时间、人员、设备和经费的原因，不允许选择再测试全部用例的回归测试不允许选择再测试全部用例的回归测试策略，此时，可
19、以选择适当的策略进行策略，此时，可以选择适当的策略进行缩减的回归测试。缩减的回归测试。3、回归测试的基本过程、回归测试的基本过程 有了测试用例库的维护方法和回归测试包的选有了测试用例库的维护方法和回归测试包的选择策略，回归测试可遵循下述基本过程进行择策略，回归测试可遵循下述基本过程进行: (1) 识别出软件中被修改的部分。识别出软件中被修改的部分。 (2) 从原基线测试用例库从原基线测试用例库T中，排除所有不再适用的中，排除所有不再适用的测试用例，确定那些对新的软件版本依然有效的测测试用例，确定那些对新的软件版本依然有效的测试用例，其结果是建立一个新的基线测试用例库试用例，其结果是建立一个新的
20、基线测试用例库T0。(3)依据一定的策略从依据一定的策略从T0中选择测试用例测试被修改中选择测试用例测试被修改的软件。的软件。 (4)如果必要，生成新的测试用例集如果必要，生成新的测试用例集T1，用于测试，用于测试T0无法充分测试的软件部分。无法充分测试的软件部分。 (5)用用T1执行修改后的软件。执行修改后的软件。 第第(2)和第和第(3)步测试验证修改是否破坏了现有的功步测试验证修改是否破坏了现有的功能，第能，第(4)和第和第(5)步测试验证修改工作本身。步测试验证修改工作本身。三、回归测试实践三、回归测试实践 在实际工作中，回归测试需要反复进行，当在实际工作中，回归测试需要反复进行，当测
21、试者一次又一次地完成相同的测试时，这些回测试者一次又一次地完成相同的测试时，这些回归测试将变得非常令人厌烦，而在大多数回归测归测试将变得非常令人厌烦，而在大多数回归测试需要手工完成的时候尤其如此，因此，需要通试需要手工完成的时候尤其如此，因此，需要通过自动测试来实现重复的和一致的回归测试。通过自动测试来实现重复的和一致的回归测试。通过测试自动化可以提高回归测试效率。为了支持过测试自动化可以提高回归测试效率。为了支持多种回归测试策略，自动测试工具应该是通用的多种回归测试策略，自动测试工具应该是通用的和灵活的，以便满足达到不同回归测试目标的要和灵活的，以便满足达到不同回归测试目标的要求。求。 在测
22、试软件时，应用多种测试技术是常在测试软件时，应用多种测试技术是常见的。当测试一个修改了的软件时，测试者见的。当测试一个修改了的软件时，测试者也可能希望采用多于一种回归测试策略来增也可能希望采用多于一种回归测试策略来增加对修改软件的信心。不同的测试者可能会加对修改软件的信心。不同的测试者可能会依据自己的经验和判断选择不同的回归测试依据自己的经验和判断选择不同的回归测试技术和策略。技术和策略。 回归测试并不减少对系统新功能和特征的测回归测试并不减少对系统新功能和特征的测试需求，回归测试包应包括新功能和特征的测试。试需求，回归测试包应包括新功能和特征的测试。如果回归测试包不能达到所需的覆盖要求，必须
23、如果回归测试包不能达到所需的覆盖要求，必须补充新的测试用例使覆盖率达到规定的要求。补充新的测试用例使覆盖率达到规定的要求。 回归测试是重复性较多的活动，容易使测试者回归测试是重复性较多的活动，容易使测试者感到疲劳和厌倦，降低测试效率，在实际工作中可感到疲劳和厌倦，降低测试效率，在实际工作中可以采用一些策略减轻这些问题。例如，安排新的测以采用一些策略减轻这些问题。例如，安排新的测试者完成手工回归测试，分配更有经验的测试者开试者完成手工回归测试，分配更有经验的测试者开发新的测试用例，编写和调试自动测试脚本，做一发新的测试用例，编写和调试自动测试脚本，做一些探索性的测试。还可以在不影响测试目标的情况
24、些探索性的测试。还可以在不影响测试目标的情况下，鼓励测试者创造性地执行测试用例，变化的输下，鼓励测试者创造性地执行测试用例，变化的输入、按键和配置既能够有助于激励测试者又能揭示入、按键和配置既能够有助于激励测试者又能揭示新的错误。新的错误。 在组织回归测试时需要注意两点，首先是各测在组织回归测试时需要注意两点，首先是各测试阶段发生的修改一定要在本测试阶段内完成回试阶段发生的修改一定要在本测试阶段内完成回归，以免将错误遗留到下一测试阶段。其次，回归，以免将错误遗留到下一测试阶段。其次，回归测试期间应对该软件版本冻结，将回归测试发归测试期间应对该软件版本冻结，将回归测试发现的问题集中修改，集中回归。现的问题集中修改，集中回归。 在实际工作中，可以将回归测试与兼容性测在实际工作中，可以将回归测试与兼容性测试结合起来进行。在新的配置条件下运行旧的测试结合起来进行。在新的配置条件下运行旧的测试可以发现兼容性问题，而同时也可以揭示编码试可以发现兼容性问题，而同时也可以揭示编码在回归方面的错误。在回归方面的错误。
