第七章-测试与改错

《第七章-测试与改错》由会员分享，可在线阅读，更多相关《第七章-测试与改错（7页珍藏版）》请在金锄头文库上搜索。

1、1第七章 测试与改错编程大师说：“任何一个程序，无论它多么小， 总存在着错误 。”初学者不相信大师的话，他问 ：“如果一个程序小得只执行一个简单的功能，那会怎样？”“这样的一个程序没有意义， ”大师说， “但如果这样的程序存在的话，操作系统最后将失效，产生一个错误。 ”但初学者不满足，他问：“ 如果操作系统不失效，那么会怎 样 ？”“没有不失效的操作系统， ”大师说， “但如果这样的操作系统存在的话，硬件最后将失效，产生一个错误。 ”初学者仍不满足，再问：“ 如果硬件不失效，那么会怎样？”大师长叹一声道：“没有不失效的硬件。但如果这样的硬件存在的话，用户就会想让那个程序做一件不同的事，这件事也

2、是一个 错误。 ”没有错误的程序世间难求。James 1999错误是一种严重的程序缺陷。测试的目的是为了发现尽可能多的缺陷，并期望通过改错来把缺陷统统消灭，以期提高软件的质量。但关于测试与改错实在没有什么高明的方法值得大书特书，也不能表现出程序员的聪明才智。相反地，它们带来了更多的牢骚与痛苦。因此在教学和开发实践中，测试与改错总是被当作万般无奈的工作踢到角落里。医生可以把他的错误埋葬在地下了事，但程序员不能。我们必须要学会测试与改错，并且把测试与改错工作做好。7.1 对测试的理解测试的道理并不深奥，计算机专业人员都应该明白。但就是这么简单的事，计算机专业的博士们也未必都已经理解。有一天，一位比

3、我聪明，编程比我快，学习能力比我强的计算机专业博士生恭恭敬敬地请我坐好，并且史无前例地削了苹果请我吃，为的是向我请教“软件工程”问题。你必定以为这位仁兄好学之极。非也，我和他同事三年来从未探讨过“软件工程”问题。只因为他明天要去应聘，参加面试，生怕被人问倒，就央我当晚为他恶补一把“软件工程” 。他还特地问我“什么是白盒测试和黑盒测试？应该由谁来执行？” （有公司曾经这样面试应聘者）当我解释完测试的道理时，他叹了一口气说：“这些玩意儿我读大学十年来都没搞过，怎么能讲得出道理来。唉，就去碰碰运气吧。 ”我有“兔死狐悲”的感觉。我们这一群博士生三年来尽干些自欺欺人的事，到毕业时学问既不深也不博。个个

4、意志消沉，老气横秋。长此以往，总有一天招聘会的大门前将贴出标语“博士与狗不得入内” 。以下是关于测试的几个重要观念。7.1.1 测试的目的2测试的目的是为了发现尽可能多的缺陷。这里缺陷是一种泛称，它可以指功能的错误，也可以指性能低下，易用性差等等。测试总是先假设程序中存在缺陷，再通过执行程序来发现并最终改正缺陷。理解测试的目的是个很重要的意识问题。如果说测试的目的是为了说明程序中没有缺陷，那么测试人员就会向这个目标靠拢，因而下意识地选用一些不易暴露错误的测试示例。这样的测试是虚假的。目前高校的科技成果鉴定会普遍存在类似的虚假现象。我在读硕士时就亲身经历过这样的事。我们的项目是研究集成电路制造过

5、程中的成品率问题。当时国内大多数工厂的集成电路成品率只有百分之几，我编写的示例程序可以将集成电路的成品率优化到 98%。示例效果是如此的好，以致一位评委（某厂的总工程师）不无讽刺地说：“采用你们的成果，我们可要发大财了。 ”这个项目就轻易地通过了鉴定，并且不久后获得了电子工业部科技进步二等奖。这就象在考试时通过作弊取得了好成绩而被表扬。我那时尚且纯真，羞愧之余，不禁对高校科研成果的水平和真实性大失所望（现在我已不再失望，因为很少抱希望） 。一个成功的测试示例在于发现了至今尚未发现的缺陷。测试并不仅是个技术问题，更是个职业道德问题。7.1.2 测试的心理要求测试主要是由人而不是由机器执行，这就不

6、免与心理因素相关。为了测试的真实性，对测试的心理要求是“无情” 。这似乎太残酷了。开发人员不能很好地测试自己的程序是因为做不到无情。而测试人员如果做到了无情却会引起开发人员的愤怒，遭人白眼。尽管已经明白了测试的目的是为了发现尽可能多的缺陷，但当测试人员真的发现了一堆缺陷时，却不可乐颠颠地跑去恭喜那个倒霉的开发者，否则会打架的。7.1.3 测试的真理测试只能证明缺陷存在，而不能证明缺陷不存在。这个真理告诉我们，对于一个复杂的系统而言，无论采取什么样的测试手段都不能证明缺陷已经不复存在。 “彻底地测试”只是一种理想。在实践中，测试要考虑时间、费用等限制，不允许无休止地测试。7.1.4 测试与质量的

7、关系测试有助于提高软件的质量，但是提高软件的质量不能依赖于测试。测试与质量的关系很象在考试中“检查”与“成绩”的关系。学习好的学生，在考试时通过认真检查能减少因疏忽而造成的答题错误，从而“提高”了考试成绩（取得他本来就该得的好成绩） 。而学习差的学生，他原本就不会做题目，无论检查多么细心，也不能提高成绩。所以说，软件的高质量是设计出来的，而不是靠测试修补出来的。7.2 测试人员的选择3测试需要开发人员参与吗？测试需要独立的测试小组吗？测试需要用户参与吗？让我们先看一看 Microsoft 公司关于测试的经验教训，再回答上述问题。7.2.1 Microsoft 公司的经验教训在 80 年代初期，

8、Microsoft 公司的许多软件产品出现了“Bug” 。比如，在 1981 年与IBM PC 机一起推出的 BASIC 软件，用户在用“.1” （或者其他数字）除以 10 时，就会出错。在 FORTRAN 软件中也存在破坏数据的“Bug ”。由此激起了许多采用 Microsoft 操作系统的 PC 厂商的极大不满，而且很多个人用户也纷纷投诉。Microsoft 公司的经理们发觉很有必要引进更好的内部测试与质量控制方法。但是遭到很多程序设计师甚至一些高级经理的坚决反对，他们固执地认为在高校学生、秘书或者外界合作人士的协助下，开发人员可以自己测试产品。在 1984 年推出 Mac 机的Multi

9、plan（电子表格软件）之前，Microsoft 曾特地请 Arthur Anderson 咨询公司进行测试。但是外界公司一般没有能力执行全面的软件测试。结果，一种相当厉害的破环数据的“Bug”迫使 Microsoft 公司为它的万多名用户免费提供更新版本，代价是每个版本 10美元，一共化了 20 万美元，可谓损失惨重。痛定思痛后，Microsoft 公司的经理们得出一个结论：如果再不成立独立的测试部门，软件产品就不可能达到更高的质量标准。IBM 和其它有着成功的软件开发历史的公司便是效法的榜样。但 Microsoft 公司并不照搬 IBM 的经验，而是有选择地采用了一些看起来比较先进的方法，

10、如独立的测试小组，自动测试以及为关键性的构件进行代码复查等。Microsoft 公司的一位开发部门主管戴夫穆尔回忆说：“我们清楚不能再让开发部门自己测试了。我们需要有一个单独的小组来设计测试，运行测试，并把测试信息反馈给开发部门。这是一个伟大的转折点。 ”但是有了独立的测试小组后，并不等于万事大吉了。自从 Microsoft 公司在 1984 年与1986 年之间扩大了测试小组后，开发人员开始“变懒”了。他们把代码扔在一边等着测试，忘了唯有开发人员自己才能阻止错误的发生、防患于未来。此时，Microsoft 公司历史上第二次大灾难降临了。原定于 1986 年月发行的 Mac 机的 Word 3

11、.0，千呼万唤方于 1987 年2 月问世。这套软件竟然有 700 多处错误，有的错误可以破坏数据甚至摧毁程序。一下子就使 Microsoft 名声扫地。公司不得不为用户免费提供升级版本，费用超过了 100 万美元。Cusumano 19957.2.2 测试人员的分工从 Microsoft 公司的教训中可知，公司内部对产品的测试（称为 测试） ，需要开发人员与独立的测试小组共同参与。开发人员应该执行“白盒”测试，即测试源程序的逻辑结构以及实现细节（“白盒”是指看得见程序的内部结构） 。而独立测试小组应该执行“黑盒”测试，即按照规格说明来测试程序是否符合要求（“黑盒”是指看不见程序的内部结构）

12、。比如在测试一个模块时， “白盒”测试方法要对模块的所有代码进行单步跟踪测试。而“黑盒”测试方法只需测试模块的接口是否符合要求，它关心程序的外部表现而不是内部的实现细节。4小型的软件公司可能没有条件设立独立的测试小组，也有可能测试小组人员不多而忙不过来。这时，可以让开发小组的成员相互测试对方的程序。这里要强调的是， 测试不能依赖于开发人员或者测试小组中的任意一方，必须是双方共同参与。 “白盒测试”必须由开发者自己执行，因为别的测试人员无法了解到程序的内部实现细节。而“黑盒测试”必须由独立的测试人员执行，因为开发者难以做到客观、公正。开发者在测试自己的程序时存在一些弊病：（1）开发者对自己的程序

13、印象深刻，并总以为是正确的（自信是应该的） 。倘若在设计时就存在理解错误，或因不良的编程习惯而流下隐患，那么他本人很难发现这类错误。（2）开发者对程序的功能、接口十分熟悉，他自己几乎不可能因为使用不当而引发错误，这与大众用户的情况不太相似，所以自己测试程序难以具备典型性。（3）程序设计有如艺术设计，开发者总是喜欢欣赏程序的成功之处，而不愿看到失败之处。让开发者去做“蓄意破坏”的测试，就象杀自己的孩子一样难以接受。即便开发者非常诚实，但“珍爱程序”的心理让他在测试时不知不觉地带入了虚假成份。软件产品正式发行前，在公司外部邀请一些用户对产品进行测试，称为 测试。测试的涉及面最广，最能反映用户的真实

14、愿望，但花费的时间最长，不好控制。一般地，软件公司与 测试人员之间有一种互利的协议。即 测试人员无偿地为软件公司作测试，定期递交测试报告，提出批评与建议。而软件公司将向 测试人员免费赠送或者以很大的优惠价格发行软件的正式版本。7.3 测试的主要内容与常用方法有一次文学考试，问高尔基是哪国人。一考生乐极而吟：“尔基啊尔基，你若不姓高，我怎知你是中国人。 ”这是一种瞎猜法。如果这种方法用于软件测试，人累死也测不出什么结果来。不论是对软件的模块还是整个系统，总有共同的内容要测试，如正确性测试，容错性测试，性能与效率测试，易用性测试，文档测试等。 “白盒测试”是指开发人员从程序内部对上述内容进行测试，

15、而“黑盒测试”是指独立的测试人员从程序外部对上述内容进行测试。很多软件工程教材讲述了各种各样的测试方法并例举了不少示例Pressman 1997 Sommerville 1992 杨文龙 1997。本节简明地讲述常用的测试方法及其道理。7.3.1 正确性测试正确性测试又称功能测试，它检查软件的功能是否符合规格说明。由于正确性是软件最重要的质量因素，所以其测试也最重要。基本的方法是构造一些合理输入，检查是否得到期望的输出。这是一种枚举方法。倘若枚举空间是无限的，那可惨了，还不如回家种土豆有盼头。测试人员一定要设法减少枚举的次数，否则没好日子过。关键在于寻找等价区间，因为在等价区间中，只需用任意值

16、测试一次即可。等价区间的概念可表述如下：记（A, B）是命题 f(x) 的一个等价区间，在（A, B ）中任意取 x1 进行测试。如果 f (x1) 错误，那么 f (x) 在整个（A, B）区间都将出错。5如果 f (x1) 正确，那么 f (x) 在整个（A, B）区间都将正确。上述测试方法称为等价测试，来源于人们的直觉与经验，可令测试事半功倍。还有一种有效的测试方法是边界值测试。即采用定义域或者等价区间的边界值进行测试。因为程序员容易疏忽边界情况，程序也“喜欢”在边界值处出错。例如测试 的一段程序。凭直觉等价区间应是（0, 1）和（1, +） 。可取xf)(x=0.5 以及 x=2.0 进行等价测试。再取 x=0 以及 x=1 进行边界值测试。有一些复杂的程序，我们难以凭直觉与经验找到等价区间和边界值，这时枚举测试就相当有难度。在用“白盒测试”方式进行正确性测试时，有个额外的好处：如果测试发现了错误，测试者（开发人员）马上就能修改错误。越早改正错误，付出的代价就越低。所以大多数软件