《软件可靠性与安全性-测试评价06资料》由会员分享，可在线阅读，更多相关《软件可靠性与安全性-测试评价06资料（87页珍藏版）》请在金锄头文库上搜索。
1、软件可靠性与安全性 第七部分 软件可靠性测评 提要 软件可靠性建模 软件可靠性测试 软件可靠性评估 3 2 1 3 3 软件可靠性测试 是面向失效的测试方法 为了满足用户对软件的可靠性要求, , 通过对软 件进行测试, , 发现并纠正软件中的缺陷, , 提高 软件的可靠性水平, , 并验证它能否达到用户可 靠性要求的软件测试方法 软件失效的统计特性 IBMIBM关于缺陷与失效的统计研究数据 客户所看到的客户所看到的57%以上的失效是由占缺陷以上的失效是由占缺陷 总数总数2%以下的缺陷引起的以下的缺陷引起的 超过总数超过总数61%的缺陷只引起低于的缺陷只引起低于3%的客户的客户 将会经历的失效将
2、会经历的失效 不同的缺陷在所引发的失效率上存在高达不同的缺陷在所引发的失效率上存在高达4 个数量级个数量级的巨大差异的巨大差异 软件可靠性测试目的 验证软件可靠性满足给定的要求 评估软件可靠性水平 预计软件可靠性水平 实现软件可靠性增长 软件可靠性测试时机 软件可靠性测试与其它测试类型的关系 关注的缺陷类型关注的缺陷类型 测试用例设计的依据测试用例设计的依据 建议的软件可靠性测试时机 软件系统测试后期软件系统测试后期 软件可靠性测试类别 软件可靠性验证测试(Software(Software ReliabilityReliability DemonstrationDemonstration T
3、esting)Testing) 在软件确认阶段进行在软件确认阶段进行，验证软件需求规范验证软件需求规范 中软件可靠性目标的满足情况中软件可靠性目标的满足情况，在测试过在测试过 程中不进行软件缺陷消除程中不进行软件缺陷消除 软件可靠性增长测试(Software(Software ReliabilityReliability GrowthGrowth Testing)Testing) 在软件交付前进行在软件交付前进行，通过可靠性测试暴露通过可靠性测试暴露 软件缺陷软件缺陷，采取有效地措施排除失效率较采取有效地措施排除失效率较 大的缺陷大的缺陷，以提高交付软件的可靠性以提高交付软件的可靠性 软件可靠
4、性验证测试方案 无失效运行时间间隔测试(Failure(Failure- -FreeFree ExecutionExecution IntervalInterval Test)Test) 定时截尾可靠性验证测试 (Fixed(Fixed- -LengthLength ReliabilityReliability DemonstrationDemonstration Test)Test) 序贯可靠性验证测试(Probability(Probability- -RationRation SequentialSequentialReliabilityReliabilityDemonstrationD
5、emonstration Test)Test) 序贯可靠性验证测试演示图 12 010862 4 16 14 0 2 4 6 8 10 规格化的单位 失效数 继续继续 接受接受 拒绝拒绝 Fail. No. Mcalls at Failure Normalized Units 1 2 3 0.00375 0.00625 0.025 0.75 1.25 5 Failure intensity objective: 200 failures / Mcalls 软件可靠性测试方法 用系统的预期使用域作为模型来指导测试用 例的选择或生成 基于操作剖面的可靠性测试方法基于操作剖面的可靠性测试方法 基于使
6、用模型的可靠性测试测试基于使用模型的可靠性测试测试 根据失效等级、功能使用频度和重要性来测 试软件, , 可对各种使用条件建模 正常使用情况正常使用情况 危险使用情况危险使用情况(高安全软件高安全软件) 恶意使用情况恶意使用情况(特殊安全需求特殊安全需求) 基于操作剖面可靠性测试方法 用操作剖面描述软件的使用 分层建立操作剖面 客户剖面客户剖面(CP(CP, , CustomerCustomer Profile)Profile) 用户剖面用户剖面(UP(UP, , UserUser Profile)Profile) 系统模式剖面系统模式剖面(SP(SP, , SystemSystem mode
7、mode Profile)Profile) 功能剖面功能剖面(FP(FP, , FunctionFunction Profile)Profile) 操作剖面操作剖面(OP,(OP, OperationalOperational Profile)Profile) 每个操作对应若干个运行 剖面的定义 二维向量的集合，定义为： Profile = (item1,p1), (item2,p2), , (itemn，pn) itemi代表剖面中所包含的互不相交的元素中的一代表剖面中所包含的互不相交的元素中的一 个个, 有有: item1item2itemn pi代表第代表第i个元素的权值或是发生的概率个
8、元素的权值或是发生的概率, 有有: 1 1 n i i p 建立客户剖面 CPCP = = (c(c1 1, , p pc c1 1) ), ,(c(c2 2, , p pc c2 2) ), , ,( (c cn n, , p pcn cn) ) 为客户剖面中的用户构建用户剖面 UPc1=(u1,pc1_u1),(u2,pc1_u2),(um,pc1_um) UPc2=(u1,pc2_u1),(u2,pc2_u2),(um,pc2_um) Upcn=(u1,pcn_u1),(u2,pcn_u2),(um,pcn_um) 建立用户剖面 对相同类型的用户进行合并, , 若用户uiui有mm个 同
9、类, , 则用户uiui出现的概率为： 得到用户剖面 UP = (u1,pu1)，(u2pu2)，(umpum) n j cjuicjui ppp 1 _ 建立操作剖面 同理, , 可以得到系统模式剖面、功能剖面和操 作剖面 SP = (s1,ps1)，(s2,ps2)，(sn,psn) FP = (f1,pf1)，(f2,pf2)，(fn,pfn) OP = (o1,po1)，(o2po2)，(on,pon) 操作剖面实例 确定操作模式 确定操作的发起者 选择表示方法(表格/图形) 创建操作表 确定出现率 确定出现概率 考虑特殊情况 操作表例子 操作发起者操作发起者操作操作 用户用户电话号码
10、输入电话号码输入 系统管理员系统管理员 增加用户增加用户 删除用户删除用户 电话网电话网 处理语音呼叫处理语音呼叫，无寻呼无寻呼，有应答有应答 处理语音呼叫处理语音呼叫，无寻呼无寻呼，无应答无应答 处理语音呼叫处理语音呼叫，有寻呼有寻呼，有应答有应答 处理语音呼叫处理语音呼叫，有寻呼有寻呼，有对寻呼的应答有对寻呼的应答 处理语音呼叫处理语音呼叫，有寻呼有寻呼，无对寻呼的应答无对寻呼的应答 处理传真呼叫处理传真呼叫 系统控制器系统控制器 审计电话号码数据库审计电话号码数据库 恢复硬件失效恢复硬件失效 操作出现频率 操作操作 出现率出现率 (每小时操作数每小时操作数) 电话号码输入电话号码输入10
11、000 增加订户增加订户50 删除订户删除订户50 处理语音呼叫处理语音呼叫，无寻呼无寻呼，有应答有应答18000 处理语音呼叫处理语音呼叫，无寻呼无寻呼，无应答无应答17000 处理语音呼叫处理语音呼叫，有寻呼有寻呼，有应答有应答17000 处理语音呼叫处理语音呼叫，有寻呼有寻呼，有对寻呼的应答有对寻呼的应答12000 处理语音呼叫处理语音呼叫，有寻呼有寻呼，无对寻呼的应答无对寻呼的应答10000 处理传真呼叫处理传真呼叫15000 审计电话号码数据库审计电话号码数据库900 恢复硬件失效恢复硬件失效0.1 操作出现概率 操作操作出现概率出现概率 电话号码输入电话号码输入0.10 增加订户增
12、加订户0.0005 删除订户删除订户0.0005 处理语音呼叫处理语音呼叫，无寻呼无寻呼，有应答有应答0.18 处理语音呼叫处理语音呼叫，无寻呼无寻呼，无应答无应答0.17 处理语音呼叫处理语音呼叫，有寻呼有寻呼，有应答有应答0.17 处理语音呼叫处理语音呼叫，有寻呼有寻呼，有对寻呼的应答有对寻呼的应答0.12 处理语音呼叫处理语音呼叫，有寻呼有寻呼，无对寻呼的应答无对寻呼的应答0.10 处理传真呼叫处理传真呼叫0.15 审计电话号码数据库审计电话号码数据库0. 009 恢复硬件失效恢复硬件失效0.000001 准备测试用例 估计当前版本所需新测试用例的数量 通过随机选取测试的操作, , 为每
13、个操作对应若 干个运行 在被测系统之间分配新测试用例的数量 在每个系统的操作之间分配新测试用例的数 量 指定新的测试用例 将新测试用例加入测试用例集 充分性准则 依据可靠性要求和评估的置信度确定的执行 数量 测试剖面和操作剖面吻合 需求的覆盖 操作剖面特点 优点 通过分解通过分解，可以处理规模较大的系统可以处理规模较大的系统 测试用例的规模较均匀测试用例的规模较均匀 不足 测试执行缺乏连续性测试执行缺乏连续性 高使用概率的功能被重复测试高使用概率的功能被重复测试 软件可靠性测试方法 基于使用模型的可靠性测试测试 用用Markov链描述软件的使用链描述软件的使用 结构构造和统计分配结构构造和统计
14、分配 依据依据Markov模型上每个状态出边所关联的模型上每个状态出边所关联的 迁移概率迁移概率，通过遍历使用模型的状态可以通过遍历使用模型的状态可以 生成测试用例生成测试用例 MarkovMarkov模型 未激活未激活 终止终止 准备准备 状态状态1 状态状态2 状态状态3 状态状态4 G,0.50 F,0.70 建立MarkovMarkov模型 用MarkovMarkov链描述软件的使用 结构构造结构构造 统计分配统计分配 结构构造 微波炉 空闲 全功 率开 半功 率开 时间 设定 不可 运行 可以 运行 计时 运行 烹调 完成 全功率全功率 半功率半功率 定时定时 开门开门 开门开门 统
15、计分配 微波炉 空闲 全功 率开 半功 率开 时间 设定 不可 运行 可以 运行 计时 运行 烹调 完成 全功率全功率,0.25 半功率半功率,0.25 定时定时,0.45 开门开门,0.20 开门开门,0.02 生成测试用例 通过触发当前状态上的事件, , 完成期望的动作, , 产生状态转移, , 来遍历使用模型, , 生成测试用 例 遍历使用模型时, , 依据当前状态上每个出边所 关联的迁移概率, , 来确定需要触发的事件 确定需要触发的事件时, , 需要同时考虑防护的 作用 充分性准则 依据可靠性要求和评估的置信度确定的执行 时间 测试剖面和操作剖面吻合 满足对状态图的覆盖要求 状态图覆盖要求 所有状态至少访问一次 所有事件至少触发一次 所有转换至少遍历一次( (包括隐含) ) 所有基本路径至少覆盖一次( (循环) ) 对防护(Guard)(Guard)进行测试(MMC/DC(MMC/DC、边界) ) MarkovMarkov模型特点 优点 便于自动化便于自动化 每次测试都是新的每次测试都是新的 不足 状态图的空间爆炸问题状态图的空间爆炸问题 以正常测试为主以正常测试为主 对使用模型的改进 对于操作剖面 采用分类剖面刻画：功能剖面采用分类剖面刻画：功能剖面、数据剖面数据剖面、 环境剖面环境剖面 对于MarkovMar
