《县级山洪灾害监测预警系统软件测评的指南和工作大纲》由会员分享，可在线阅读，更多相关《县级山洪灾害监测预警系统软件测评的指南和工作大纲（43页珍藏版）》请在金锄头文库上搜索。
1、. . .附件6：县级山洪灾害监测预警系统软件测评指南和工作大纲一、总则1、 测评目的为了全面实现山洪灾害防治县级非工程措施项目建设的目标，保障山洪灾害防治县级监测预警平台应用软件的质量，按照国家防汛抗旱总指挥部办公室的要求，水利部科技推广中心、水利部防洪抗旱减灾工程技术研究中心组织开展山洪灾害防治县级监测预警平台应用软件的测评工作。2、 文档说明根据山洪灾害防治县级非工程措施建设实施方案编制大纲、山洪灾害防治县级监测预警系统建设技术要求、山洪灾害专题数据库表结构及数据上报技术要求等技术指导文件，结合近年来山洪灾害非工程措施建设的经验和教训，经有关专家详细的讨论，编制本测评指南和工作大纲，作为
2、本次县级山洪灾害监测预警系统软件测评的主要依据。3、 测评方式测评包括软件测试和专家软件测评两个步骤，综合得到最终测评结果。（1）软件测试。由具有中国合格评定国家认可委员会（CNAS）资质的国家级软件检测机构对各参测产品进行软件测试。（2）专家现场测评。参测单位对参测产品进行现场应用功能演示，由专家组质疑并评价。4、 评分办法软件评价通过打分的形式进行，100 分为满分，其中软件测试部分占70%，专家现场测评部分占30%。总分大于等于85分为“优良”产品；大于等于60分，且小于85分为“合格”产品；小于60分为“需改进”产品。具体测评内容和评分标准详见“二、软件测试大纲”和“三、专家现场测评大
3、纲”。二、软件测试大纲1、 测评依据在执行测评活动的过程中，依据的相关标准和文档如下： GB/T 25000.51-2010 软件工程 软件产品质量要求与评价（SQuaRE）商业现货（COTS）软件产品的质量要求和测试细则； 山洪灾害防治县级监测预警系统建设技术要求（以下简称技术要求）； 山洪灾害专题数据库表结构及数据上报技术要求； 实时雨水情数据库表结构及标识符标准（SL323-2005）。2、 测试准备（1）测试环境软件测试地点在检测机构，检测机构按照技术要求中的设备配置，统一准备测试环境，参测单位负责在统一的测试环境上安装部署应用软件，并提供一个季度的业务数据。参测单位应在规定的时间进行
4、系统部署工作（部署时间最长为一个工作日），并签署相关测试委托书。（2）测试文档在系统测试开始前，参测单位向检测机构提供用户手册或操作手册等系统相关文档。为了便于被测系统功能与县级山洪灾害监测预警系统软件测评指南和工作大纲的内容进行对应，参测单位需向检测机构提供系统与测评大纲内容对应关系说明（参见附录1），测试内容经确认后不允许再进行修改。3、 测试边界说明为了体现公平原则，统一测试标准，对测试的范围明确认下。（1）降雨模拟数据在系统测试开始前，检测机构将统一向参测单位提供降雨模拟数据，由参测单位导入参测产品数据库。降雨模拟数据将遵循实时雨水情数据库表结构及标识符标准（SL323-2005）标准
5、，以SQL语句的方式提供。内容包含15个降雨监测站，时段为10分钟和1小时，历时两天的两组时间序列数据。（2）上报接口检测机构将统一向参测单位提供遵循山洪灾害专题数据库表结构及数据上报技术要求（修订版）实时数据上报接口以及数据库服务器，作为系统实时数据上报功能的接收端。实时数据上报接口定义参见附录2“山洪灾害预警等防洪管理信息上报服务接口说明”。在系统部署时，参测单位可根据检测机构提供的数据上报接口的IP地址进行配置。（3）预警发送由于各地通过电话、传真、短信、无线预警广播实现预警发送的方式和方法不同，为统一测评标准，与预警发送相关的功能，如：内部报警、外部预警等，将由参测单位配合人员向测试人
6、员进行说明。4、 缺陷严重程度等级缺陷严重程度等级的设定如下：S1级 ：发现影响被测系统正确运行的严重问题导致系统崩溃出现不可挽救的数据丢失或损坏 主业务流程出现断点导致死机内存泄漏S2级：发现影响被测模块正确运行的严重问题导致程序模块丢失或未实现软件错误导致数据丢失 被测数据处理错误需求未实现 S3级：发现影响被测功能正确实现的问题S4级：一般性的错误或功能实现有不完善处S5级：建议性问题5、 测试结果判定标准检测机构对测试过程中发现的问题进行分析汇总，向参测单位出具山洪灾害防治县级监测预警系统测试问题确认单，并且双方签字确认。在系统测试中，检测机构依据已确认的山洪灾害防治县级监测预警系统测
7、试问题确认单，对每一项测试内容给出其检测结果。检测结果分为“通过”、“基本通过”、“不通过”和“功能缺失”。（1） 通过在测试过程中，针对某测试过程的测试用例执行后，结果与预期的一致，未发现S5级以外的缺陷，该测试过程的检测结果可判定为“通过”。（2） 不通过在测试过程中，针对某测试过程的测试用例执行后，发生S1级或S2级缺陷，该测试过程判定为“不通过”。（3） 基本通过在测试过程中，结果属上述“通过”、“不通过”以外的情况，该测试过程判定为“基本通过”。（4） 功能缺失因系统原因而无法提供测试的功能点，在测试结果中注明“功能缺失”。6、 测试内容及评分标准本次测试的内容包括系统的功能性、可靠
8、性、易用性和效率四个方面，以及自选演示项目，其评分安排如下：序号测试内容评分安排1功能性测试702可靠性测试153效率测试104易用性测试5合 计100自选演示项目不计分，但可作为专家现场测评的参考依据。（1）功能性编号测试内容技术要求1基础信息查询（6分）县乡村基本情况（1分）参见技术要求小流域基本情况（1分）参见技术要求监测站基本情况（1分）参见技术要求县乡村预案（1分）参见技术要求历史灾害情况（1分）参见技术要求工情信息（1分）参见技术要求2水雨情监测查询（18分）水雨情报警（3分）参见技术要求雨情监测（10分）实时点雨量数据在地图上的显示（2分）参见技术要求区域降雨列表和统计（3分）可
9、按区域、时间、时段长查询显示该区域任意时段内的各站的累计雨量、区域的平均雨量、区域降雨最大的测站、区域的降雨测站总数、雨量强度统计等。其它要求参见技术要求。各站降雨过程查询（3分）各站降雨过程柱状图及数据表。全县降雨等值线/面图（2分）能够根据降雨模拟数据生成全县的降雨等值线/面图，暴雨中心基本合理，不出现交叉等明显错误。河道、水库水情监测（5分）实时水情数据在地图上的显示（2分）参见技术要求区域各站水情列表及超警戒（汛限）水位情况统计（1分）参见技术要求各站水位、流量过程查询（2分）各站水位/流量过程线及数据表。其它要求参见技术要求。3气象国土信息服务（2分）气象国土信息服务（2分）参见技术
10、要求。4水情预报服务（1分）水情预报服务接口（1分）参见技术要求。5预警发布服务（20分）预警分析（4分）系统需要能够对所有监测站实时雨量、实时水位进行分析，根据预警模型指标决定预警等级。由参测单位配合人员向测试人员提供相关文档，说明预警分析的方法，测试人员根据降雨模拟数据，利用降该方法进行预警的人工判断，并检查与参测产品的一致性。预警地图（2分）参见技术要求预警列表（2分）参见技术要求内部报警（4分）参见技术要求外部预警（4分）参见技术要求预警反馈（1分）参见技术要求预警记录查询（2分）参见技术要求预警指标查询（1分）参见技术要求6应急响应服务（5）响应工作流程（1分）参见技术要求响应地图（
11、1分）参见技术要求响应列表（1分）参见技术要求响应措施（1分）参见技术要求响应反馈（1分）参见技术要求7系统管理（12）权限和用户管理（4分）能实现对用户及其功能权限的管理。基础信息维护（1分）应具有检索、查询、添加、修改、删除、数据导入导出等功能预警指标维护（2分）能够对预警的指标进行添加、修改、删除、等维护操作。预警响应部门和人员设置（3分）能够对部门、人员及预警的对象的关系进行维护。预案数据维护（1分）应具有检索、查询、添加、修改、删除、预案数据导入导出等功能。日志管理（1分）参见技术要求8数据上报（6）预警信息上报（3分）当产生新的预警或预警的状态发生变化时，能够用自动或手工的方式，将
12、相关的情况正确地上传。响应信息上报（1分）当产生发布新的响应或响应的状态发生变化时，能够用自动或手工的方式，将相关的情况正确地上传。响应反馈信息上报（1分）当用户填写新的响应反馈时，能够用自动或手工的方式，将相关的情况正确地上传。灾情信息上报（1分）当用户填写新的灾情信息时，能够用自动或手工的方式，将相关的情况正确地上传。评分标准 功能性评价是依据测试结果进行判定，以“县乡村基本情况”为例，在满分为3分时，具体评价方法如下：A. 所实现功能满足技术要求的，测试结果为“通过”时，评分结果为3分。B. 功能存在严重问题（发生S1或S2级问题），或者缺少该项功能，测试结果为“不通过”或“功能缺失”时
13、，评分结果为0分。C. 所实现功能基本满足技术要求，存在一般性问题（发生S3或S4级问题），测试结果为“基本通过”时，评分结果为大于1分，小于3分，具体判定原则：依据此项测试内容具体的缺陷数量和缺陷级别，每发现一条S4级缺陷按测试项总分值10%扣分，S3级缺陷按20%扣分，扣分到总分值的40%为止。（2）可靠性编号评测内容技术要求评分标准1成熟性（10分）系统应能够不间断的稳定运行。A. 在测试过程中，系统运行情况良好，可以很好地完成所述功能，基本没有出错（910）B. 在测试过程中，系统运行情况基本正常，可以完成所述功能，发生一般性错误（58）C. 在测试过程中，系统运行情况不正常，难以完成
14、所述功能，发生严重性错误（14）D. 在测试过程中，系统发生致命性错误，无法继续运行（0）2易恢复性（5分）软件系统应具备自动或手动恢复措施，以便在发生错误时能够快速地恢复正常运行。A. 运行中出错后不需人工干预即可恢复（5）B. 运行中出错后需人工干预才可恢复（4）C. 运行中出错后只能关闭重启应用系统才可恢复正常（23）D. 运行中出错后只能关闭计算机才可恢复正常（1）备注：如果在成熟性测试中未出现错误，检测机构将模拟异常情况，例如强行断电等进行测试。（3）效率编号评测内容技术要求评分标准1时间特性（5分）对软件系统的各类人机交互操作、信息查询、图形操作等应实时响应。A. 在测试过程中，响应时间在合理范围之内（5）B. 在测试过程中，响应时间超出合理范围，但是可接受（14）C. 在测试过程中，响应时间超出合理范围，不可接受（0）2资源特性（5分）对软件系统的各类操作，服务器的资源利用合理。A. 在测试过程中，资源利用合理（5）B. 在测试过程中，资源利用基本合理（14）C. 在测试过程中，资源利用明显不合理，如有内存泄
