个性化网站制作,h5网站做微信小程序,品牌推广方案策划书,开发一个网站大概多少钱性能测试旨在检查应用程序或软件在特定负载下工作时的响应性和稳定性#xff0c;从而检测应用程序/软件在响应速度、可扩展性和稳定性方面是否达到预期的要求。 简而言之#xff0c;性能测试目标就是为了识别并消除应用程序中的性能瓶颈。
本文将为大家详细介绍性能测试主要…性能测试旨在检查应用程序或软件在特定负载下工作时的响应性和稳定性从而检测应用程序/软件在响应速度、可扩展性和稳定性方面是否达到预期的要求。 简而言之性能测试目标就是为了识别并消除应用程序中的性能瓶颈。
本文将为大家详细介绍性能测试主要类型、性能测试流程规划以及面对项目如何开展性能测试策略如何设计不同场景下的性能测试用例助你从此远离性能测试的盲区。
性能测试类型
性能测试主要有[负载测试][压力测试][容量测试]和[可靠性/可恢复性测试]这四大主要类型下面将对这四大主流性能测试类别逐一展开介绍 负载测试
负载测试用于测试应用程序在正常和峰值情况下的性能。在负载测试中我们对应用程序性能好坏的判定依据主要源于该应用程序对用户请求的响应情况以及它在不同负载变化下可接受的程度内一致响应的能力来检测的。
负载测试中的核心关注点
在应用程序出现异常情况前该应用程序所能容纳的最大负载量是多少在系统变慢或出现崩溃之前数据库所能处理的数据量有多少是否有任何与网络相关的问题需要解决
压力测试
压力测试旨在寻找破坏系统的方法。该测试同时还能为我们找到系统可以承受的最大负载范围。
通常压力测试采用增量方法通过逐步增加负载来观察系统各项性能指标的变化情况。
首先我们可以从应用程序已经测试过的负载开始例如当前用户数 100 个然后慢慢地增加更多的负载来给系统增加压力例如从 100 个用户数逐步增加到 10000。
当我们发现服务器没有响应请求的那个点开始这个点就被认为是断点在一些性能测试报告图表中往往也视为性能拐点。
在压力测试过程中我们需要关注的问题有
系统在崩溃前能承受的最大负载是多少在实施压力测试过程中系统是如何崩溃的系统能否在崩溃后自行恢复被测系统/应用程序在处理异常负载时有哪几种中断方式
容量测试
容量测试是为了验证应用程序的性能不受应用程序正在处理的数据量的影响。为了执行容量测试需要向数据库中输入大量数据。
此类测试可以视为增量式测试或稳定性测试。在增量式测试中数据量是逐渐增加的。
通常随着应用程序的使用数据库容量会随数据而增长例如一个新建立的教育网站最初只有少量的数据需要存储但在 5-10 年后该网站数据库中的数据存储就已有相当规模了。
因此针对数据量逐步递增至规模庞大的情况下对应用程序进行容量测试很有必要。
此外容量测试还有另一层含义应用程序是否能够在正常及峰值负载条件下满足当前正在处理的业务量需求
这通常是为了系统将来可能面临的情况而进行的可预见性测试需要纳入考察的核心点有
应用程序能够支持未来的负载吗环境是否能够承受即将增加的负载要使环境具备足够的能力需要哪些额外的资源
为了确保 Web 应用程序将支持在给定的用户和/或事务数且满足性能要求我们在测试过程中需要考虑修改处理器容量、网络带宽、内存使用情况、磁盘容量等资源从而满足目标。对网上银行实施容量测试就是一个典型案例。
可靠性/可恢复测试
可靠性测试或恢复测试用于验证应用程序在出现故障或异常行为后是否能够恢复到正常状态以及恢复阶段需要经过多长时间。
例如在某线交易站点出现故障致使用户不能在一天的某个点高峰时间买卖股票但在一两个小时后用户能够进行在线股票交易我们就可以说该应用程序是可靠的即有能力从异常行为中自行恢复。
性能测试流程
大部分测试工程师们在面对功能测试进展规划时游刃有余而当被问起如何开展性能测试时往往陷入沉默。
究其原因不外乎两点
几乎无实战经验缺乏对性能测试的整体认知
下面将为大家系统性地介绍性能测试规范化流程
性能需求收集分析
性能需求的收集与分析至关重要这直接影响到后续的性能测试活动是否能有效开展。
对于有性能测试需求的项目企业内部通常都会有专职的性能测试工程师或者性能测试团队即便人数不多亦或是临时组建。
性能测试工程师直接或间接参与客户方针对系统/应用程序的性能需求调研会议以识别和收集应用系统实现技术和业务方面的需求。
这包括获取有关应用程序的架构、技术和使用的数据库、目标用户、功能、应用程序使用情况、性能测试需求、硬件和软件需求等方面的信息。
性能测试工具选择
一旦确认了性能测试需求接下来就到了性能测试工具选取的环节如果之前没有类似的经验企业也没有硬性规定必须使用的工具那么在这个节点上我们可以将可用工具逐一罗列。
分别从工具的成本、应用程序使用的协议、用于构建应用程序的技术、我们为测试而模拟的用户数量等等对可用工具列表进行筛选选取一款合适当前项目情况的性能测试工具。
选定测试工具后我们需要为关键业务创建脚本并在 10-15 个虚拟用户中执行这就是所谓的POC—— Proof Of Concept这是在有限范畴内对用户实时活动的一种演示。
性能测试计划设计
根据第一个阶段收集的寻求信息我们需要对性能测试进行整体计划和设计。测试计划旨在明确性能测试该如何进行即性能测试环境、工作负载场景的设计、相关硬件配置等等。
这个阶段的输入是测试需求分析输出是测试策略文档包含了整个性能测试计划设计关于测试策略文档在下文中将会以实例呈现。
性能测试用例研发
①基于 POC 的测试用例研发根据上述测试计划中确定的测试范畴及核心业务功能开始着手设计编写性能测试用例这些初始的测试用例通常是在 POC 期间基于所选的性能测试工具来记录被测试业务的步骤。
②基于 POC 的测试用例评审性能测试用例的评审最好能将客户代表纳入以获得他们的认可确保被测业务每个步骤的准确性。
③测试用例优化基于 POC 的测试用例一旦通过评审我们就可以逐步优化测试用例例如参数化等待集合点等的设置。
④环境同步在创建优化性能测试用例脚本的同时需要设置测试环境(软件和硬件)从而确保性能测试脚本在特定环境下执行尽可能模拟真实的线上环境。
⑤真实用户 VS 虚拟用户如果性能测试在真实的客户环境下执行性能团队还需要考虑如何避免实时用户及虚拟用户同时在线的情况一般而言这类情况可以选择避开实时用户大量在线且活跃度相当高的情况。
性能测试建模
为测试执行创建性能负载场景模型 该阶段主要目的是验证给定的性能指标(来自性能需求)在测试期间是否达到。
性能测试执行
在指定的场景下执行性能测试脚本性能测试场景是根据上述负载模型设计的测试执行通过虚拟用户数递增模式进行。
例如如果用户的最大数量是 100那么场景首先会运行 10、25、50 个用户以此类推最终会运行 100 个用户。
性能测试结果分析
测试结果是性能测试人员最重要的交付内容也是可以证明 ROI投资回报率以及性能测试工作真正体现价值的地方。
由于性能测试通常需要进行多次执行才能得出正确的结论无论通过工具自动生成还是自己汇总测试结果。
有效的性能测试结果分析需要注意这几点
分析并记录测试失败的原因。
与前一次测试执行相比应用程序的性能是否有变化。
为了执行性能测试用例从应用程序构建到测试环境都做过哪些设置更改。
对每个性能场景执行的测试用例及时进行性能测试结果分析避免最终呈现完整性能测试报告时出现任何数据指标的遗漏。
在总结中需要说明每场测试的目的、对应的虚拟用户数、测试持续时间、响应时间、吞吐量、不同负载情况下性能指标对比图、测试过程中出现的错误以及后续改进的建议。
完整报告
完整的性能测试报告以简洁为主不需要任何推导开发团队需要更多关于分析、比较结果的信息以及如何获得结果的细节。
性能测试计划/策略编写 Demo
现在我们以一款实时消息传递应用程序为例编写性能测试策略。
由于用户对于不同产品的性能需求不尽一致这里仅以 Demo 呈现性能测试策略编写的完整过程大家在工作中可适当对 Demo 模板进行裁剪以满足自己当前项目所需。
关于 XXX 在线聊天应用程序假设这是当前客户公司内部使用的聊天工作平台这个聊天应用程序基于 XMPP 协议支持发送和接收即时消息。
此外该平台功能进行了一些增强如远程 PC 控制、PC 诊断、修复工具、在线聊天等。
对于这个应用程序我们假设项目团队已经决定使用 JMeter 进行性能测试使用 JIRA 进行缺陷跟踪。
性能测试策略文档的第一页应该包含文档的标题和公司的版权第二页应该包含文档控制包括文档版本历史、审阅者和审批者列表和贡献者列表第三页应包含目录其中涉及以下主题
①简介
本文档目的旨在说明如何在 XXX 聊天应用程序上基于当前及未来状态进行性能测试。
XXX 聊天应用程序是一个用于内部远程支持的工作平台具有在线聊天、客户识别、远程 PC 控制、PC 诊断和修复工具等功能。
性能测试主要目的如下
确保当前聊天应用程序的任何更新符合规范的服务级别协议。
确保应用程序的性能、可用性和稳定性不会因为新功能的添加而受到影响。
在持续增加负载的情况下事务响应时间保持在可接受的范围内。
在不断增加负载的情况下JVM 始终显示稳定的内存使用情况。
下图清晰展示了性能测试/优化过程
注如在企业内这里还可以附上被测应用系统的架构设计图。
②性能测试工作范畴
XXX 聊天应用程序性能测试工作范畴如下In Scope 通过对系统详细调研获取关键事务处理节点构建负载分配。 确定性能测试的关键场景。 使用前一个版本的结果作为未来版本的基线。 确认其他用于分布式压测的代理机性能测试环境以及使用的性能测试工具。 使用 JMeter 模拟各种峰值负载并为负载场景准备性能测试脚本。 为服务器设置性能指标监控以便在测试执行阶段识别性能瓶颈。 发布性能测试结果。 与项目干系人协作沟通确定可行的调优方案针对已识别的性能问题给出解决方案。 为该产品将来版本确定性能需求基线。
以下任务不在此次性能测试工作范畴中Out of Scope 功能测试UAT系统测试和安全测试对任何第三方接口进行性能测试/监视。 性能调优大多数时候调优是由不同的团队完成的如果团队中有性能工程师来调优系统可以将其这部分工作添加到 In Scope 中。 安全/渗透测试/白盒测试。 性能测试的数据生成。 非功能测试例如故障转移、灾难恢复、备份、可用性而不是性能测试。 第三方应用程序性能测试和调优。 从性能团队的角度来看应用程序代码更改优化供应商支持的产品/服务器配置等都超出范围。 基础设施支持/构建部署/环境准备/数据库恢复/网络支持等。
③性能测试方案
XXX 聊天应用程序的性能测试将使用 JMeter 来进行结合自定义编写的 XMPP 插件这些插件通过 Smack 库实现 XMPP 连接。
这些库用来创建连接、实现用户登录并向 XMPP 服务器发送聊天消息。将这些库打包进成一个 Jar 文件然后部署到 JMeter 中并根据测试场景进行设计。
JMeter 工作台即 JMeter 服务器安装在本地机器上JMeter 工作台通过负载生成器产生所需的负载向聊天服务器所在系统发出请求与此同时 JMeter 工作台负责监视聊天服务器所在系统的行为。
根据性能测试需求分析通过 JMeter 创建测试脚本和测试场景针对不同场景设计虚拟用户数及虚拟用户活动状态尽可能模拟真实场景。
将每个测试场景分解并从以下几个方面进行检测
基线测试1 个虚拟用户数多个迭代运行每个场景以确定应用程序性能是否满足业务服务水平。
基本负载测试为了满足负载测试下的业务基准性能测试团队将执行一个基本负载测试该测试将有助于识别随着负载增加而出现的任何系统性能问题并为下一级别的性能测试创建基线。
峰值负载/可伸缩性测试性能测试团队针对不断增加虚拟用户数进行多次测试以满足预期负载同时检测应用程序性能建立性能曲线确定当前应用程序部署是否能够支持峰值用户负载下的服务水平协议。
这有助于对单个 Java 虚拟机JVM进行调优以及对所需 JVM 总数和处理器的容量规划。
通过将虚拟用户数的值增加到峰值容量的 50%75%100% 和 125% 来进行峰值负载测试。
持久性测试/稳定性测试性能测试团队基于不同时长8 小时/16 小时/24 小时持续运行指定的测试以识别随着时间推移所产生的内存泄漏及其他性能问题同时检验整体系统的稳定性。
在持久性测试期间性能测试团队需要监视关键性能指标例如事务响应时间CPUI/O内存等系统资源使用情况是否稳定。
假定性能测试环境是生产环境的一个副本测试将在增量负载下运行以确定应用程序在那种负载情况下未达到性能要求或出现异常行为。
④性能测试场景
注企业中所有的测试场景可以集中编写在 Excel 文档里这里仅以一个测试场景为例。
【场景 1】验证代理和客户间的并发会话数。
【测试方案】下表列出了不同性能测试方案及其对应的测试目标。
【性能指标设定】
客户端关注指标
系统网络性能指标
【性能测试阶段活动及对应输出】
如下图
⑤测试数据来源
这里假定所有性能环境数据是生产环境数据的副本所需的测试数据将由项目团队统一提供。
⑥测试入口出口准则 测试入口出口准则如上图
访问环境中所有应用程序环境准备就绪性能测试数据准备就绪
⑦缺陷管理
缺陷管理如下
本项目将使用 JIRA 缺陷管理模块对缺陷进行记录和跟踪直至关闭。在测试执行阶段发现的缺陷将被记录在 JIRA 中这些缺陷将由开发团队根据以下严重性级别进行修复。缺陷审查会议将提上每日工作日程参与者包括测试、开发、质量分析师和业务团队。随着项目发布上线日期推进修复缺陷的标准将变得更加严格因此在每日缺陷评审会议上需要发布缺陷修复标准的指导策略。
缺陷严重级别定义如下图 ⑧测试工具技术 ⑨测试执行停滞及恢复准则
⑩可交付成果物
性能测试交付成果包括:
性能测试策略性能需求文档性能测试场景文档性能测试脚本性能测试结果
⑪角色职责
下图表格中列出不同角色及其对应的职责
⑫潜在风险及缓解计划
下图表格中列出潜在风险及缓解计划 ⑬性能测试约定规则
性能测试约定规则如下 性能测试环境是真实产品环境的复制即硬件、软件、接口、集成层等与真实产品保持一致性。 性能脚本将根据使用率高的关键业务流程来设计。 在性能测试开始之前必须解决所有基础设施问题此后所做的任何系统配置更改都将导致无效的测试结果。 性能测试执行前提必须确保应用程序是稳定的可以在性能测试环境中使用。 硬件和软件资源如用户产生负载的工具、控制器/代理机器准备就绪。 性能测试范围的任何变更都必须经由变更控制流程 同时性能测试团队将对变更引起的时间/资源影响做出评估。 启用应用程序跟踪日志。
到此我们就完成了聊天应用程序性能测试计划的编写在真实企业项目中大家可以基于实际情况对文档内容自行裁剪。
总结
不难发现要成功完成一个性能测试项目我们需要确保性能测试计划阶段各方面的准确性。
即计划、基于测试需求分析的用例开发、场景设计、测试执行和结果分析这些关键点都必须按照正确的方式进行加上合理的风险预估及缓解策略。
希望通过本篇分享能够丰富你在性能测试领域的认知及实践同时学会如何编写一份带有详细示例的性能测试计划文档为后续性能测试活动的开展奠定良好的基础。 感谢每一个认真阅读我文章的人
作为一位过来人也是希望大家少走一些弯路如果你不想再体验一次学习时找不到资料没人解答问题坚持几天便放弃的感受的话在这里我给大家分享一些自动化测试的学习资源希望能给你前进的路上带来帮助。 软件测试面试文档
我们学习必然是为了找到高薪的工作下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料并且有字节大佬给出了权威的解答刷完这一套面试资料相信大家都能找到满意的工作。 视频文档获取方式 这份文档和视频资料对于想从事【软件测试】的朋友来说应该是最全面最完整的备战仓库这个仓库也陪伴我走过了最艰难的路程希望也能帮助到你以上均可以分享点下方小卡片即可自行领取。
