测试 on Yuanjie-跑步爱好者，IT从业者。

Bug Review

Wed, 27 May 2020 12:25:12 +0800

今天有个朋友问到，BUG Review有什么注意事情和流程方法没？简单整理了下，便于后续回顾。

流程
- host
  - QA
- 流程
  - QA搜集各位输入信息，并整理数据分布
  - 所有参与人员一起讨论，并制定后续改进
- 时机
  - 不确定，建议：团队质量较差或者定期做
- 参与人
  - 全团队成员
  - 必要可以拉上客户
输入
- 所有的BUG单
- 反馈信息(客户/用户/其它渠道)
输出
- 各种分布
  - 新增/修复/关闭时间
  - BUG的模块分类，如：登录模块/订单模块等
  - BUG的原因分类，如：需要描述不清晰/程序代码问题/再次出现等
  - 优先级划分
  - 责任人
- 后续改进
  - 改进策略
  - 下一次Review的时间
注意
- 责任人
  - 看情况是否需要拉出来讨论
- 改进策略
  - 这部分才是Review的目的
  - 分布的情况，打开讨论，并制定Action。
- Review的结论
  - 如果是给客户的，要酌情做一些内容的调整

JMeter5.2.1更新内容

Sat, 11 Jan 2020 18:00:00 +0800

版本发布时间于20191113，本次版本主要是BugFix。

主要内容

本次更新主要为BugFix，更新内容参考5.2。

版本下载

JMeter5.2.1

JMeter5.2更新内容

Wed, 08 Jan 2020 15:30:00 +0800

版本发布时间于20191008，本次版本基本没有什么更新，主要是切换版本号。

主要内容

本次为版本发布，更新内容参考5.1.1

提升

HTTP(S) Test Script Recorder 会在名字后追加数字显示，参考Bug 64350
修复：当在XPath表达式中使用XPath Assertion返回Boolean值时，True if nothing matches没有生效并返回值为True。参考Bug 63455
XML现在拒绝不安全的XMl内容，会影响
- XMLAssertion
- XMLSchemAssertion
- XPath function
- XPath 1 & 2 Extractors
- XPath 1 & 2 Assertions

版本下载

JMeter5.2

JMeter历史版本更新内容

Sat, 30 Mar 2019 18:00:00 +0800

将自己翻译的JMeter历史版本的更新记录进行汇总，方便后期查阅。

JMeter版本	发布时间	更新内容	下载地址
5.2.1	20191113	[更新内容](http://shiyuanjie.cn/2019/01/11/JMeter5.2.1/	https://github.com/apache/jmeter/archive/v5.2.1-rc1.zip
5.2	20191008	[更新内容](http://shiyuanjie.cn/2019/01/08/JMeter5.2%E6%9B%B4%E6%96%B0%E5%86%85%E5%AE%B9/	https://github.com/apache/jmeter/archive/v5.2-rc1.zip
5.1.1	20190314	更新内容	https://github.com/apache/jmeter/releases/tag/v5_1_1
5.1	20190219	更新内容	https://github.com/apache/jmeter/releases/tag/v5_1
5.0	20180918	更新内容	https://github.com/apache/jmeter/releases/tag/v5_0
4.0	20180210	更新内容	https://github.com/apache/jmeter/releases/tag/v4_0
3.3	20170921	更新内容	https://github.com/apache/jmeter/releases/tag/v3_3
3.2	20170414	更新内容	https://github.com/apache/jmeter/releases/tag/v3_2
3.1	20161120	更新内容	https://github.com/apache/jmeter/releases/tag/v3_1

JMeter5.1.1更新内容

Wed, 20 Mar 2019 09:00:00 +0800

此版本主要用于BUG修复

实时报告和测试报告

在工具菜单中，新增直接通过CS/JTL文件来生成测试报告.

JMeter5.1更新内容

Tue, 19 Mar 2019 20:00:00 +0800

核心能力提升

JDBC测试已被提升，可以直接设置SQL语句并支持查询超时功能。

变量问题已被修复，像使用HTTP(S) Test Script Recorder录制HTTPS请求时收集正确的请求头信息。
在5.0版本中，JMeter已调整使用自定义的命令策略来重命名子结果(BUG_62550)，这个变更对功能测试很麻烦，新的属性subresults.disable_renaming=true用于解决这个问题。替代方法是使用在功能测试的测试计划中校验(BUG_63055)。

JMeter5.0更新内容

Wed, 17 Oct 2018 15:20:00 +0800

JMeter官方在20180918发布了JMeter 5.0版本，主要涉及的更新内容如下：

新增XPath2 extractor元素，用于XML处理
增强Flow Control Action Result Status Action Handler控制器的能力
强化搜索功能，便于在编写JMeter过程中进行搜索
强化录制功能，使用顶部悬浮的特点，便于对录制过程的处理
UI界面中，新增重启功能
HTML Web报告中，新增实时吞吐量显示
HTML Web报告中，新增Custom Graphs section用于个性化图表定制

原文链接：http://jmeter.apache.org/changes.html JMeter5.0下载：http://jmeter.apache.org/download_jmeter.cgi

构建Headless 的 E2E 测试

Fri, 02 Mar 2018 12:20:00 +0800

为什么要`构建 Headless 的 E2E 测试`

A headless browser is a great tool for automated testing and server environments where you don't need a visible UI shell. For example, you may want to run some tests against a real web page, create a PDF of it, or just inspect how the browser renders an URL.

结合上面的原因，我们还可以

Headless结合 E2E 测试，可以让E2E 测试在非 GUI 的操作系统中运行
可以集成至 CI 环境中。让版本得到快速验证

Chrome Headless 的选取

Mac/Linux 的Chrome从59版本后，已经支持 Healess 模式的运行。Windows 的从60版本开始支持
所以选择一个你想要的 Chrome 版本，便可以进行 Headless 的测试

chrome \
--headless \ # Runs Chrome in headless mode.
--disable-gpu \ # Temporarily needed if running on Windows.
https://www.chromestatus.com # URL to open. Defaults to about:blank.

JMeter4.0更新内容

Wed, 28 Feb 2018 15:20:00 +0800

等了这么久，20180210，终于有较大的更新。无论是从 UI 还是功能优化，都让人耳目一新。下面我们就详细看下具体变化。

原文地址：http://jmeter.apache.org/changes.html 下载地址：apache-jmeter-4.0.zip

重要更新

主要变更

JMeter 现在支持 JAVA 9.

新的Boundary Extractor元素可以提供更好的元素提取性能

新的JSON Assertion元素可用于 JSON 响应的断言。

JMS Point-to-Point 样例增加了read,browser,clear选项。

JMeter3.3更新内容

Mon, 09 Oct 2017 10:50:00 +0800

2017.9.21，JMeter3.3版本发布。
原文地址：Apache JMeter 3.3 Release Notes ,历史版本变更记录http://jmeter.apache.org/changes_history.html
下载地址： Download Apache JMeter 3.3

重要变更

JMeter 还不支持 Java9，下个版本将会支持，你可以给出帮助并查看此跟踪记录[Bug 61529](https://bz.apache.org/bugzilla/show_bug.cgi?id=61529)。

建议：使用最新版本的 Java8 ，避免出现 JDK 的问题。

主要提升

HTTP 样例支持Brotli解压算法。

CacheManager 现在完全支持变量头方式。

InfluxDB BackendListener 现在支持通过 UDP 协议发送结果至 InfluxDB。

已经被增强来通过响应状态码和消息针对每一个 Transaction 发送错误数量。

TCP 样例现在可以计算延迟，详情查看Bug 60156

更新依赖至最新版本，用于提升性能和修复 BUG。

持续提升代码质量和测试覆盖率。查看质量报告

Responsive测试

Thu, 03 Aug 2017 15:30:00 +0800

Responsive测试

如何使用Galen进行响应式测试
使用Javascript编写测试代码
完整代码：https://github.com/aimer1124/GalenDemo

安装Galen

通过NPM安装

sudo npm install -g galenframework-cli

检查安装版本`galen -v`

➜ GalenDemo git:(master) ✗ galen -v
Galen Framework
Version: 2.3.4
JavaScript executor: Rhino 1.7 release 5 2015 01 29

第一步

创建测试文件，存放于`test/step1.test.js`

test("First test", function () {
console.log('This is first test')
});

执行测试

➜ GalenDemo git:(master) ✗ galen test test/*.js
========================================
Test: First test
========================================
This is first test
========================================
----------------------------------------
========================================
Suite status: PASS
Total tests: 1
Total failed tests: 0
Total failures: 0

第二步

添加多个不同的设备，用于测试兼容性

this.devices = {
mobile: {
deviceName: "mobile",
size: "400x700"
},
tablet: {
deviceName: "tablet",
size: "600x800"
},
desktop: {
deviceName: "desktop",
size: "1024x768"
}
};
forAll(devices, function (device) {
test("Home page on ${deviceName}", function (device){
var driver = createDriver("http://galenframework.com",
device.size,
"chrome");
console.log(device.size)
});
});

查看测试结果

➜ GalenDemo git:(master) ✗ galen test test/*.js
========================================
Test: Home page on mobile
========================================
Starting ChromeDriver 2.31.488774 (7e15618d1bf16df8bf0ecf2914ed1964a387ba0b) on port 10344
Only local connections are allowed.
Aug 01, 2017 2:34:11 PM org.openqa.selenium.remote.ProtocolHandshake createSession
INFO: Detected dialect: OSS
400x700
========================================
Test: Home page on tablet
========================================
Starting ChromeDriver 2.31.488774 (7e15618d1bf16df8bf0ecf2914ed1964a387ba0b) on port 6454
Only local connections are allowed.
Aug 01, 2017 2:34:17 PM org.openqa.selenium.remote.ProtocolHandshake createSession
INFO: Detected dialect: OSS
600x800
========================================
Test: Home page on desktop
========================================
Starting ChromeDriver 2.31.488774 (7e15618d1bf16df8bf0ecf2914ed1964a387ba0b) on port 42862
Only local connections are allowed.
Aug 01, 2017 2:34:23 PM org.openqa.selenium.remote.ProtocolHandshake createSession
INFO: Detected dialect: OSS
1024x768
========================================
----------------------------------------
========================================
Suite status: PASS
Total tests: 3
Total failed tests: 0
Total failures: 0

第三步引入`gspec`文件，来难页面布局

新增`specs/home-page.gspec`

@objects
header id header
= Main section =
header:
height 5 to 100px

在测试脚本`step3.test.js`中添加Layout检查

 test("Home page on ${deviceName}", function (device){
var driver = createDriver("http://samples.galenframework.com/tutorial1/tutorial1.html",
device.size,
"chrome");
checkLayout(driver, "GalenDemo/home-page.gspec", [device.deviceName]);
});

添加关闭浏览器

driver.close();

添加页面`pageObject`

新增pageObject

this.home = $page("home", {
content: "div#content"
});

测试中引用pageObject

 var homepage = new home(driver);
if (!homepage.content.exists()){
console.log("Content element don't exist")
}

第四步不同分辨率下Layout测试及生成测试报告

不同分辨率测试

重新调整设备配制信息

function Device(deviceName, size, tags) {
this.deviceName = deviceName;
this.size = size;
this.tags = tags;
}
this.devices = {
mobile: new Device("mobile", "450x700", ["mobile"]),
tablet: new Device("tablet", "600x800", ["tablet"]),
desktop: new Device("desktop", "1024x768", ["desktop"])
};

修改layout测试中的设备辨别和测试

 @on *
header:
height 5 to 100px
@on tablet
content:
width 600px
@on desktop
content:
width 1024px

生成测试报告

➜ GalenDemo git:(master) ✗ galen test test/step3.test.js --htmlreport ./report
========================================
Test: Home page on mobile
========================================
Starting ChromeDriver 2.31.488774 (7e15618d1bf16df8bf0ecf2914ed1964a387ba0b) on port 36316
Only local connections are allowed.
Aug 03, 2017 2:56:04 PM org.openqa.selenium.remote.ProtocolHandshake createSession
INFO: Detected dialect: OSS
= Main section =
header:
height 5 to 100px
========================================
Test: Home page on tablet
========================================
Starting ChromeDriver 2.31.488774 (7e15618d1bf16df8bf0ecf2914ed1964a387ba0b) on port 28325
Only local connections are allowed.
Aug 03, 2017 2:56:07 PM org.openqa.selenium.remote.ProtocolHandshake createSession
INFO: Detected dialect: OSS
= Main section =
header:
height 5 to 100px
content:
width 600px
========================================
Test: Home page on desktop
========================================
Starting ChromeDriver 2.31.488774 (7e15618d1bf16df8bf0ecf2914ed1964a387ba0b) on port 12177
Only local connections are allowed.
Aug 03, 2017 2:56:10 PM org.openqa.selenium.remote.ProtocolHandshake createSession
INFO: Detected dialect: OSS
= Main section =
header:
height 5 to 100px
content:
width 1024px
========================================
----------------------------------------
========================================
Suite status: PASS
Total tests: 3
Total failed tests: 0
Total failures: 0

从日志中可以查看到，每次在不同设备测试时layout代码已变更

Test: Home page on desktop
========================================
Starting ChromeDriver 2.31.488774 (7e15618d1bf16df8bf0ecf2914ed1964a387ba0b) on port 12177
Only local connections are allowed.
Aug 03, 2017 2:56:10 PM org.openqa.selenium.remote.ProtocolHandshake createSession
INFO: Detected dialect: OSS
= Main section =
header:
height 5 to 100px
content:
width 1024px
========================================

参考

什么是Locust

Thu, 08 Jun 2017 18:30:00 +0800

原文地址：http://docs.locust.io/en/latest/what-is-locust.html#

什么是Locust

Locust是一个容易使用、分布式的压力测试工具。它是用于网站压力测试(或其它系统)并找出多少用户一个系统可以承载。

在测试过程中，策略就是一个Locust的蠕虫将会攻击你的网站。每一个locust的行为(或你使用的测试用户)是你自己定义的，并且蠕虫进程从一个网页视图中被实时监测。这样会帮助你来实现测试，在真实用户使用前定义系统的瓶颈。

Locust是完全基于事件的，因此可以在单台机器中支持数以千计的用户在线。和其它基于事件的程序相比较，它是不需要使用回调的。相反，它通过gevent使用轻量级的进程。每一个locust测试你的网站时，实际上是真实的在内部运行它自己的进程(或greenlet,准确的说)。这样就允许你不使用复杂的回调方法，而是使用Python编写复杂的场景。

分布式测试

Sat, 03 Jun 2017 21:30:00 +0800

分布式运行Locust

一旦单台机器不够模拟足够多的用户时，Locust支持运行在多台机器中进行压力测试。

为了实现这个，你应该在master模式中使用--master标记来启用一个Locust实例。这个实例将会运行你启动测试的Locust交互网站并查看实时统计数据。master节点的机器自身不会模拟任何用户。相反，你必须使用--slave标记启动一台到多台Locustslave机器节点，与标记--master-host一起使用(指出master机器的IP/hostname)。

常用的做法是在一台独立的机器中运行master，在slave机器中每个处理器内核运行一个slave实例。

** !Note **

** master和每一台slave机器，在运行分布式测试时都必须要有locust的测试文件。**

编写一个Locust文件

Fri, 02 Jun 2017 21:30:00 +0800

Locust文件就是一般的Python文件。唯一的需求就是它至少需要一个继承于Locust的类.

Locust类

Locust类代表一个用户(如果愿意，也可以是一个准备出动的蝗虫)。Locust会为每一个模拟用户生成一个locust类实例。同时会有一些locust类属性被定义。

`task_set`属性

task_set属性是指向一个定义用户行为的TaskSet类，下面会有详细的介绍。

`min_wait`和`max_wait`属性

除了task_set属性，另外一个经常被使用的就是min_wait和max_wait属性。是用于各自以毫秒为单位的最小值和最大值，一个模拟用户将会在每个任务执行时的等待执行的时间间隔。min_wait和max_wait默认设置为1000，如果不声明的话，Locust会默认在每个任务间等待1秒。

参考下面的代码，每个用户将会在每个任务间等待5至15秒:

from locust import Locust, TaskSet, task_set
class MyTaskSet(TaskSet):
@task
def my_task(self):
print "executing my_task"
class MyLocust(Locust):
task_set = MyTaskSet
min_wait = 5000
max_wait = 15000

min_wait和max_wait属性可以用于重写TaskSet类。

Locust快速入门

Wed, 24 May 2017 18:20:00 +0800

Locust，基于Python的性能测试工具。

什么是Locust
本文Locust版本0.7.5
原文地址：http://docs.locust.io/en/latest/quickstart.html#

示例`locustfile.py`

下面是一个简单的locustfile.py小示例:

from locust import HttpLocust, TaskSet
def login(l):
l.client.post("/login", {"username":"ellen_key", "password":"education"})
def index(l):
l.client.get("/")
def profile(l):
l.client.get("/profile")
class UserBehavior(TaskSet):
tasks = {index: 2, profile: 1}
def on_start(self):
login(self)
class WebsiteUser(HttpLocust):
task_set = UserBehavior
min_wait = 5000
max_wait = 9000

JMeter3.2更新内容

Sat, 13 May 2017 14:50:00 +0800

2017.4.14，JMeter3.2版本发布。
原文地址：Apache JMeter 3.2 Release Notes ,
下载地址： Download Apache JMeter 3.2

重要变更

JMeter现在需要Java8。确保你使用的最新版本的Java。 JMeter日志已经被迁移至SLF4J和Log4j 2。这个影响配制和第三方插件，查看下面的『日志变更』. 在使用JMeter的3.2版本时，在结果树中的结果数里从默认修改为500.如果你想查看更多，必须修改属性view.results.tree.max_results为一个更高的数值或者你不想限制数量可改为0。你可以在bin/user.properties中设置。更多的信息可查看这里

主要提升

JMeter现在提供一个新的BackendListener与InfluxDB交互这个功能使用异步的HTTP请求发送数据至InfluxDB通过HTTP API并提供下面的图形展示结果

JMeter3.1更新内容

Thu, 09 Mar 2017 16:30:00 +0800

2016.11.20，JMeter官网已经正式发布了3.1的版本，今天尝试翻译下更新内容，内容中肯定还有很多不足，希望大家多多谅解。

原文地址：Apache JMeter 3.1 Release Notes ,
下载地址： Download Apache JMeter

提升报告和仪表盘

仪表盘新增三个图表和一个概要表格

连接时间
成功百分比响应时间
响应时间分布
执行样例中的错误Top5

性能测试-JMeter入门手册

Tue, 28 Feb 2017 16:15:00 +0800

Github地址(源文件及脚本)

本文目的

面向新手，学习后可以使用JMeter独立完成项目的性能测试
快速分析并使用JMeter定位出项目性能测试结果
产出有价值的性能测试报告

说明

基础环境信息：
- OS:macOS Mojave 10.14.2
- JDK:11.0.1
- JMeter：5.2.1
QQ交流群：478527666
文中关于JMeter的功能，不会很详尽，够用足以
源GitBook地址:https://aimer1124.gitbooks.io/jmeter-tutorial/content/，停止更新

JMeter与Docker

Wed, 25 Jan 2017 21:50:00 +0800

JMeter_docker

Use JMeter with Docker

Replace Demo.jmx
Change the following about Demo.jmx file

COPY Demo.jmx /opt/jmeter

build Docker file in root folder

docker build -t performanceDocker .

run docker with performance testing

Layout测试

Mon, 28 Nov 2016 15:40:00 +0800

Web页面Layout测试，一直是测试人员比较头疼的事情。原因有

当前市面中设备的分辨率千差万别
浏览器版本众多，工作量很大

如何使用高效的方式来测试Web Layout是否能正常，下面来看下Galen是如何帮助我们的

Galen的特点

开源项目，License基于Apache License, Version 2.0
可测试页面布局、响应式设计，支持功能测试
基于Selenium，对Selenium Grid支持很好，可直接在Sauce Labs和 BrowserStack
支持并行测试，减少测试时间
语法简洁

PageObject分离E2E测试

Thu, 24 Nov 2016 14:20:00 +0800

PageObject

老马关于PageObject的定义

It should allow a software client to do anything and see anything that a human can

PageObject到底是个啥

将针对Page的所有操作进行统一封装，如: 输入框中输入内容、点击按钮等

MAC制作GIF及设置GIF循环播放

Wed, 23 Nov 2016 16:20:00 +0800

需求：在Mac电脑中录制操作，并生成GIF文件。GIF文件需要循环播放。

工具选择

Recordit，7.2M大小，Free
gifsicle，加工GIF图片工具

Espresso入门

Wed, 23 Nov 2016 14:20:00 +0800

Espresso

Espresso是什么

由Google提供的开源native测试框架。支持所有版本的Android API.

如何测试
- 通过使用Rule来获取Activity
- 针对Activity中的元素进行操作，进而达到测试的目的

JMeter与BeanShell的化学反应

Tue, 01 Nov 2016 15:53:00 +0800

JMeter是什么

http://jmeter.apache.org/，性能测试工具。

基于Java的开源性能测试工具
支持测试的协议
- Web - HTTP, HTTPS
- SOAP / REST
- FTP
- Database
- LDAP
- Message-oriented middleware (MOM)
- Mail
- Native commands or shell scripts
- TCP
支持多线程并发
完善的GUI界面，用于快速设计测试计划和调试测试脚本
完整测试结果，便于结果分析
JMeter不会执行HTML中的JavaScript脚本

BeanShell是什么

http://beanshell.org/

基于Java的免费解释器
松散类型的脚本语言
动态执行的Java代码
只有150K大小的JAR包

BeanShell既然可以编写Java代码，那么我们就可以在使用JMeter测试的过程中，使用Java语法功能，且支持关键字高亮，进行业务逻辑的处理，进而达到场景功能的设计。

JMeter-自动生成测试Report

Fri, 23 Sep 2016 18:53:00 +0800

Dashboard Report

JMeter3.0版本发布后，开始支持动态报表报告。让测试人员编写性能测试报告更加容易。

支持在测试结束后，生成测试报告
导入之前测试结果，生成测试报告

下面就看下如何使用这个新特性，生成测试报告

性能测试之远程并发模式

Mon, 12 Sep 2016 19:15:38 +0800

事实上，你的JMeter客户端机器是不能表现出完美的压力请求，来模拟足够多的用户或由于网络限制去向服务施加压力，一种解决方法是通过一个JMeter去控制多个/远程JMeter。通过运行JMeter的远程模式，你可以通过多个低配制的电脑复制测试计划用于模拟一个大数据量的压力并发在服务器上。一个JMeter客户端实例可以控制多个远程JMeter实例，并收集所有数据信息。特点如下:

保存测试样例在本机电脑
通过一台机器来管理多台JMeter测试机
不需要复制测试计划到每一台JMeter测试机-JMeter客户端会发送至所有的服务器

提示: 相同的测试计划将会被运行在所有的服务器中。JMeter不会在服务器间分发压力，每一个均会完整执行测试计划。因此，如果你设置了1000个线程并有6个JMeter服务，你将会完成6000线程注入。

性能测试最佳实践之JMeter

Wed, 31 Aug 2016 20:45:38 +0800

保持使用最新版本

JMeter被经常推荐用来测试性能，鼓励用户使用最新的版本。

确保你要经常去阅读变更记录中的新功能和模块的提升。你不应该再使用3.0之前的版本了

使用正确的线程数

你硬件设备的能力及测试计划将都会影响你的JMeter可运行的线程数。数量也依赖于你的服务有多快(一个可快速响应的服务可以让JMeter变更更加给力)。像其它性能测试工具一样，如果你没有正确的线程数，你将面对不准备或错误结果的Coordinated Omission问题。如果你需要大数量级的压力测试，考虑使用分布式模式在多台机器上运行无GUI的JMeter实例。当使用分布式模式时，结果将被聚合在控制器的结果中，如果使用多个自已的实例，结果文件可以聚合用于持续性分析。对于如何在一个给定的平台上使用JMeter测试，JavaTest Sampler可以考虑使用。它不需要任何网络请求便可返回一些信息在最大的吞吐量。

JMeter有选项用于延迟线程创建直到线程正常启动，如在其它线程组延迟之后和线程自身的启动时间。这样就允许一个非常大数量级的线程数，不需要太多的线程同时并发。

E2E测试之Headless browser容器化

Mon, 01 Aug 2016 20:00:00 +0800

目的

E2E测试执行过程中不依赖UI界面
可在*nix系统中运行
为什么不用PhantomJS,Protractor官方不推荐使用PhantomJS来测试

We recommend against using PhantomJS for tests with Protractor. There are many reported issues with PhantomJS crashing and behaving differently from real browsers.

Docker

安装

下载系统所需要的安装包，下载地址：https://www.docker.com/products/docker
注册https://hub.docker.com/账号
使用pull来获取docker 镜像protractor-headless，此过程会比较慢，耐心等待 docker hub地址：https://hub.docker.com/r/webnicer/protractor-headless/ git hub地址：https://github.com/jciolek/docker-protractor-headless

docker pull webnicer/protractor-headless

API开发神器-Postman

Fri, 24 Jun 2016 19:50:00 +0800

Postman helps you develop APIs faster.

豪华午餐

Postman

构建、管理、文档化API

在线安装
Chrome插件版 https://chrome.google.com/webstore/detail/postman/fhbjgbiflinjbdggehcddcbncdddomop
MAC版 https://www.getpostman.com/app/postman-osx
离线安装使用已经安装好的Postman文件夹，机器默认存放目录：/Library/Application\ Support/Google/Chrome/Default/Extensions 进入chrome://extensions/，选择Load unpacked extensions，加载Postman的文件夹

如此Tricky的测试场景,你应该怎么办

Sun, 22 May 2016 11:03:00 +0800

什么是Tricky的测试场景？

测试场景

Scenario testing is a software testing activity that uses scenarios: hypothetical stories to help the tester work through a complex problem or test system. The ideal scenario test is a credible, complex, compelling or motivating story the outcome of which is easy to evaluate.

API自动化测试与持续集成

Tue, 10 May 2016 14:23:00 +0800

目的

如何使用SuperTest测试框架，进行API测试
如何将API测试与构建工具结合
如何将API测试、构建工具与持续集成结合

Protractor End to End Testing

Thu, 28 Apr 2016 11:06:00 +0800

Protractor

Protractor is an end-to-end test framework for AngularJS applications.
Protractor runs tests against your application running in a real browser, interacting with it as a user would.

是什么

基于Node.js的程序
使用Jasmine测试框架测试接口,针对AngularJS的应用程序
官网： http://angular.github.io/protractor/#/
Github: https://github.com/angular/protractor

功能

模拟真实的用户操作行为
针对AngularJS中的Element不需要做特殊的处理，普通HTML元素也同样支持
智能等待，不需要为页面中的加载和同步显示做特殊的等待时间处理

SuperTestWithGulp

Fri, 15 Apr 2016 15:51:00 +0800

Gulp

Automate and enhance your workflow

用自动化构建工具增强你的工作流程！

官网：http://gulpjs.com/
中文官网：http://www.gulpjs.com.cn/
简体中文文档: https://github.com/lisposter/gulp-docs-zh-cn
安装npm install --global gulp
验证

➜ Downloads gulp -v
[15:59:38] CLI version 3.9.1
[15:59:38] Local version 3.9.1

游戏测试

Sun, 03 Apr 2016 19:50:00 +0800

PS:文档备案，以便以后查看

Http-Header

Mon, 29 Feb 2016 20:14:00 +0800

定义

提供HTTP所需要的信息或发送的信息

HTTP header fields provide required information about the request or response, or about the object sent in the message body.

SuperTest-header:Auth设置

Sun, 28 Feb 2016 21:36:00 +0800

SuperTest

SuperTest-API测试

Auth分类

Basic:基本身份认证，直接采用：用户名密码

基本用法

1
2
3
4
5
6


it('should receive a status code of 200 with login', function(done) {
 request(url)
 .get('/staging')
 .auth('the-username', 'the-password')
 .expect(200, done);
});

Base64加密

1

.set("Authorization", "basic " + new Buffer("username:password").toString("base64"))

Digest:摘要式身份认证

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


request.get('http://some.server.com/').auth('username', 'password', false);
// or
request.get('http://some.server.com/', {
 'auth': {
 'user': 'username',
 'pass': 'password',
 'sendImmediately': false
 }
});
// or
request.get('http://some.server.com/').auth(null, null, true, 'bearerToken');
// or
request.get('http://some.server.com/', {
 'auth': {
 'bearer': 'bearerToken'
 }
});

OAuth Authentication

例子

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


var OAuth = require('openauth');
var request = require('superagent');

require('superagent-openauth')(request);

var oauth = new OAuth(consumerKey, consumerSecret, {...});

request.post('https://api.twitter.com/1.1/statuses/update.json')
 .sign(oauth, token, tokenSecret)
 .type('urlencoded')
 .send({status: 'hello world'})
 .end(function(res) {
 console.log(res.status, res.body);
 });

OAuth 1

1

request.sign(oauth, token, secret);

oauth: OAuth instance token: string access token secret: string access token secret

Gauge学习

Fri, 19 Feb 2016 16:53:00 +0800

之前梳理的Gauge的资料，存放到这里，便于以后使用。

Tricky test scenario

Sat, 30 Jan 2016 18:47:00 +0800

测试`验证码`，收到客户投诉

Scenario

作为普通用户,在用户注册时，可通过获取短信码使用手机号进行注册

功能

用户注册时，需要测试手机号码与获取的短信码是否能正常收到且匹配。
短信验证码由本项目生成,但由第三方来发送
验证码发送是由第三方提供的，无法完全Mock
数据库中会记录收到的短信验证码.

测试策略

测试验证码能否匹配时,用了自己的手机号码来测试.
后面再测试是否匹配时,发现没有手机号码可用,就随机输入了手机号码进行测试,通过查询数据库来获取验证码

Tricky

如上进行了一阵子测试,由于是国内某银行项目,后面就收到了客户投诉: 没有进行任何的操作,便收到了短信验证码

分析

是否每次测试时,都需要通过第三方来发送短信验证码.
仅Mock第三方收到请求,不需要每次都真实的发送短信功能

TIPS

测试中,一定要确保 普通用户 不会收到短信验证码

同样`返回内容`,在不同的浏览器中显示不同

Scenario

作为普通用户,在浏览页面时,可查看到Title显示的内容

功能

需要从第三方系统中获取指定的内容,返回给浏览器,并显示到Title

测试策略

为确保兼容性,使用不同的浏览器进行查看
涉及浏览器: Chrome,FireFox,IE

Tricky

仅Chrome查看正常显示,FireFox/IE查看均会显示部分乱码

分析

返回的内容中有 Unicode 值为15的内容,这个返回值引起的显示乱码

TIPS

在对第三方集成时,一定要先针对所有输入/输出内容均进行字符集处理.确保所用的字符集均一致

同样的`样式`，在同一类浏览器中显示不同

Scenario

作为普通用户，在浏览页面时，可查看到正确的页面显示与布局

功能

在页面布局测试时，需要查看页面的显示与布局的正确性

测试策略

使用浏览器查看页面的显示与布局

Tricky

在测试电脑中，发现页面的布局中的样式有问题（按钮被换行）
在DEV的电脑中完全是好的（使用的同一发布版本进行测试）

分析

浏览器的版本是完全一致
浏览器的 缩放比例 不同，测试电脑的页面被设置为 缩放90%

TIPS

在测试页面的显示和样式时，一定要确保页面 浏览器版本、页面缩放 完全一致

PaaS平台部署后，时间出现`偏差`

Scenario

作为普通用户，在注册新用户时，需要使用获取的验证码在5分钟内进行验证，否则验证码失效

功能

页面前端点击 获取验证码 后，需要在生成验证码5分钟内，进行注册
生成的验证码会存储在 数据库 中
生成验证码是由程序代码生成，有效期的验证是由生成验证码时生成的Createtime和当前时间比较

测试策略

在点击 获取验证码 后，从数据库中查询生成的 验证码
通过查询的验证码，进行用户注册

Tricky

在点击 获取验证码 后，直接去数据库中查询验证码
使用查询获取的验证码，在进行用户注册时，提示验证码已过期(查询与注册的时间操作差，绝对在5分钟内)

分析

此功能在非PaaS平台时完全正常的
部署到Paas平台后，在PaaS平台时，程序代码是部署到一台机器、数据库部署在另外一台机器
验证码的生成时间是由数据库脚本生成，获取的数据库的当前插入时间
验证码有效期验证时，当前时间为从程序代码部署的机器获取当前系统时间
两台部署机器时区设置不一致(程序代码：Asia/Shanghai，数据库:Etc/Zulu)，两个时区相差8小时

TIPS

部署环境时，一定要先确保时间的设置是否会对功能有影响
涉及到时间处理时，一定确保使用的是统一的参考时间

Mock的模块在集成后，Mock相关的`功能出错`

Scenario

作为普通用户，在查看个人账户时，可查看到账户余额

功能

普通用户在查看个人账户时，需要通过系统去查询第三方系统数据
在开发环境中第三方系统无法直接连接进行调试开发，因此提前做了Mock进行开发

测试策略

测试时，正常使用个人账户查询结果

Tricky

在到ST测试环境时，无法正常查询账户余额。数据解析报错

分析

使用Mock返回的数据时，在ST环境可正常查询
但使用第三方真实返回的数据查询时，在ST便会报错
对真实数据进行分析，发现数据结构已与之前Mock的不同

TIPS

针对Mock系统，一定要有对应的测试，确保接口的正确性及数据正确性
针对需要Mock的功能，一定要定期与集成方沟通，确保开发功能、接口变同的同步

特定文件内容无法上传到`生产环境`，其它环境均正常

Scenario

作为注册用户，在个人信息中，可上传文档

功能

注册用户，可使用上传文档功能，上传个人文档
针对上传的文件内容及类型均无限制（由于系统是特定人群使用，所以对文件类型均没有限制），文件大小此处不考虑

测试策略

针对上传文件类型进行测试：txt/exe/pdf/doc等

Tricky

上传txt/html时，若文件以**<**开头时，上传功能在其它环境均可正常使用，但在生产环境则上传会失败

分析

生产环配制有网关，会对文件内容进行过滤
若文件html/js/txt文件中以**<开头时，则会被判断为注入**文件

TIPS

作为测试人员，也要对安全测试常出现的问题进行考虑

参考资料

PAAS：https://en.wikipedia.org/wiki/Platform_as_a_service
时区差：https://en.wikipedia.org/wiki/List_of_tz_database_time_zones
Asia/Shanghai:https://en.wikipedia.org/wiki/Asia/Shanghai
Etc/Zulu:http://www.prokerala.com/travel/timezones/Etc/Zulu
Mock：https://en.wikipedia.org/wiki/MockServer
ST测试：https://en.wikipedia.org/wiki/System_testing
安全测试：http://www.ltesting.net/ceshi/ceshijishu/aqcs/2015/0104/207771.html

SuperTest-API测试

Sun, 17 Jan 2016 19:51:00 +0800

什么是SuperTest

The motivation with this module is to provide a high-level abstraction for testing HTTP, while still allowing you to drop down to the lower-level API provided by super-agent.
简单说明：用来测试HTTP请求，提供简单的super-agent来实现API请求

安装SuperTest

npm安装

官网下载对应的操作系统版本-NPM，下载完成后，直接进行安装即可
cnpm,若翻墙网络比较慢或访问不了的话，可以尝试使用cnpm(国内的镜像)。CNPM

SuperTest安装

npm install supertest --save-dev

grunt安装

npm install -g grunt-cli

使用Grunt来管理和运行SuperTest

Git Clone SuperTestDemo。此项目针对访问的URL的返回状态进行验证。

测试 on Yuanjie-跑步爱好者，IT从业者。

Bug Review

JMeter5.2.1更新内容

主要内容

版本下载

JMeter5.2更新内容

主要内容

提升

版本下载

JMeter历史版本更新内容

JMeter5.1.1更新内容

实时报告和测试报告

JMeter5.1更新内容

核心能力提升

JMeter5.0更新内容

构建Headless 的 E2E 测试

为什么要构建 Headless 的 E2E 测试

Chrome Headless 的选取

JMeter4.0更新内容

重要更新

主要变更

JMeter3.3更新内容

重要变更

主要提升

Responsive测试

Responsive测试

安装Galen

通过NPM安装

检查安装版本galen -v

第一步

创建测试文件，存放于test/step1.test.js

执行测试

第二步

添加多个不同的设备，用于测试兼容性

查看测试结果

第三步 引入gspec文件，来难页面布局

新增specs/home-page.gspec

在测试脚本step3.test.js中添加Layout检查

添加关闭浏览器

添加页面pageObject

第四步 不同分辨率下Layout测试及生成测试报告

不同分辨率测试

生成测试报告

参考

什么是Locust

什么是Locust

分布式测试

分布式运行Locust

编写一个Locust文件

Locust类

task_set属性

min_wait和max_wait属性

Locust快速入门

示例locustfile.py

JMeter3.2更新内容

重要变更

主要提升

JMeter3.1更新内容

提升报告和仪表盘

性能测试-JMeter入门手册

本文目的

目录

说明

JMeter与Docker

JMeter_docker

Layout测试

Galen的特点

PageObject分离E2E测试

PageObject

MAC制作GIF及设置GIF循环播放

工具选择

Espresso入门

Espresso

JMeter与BeanShell的化学反应

JMeter是什么

BeanShell是什么

JMeter-自动生成测试Report

Dashboard Report

性能测试之远程并发模式

性能测试最佳实践之JMeter

为什么要`构建 Headless 的 E2E 测试`

检查安装版本`galen -v`

创建测试文件，存放于`test/step1.test.js`

第三步引入`gspec`文件，来难页面布局

新增`specs/home-page.gspec`

在测试脚本`step3.test.js`中添加Layout检查

添加页面`pageObject`

第四步不同分辨率下Layout测试及生成测试报告

`task_set`属性

`min_wait`和`max_wait`属性

示例`locustfile.py`

安装

测试`验证码`，收到客户投诉

同样`返回内容`,在不同的浏览器中显示不同

同样的`样式`，在同一类浏览器中显示不同

PaaS平台部署后，时间出现`偏差`

Mock的模块在集成后，Mock相关的`功能出错`

特定文件内容无法上传到`生产环境`，其它环境均正常