Sentry 开发者贡献指南 - 测试技巧

简介: Sentry 开发者贡献指南 - 测试技巧

获取设置



验收和 python 测试需要一组有效的 devservices。建议使用 devservices 来确保所需要的服务正在运行。如果您还使用本地环境进行本地测试,您将需要使用 --project 标志将本地测试卷与测试套件卷分开:


# 关闭本地测试服务。
sentry devservices down
# 打开带有 test 前缀的服务以使用单独的容器和卷
sentry devservices up --project test
# 验证测试容器是否正确出现
docker ps --format '{{.Names}}'
# 稍后当您完成运行测试并想再次运行本地服务器时
sentry devservices down --project test && sentry devservices up


使用 --project 选项时,您可以确认哪些容器正在运行 docker ps。每个正在运行的容器都应该以 test_ 为前缀。有关管理服务的更多信息,请参阅 devservices docs 部分。


Python 测试



对于 python 测试,我们使用 pytest 和 Django 提供的测试工具。在此基础之上,我们添加了一些基本测试用例(在 sentry.testutils.cases 中)。

端点集成测试是我们大部分测试套件的重点所在。这些测试帮助我们确保我们的 customersintegrations 和前端应用程序的 API 继续以预期的方式工作。您应该努力包含涵盖各种用户角色、跨组织/团队访问场景以及无效数据场景的测试,因为这些在手动测试时经常被忽略。


运行 pytest


您可以根据更改的范围使用 pytest 运行单个目录单个文件单个测试


# 对整个目录运行测试
pytest tests/sentry/api/endpoints/
# 对目录中匹配模式的所有文件运行测试
pytest tests/sentry/api/endpoints/test_organization_*.py
# 从单个文件运行测试
pytest tests/sentry/api/endpoints/test_organization_group_index.py
# 运行单个测试
pytest tests/snuba/api/endpoints/test_organization_events_distribution.py::OrganizationEventsDistributionEndpointTest::test_this_thing
# 在匹配子字符串的文件中运行所有测试
pytest tests/snuba/api/endpoints/test_organization_events_distribution.py -k method_name


pytest 的一些常用选项是:

  • -k 通过子字符串过滤测试方法/类
  • -s 在运行测试时不要捕获标准输出。

有关更多使用选项,请参阅 pytest 文档。


在测试中创建数据


Sentry 还添加了一套 factory 辅助方法,可帮助您构建数据以针对其编写测试。 sentry.testutils.factories 中的工厂方法可用于我们所有的测试套件类。使用这些方法来建立所需的组织项目和其他基于 postgres 的状态。


您还应该使用 store_event() 以类似于应用程序在生产中所做的方式存储事件。存储事件需要您的测试继承自 SnubaTestCase。使用 store_event() 时,请注意在事件上设置过去timestamp。省略时,timestamp 将使用 'now',这可能会导致由于 timestamp 边界而无法选择事件。


from sentry.testutils.helpers.datetime import before_now
from sentry.utils.samples import load_data
def test_query(self):
    data = load_data("python", timestamp=before_now(minutes=1))
    event = self.store_event(data, project_id=self.project.id)


设置选项和功能标志


如果您的测试是针对带有功能标记的端点,或者需要设置特定选项。您可以使用辅助方法将配置数据更改为正确的状态:


def test_success(self):
    with self.feature('organization:new-thing'):
        with self.options({'option': 'value'}):
            # Run test logic with features and options set.
    # Disable the new-thing feature.
    with self.feature({'organization:new-thing': False}):
        # Run you logic with a feature off.


外部服务


使用 responses 库为您的代码发出的出站 API 请求添加存根响应。这将帮助您相对轻松地模拟成功和失败的场景。


可靠地使用时间


在编写与摄取事件相关的测试时,我们必须在事件的约束内操作不能超过 30 天。因为所有事件都必须是最近的,所以我们不能使用传统的时间冻结策略在测试中获得一致的数据。我们不是选择任意的时间点,而是从现在开始向后工作,并且有一些辅助函数可以这样做:


from sentry.testutils.helpers.datetime import before_now, iso_format
five_min_ago = before_now(minutes=5)
iso_timestamp = iso_format(five_min_ago)


这些函数生成 datetime 对象,以及相对于当前的 ISO 8601 格式的 datetime 字符串, 使您能够在已知时间偏移处拥有事件,而不会违反 relay 强加的 30 天限制。


在测试中检查 SQL 查询


将以下内容添加到项目根目录中的 conftest.py 中:


import itertools
from django.conf import settings
from django.db import connection, connections, reset_queries
from django.template import Template, Context
@pytest.fixture(scope="function", autouse=True)
def log_sql():
    reset_queries()
    settings.DEBUG = True
    yield
    time = sum([float(q["time"]) for q in connection.queries])
    t = Template(
        "{% for sql in sqllog %}{{sql.sql|safe}}{% if not forloop.last %}\n\n{% endif %}{% endfor %}"
    )
    queries = list(itertools.chain.from_iterable([conn.queries for conn in connections.all()]))
    log = t.render(Context({"sqllog": queries, "count": len(queries), "time": time}))
    print(log)


现在,在测试期间执行的所有 SQL 都将打印到标准输出。建议使用 pytest-k 选择器缩小输出范围。另请注意,您需要通过 -s 来查看标准输出。


验收测试



我们的验收测试利用 seleniumchromedriver 来模拟用户使用前端应用程序和整个后端堆栈。我们在 Sentry 使用验收测试有两个目的:

  1. 涵盖仅通过端点测试或仅使用 Jest 无法涵盖的工作流程。
  2. 通过我们的视觉回归 GitHub Actions 为视觉回归测试准备快照。

验收测试可以在 tests/acceptance 中找到,并使用 pytest 在本地运行。


运行验收测试


当您运行验收测试时,webpack 将自动运行以构建静态资资源。如果您在创建或修改验收测试时更改 Javascript 文件, 则每次更改后都需要 rm .webpack.meta 以触发静态资源的重建。


# 运行单个验收测试。
pytest tests/acceptance/test_organization_group_index.py \
    -k test_with_onboarding
# 运行带有头的浏览器,以便您可以观看它。
pytest tests/acceptance/test_organization_group_index.py \
    --no-headless=true \
    -k test_with_onboarding
# 打开每个 snapshot image
SENTRY_SCREENSHOT=1 VISUAL_SNAPSHOT_ENABLE=1 \
    pytest tests/acceptance/test_organization_group_index.py \
    -k test_with_onboarding


如果您看到:

WARNING: Failed to gather log types: Message: unknown > command: Cannot call non W3C standard command while in W3C mode

则表示 Webpack 未正确编译资源。


定位元素


因为我们使用 emotion,所以我们的类名通常对浏览器自动化没有用。相反,我们自由地使用 data-test-id 属性来定义浏览器自动化和 Jest 测试的 hook 点。


处理异步动作


我们所有的数据都异步加载到前端,验收测试需要考虑各种延迟和响应时间。我们倾向于使用 seleniumwait_until* 特性来轮询 DOM,直到元素出现或可见。我们不使用 sleep()


视觉回归


像素很重要,因此我们使用视觉回归来帮助捕捉 Sentry 渲染方式的意外变化。在验收测试期间,我们捕获屏幕截图并将您的拉取请求中的屏幕截图与批准的基线进行比较。

虽然我们对视觉回归有相当广泛的覆盖,但仍有一些重要的盲点:


  • 悬停(Hover)卡片与悬停状态
  • 模态窗口
  • 图表和数据可视化

所有这些组件和交互通常不包含在可视化快照中,您在处理其中任何一个时都应该小心。


处理不断变化的数据


因为视觉回归比较图像快照,而且我们数据的很大一部分处理时间序列数据, 所以我们经常需要用 'fixed' 数据替换基于时间的内容。您可以使用 getDynamicText 帮助程序为依赖于当前时间或变化 过于频繁而无法包含在可视快照中的组件/数据提供固定内容。


Jest 测试



我们的 Jest 套件涵盖为前端组件提供功能和单元测试。我们更喜欢编写与组件交互并观察结果(导航、API 调用)的功能测试, 而不是检查 prop 传递和 state 突变。请参阅 Frontend Handbook 了解更多 Jest 测试技巧。


# Run jest in interactive mode
yarn test
# Run a single test
yarn test tests/js/spec/views/issueList/overview.spec.js


API Fixtures


因为我们的 Jest 测试在没有 API 的情况下运行, 所以我们有各种 fixture 构建器可用于帮助生成 API 响应有效负载。 TestStubs 全局包括 tests/js/sentry-test/fixtures/ 中的所有 fixture 函数。

您还应该使用 MockApiClient.addMockResponse() 来设置您的组件将进行的 API 调用的响应。未能模拟端点将导致测试失败。


CI 中的 Kafka 测试


Snuba 测试套件 (.github/workflows/snuba-integration-test.yml) 是唯一真正让 KafkaCI 中运行的测试套件。如果您有一个需要 Kafka 运行的测试,那么这些测试需要嵌套在 Snuba 测试文件夹 (tests/snuba/) 下。如果不这样做,您的测试将超时并在 GH actions 中被取消。

相关文章
|
7月前
|
人工智能 自然语言处理 安全
【AI 现况分析】AI 如何帮助开发者完成自动化测试
【1月更文挑战第27天】【AI 现况分析】AI 如何帮助开发者完成自动化测试
|
3月前
|
设计模式 SQL 安全
PHP中的设计模式:单例模式的深入探索与实践在PHP的编程实践中,设计模式是解决常见软件设计问题的最佳实践。单例模式作为设计模式中的一种,确保一个类只有一个实例,并提供全局访问点,广泛应用于配置管理、日志记录和测试框架等场景。本文将深入探讨单例模式的原理、实现方式及其在PHP中的应用,帮助开发者更好地理解和运用这一设计模式。
在PHP开发中,单例模式通过确保类仅有一个实例并提供一个全局访问点,有效管理和访问共享资源。本文详细介绍了单例模式的概念、PHP实现方式及应用场景,并通过具体代码示例展示如何在PHP中实现单例模式以及如何在实际项目中正确使用它来优化代码结构和性能。
55 2
|
4月前
|
JavaScript 前端开发 测试技术
Vue.js开发者必看!Vue Test Utils携手端到端测试,打造无懈可击的应用体验,引领前端测试新风尚!
【8月更文挑战第30天】随着Vue.js的普及,构建可靠的Vue应用至关重要。测试不仅能确保应用质量,还能提升开发效率。Vue Test Utils作为官方测试库,方便进行单元测试,而结合端到端(E2E)测试,则能构建全面的测试体系,保障应用稳定性。本文将带你深入了解如何使用Vue Test Utils进行单元测试,通过具体示例展示如何测试组件行为;并通过Cypress进行E2E测试,确保整个应用流程的正确性。无论是单元测试还是E2E测试,都能显著提高Vue应用的质量,让你更加自信地交付高质量的应用。
83 0
|
6月前
|
IDE 测试技术 持续交付
Python作为一种简洁、易读且功能强大的编程语言,其自动化测试和单元测试框架的丰富性和易用性为开发者提供了极大的便利
【6月更文挑战第10天】本文探讨了Python自动化测试与单元测试框架在提升代码质量和效率中的作用。Selenium、Appium和pytest是常用的自动化测试框架,分别支持Web和移动应用的测试。unittest是Python的标准单元测试框架,提供断言方法和测试组织结构。通过制定测试计划、编写高质量测试用例、持续集成与测试、以及有效利用测试报告,开发者能提高代码质量和开发效率。
55 1
|
机器学习/深度学习 人工智能 测试技术
软件测试/人工智能|GitHub Copilot:开发者新利器
软件测试/人工智能|GitHub Copilot:开发者新利器
|
JavaScript 数据库 开发者
(简易)测试数据构造平台:30 - 开发者入驻
(简易)测试数据构造平台:30 - 开发者入驻
|
SQL 分布式计算 druid
2021 年数据库报告:PostgreSQL 成开发者首选 | Benchmark 测试陷“混战”
2021 年数据库报告:PostgreSQL 成开发者首选 | Benchmark 测试陷“混战”
279 0
2021 年数据库报告:PostgreSQL 成开发者首选 | Benchmark 测试陷“混战”
|
Web App开发 资源调度 测试技术
Sentry 开发者贡献指南 - 浏览器 SDK 集成测试
Sentry 开发者贡献指南 - 浏览器 SDK 集成测试
137 0
Sentry 开发者贡献指南 - 浏览器 SDK 集成测试
|
JavaScript 前端开发 测试技术
Sentry 开发者贡献指南 - JavaScript SDK Minimal
Sentry 开发者贡献指南 - JavaScript SDK Minimal
148 0
|
存储 JavaScript 前端开发
Sentry 开发者贡献指南 - 什么是 Scope, 什么是 Hub?
Sentry 开发者贡献指南 - 什么是 Scope, 什么是 Hub?
227 0