Java质量安全规约来源于规范里的单元测试和安全规约两部分,这两部分一直没有得到应有的重视,尤其感觉单元测试越来越被忽视(因为直接通过Web请求测试貌似更加方便),但为了让代码健壮性更强,还是需要有的,安全规约更不必说,在数据安全被特别重视的时代,这部分尤为重要。红色加粗字体为自己可能会犯的错误以及不规范的地方,蓝色结论部分为几条规则的归纳或一条规则的阐述。
单元测试
单元测试还可以阅读我之前写过的一篇单元测试最佳实践:【C#编程最佳实践 一】单元测试实践。
1 【强制】好的单元测试必须遵守 AIR 原则。
说明:单元测试在线上运行时,感觉像空气(AIR)一样感觉不到,但在测试质量的保障上,却是非常关键的。好的单元测试宏观上来说,具有自动化、独立性、可重复执行的特点。
- A:Automatic(自动化)
- I:Independent(独立性)
- R:Repeatable(可重复)
2 【强制】单元测试应该是全自动执行的,并且非交互式的。测试用例通常是被定期执行的,执行过程必须完全自动化才有意义。输出结果需要人工检查的测试不是一个好的单元测试。单元测试中不准使用 System.out 来进行人肉验证,必须使用 assert 来验证。自动化
3【强制】保持单元测试的独立性。为了保证单元测试稳定可靠且便于维护,单元测试用例之间决不能互相调用,也不能依赖执行的先后次序。独立性
- 反例:method2 需要依赖 method1 的执行,将执行结果作为 method2 的输入。
4【强制】单元测试是可以重复执行的,不能受到外界环境的影响。可重复
- 说明:单元测试通常会被放到持续集成中,每次有代码 check in 时单元测试都会被执行。如果单测对外部环境(网络、服务、中间件等)有依赖,容易导致持续集成机制的不可用。个人容易出现不规范行为
- 正例:为了不受外界环境影响,要求设计代码时就把 SUT 的依赖改成注入,在测试时用 spring 这样的 DI框架注入一个本地(内存)实现或者 Mock 实现。
- 说明:测试的对象一般称之为SUT(Software Under Test),MOCK实现
5 【强制】对于单元测试,要保证测试粒度足够小,有助于精确定位问题。单测粒度至多是类级别,一般是方法级别。
- 说明:只有测试粒度小才能在出错时尽快定位到出错位置。单测不负责检查跨类或者跨系统的交互逻辑,那是集成测试的领域。
6 【强制】核心业务、核心应用、核心模块的增量代码确保单元测试通过。
- 说明:新增代码及时补充单元测试,如果新增代码影响了原有单元测试,请及时修正。
7【强制】单元测试代码必须写在如下工程目录:src/test/java
,不允许写在业务代码目录下。
- 说明:源码编译时会跳过此目录,而单元测试框架默认是扫描此目录。
8 【推荐】单元测试的基本目标:语句覆盖率达到 70%;核心模块的语句覆盖率和分支覆盖率都要达到 100%
- 说明:在工程规约的应用分层中提到的 DAO 层,Manager 层,可重用度高的 Service,都应该进行单元测试,
9 【推荐】编写单元测试代码遵守 BCDE 原则,以保证被测试模块的交付质量。
- B:Border,边界值测试,包括循环边界、特殊取值、特殊时间点、数据顺序等。
- C:Correct,正确的输入,并得到预期的结果。
- D:Design,与设计文档相结合,来编写单元测试。
- E:Error,强制错误信息输入(如:非法数据、异常流程、业务允许外等),并得到预期的结果。
10【推荐】对于数据库相关的查询,更新,删除等操作,不能假设数据库里的数据是存在的,或者直接操作数据库把数据插入进去,请使用程序插入或者导入数据的方式来准备数据。个人容易出现不规范行为
- 反例:删除某一行数据的单元测试,在数据库中,先直接手动增加一行作为删除目标,但是这一行新增数据并不符合业务插入规则,导致测试结果异常。
11【推荐】和数据库相关的单元测试,可以设定自动回滚机制,不给数据库造成脏数据。或者对单元测试产生的数据有明确的前后缀标识。个人容易出现不规范行为
- 正例:在阿里巴巴企业智能事业部的内部单元测试中,使用
ENTERPRISE_INTELLIGENCE _UNIT_TEST_
的前缀来标识单元测试相关代码。
12【推荐】对于不可测的代码在适当的时机做必要的重构,使代码变得可测,避免为了达到测试要求而书写不规范测试代码。
13【推荐】在设计评审阶段,开发人员需要和测试人员一起确定单元测试范围,单元测试最好覆盖所有测试用例(UC)。
14【推荐】单元测试作为一种质量保障手段,在项目提测前完成单元测试,不建议项目发布后补充单元测试用例。个人容易出现不规范行为
15【参考】为了更方便地进行单元测试,业务代码应避免以下情况:
- 构造方法中做的事情过多。
- 存在过多的全局变量和静态方法。
- 存在过多的外部依赖。
- 存在过多的条件语句。
说明:多层条件语句建议使用卫语句、策略模式、状态模式等方式重构。
16.【参考】不要对单元测试存在如下误解:
- 那是测试同学干的事情。本文是开发手册,凡是本文内容都是与开发同学强相关的。
- 单元测试代码是多余的。系统的整体功能与各单元部件的测试正常与否是强相关的。
- 单元测试代码不需要维护。一年半载后,那么单元测试几乎处于废弃状态。
- 单元测试与线上故障没有辩证关系。好的单元测试能够最大限度地规避线上故障
安全规约
1【强制】隶属于用户个人的页面或者功能必须进行权限控制校验。个人容易出现不规范行为
- 说明:防止没有做水平权限校验就可随意访问、修改、删除别人的数据,比如查看他人的私信内容。
2【强制】用户敏感数据禁止直接展示,必须对展示数据进行脱敏。个人容易出现不规范行为
- 说明:中国大陆个人手机号码显示:139****1219,隐藏中间 4 位,防止隐私泄露。
3【强制】用户输入的 SQL 参数严格使用参数绑定或者 METADATA 字段值限定,防止 SQL 注入,禁止字符串拼接 SQL 访问数据库。
- 反例:某系统签名大量被恶意修改,即是因为对于危险字符 # --没有进行转义,导致数据库更新时,where后边的信息被注释掉,对全库进行更新。
4 【强制】用户请求传入的任何参数必须做有效性验证。说明:忽略参数校验可能导致:
- page size 过大导致内存溢出
- 恶意 order by 导致数据库慢查询
- 缓存击穿
- SSRF:服务器端请求伪造
- 任意重定向
- SQL 注入,Shell 注入,反序列化注入
- 正则输入源串拒绝服务 ReDoS
Java 代码用正则来验证客户端的输入,有些正则写法验证普通用户输入没有问题,但是如果攻击人员使用的是特殊构造的字符串来验证,有可能导致死循环的结果。
5【强制】禁止向 HTML 页面输出未经安全过滤或未正确转义的用户数据。
6【强制】表单、AJAX 提交必须执行 CSRF 安全验证。
- 说明:CSRF(Cross-site request forgery)跨站请求伪造是一类常见编程漏洞。对于存在 CSRF 漏洞的应用/网站,攻击者可以事先构造好 URL,只要受害者用户一访问,后台便在用户不知情的情况下对数据库中用户参数进行相应修改。
7 【强制】URL 外部重定向传入的目标地址必须执行白名单过滤
8【强制】在使用平台资源,譬如短信、邮件、电话、下单、支付,必须实现正确的防重放的机制,如数量限制、疲劳度控制、验证码校验,避免被滥刷而导致资损。
- 说明:如注册时发送验证码到手机,如果没有限制次数和频率,那么可以利用此功能骚扰到其它用户,并造成短信平台资源浪费。
9 【推荐】发贴、评论、发送即时消息等用户生成内容的场景必须实现防刷、文本内容违禁词过滤等风控策略
总结一下
单元测试很重要,经历过的不同的公司,不同的人都在强调这一点,说明很多人在这上边吃过亏。但是其实写好单元测试很难,很难保证:自动化、独立和可重复?保证了有难度,保证不了又不如不写。单测又不和业务主逻辑挂钩,如果发挥不了作用大多数人其实是不太愿意写的,因为实现AIR很难,实现的又不是很好,发挥不了大作用所以就觉得写了没意义,纯是形式。事实上单测很重要,要想容易写,就得有辅助方法,例如明确单测的边界,不要跨类,粒度要细,通过Mock去模拟难以实现的依赖等,让单测容易写,容易实现AIR,那么程序员有了正反馈,就会愿意写单测发挥其应有的价值,应该是这么个循环。再说到安全:权限是重中之重啊,是系统的大门;SQL注入是一个大隐患需要注意;用户数据敏感需要保护;怎么说呢,当一个功能上线时,不管要的多急吧,这些基础设施都应该打好了,否则无论是补bug还是修数据都应该是很痛苦的一件事,把这些排期排进去!