2019年Web应用安全年度报告.pdf

阿里云安全团队2019年Web应用安全年度报告时间：2020.22019年依然是网络安全事件频发的一年，不仅真实的攻击事件一再上演，规模性的红蓝对抗也愈发激烈。而这其中 Web应用安全相关的问题依然占据非常大的比重，从用户信息泄露到羊毛党的狂欢，无时无刻不在考验着每一个行业每一个 Web应用的安全水位。阿里云安全团队对 2019年 Web应用安全行业的观察及实践进行梳理形成这份报告，希望给安全从业者和企业决策者带来一定的参考。2019 Web应用安全年度报告01前言2019 Web应用安全年度报告02五问201902我们经常在媒体上看到，人们反映茅台酒难抢。茅台酒汹涌抢购现象的背后，“ 软件黄牛党” 的威名已是人尽皆知。面对着功能越发完善、特征越发隐蔽的机器流量，饶是你自认手速天下无敌，到头来在“ 抢购” 这件事上还是要屡战屡败。实际上不止是茅台抢购这一种场景，互联网环境下形形色色的业务，小到公众号文章刷量，中到机票占座、火车票抢票，大到垃圾注册、恶意撞库、内容爬虫，机器流量都在黑灰产攻击链路上承担了举足轻重的位置。2019年的机器流量产业正进一步向着技术垂直化、分工明确化、攻击精细化方向发展。结合过去一年全网机器流量的分析与对抗，我们从技术角度和链路上下游角度总结了一下过去的 2019年机器流量产业结构与趋势：1. 为什么我总抢不到茅台酒真机木马黄网、页游、插件等采集真人操作数据库账号库、身份证库、邮箱库、猫池打码平台（操作类+Ocr类）自动化框架网络指纹特征库（ UAHeader包头等）IP资源提供者业务特征篡改插件 /hook代码改机神器/ 自动化刷机有偿支持协议伪造键 |鼠 |触 |陀操作伪造其他业务逻辑绕过模块浏览器手机模拟器真机设备执行环境层群控平台验证码识别& 通过敏捷开发高并发脚本调用获取调用获取打码支撑映射行为复制& 微小偏移增加设备量os层行为消息驱动请求oror引用底层API驱动定制化浏览器端指纹逆向& 破解driver协议操作驱动驱动驱动操作低成本人工逆向者逆向者请求混拨初级代理VPN秒拨海量IP出口图 2-1-12019 Web应用安全年度报告技术层面，黑灰产从不吝惜于将新兴技术用于攻击，机器流量向着精细化、垂直化方向发展。秒拨/ 混拨技术已经成为国内机器流量产业标配基础设施，全年Bot 流量攻击事件中，94%以上的攻击事件底层有代理/ 秒拨技术支撑，其中5 成以上IP来自于秒拨。“秒拨机” 市场租赁价格由原先的上百元下降至40-50 元，被用于Bot攻击的IP数量大幅提升，IP资源已经不再是黑灰产攻击的成本瓶颈。混拨技术愈发成熟，同时利用4G入网原理进行秒拨的攻击手法开始出现。(一 )、 秒拨/ 混拨技术爆发，IP维度对抗难度陡升得益于浏览器厂商headless技术的发展与driver协议功能的日益成熟，使用driver驱动浏览器/ 模拟器发送机器流量的门槛进一步降低。近5 成攻击者会选择使用此种方式编写机器脚本攻击真实业务。(二 )、 通过driver协议控制真机设备/ 浏览器发起机器流量攻击逐渐成为主流定制化浏览器 /ROM+系统底层行为事件消息模拟的攻击手法，开始被广泛使用于高获利、强对抗场景。同时云真机群控的成熟使得一套群控设备集群可以同时支持多个业务，成本进一步降低。(三 )、 定制化浏览器/ROM+系统底层行为事件消息模拟日益猖獗目前市场上已经有低成本获取批量正常人行为操作的链路。攻击者会与拥有一定流量的网站主( 其中黄色网站、博彩网站、小众页游占据多数) 合作，通过在网站主页面中部署静默采集代码的方式，将批量正常人的操作记录/ 镜像下来，用于攻击其目标页面时重放发出。(四 )、 真人行为操作获取难度进一步降低，开始出现“ 操作镜像” 的产业链路032019 Web应用安全年度报告链路层面，机器流量产业内部上下游分工进一步明确，且拥有了更多的下游产业需求。产业内各个模块进一步解耦，通过 SaaS、 PaaS向下游链路直接提供技术支撑，一方面使得能力复用性大幅得到提升，另一方面也加剧了黑灰产团伙之间的竞争。数据型资源（如证件库、实人信息库、真人操作数据库）和专业技术性资源（如反混淆、反风控咨询）两类成为机器流量产业成本大头，其他硬件资源型（如群控设备、猫池）和通用技术性资源（如验证码打码、改机服务）成本逐步降低。(一 )、 机器流量产业链路分工进一步精细化、模块化，机器流量构造门槛降低机器流量产业中的黑灰产可以专注于技术建设与攻击变异，而下游市场需求的增大使其拥有更多渠道将机器流量变现。就像IP资源成为机器流量产业基础设施一样，机器流量产业本身也已经成为其他黑灰产上下游链路的基础组件。(二 )、 脱销变现链路变短，下游黑灰产市场对机器流量需求变大04海量IP资源定制化浏览器/模拟器打码平台/Ocr识别平台改机框架/反指纹插件通用技术型资源海量IP资源定制化浏览器/模拟器打码平台/Ocr识别平台改机框架/反指纹插件通用技术型资源反混淆破解反分控咨询特征伪造攻击定制专业型资源实人资源行为操作资源社工库账号库数据型资源SaaSPaaS按需采购技术打包收费软件回流补充技术采购有偿提供分布式数据采集线下渠道or线上社区/群大中型技术团伙分布式软件作者散户 散户散户 散户散户 散户羊毛脱销渠道二三级市场业务黑灰产链路消耗竞对资源威胁/恐吓数据黑市账号脱销渠道影响脱销渠道数据脱销渠道图 2-1-22019 Web应用安全年度报告052019年的各种演练和重点活动保障，是对各个甲方机构综合防护能力以及各个安全公司攻防水平的有效检验。在这个过程中，有攻击方0day攻城略地的摧枯拉朽和防御方关机拔网线的无赖，也有防御方铁板一块一分不丢和攻击方的一声叹息无奈放弃。不管你是防御方还是攻击方，相信如果再来一次重要活动保障，你一定可以吸取经验做得更好。这里根据我们的经验分享一下攻击视角和防御视角下Web 服务这一块在类似重要活动保障中如何进行防御。安全演练或者重要活动保障过程中攻击者会做信息收集和资产识别，如果做不好，可能最后攻下来的目标根本不是正确的目标（有真实案例发生）。Web 应用作为门户或内部应用系统，从Web 页面内容、证书、DNS等维度都非常容易识别是归属于哪个企业/ 机构。2. 重要活动保障我该如何准备？随着机器流量对抗不断升级，小白玩家/ 工具小子需要支付更多的成本用于技术攻坚/ 咨询，逐渐被淘汰，开始通过铺量的方式向那些没有anti-bot 能力的业务大量发起攻击；拥有专业技能，尤其是有丰富风控对抗经验的黑灰产开始在产业中占据核心位置。(三 )、 技术专业型黑产开始逐渐淘汰小白玩家，占据机器流量市场核心链路预攻击阶段信息收集，资产识别：Web应用针对攻击者的意义当攻击者收集到足够的信息并识别资产指纹后会进入到攻击阶段，对Web 应用做漏洞探测、漏洞利用、上传webshell 、翻找各种配置文件和数据库、提权获取系统权限等操作，可以获取更多信息为后续横向移动做准备。攻击阶段敲门砖和跳板：攻击过程中，如果防守过于严格，例如发现攻击行为封禁IP一段时间，此时攻击者甚至会在深夜防守方困倦的时候故意骚扰，当防御方意识到这是故意骚扰慢慢松懈下来时，此时攻击方会将真正的攻击行为隐藏在此类扫描行为中，做到在虚张声势中暗度陈仓。当攻击者通过已公开漏洞或者手法无法攻陷目标Web 应用系统之后，如果这是非常核心的系统，攻击方也可能会针对该应用做代码审计或者漏洞挖掘，从而得到一些未公开的0day并加以利用。2019 Web应用安全年度报告06针对攻击者的信息收集，可以做这些来减少信息泄露风险：防守方如何防御使用CDN/WAF等网络或者安全产品隐藏域名真实源站IP，并做好源站IP访问控制；管理后台和门户内容站点分离，在相同域名下则需要通过ACL 做好后台的访问控制；对外提供的顶级域名尽可能独立，内部系统不要和外部应用使用相同的顶级域名，防止攻击者通过DNS爆破等手段获取到内部系统的DNS记录信息；内部系统不开放在公网，使用内网DNS提供域名解析服务，使用VPN等方式接入内网后登陆；证书不要使用包含内部域名的多域名证书，防止证书带来的域名信息泄露，减少攻击面。图 2-2-1：上图只是展示多域名证书的例子，并未存在上述内网域名暴露风险CCC12019 Web应用安全年度报告07针对攻击者的攻击阶段，可以做到这些：针对攻击者的批量漏洞扫描和故意袭扰行为，采用自动封禁的方式做到攻击处置自动化，并结合情报做到协同防御；针对攻击者使用已知漏洞进行攻击的行为，配置严格的WAF 规则和策略；针对攻击者进行0day漏洞攻击，我们的解决办法是采用白名单基线的方式进行防护，即事先对重要系统建立一套合法的流量基线，例如参数的类型（比如整型、字符串、字符集范围）、长度范围等手段，一旦某字段有异常输入即可告警或者拦截，此方法已经被阿里云WAF 成功在某重保活动发现并防护某java 框架的0day漏洞。漏洞扫描器自动化工具爬虫 羊毛党 逻辑漏洞 账号安全 CC攻击WAF业务安全Web安全站点拒绝服务主动防御正则深度第三层第二层第一层防扫描图 2-2-2：关于各层WAF防护能力的具体的配置可以参考 yq.aliyun/articles/71117322019 Web应用安全年度报告08对 WAF或者任何安全产品来讲，都离不开两个核心指标，漏报率和误报率。漏报低代表着防护效果好，误报率低则是为了将对正常业务的影响降到最低。那这里就有两个问题，最理想的漏报和误报状态是什么？为了达到或者接近这样的目标，我们需要做些什么？对于漏报最理想的状态，我们认为一定是针对每个用户的业务都能够防住所有攻击并且不产生误报干扰正常业务。要达到或者说接近这种理想状态，现有的防护机制最大问题是什么？是一套通用防护机制已经不适用于越来越多样化和复杂的客户业务场景，防护机制未来应该是针对不同用户业务场景能够自动适应并调整防护策略，类似于淘宝的“ 千人千面” 推荐，未来安全也是“ 千人千面” ，在有通用防护策略的基础上，每个用户还要有适合自己业务的定制的安全策略。道理我懂了，但是定制需要了解业务，需要专业安全人员，我都没有怎么办？阿里云WAF 在此基础上做了如下尝试：3. 如何在降低误漏报的路上越走越远？主动防御每个域名的合法流量基线，具备不合法即拦截能力输出每个域名的流量中不合流量法火种计划使用主动防御不合法流量，从异常中发现漏报使用合法指纹流量从异常中发现误报运营产生有效的误漏报请求和 payloadWAF蓝军使用火种计划发现的误报漏报产出，二次FUZZ和变形扩展，产出更多的有效payload深度学习，正侧深度学习使用蓝军产出的样本再次训练模型提升防护效果正则通过蓝军产生的样本完善规则图 2-3-1：主动防御，深度学习以及正则为开放出来的产品能力，火种计划和WAF蓝军为内部项目。3通过机器学习模型对每个用户的域名建立合法流量基线，学习用户的URL结构，参数类型和长度等合法流量信息，具备全局或者指定URL进行非白即拦截能力，同时产出不符合流量基线的非法流量提供给火种计划做进一步分析；火种计划通过对异常流量建模，学习出异常值高的流量并加以运营，得到单个有效的漏报请求和payload；误报方面则使用多种合法可信流量指纹来建模，加以运营产出误报的请求和payload。WAF蓝军计划则用这些得到的误报和漏报请求样本进行扩展和变形后再次对WAF 进行FUZZ ，以得到更多的误漏报请求和payload。深度学习和正则引擎则使用蓝军的样本作为输入，分别完善模型和正则规则，对WAF 的通用防护能力进行提升。2019 Web应用安全年度报告09攻击流量 非法流量 所有流量图 2-3-2图 2-3-3