2018年1-6月中国市场数字广告无效流量白皮书.pdf

中国市场数字广告无效流量白皮书Vol V 2018年 1-6月?简 介数据说明主要结论重点分析的无效流量类型和应对策略分析与发现总 结1223611AdMaster中国市场数字广告无效流量白皮书第五部1AdMaster数字广告无效流量白皮书第五部，数据时间 2018年1月1日 至 2018年6月30日截至 2018 年年中，广告透明度、无效流量和品牌安全的问题已经获得了行业各方的共同关注。诸多行业机构、第三方监测公司、品牌与代理机构均推出各项举措，致力于解决广告可见度、广告欺诈和网络语境下品牌安全等行业难题。在中国数字广告市场上，无效流量是亟需解决的问题，这关乎行业诚信和广告主的品牌安全。要解决这一问题，首先需要行业达成共识，统一测量方法及监测标准，其次要联合多方力量共同行动，为数字广告行业带来实质性的建树和改革。每一方都在各司其责。 AdMaster 作为行业领先的第三方数据技术公司，坚持三年持续进行全面的无效流量分析研究。从 2016 年开始，发布每半年无效流量白皮书，揭示 GIVT 、 SIVT 方面的广告欺诈现状，并提供应对策略和技术手段，推进广告反欺诈生态的良性发展。本次，AdMaster 监测并分析了 2018 年上半年超过 1000 家广告主企业的流量数据，发布中国市场数字广告无效流量白皮书（第五部），旨在通过这样一份周期性的“体检报告”，持续让广告主和全行业关注并了解国内数字营销市场无效流量的现状。同时，在过去几年中， AdMaster 在广告反欺诈技术上投入了大量的研发资源，针对不同的流量造假方式，AdMaster 先后推出了定投识别 VOA、监播实录 SNAP等技术产品，逐步建立了“全方位、深层次、多角度、跨平台”的广告反欺诈解决方案。尤其在程序化购买中， AdMaster 在投放前预判 Pre-bid，即事前广告反欺诈技术，能够在流量请求、广告未展现时，根据历史流量质量进行排查，从而提前避免广告在无效流量上的投放。 一直以来，AdMaster 坚持遵循媒体评估委员会 MRC、中国媒体评估委员会 CMAC和中国无线营销联盟 MMA等公认的行业标准，提升采集、处理运算和分析广告曝光、点击、受众测量、相关可见性数据统计和常规无效流量 GIVT和复杂无效流量 SIVT验证的方法论，为品牌主的利益保驾护航。无效流量的问题不仅对广告主来说十分严峻，媒体也成为其受害者。无效流量的侵入导致了媒体流量质量的下降，效果测量、受众分析的结果均受到影响。所幸过去半年，我们很欣慰地看到无效流量的状况在朝着正确的方向发展。未来，与全球趋势一致，中国市场必然将有更多广告主关注 SIVT 及其他广告质量评估标准，如广告可见性 Viewability和品牌安全 Brand Safety等。利用先进技术 + 统一标准规范的双重硬性指标，AdMaster 为推动我国互联网生态圈的可持续发展贡献着自己的力量。但与此同时，在应对无效流量的持久战中，除了第三方监测公司需要不断通过技术升级，提升精准甄别无效流量能力外，同样离不开包括广告主、代理公司、媒体等市场参与者共同努力。 AdMaster 坚持联合行业内的先行企业和组织，呼吁数字营销生态的各方，提高数字营销透明度，为行业生态的良性发展添砖加瓦。AdMaster 首席执行官 陈传洽 Calvin Chan2AdMaster数字广告无效流量白皮书第五部，数据时间 2018年1月1日 至 2018年6月30日数据说明AdMaster无效流量白皮书（第五部）研究范围： 2018 年 1 月 1 日至 2018 年 6 月 30 日期间 AdMaster 执行监测的数字广告项目，总计覆盖超过 1000 家广告主企业，涵盖快消、母婴、汽车、金融、互联网等各个行业。同时，AdMaster 遵从 MRC、 CMAC、 MMA 等国际及行业标准，坚持按照 MMA 中国的 SDK 标准进行数据采集，并对媒体按照标准回传的设备 ID 数据进行监测，以确保广告效果评估的最大化。主要结论年上半年平均无效流量占比 28.8%，同比 2017 年上半年无效流量的占比 29.6% 和 2016 年上半年无效流量的占比 30.4%，逐年小幅下降。从媒体类型来看，垂直媒体无效流量占比持续相对最高，网盟紧随其后。同比 2017 年上半年各媒体无 效流量占比均有所下降。女性、母婴、汽车无效流量占比较高，稳定在前三位置。除了汽车类垂直媒体 无效流量占比有所上升外，其他垂直媒体细分无效流量占比均有所下降。从行业细分来看，汽车行业无效流量状况不乐观，占比逐年上升直逼快速消费品行业。同比 2017 年上半年，除汽车外，其他各行业细分无效流量占比均下降。从平台来看， PC 端依然为无效流量重灾区，占比最高，同比 2017 年上半年同期，各平台占比均实现下降。随着智能电视（CTV）广告越来越成熟及普及，无效流量情况也随着广告投放量的上升而出现。但与此同时，越来越多的设备厂商和媒体平台对第三方监测持开放的态度，愿意接受C2S（ Cli-ent-to-Server） API 方式进行监测，让 CTV 广告监测采集更加标准化。通过 C2S API 方式监测的 CTV 流量中，2018 年上半年 CTV 无效流量占比达 8.92%。年全年广告监测数据统计显示，媒体整体设备 ID 回传率为 91.9%，正确率为98.9%，其中 OTV 类型媒体设备 ID 的正确率为 99.8%，比 2017 年的 91.9% 有较大改善，信息流类型媒体设备 ID 的正确率为 96.4%，也比 2017 年的 92.5% 有所上升。另外，DSP 和 Banner 的正确率分别为 94.8% 和97.1%。1234567 2018 2018从垂直媒体细分类型来看，白皮书重点关注以下几种类型的无效流量1. 广告可见性问题引发的低质量流量广告可见性与无效流量密不可分。目前，国内已经出台了统一的可见性标准，这些标准既参考了国际上公认的 MRC（ Media Rating Council）的标准，同时针对中国国情，从实践和落实的角度进行了修订。该标准规定可见曝光的标准，要求广告可见面积超过 50%，且持续时间超过一定时长，展示广告为连续 1 秒，视频广告则为连续 2 秒。可见曝光的概念和衡量标准在美国、欧洲和澳大利亚等成熟市场已经实现了标准化，甚至广告交易标准。早在 2014 年，美国 MRC（媒体评级委员会 Media Rating Council）联合 IAB（美国互动广告局 Interac-tive Advertising Bureau）共同发布了数字广告可见度衡量标准；随后的 2015 年， MRC 针对移动展示和视频广告可见性的衡量标准给出临时指导文件，并于一年后最终确认。目前，针对 PC 和移动端广告可见性的衡量方法已被很多市场接受，并得到了主要行业组织的支持。但在中国市场“可见曝光”的执行还没有落地， AdMaster 将携手行业内的合作伙伴一起推动该标准的落地。目前，已经有品牌广告主启动了与 AdMaster 的合作，基于广告可见性的衡量标准进行效果监测。2. GIVT 常规无效流量进一步分为非人类流量（机器人和爬虫等）和非法或不合理的人类流量，作假相对容易，比如机器人在固定的 IP 地址不断刷量，识别也相对容易。AdMaster 数据显示，2018 年上半年，国内数字广告 GIVT 平均占比 2.1%，其中 PC 端占比 1.9%，移动端占比 2.7%， OTT 占比达到 0.7%。3AdMaster数字广告无效流量白皮书第五部，数据时间 2018年1月1日 至 2018年6月30日AdMaster 的报告中 GIVT 数据指标包括以下几类：爬虫流量：爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。正常搜索引擎在浏览器用户代理中会有明确的声明。可以通过识别用户代理中爬虫信息标识判断。UA 非法：用户代理信息存在异常点，例如 UA 信息缺失、浏览器流量 UA 是非法格式、或者参数冲突等。预加载：为了提升页面打开速度优化用户体验，预先载入网页的资源来提升网页载入速度，同时加载了监测代码的流量。服务器数据中心：来自服务器机房流量。通过与服务器 IP 地址库对比得出。被客户标记的无效 IP：客户或者内部人员验证监测代码时产生的内部测试流量。无效点击：极短时间内产生的多次点击请求等无效/误点击。GIVT4AdMaster数字广告无效流量白皮书第五部，数据时间 2018年1月1日 至 2018年6月30日3. SIVT 复杂无效流量SIVT 需 要通过高级分析，机器学习等多方合作、配合，乃至人工介入等方法，以及广告投放活动以外更大范围的数据信号才可能分析和辨识。具体分为以下几类：高级服务器数据中心：来自服务器、云服务器、机房伪装成普通合法用户的流量。可通过聚合浏览行为、时间分布、UA 分布等与正常用户上网行为趋势对比。高级爬虫：来自恶意爬虫、恶意软件等伪装成普通合法用户的流量。可通过浏览行为时间分布、Referrer 信息等与正常用户上网行为趋势对比。设备被劫持（伪造设备）：识别设备的 ID 是伪造的或者恶意插件非法后台运行程序等带来的流量。可通过 ID 对应的字段冲突，ID 对应的设备频繁变化等现象判断。代理流量（Proxy Traffic）：对比代理 IP 库识别。行为异常：综合 ID 信息、IP 信息、时间信息、浏览器信息、Referrer 信息、访问网站信息、操作系统信息、机型信息等综合维度跨项目、跨媒体查看判断流量是否正常。伪造 Cookie： 通过 Cookie 格式及 Cookie 对应的属性是否存在冲突及不合理之处判断。内容被劫持（Hijacked Tag）：通过判断监测代码应该所在位置与实际所在位置对比得出。广告被隐藏：判断触发监测代码对应的广告是否实际可被看见。AdMaster 对无效流量的识别已经能够进行前置判断和后测甄别，全方位解决流量质量问题。采取智能化的广告验证，第一个环节是竞价前置的优化 Pre-bid，或者叫程序化的前置优化。在已知的库里，可以根据历史数据判断一般以及复杂的无效流量，依据一定的算法，结合目标受众的规则来实施，实施过程是毫秒级的。在投放前即判断出流量的异常，杜绝流量造假现象发生。第二个环节是广告交付，以及曝光、点击的再验证。同时，通过全面的分析与建模构建防御手段。AdMaster 与拥有大数据的第三方机构和媒体机构合作，目前已实现与腾讯、微博、阿里巴巴、京东、高德、唯品会等数据对接，以求尽可能覆盖足够多的网民的广告行为。4. 视频类的广告流量验证由于视频贴片广告支持内容定向、频次控制、地域定向、顺位等定投购买选项，并以此收取一定溢价，这滋生了视频广告流量欺诈的利益驱动力。不仅危害了大部分正规视频媒体的利益，同时扰乱市场秩序，易导致劣币驱逐良币的恶性循环。AdMaster 针对视频广告无效流量的判别经验总结：除了对机器人流量的过滤，还发现了部分针对内容投偏和素材未展示等的无效流量现象。（1） 针对剧目投偏现象，AdMaster 定投识别 VOA功能通过 Referrer/剧目 ID 等方式解析广告曝光时所播放剧目名称，并与广告主定投的剧目内容进行匹配。（2） 在移动端，针对时有发生的曝光代码调用、但是素材未正确展示的广告欺诈现象， AdMaster 利用监播实录 SNAP功能，采用类似于“神秘访客”概念的方法，从海量抽样监测，将视频内容播放前的所有贴片内容录制下来，并通过图像识别技术与适当的素材进行对比，判断素材是否被正确展示，以及是否按照要求展示。5. 智能电视无效流量智能电视作为家庭大屏，成为继影院、移动端娱乐消费之后的第三大入口。随着广告投放量和广告主数量增加，流量作弊动机亦随之增加。但与此同时，越来越多的设备厂商和媒体平台对第三方监测持开放的态度，愿意接受 C2S API 方式进行监测，让智能电视 CTV广告监测采集更加标准化。目前，智能电视广告的监测模式分为第三方 SDK 监测、C2S API 和 S2S API 三种，其中，前两种比 S2S 更为安全、也更容易监测流量异常情况。根据 AdMaster 监测发现，智能电视流量监测主要有以下发展趋势：广告主对 CTV 流量监测的需求维度增多，希望进行全局无效流量甄别，而不仅仅是以往单一项目的排查；更多广告主要求通过硬件厂商白名单进行验证；在行业各方共同呼吁下， CTV 广告监测朝着良性的方向发展，目前，主流的 CTV 设备厂商都已实现支持C2S API 监测。目前，针对智能电视无效流量， AdMaster 通过创建硬件厂商白名单（针对代理流量进行验证），单一项目排查机制与全局无效流量甄别结合，发现异常数据问题。5AdMaster数字广告无效流量白皮书第五部，数据时间 2018年1月1日 至 2018年6月30日分析和发现2018 年上半年无效流量情况分析AdMaster 通过打磨多年的无效流量甄别技术识别出 2018 年 1 - 6 月无效流量的总体情况如下：（ 1） 2018 年上半年无效流量占比 28.8%，同比 2017 年上半年无效流量的占比 29.6% 和 2016 年上半年无效流量的占比 30.4%，实现稳步下降。（2） 2018 年 1 - 6 月无效流量（月）占比如总体而言相较于 2017 年同期有所下降，往年“重灾区”1 月、6 月均有较大改善，但 3 、 4、 5 月略高于 2017 年同期。62016 - 2018年上半年无效流量占比同比变化趋势05%10%15%20%25%30%35%数据来源：AdMaster 广告监测数据2018 H12017 H12016 H128.8%29.6%30.4%2017.1 - 2017.6 2018.1 - 2018.62016.1 - 2016.6数据来源：AdMaster 广告监测数据2017上半年与2018上半年无效流量（月）占比趋势15%20%25%30%35%40%2017 H1 2018 H132.1%30.5%22.4%20.0%21.9%31.7%38.9%32.7%21.6%19.9%20.8%36.2%1月 2月 3月 4月 5月 6月AdMaster数字广告无效流量白皮书第五部，数据时间 2018年1月1日 至 2018年6月30日（3） 从媒体类型来看，垂直媒体无效流量依然最高，各媒体类型无效流量占比排名维持不变，总体均有小幅下降。（4） 垂直类媒体细分：女性、母婴、汽车无效流量占比较高，稳定在前三位置。除了汽车类垂直媒体无效流量占比逐年上升外，其他垂直媒体细分无效流量占比均有所下降。7AdMaster数字广告无效流量白皮书第五部，数据时间 2018年1月1日 至 2018年6月30日2017上半年与2018上半年分媒体类型无效流量010%20%30%40%50%2017 H1 2018 H1垂直40.8%42.6%网盟30.2%30.5%门户25.0%25.7%视频20.8%21.5%数据来源：AdMaster 广告监测数据2017上半年与 2018上半年垂直媒体细分无效流量010%20%30%40%50%2017 H1 2018 H1女性41.2%45.8%母婴39.8%40.1%汽车39.6%39.2%IT科技34.1%35.5%体育31.0%34.5%财经29.1%29.1%数据来源：AdMaster 广告监测数据 2018 H1IVT 28.8%