2019国内互联网广告无效浏览研究报告.pptx

2019国内互联网广告无效浏览研究报告,背景介绍,2018 年无效流量分析国双的监测方案 总结,01背景介绍,网络时代里，人们把越来越多的时间花在了电脑和手机上，进入移动互联网时代以来，手机甚至成为了一个人体的延伸，大量的关注都投放在各类 APP 上。这种空前的关注度，也引起了各大广告主的青睐，纷纷把广告 预算分拨到数字广告里。据 eMarketer 的预计，美国市场数字广告的预算将在 2019 年超过所有传统媒体，显示 了数字广告迅猛的发展势头。然而，2016 年发现的名为“MethBot”的大规模机器人流量源，每天都在攫取数百万美元的广告预算，近期， 美国 FBI 联合 Google、White Ops 等科技公司一起捣毁了一个传播计算机病毒以谋取利益的窝点，更别提国内 早已泛滥且体系成熟、分工明确的刷点击广告、刷留资、刷下载APP、模仿正常用户玩游戏等一系列的作弊行为。 相比传统广告，数字广告领域更加多样且恶劣的作弊行为，极大地侵害了广告主的利益，严重地破坏了整个行业 生态的健康发展。当前，行业内各方都在积极对抗无效流量，为获得真实数据而努力。中国广告协会作为中国广告业权威行业 组织，一直致力于提升数字广告数据真实性和流量透明度。“数据、流量造假在数字广告行业的严重性已不容忽视。 行业各方对数据、流量真实性的追求和对社会的责任感都对数字广告行业有重大影响。”中国广告协会会长张国 华如是说道。,背景介绍,作为独立的第三方监测公司，国双是中国广告协会理事单位，同时也是中国广告协会互联网广告委员会常务委员单位。国双有义务，有责任为广告主和整个行业，检测并识别出这些作弊行为和无效流量，助力广告主掌控 每一份广告预算的花费，还原广告的真实效果，并促进行业的健康发展。为此，在中国广告协会的指导下，国双于 315 消费者权益保护日，制作并发布国内互联网广告无效流量白 皮书，旨在揭示国内的互联网广告流量现状，为广告主、代理公司等行业参与者提供直观的数据参考，同时展 示国双多年来总结并完善的监测方案，以让广告主在以后的数字营销中更加有底气。,背景介绍,022018 年无效流量分析,本报告针对的无效流量，是参照了国内权威组织中国广告协会标准对于无效流量的定义和分类。这套标准是在欧美成熟市场的无效流量标准基础上，结合了国内实际的互联网技术环境，对部分标准做了针对性的调整之后 形成的。根据国内中国广告协会的标准以及国外 MRC/TAG 的标准，无效流量被分为两类GIVT 和 SIVT ：GIVT 是 General Invalid Traffic 的缩写，即常规无效流量，是指能够通过应用多种名单或标准化参数等常 规方式进行过滤的流量。SIVT 是 Sophisticated Invalid Traffic 的缩写，即复杂无效流量，这种类型的流量无法通过简单的规则识别 出来，一般需要通过高级分析，多方合作与协调，乃至人工干预等方法以及广告投放活动以外更大范围的数据信 号才能分析和识别。,无效流量标准,无效流量标准,中国广告协会对于无效流量的完整分类，具体如下：,无效流量标准,MRC/TAG 对于无效流量的完整分类，具体如下：,无效流量数据分析,通过对 20162018 年的数据进行全面地监测和分析后，结论如下。全年整体分析：2018 年无效曝光有所下降，但占比仍然高于 30%，无效点击与前两年基本相差不大。,2016-2018年无效流量对比分析,40.0%,35.0%,30.0%,25.0%,20.0%15.0%10.0%5.0%0.0%,45.0%,无效曝光,无效点击,23.2%,33.9%30.9%,21.7%,38.8%,22.6%,数据来源：2016 年 1 月 1 日至 2018 年 12 月 31 日之间,2018 年分季度趋势分析：通过对数据的洞察我们发现无效曝光在第一季度较高，第二季度偏低, 三、四季度趋于稳定。而无效点击方面，全年高峰同样出现在第一季度，达到了 26.61%。,无效流量数据分析,2018 年分季度曝光 / 点击无效占比趋势,无效曝光,无效点击,0. 00%,第一季度第二季度第三季度第四季度,2 0. 00%15. 00%10. 00%5. 00%,2 5. 00%,3 0. 00%,3 5. 00%,4 0. 00%,34.73%,数据来源：2016 年 1 月 1 日至 2018 年 12 月 31 日之间,26.61%,28.02%,19.52%,29.48%,21.27%,30.06%,21.69%,无效流量数据分析,1 月份,2 月份3 月份4 月份5 月份6 月份7 月份8 月份9 月份10 月份11 月份12 月份,2018 年分月曝光 / 点击无效占比趋势,2018 年分月趋势分析：通过对数据的洞察我们发现 6 月和 11 月无效点击占比趋势呈现较为明显的波峰状态，而 6 月和 11 月分别有年中 618 和双 11 大型电商大促活动，各个广告主广告投放量都有所增加。,15.00%,20.00%,25.00%,30.00%,35.00%,10.00%5.00%0.00%,45.00%40.12%40.00%,28.57%,26.10%,26.00%,27.00%,26.43%,33.15%,27.73%,31.00%,29.11%,25.10%,32.61%,26.02%,26.79%,24.05%,17.46%,16.15%,26.83%,20.10%,22.56%,21.41%,20.06%,27.75%,17.19%,无效曝光,无效点击,数据来源：2016 年 1 月 1 日至 2018 年 12 月 31 日之间,无效流量数据分析,40.0%,35.0%,30.0%,25.0%,20.0%15.0%10.0%5.0%0.0%,45.0%,40.3%,36.9% 36.3%,35.9%,33.5%,29.7%,30.2% 28.4%,22.8%,40.5%,数据来源：2016 年 1 月 1 日至 2018 年 12 月 31 日之间,36.1%,33.2%,垂直,门户,视频,网盟 /DSP,分媒体类型无效曝光：通过对数据的洞察我们重点分析了垂直、门户、视频以及网盟 /DSP 四个媒体类型，发现各媒体类型无效曝光占比排名维持不变，垂直类和网盟 /DSP 类的媒体无效曝光占比仍然是重灾区。另外，全部四类主要媒体类型 都呈现出下降的趋势，视频广告曝光情况有较明显的改观，下降幅度超过 5%。2016-2018 年分媒体类型无效曝光对比,无效流量数据分析,40.0%,35.0%,30.0%,25.0%,20.0%,15.0%10.0%5.0%0.0%,45.0%,37.7%,32.6%,29.2%,33.2%,30.4%,26.1%,24.5%,22.9%20.1%,2016-2018 年分媒体类型无效点击对比,垂直,20.7% 19.8%,数据来源：2016 年 1 月 1 日至 2018 年 12 月 31 日之间,18.7%,门户,视频,网盟 /DSP,分媒体类型无效点击：通过对数据的洞察我们重点分析了垂直、门户、视频以及网盟/DSP 四个媒体类型，相较于2016 年和2017 年，2018 年主要的 4 个媒体类型在无效点击方面，都有所下降。,无效流量数据分析,40.0%,25.0%,20.0%15.0%10.0%5.0%0.0%,45.0%,35.0%29.5%30.0%,24.5% 24.2%,37.6%,35.4% 34.7%,23.7%,20.9%19.4%,43.1%,数据来源：2016 年 1 月 1 日至 2018 年 12 月 31 日之间,36.8% 36.4%,汽车,快速消费品,互联网科技,消费电子,50 .0%,细分行业无效曝光：以汽车、快消、互联网科技、消费电子 4 个行业数据为例 , 通过对数据的洞察我们发现无效曝光情况整体有小幅下降趋势，互联网科技行业有小幅上升。2016-2018 年分行业无效曝光对比,无效流量数据分析,40.0%,35.0%,30.0%,25.0%,20.0%15.0%10.0%5.0%0.0%,34.0%,28.9%,23.2%,32.7% 31.2%,25.3%,23.0% 24.1%,19.9%,28.5%,数据来源：2016 年 1 月 1 日至 2018 年 12 月 31 日之间,24.2% 21.0%,2016-2018 年分行业无效点击对比,汽车,快速消费品,互联网科技,电子消费,细分行业无效点击：市场环境中汽车行业的无效占比约大于 30%。得益于国双在无效流量的研究及努力，国双客户的无效点击占比都有所降低，汽车行业降幅超过 5%。,无效流量数据分析,40.0%,35.0%,30.0%,25.0%,20.0%,15.0%10.0%5.0%0.0%,34.4%,数据来源：2016 年 1 月 1 日至 2018 年 12 月 31 日之间,19.8%,32.1%,22.1%,31.7%,23.4%,PC,Mobile,2016-2018 年分设备无效曝光对比,分设备无效曝光：随着流量在不断向移动端迁移，移动端广告的问题也日益凸显，通过对 2016-2018 年的分设备流量进行分析后发现，虽然目前移动端的无效曝光占比较低，但有逐年上升的趋势，只是程度有一定减缓。,无效流量数据分析,40.0%,35.0%,30.0%,25.0%,20.0%,15.0%10.0%5.0%0.0%,32.6%,数据来源：2016 年 1 月 1 日至 2018 年 12 月 31 日之间,19.6%,29.3%,20.7%,27.5%,21.8%,PC,Mobile,2016-2018 年分设备无效点击对比,分设备无效点击：与无效曝光类似，无效点击也呈现出了类似的趋势，PC 端占比虽高，但较上一年有小幅下降。而移动端却有了微弱的恶化。,OTT 无效流量（C2S）,随着 OTT 广告市场的成熟，中国首个针对 OTT 广告市场的监测标准MMA 中国无线营销联盟 OTT广告监测标准正式发布，这一标准是由 MMA 中国广告标准委员会委派 , 国双牵头联合 OTT 广告标准小组多家 成员企业合作的结晶。市场上对于 OTT 的监测方式中，SDK 和 C2S（Client-to-Server）API 比 S2S （Server- to-Server）API 更为安全、也更容易监测流量异常情况。所以，以下我们仅针对 C2S 监测模式的流量进行无效 流量的分析。2018 年智能电视总体C2S 的流量中无效流量平均占比为 8.65%，分月占比如下图，总体呈现小幅上升趋势。,6.87%,7.31%,6.13%,9.38%,7.54%,9.54%,7.92%,10.64%,8.59%,9.14%,8.72%,10.87%,12.00%,8.00%,10.00%,6.00%4.00%2.00%0.00%,12 月份,1 月份2 月份3 月份4 月份5 月份6 月份7 月份8 月份9 月份10 月份 11 月份,2018 年智能电视平台无效流量状况,数据来源：2016 年 1 月 1 日至 2018 年 12 月 31 日之间,GIVT：2018 年，国内数字广告 GIVT（常规无效流量）平均占比为 2.01% 整体呈现上升趋势。,GIVT（常规无效流量）,2.07%,1.81%,2.6%,2.09%,1.93%,2.42%,2.51%,2.62%,2.19%,2.12%,2.86%,2.32%,12 月份,1 月份2 月份3 月份4 月份5 月份6 月份7 月份8 月份9 月份10 月份 11 月份,2018 年智能电视平台无效流量状况,2.00%,数据来源：2016 年 1 月 1 日至 2018 年 12 月 31 日之间,2.50%,3.00%,3.50%,1.50%1.00%0.50%0.00%,GIVT：2018 年，国内数字广告 GIVT（常规无效流量）分设备占比 PC 端占比最高 2.35%，移动端 1.99%，智能电视端0.61%。,GIVT（常规无效流量）数据分析,2.35%,PC,移动端,智能电视,0.50%0.00%,1.00%,1.50%,2.50%,2.00%,1.99%,数据来源：2016 年 1 月 1 日至 2018 年 12 月 31 日之间,0.61%,常规无效流量分设备占比,GIVT（常规无效流量）数据分析,通过对数据的洞察发现 , 无效流量总体行业均值在 30% 左右，主要包含 GIVT 和 SIVT 两个部分，而 GIVT的占比均值在 2% 左右，一方面是因为当前行业的黑名单量级还不足够，另一方面也是因为黑产各类作弊的手段 越来越复杂越来越高明，简单常规的规则已经难以甄别出无效流量，我们需要更智能的技术手段有效判定出复杂 无效流量。,03国双的监测方案,如何取得信任？,数据来源：2016 年 1 月 1 日至 2018 年 12 月 31 日之间,为了能够更科学、更准确地评估互联网广告的投放效果，无效流量的识别和剔除是必不可少的，而这往往也是广告效果评估的第一步。作为第三方验证公司，国双提供的技术方案和数据结果必须具有足够高的可信度，才能被广告主和媒体所认 可。因此，国双很早就开始研究并参考欧美成熟市场的权威组织（主要有 MRC、IAB、MMA 和 TAG）对无效流 量的定义和分类，来指导自己的无效流量识别。同时，国内市场环境也发展日趋成熟和稳定，国双也积极加入了 中国广告协会和 MMA 中国等权威行业组织，并以核心会员的身份，推动相关无效流量标准在国内市场的落地。,国双的监测方案,经过多年努力，国双逐步研究并开发出了自己的一套无效流量监测体系，不仅包含广告数据的检验（如：黑名单、频次、定向投放异常等），还结合了网站数据的异常监测（如：热力图、多个维度构建的用户行为特征等）， 通过前后端广告数据打通，串联起广告流量的完整路径，有效识别异常情况。最后，我们还利用AI 及机器学习， 自动发现复杂的作弊特征，来甄别一般手段无法发现的无效流量。作弊的方式在不断增多，作弊技术手段也一直在升级，但国双也在不断强化自己的监测体系，以达到对新型 的异常场景，进行及时有效地识别和剔除；同时国双也在积极寻求外部合作，利用外部的庞大数据资源，更好地 为客户服务。,数据来源：2016 年 1 月 1 日至 2018 年 12 月 31 日之间,国双广告反欺诈数据验证流程,将监测到的 IP、DeviceID与 GIVT List中 的 IP、Device ID 进行对比， 如果有匹配成功的，则说 明该 IP 或 ID 为异常流 量，需将其过滤掉,对无效流量进行实时的GIVT 粗过滤后，在每天 结束的时候则会将历史数 据及当天收到的信息进行 综合分析判断， 做国双SIVT 复杂无效流量的过 滤,客户定制属于自己的异常 规则，由国双通过技术手 段实现；与 腾 讯 灯 塔 合 作， 和 国 双监 测 到的 移 动设 备 ID 及行为路径进行 Mapping， 实现精准分 析，甄别异常流量,客户,GIVT,SIVT,客户定制,原始监测日志,输出基于真 实监测数据 的广告投放 分析报告,多重组合识别数据异常,曝光分析,点击分析,转化分析,热力图分析,来源分析,地域分析,频次分布,90+ 维度异常判定技术,前后端打通分析每一次访问后的像素热力图、点击热力,图，从中发现异常流量,监播实录技术有效规避视频类广告滥竽充数现象,实时的数据更新和一键式报告能够迅速发现问题,专业的代码监测工具及时发现人为错误,完善的历史数据库做参考,热力图强力识别验证,媒体B 的各项基础数据及转化数据看似正常。但查看不同渠道在页面上的热力图鼠标点击分布，发现媒体B 存在异常点击分布，符合程序点击发送数据包特征。,媒体 A,媒体 B媒体 B 的实际效果需重新评估,数据来源：2016 年 1 月 1 日至 2018 年 12 月 31 日之间,异常流量形式及排查原则,基于 AI 自动发现复杂作弊特征,基于固定规则的方法基本能够帮助我们过滤掉 60%-70% 的无效流量，剩下的部分是由于刷量技术不断升级绕开了规则。对于这些可以绕开规则的无效流量，国双采取基于机器学习的方式来反制。通过应用 AI 技术去自 动发现作弊规律，不断学习改进模型，帮助我们识别那些不太容易被甄别出来的作弊。,04总结,总结,通过以上的洞察分析不难发现，整个互联网广告市场的无效流量占比依然很高，与无效流量的斗争也依然艰巨。当前行业内数据割裂、数据权威性方面的问题依然存在，而随着作弊手段的不断升级，需要行业内各个参与 者联合起来，共同应对。一直以来国双都在中国广告协会的指导下积极的与行业内权威的组织和企业合作，同时遵循中国广告协 会（CAA）、美国媒体评估委员会（MRC）、中国媒体评估委员会（CMAC）以及中国无线营销联盟（MMA China）等公认的行业标准，以公平、公正的原则切实维护广告主的合法权益。同时也呼吁行业内更多的参与者 加入到抵制无效流量的队伍中来，不断净化互联网广告环境，推动广告数据的透明性，构建更为健康的数字营销 生态。,Thanks,