无效流量应对方法论及战术建议白皮书.pdf

目录徐俊(Patrick Xu)群邑中国CEO、WPP中国CEO群邑一直以来致力于为我们的客户获取更安全优质的广告资源，我相信群邑于 2017年 6月发起的“品牌安全倡议行动”会推动建设更加安全和诚信的数字营销环境，最终使所有的品牌广告主受益。我们期待与众多优秀的行业参与者携手，让中国的数字广告市场越来越充满活力。张晓涓（Mickey Zhang）群邑中国程序化业务CEO广告主近两年来对无效流量的认知越来越成熟，行动上也越来越积极。这是一个非常好的现象，因为无效流量问题的解决需要行业各方一起协作。这本白皮书对无效流量的定义、分类和识别的方法论进行了深入解读，并提出了应对无效流量的战术建议，让广告主和行业从业者能更全面的了解和应对这一问题。品牌安全从本质上说就是保护客户的品牌，规避数字供应链中存在的任何风险。我们主要关注四个领域：客户的广告被看到、被真实的“人”看到、被正确的目标受众看到、在合适的环境下被看到。中国有不同的挑战，尤其是在对媒体效果的衡量方面。目前，我们首要关注的是无效流量，这一现象在中国市场似乎比其他市场更为严重。John Montgomery群邑全球品牌安全执行副总裁底飞 (Rycan Di)群邑中国首席媒介投资官无效流量是诚信问题。打击无效流量的效果是双向的，对于广告主而言，广告传播的效果会明显提升，预算会得到节省。对于广告平台来说，摒弃了无效曝光的广告位，优势广告位将存在更多的溢价空间。前言群邑观察 正视风险 数字问责 重建信任 群邑“品牌安全倡议行动” 项目介绍行业协会行动中国广告协会互动网络分会互动广告第2部分：投放验证要求附录A异常流量监测标准 中国互联网广告异常流量基础过滤名单中国媒体评估委员会（CMAC）CMAC联合MRC启动中国三家第三方数字广告测量服务审计工作无效流量定义、分类及用于分析无效流量的数据字段及数据指标定义分类用于分析无效流量的数据字段及数据指标战术建议及最佳实践 广告主Check List第三方监测供应商评估建议运营流程最佳实践媒体沟通最佳实践后记P05P06P08P10P18P2404 05群邑中国 2017年春季版今年，明年：中国媒体行业预测报告称：稳定的宏观经济环境和消费者信心，消费升级的需求，大规模城镇化进程，国家对媒体行业的要求和政策以及世界经济回暖预期，都将支撑整体媒介花费继续增长。 2017年中国媒介市场总花费预计将增长 7.8%，达到 5813亿人民币。从整体花费构成上看， 2016年，互联网媒介花费首次超过整体媒介花费的一半。报告预计 2017年，互联网媒介花费在整体的占比将占到57.2%。但随着互联网在中国城市居民中基本普及，  “流量红利”和“新用户红利”已经过去，增幅也呈逐年下降态势。互联网媒介花费首次过半的同时，数字广告行业也因为数字供应链上的风险问题而备受关注。 2016年下半年开始，有关于数字广告的衡量与评估的质疑声音此起彼伏。以群邑作为全球顶尖的媒介投资管理集团的观察而言，快速发展中的各种问题，是对数字广告行业更成熟所提出的要求，应对和处理这些问题，需要的是快速行动。但，行动之前，我们需要“正视风险”，任何行动（包括媒体投资）之前都应该具备风险意识，即意识到“风险永远存在”，媒体投资管理中不单要考虑最大化效果，也要时刻把控并最小化风险。数字化供应链上的风险问题，涉及到无效流量，广告可见性，广告屏蔽，品牌语义安全等等，就中国市场而言，首当其冲是无效流量问题，因为它关切到的是整个商业环境的诚信基础。Digital Accountability即数字广告问责，在数字广告快速成长及环境的复杂和多元的情况下，需要整个行业达成共识，建立能够支持媒介策划和购买的主要标准，并且要持续进行优化。以此为基础，我们团结中国广告协会互动网络分会，中国媒体评估委员会，RTBAsia, Miaozhen Systems 和 AdMaster，领导整个行业充分认识风险。更为重要的是，我们率先行动，通过无效流量应对方法论及战术建议白皮书也希望行业各方都意识到“一旦你开始行动，它就可以被控制”。前言无效流量应对方法论及战术建议白皮书一旦你开始行动它就可以被控制06 07群邑中国“品牌安全倡议行动”发起成员权益及义务2017年 6月 9日，群邑中国正式宣布启动“品牌安全倡议行动”，联合行业翘楚，推动建设更加安全和诚信的数字广告环境。品牌安全从本质上说，是保护广告主的品牌，规避数字供应链中存在的任何风险。宗旨任务“品牌安全倡议行动”主要关注四个领域品牌的广告被看到  被真实的“人”看到 展现在安全合适的环境下  被正确的目标受众看到发起成员群邑中国  中国媒体评估委员会 (CMAC)品牌方：欧莱雅、雀巢、玛氏、箭牌、梅赛德斯 -奔驰、捷豹路虎、华为、荣耀、壳牌喜力、葛兰素史克、高露洁、黑人牙膏 媒体方：腾讯、爱奇艺、优酷、芒果 TV第三方数字广告监测技术公司 ：RTBAsia, Miaozhen SystemsAdMaster权益 了解品牌安全项目的进展 有权参与决定行业采用的标准 有权针对品牌安全项目之实施手段发表重要修改意见 义务积极参与品牌安全倡议行动组织的各项活动，实际推进品牌安全监测实施，在不断实践的基础上共同推动行业标准的设立，并且推进行业标准被各方广泛接受和使用：品牌方 将广告预算投放到提供最优质的媒体资源上，逐步减少在无效流量高的媒体平台上的投放 在跟媒体和 /或广告验证技术商探讨品牌安全问题时，邀请群邑及其代理公司参与其中 协助建立行业标准，与群邑分享监测数据报告媒体平台 同意并接受 MRC和 CMAC认证的技术供应商在网站加测量代码 同意与群邑、广告主及第三方测量验证技术供应商一起审核测量监测数据 按需为参与合作的广告主进行品牌安全测量验证工作第三方数字广告监测技术公司 接受 MRC和 CMAC的评估 在参与合作的媒体平台进行数据监测 为参与合作的广告主提供公正的品牌安全测量验证工作 协助建立行业标准，与群邑分享监测数据报告群邑中国“品牌安全倡议行动”排名不分先后08 09行业协会行动2017年7月31日发布互动广告第2部分：投放验证要求，其中附录A明确了异常流量监测标准异常流量监测标准原则及宗旨： 明确互动广告投放和监测等概念和维度 保证互动广告行业运作模式的规范性和可复制性 保证互动广告投放和监测的统一性  推出中国互联网广告异常流量基础过滤名单背景为规避来自数据中心、网络路由节点或由机器人、爬虫等产生的异常流量对互联网广告投放和效果评估的影响，互联网广告媒体、广告投放系统和第三方监测机构应当应用基于名单的过滤方法建立方法广告标准专家组发起过滤名单协作组，提供过滤名单建立主要成员新浪、搜狐、腾讯、优酷、爱奇艺、秒针、 AdMaster、华扬联众、小米、利欧数字聚胜万合适用范围适用于通过互联网（或其他基于  TCP/IP 协议的数字网络）及  HTTP/HTTPS等协议进行广告投放和监测的过程备注过滤名单目前暂无类别细分，第一期的名单数据量在 200万左右，过滤名单目前每月更新发布（全量更新，后续阶段考虑过渡到更加实时的更新）中国广告协会互动网络分会媒体评估委员会（ MRC）和中国媒体评估委员会（ CMAC）宣布，共同合作执行对在中国申请MRC认证的三家数字受众测量服务公司的审计流程MRC与CMAC共同合作MRC是一家设立于美国的媒体行业协会，旨在建立测量标准和管理审计和认证流程，使测量服务商遵守适用的行业标准。 CMAC是 2016年在中国成立的媒体行业自律监管委员会，CMAC在中国市场履行的职责与 MRC在美国市场的作用相似。由于中国初次接触媒体测量审计流程，  MRC在初期将领导和管理三家测量服务的认证流程。随着时间的推移，更具体的职责将逐步转移到 CMAC，同时，后续更多的认证的开展也会让 CMAC经验日渐丰富。行动计划 针对三家测量服务商（精硕的 TrackMaster，秒针的 AdMonitor，和尼尔森的 Digital Ad Ratings（DAR）的审计工作聘请独立会计事务所进行，全面审计于 9月份开始，持续到2017年年底； MRC和 CMAC计划在未来几个月公布认证过程的进展状况，以及继续完善中国市场审计和认证流程的相关计划； 对这三家公司的首批认证程序是中国媒体测量审计流程和系统学习的基础，今后 MRC和CMAC的认证流程可基于此次经验扩大到更广泛的供应商申请群体。中国媒体评估委员会CMAC本部分由群邑进行摘要编排，感谢中国广告协会互动网络分会及中国媒体评估委员会的内容支持。行业协会行动10 11Invalid Trafc即无效流量，包括一般无效流量 (GIVT： General Invalid Trafc)和复杂无效流量 (SIVT： Sophisticated Invalid Trafc)。一般无效流量指能够通过应用多种名单或标准化参数等常规方式进行过滤的流量，一般无效流量进一步分为非人类流量和非法或不合理的人类流量。复杂无效流量指需要通过高级分析，多方合作与协调和重要人工干预等方法进行分析和识别的流量。目前行业中相对完整的分类分别来自 TAG，iab & MRC & MMA；中国广告协会互动网络分会也以 iab& MRC& MMA的标准为蓝本，在异常流量监测要求中列举了分类。以下列举了三个行业协会和组织的具体分类，并在此基础上进行比对分析。比对分析TAG VS iab & MRC & MMA后者对 TAG进行补充的部分是第三条，“通过广告项目或应用数据及来自广告项目或应用数据的交易参数而进行的以行为为基础的过滤”  ，这一补充主要在说明“非法或不合理的人类流量”也应该作为GIVT进行过滤；iab & MRC & MMA VS中国广告协会互动网络分会后者将“其它伪装成合法用户的流量数据”及“通过隐藏 /堆叠 /覆盖或其它方式导致用户无机会看到正常广告内容的流量”从 SIVT类别中加入到 GIVT类别中，但，以目前的市场情况分析，还没有过滤名单可以直接进行这两个部分的过滤。类别TAG iab & MRC & MMA中国广告协会互动网络分会GIVT/一般无效流量Known data-center trafc, Bots, Spiders or Other CrawlersNon browser trafcBrowser pre-renderingKnown data-center trafcBots and spiders or other crawlersActivity-based ltration using campaign or application data and transaction parameters from campaign or application dataNon-browser user-agent  headers or other forms of unknown browsers and pre-fetch or browser pre-rendered trafc 机器人和爬虫或其它伪装成合法用户的流量数据以及非浏览器用户代理头或其它形式的未知浏览器带来的流量 超出频次、时间间隔等目标设定的流量数据 通过隐藏/堆叠/覆盖或其它方式导致用户无机会看到正常广告内容的流量 已知的来自数据中心的流量（指明显具有非人类访问广告所在的特定网络 IP 或 IP 段所产生的流量来源） 预获取或浏览器预览的广告流量 已知的来自高危或者作弊来源流量 基本信息缺失或不一致的流量（基本信息至少应包含事件类型、广告系列 ID、时间戳、 IP、请求方式、用户代理 UA 字段）本部分参考 TAG 出版的   Fraud Taxonomy，iab,MRC 和 MMA 出版的  Invalid Trafc Detection and Filtration Guidelines Addendum及中国广告协会互动网络分会发布的效果测量要求 - 附录 A异常流量监测要求。定义分类无效流量的定义相对简单，实质内容应该从其具体分类中寻找，并对应真实 campaign中的数据进行细分。无效流量的分类并不是固定不变的，随着技术的推进， GIVT的名单需要持续改进，原本分类在 SIVT的类别，也可能因为识别和过滤技术进步而被列入GIVT的类别。无效流量定义、分类及用于分析无效流量的数据字段及数据指标无效流量定义、分类及用于分析无效流量的数据字段及数据指标12 13比对分析TAG VS iab & MRC & MMA后者基本延续对 TAG的补充或进一步归类。有关可见性，值得注意的是后者说明， SIVT的识别核心是伪造的可见曝光决策，另外一个补充是操纵或伪造位置数据以及相关属性。iab & MRC & MMA VS中国广告协会互动网络分会后者中文更加简洁的进行了归纳，考虑到与可见判断相关的环境和技术还在不断变化中，“隐藏 /堆叠/覆盖或其它方式导致用户无机会看到正常广告内容的流量”应该要归属到 SIVT中。类别TAG iab & MRC & MMA中国广告协会互动网络分会SIVT /复杂无效流量Crawler masquerading as a legitimate userHijacked DeviceAdtag Hijacking Creative HijackingAd DensityHidden/Stacked/Covered AdsProxy trafcAdware Contains MalwareAuto-refresh Incentivized Browsing Misappropriated ContentViewabilityGhost SiteFalsely RepresentedCookie Stufng/ Cookie DroppingNon Brand SafetyBots and spiders or other crawlers masquerading as legitimate usersHijacked devices; hijacked sessions within hijacked devices; hijacked ad tags; hijacked creativeHidden / Stacked / Covered or otherwise intentionally obfuscating ad serving Invalid proxy trafcAdwareMalwareIncentivized Manipulation of measurements Misappropriated content, Falsied viewable impressions decisions Falsely represented sites or impressionsCookie stufng, Recycling & harvesting of cookiesManipulation or falsication of location data or related attributes 劫持设备以及设备中的会话 非法劫持广告创意和操纵流量 内容盗用、伪造、虚假展示 恶意修改、插入或删除cookie 内容以改变用户访问记录 操纵或伪造位置数据以及相关属性 无效代理流量（即来自中间代理设备的无效流量，包括通过代理设备操纵流量计数、创建 /传输非人类流量或无法通过协议验证的流量用于分析无效流量的数据字段及数据指标用于分析无效流量的数据字段测量机构应该以基础数据字段进行无效流量监测分析，分析方法包括数据归因和模式分析、统计数据的监控及趋势分析等。基础数据字段的质量和完整程度是无效流量分析及过滤的关键要素，它们应该在广告投放的数据发送、传送和接收环节中，由各方一同保持其完整一致。基础数据字段中，根据实际情况，可能还涉及到特定需求的协商。另外，监测机构必须建立并维持对其收集和汇报数据的分析和研究功能，分析功能用于为数据监测及预警设置阈值，研究功能旨在不断更新监测方法以确保当前方法的有效性。字段描述事件类型 描述业务或转化的信息，例如曝光、点击等广告系列 ID 包括广告活动、媒体、广告位等信息，至少包含广告唯一 ID时间戳格林威治时间 1970年 01月 01日 00时 00分 00秒(北京时间 1970年 01月 01日 08时 00分 00秒 )起至现在的总秒数IP IP地址请求方式 HTTP协议中的请求方式，如 GET、POST 和 HEAD等用户代理信息网页为包含浏览器和操作系统的 User-Agent完整字符串， PC客户端（如视频客户端）和移动 APP应含有 APP名称、APP 版本及操作系统等基本信息COOKIE/设备唯一标识符用户的唯一标识，需满足网页端可读写 COOKIE或移动端可获取到设备唯一标识的情况下可用预加载 HEADERS 如 X-MOZ/FireFox,X-Purpose/Safari等适用的 OpenRTB属性 投标唯一标识、广告位类型、请求安全协议标识符等广告页面 URL网页广告必须，实际中应在已获取到 URL的前提下，对 URL进行类型区分，即区分是网页地址还是素材 (一般为 FLASH)地址，为素材地址的可忽略设备信息 设备 ID，设备类型运营商 运营商信息，运营商路由应用程序标识符 主要适用于移动 APP位置信息 地理位置信息请求状态码 HTTP请求返回的状态码，如 200、302、400 等视频 /音频广告完成百分比 包括开始、播放完成百分比和结束阶段信息理解定义后，我们需要了解实际操作中的数据指标。以下，我们将分别分析数据字段和数据指标，列举在 MRC及中国广告协会互动网络分会相关指南和标准中的基础数据字段及三家监测公司在实际广告项目 IVT监测报告中汇报的指标。无效流量定义、分类及用于分析无效流量的数据字段及数据指标14 15监测报告指标群邑根据数据指标定义披露的要求，邀请“品牌安全倡议行动”中第三方数字广告监测技术公司分享他们在广告活动报告中汇报的数据指标，结合定义说明和解析，帮助大家更加清晰地了解无效流量监测现状。RTBAsia MiaoZhen Systems AdMaster监测报告指标解析RTBAsia的报告指标中，就其专有技术而支持的 ISP细分及网络类型细分，进行的说明如下：ISP细分 (ISP: Internet Service Provider)：中国市场上除中国电信、中国移动、中国联通三大主要国有 ISP能够提供网络接入和家庭宽带之外，还存在一系列合规以及不完全合规的 ISP，这些 ISP具有网络结构混沌但资费较低的特征。根据 ISP细分媒体流量质量，可以实现向媒体提供无争议、易达成共识的 IVT改进目标以及便于媒体明了自身质量的改进潜力。网络类型细分：结合 RTBAsia的网络属性主动画像技术（结合了安全扫描和行为定性技术），广告流量的来源被划分为 6个主要的来源类型，即： 数据中心，主要是用于互联网路由器、服务器和云计算部署的机器设备 已知爬虫，即自身声明为爬虫的服务器所使用的网络（通常是搜索引擎） 专用出口，典型例子是企业专线、公共场所的上网线路 小运营商，主动提供标识以及被 RTBAsia小运营商监控网络识别的小型 ISP 普通宽带，即家庭和中小企业订购的宽带服务2G/3G/4G，即移动设备通过移动运营商获得的网络秒针报告对 IVT各指标定义如下：GIVT是指通过使用名单或者其他标准化参数、定义及预设规则可检出的无效流量。具体包括以下 4类： 数据中心：是指来自 IDC服务器机房的流量。此类流量通过其 IP地址与 IDC IP地址库比对判断 爬虫：浏览器用户代理信息中带有明显机器人特征的流量。此类流量通过其 User-Agent与爬虫 UA黑名单对比判断 非法行为参数：明显异常的高速、连续或重复请求流量。此类流量通过分析短时间日志，简单规则匹配的方法判断 无效用户：无法获取浏览器用户代理信息、非浏览器用户代理信息或其它形式的未知浏览器带来的流量，或者含有非法或异常参数及字符、基础信息缺失或不一致的流量SIVT需要通过高级分析，多方合作、配合，乃至人工介入等方法以及广告投放活动以外更大范围的数据信号才可能分析和辨识的无效流量。具体包括以下 6种： 高级爬虫：来自机器人、爬虫、恶意软件或其它伪装成合法用户的流量。此类流量通过分析某 ID的历史浏览行为模式，抽取行为特征，并通过机器学习算法得到的模型与正常人类行为做比对来判定AdMaster的报告对数据指标定义如下 :GIVT 是指通过使用标准化的参数和固定预设规则可检测出的无效流量。包括以下几类： 爬虫流量：爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。正常搜索引擎在浏览器用户代理中会有明确的声明。可以通过识别用户代理中爬虫信息标识判断 UA 非法：用户代理信息存在异常点，例如 UA信息缺失、浏览器流量 UA 是非法格式、或者参数冲突等 预加载：为了提升页面打开速度优化用户体验，预先载入网页的资源来提升网页载入速度，同时加载了监测代码的流量 服务器数据中心：来自服务器机房流量。通过与服务器 IP 地址库对比得出 被客户标记的无效 IP：客户或者内部人员验证监测代码时产生的内部测试流量 无效点击：极短时间内产生的多次点击请求等无效 /误点击SIVT 需要通过高级分析，机器学习等多方合作、配合，乃至人工介入等方法以及广告投放活动以外更大范围的数据信号才可能分析和辨识的无效流量。具体分为以下几类： 高级服务器数据中心：来自服务器、云服务器、机房伪装成普通合法用户的流量。可通过聚合浏览行为、时间分布、UA 分布等与正常用户上网行为趋势对比未完，转到下页基础报告维度Media DataMedia Data by CampaignMedia Data by HourlyMedia Data by DayMedia Data by Type Media Data by Score DistributionMedia Data by ZGT Province 访问数IP数点击率   MediaAdvertiserCampaignChannelAd PlacementImpressionClickUVClickerCTRIGRPReach(1+20+)Media AdvertiserCampaignChannel                                                                      Ad PlacementRegion（Province/City）Impression ClickUVClickerCTRiGRPFreqReach(15+)TAGIVT (目前报告中未对 GIVT及 SIVT进行区分汇报 )可疑访问数 / 可疑访问 % 可疑 IP 数 /可疑 IP%Media Data by ISP数据中心专用出口普通宽带2G/3G/4G路由节点已知爬虫小运营商GIVT ImpressionGIVT ClickGIVT分类统计：数据中心爬虫非法行为参数无效用户GIVT Impression /GIVT IMP%                                        GIVT ClickGIVT 分类：爬虫UA非法 预加载服务器数据中心被客户标记的无效 IP 无效点击SIVT SIVT ImpressionSIVT ClickSIVT分类统计：高级爬虫虚假激励来源异常行为异常IP异常SIVT Impression/Imp% SIVT Click Total Abnormal Click / Click% SIVT 分类：高级服务器数据中心高级爬虫设备被劫持（伪造设备）代理流量 Proxy trafc 行为异常伪造 Cookie内容被劫持广告被隐藏无效流量定义、分类及用于分析无效流量的数据字段及数据指标16 17RTBAsia MiaoZhen Systems AdMaster监测报告指标解析 虚假激励：由于虚假激励手段产生的流量，通常是指一段时间内同一媒体或广告位产生大量曝光、点击或 CTR过高的流量。此类流量通过预设规则判定，其中规则的阈值需结合近期全流量数据做动态调整 来源异常：被投放在了非广告主购买的网站或页面上的流量。此类流量通过分析Referrer URL同时结合爬虫分析页面内容的方法判断 行为异常：用户行为中存在浏览器用户代理信息、操作系统、机型、IP、ID 对应关系频繁变化等异常的流量。此类流量通过预设多维度规则，并在跨活动的全流量范围内扫描过滤的方法判定 IP异常：有大量曝光或点击集中出现在有高危异常历史记录或符合一定规律的 IP上的流量。此类流量利用全流量 IP异常筛查的算法生成动态的 IP黑名单，然后通过黑名单匹配方法判定 高级爬虫：来自恶意爬虫、恶意软件等伪装成普通合法用户的流量。可通过浏览行为时间分布、 Referrer 信息等与正常用户上网行为趋势对比 设备被劫持（伪造设备）：识别设备的 ID是伪造的或者恶意插件非法后台运行程序等带来的流量。可通过 ID对应的字段冲突， ID对应的设备频繁变化等现象判断 代理流量（Proxy Trafc）：对比代理 IP 库识别 行为异常：综合 ID信息、IP信息、时间信息、浏览器信息、Referrer 信息、访问网站信息、操作系统信息、机型信息等综合维度跨项目、跨媒体查看判断流量是否正常 伪造 Cookie：通过 Cookie格式及 Cookie 对应的属性是否存在冲突及不合理之处判断 内容被劫持（Hijack Tag）：通过判断监测代码应该所在位置与实际所在位置对比得出 广告被隐藏：判断触发监测代码对应的广告是否实际可被看见。RTBAsia MiaoZhen Systems AdMaster其他补充以上细分网络类型中，“普通宽带”和“ 234G”属于动态IP，不适宜通过列表文件来归入 GIVT (RTBAsia认为，在制定GIVT识别列表时将动态 IP排除是较为科学的做法，否则将是高概率误判） 数据中心、已知爬虫这两个类别在 RTBAsia 所有分析的历史中恒定是 IVT比例最高的两个类型，可按照列表过滤则直接过滤，无法通过列表过滤识别则判定为 SIVT 根据历史数据显示，小运营商网络的 IVT比例持续高于主流运营商（电信联通移动）数据 , 甚至个别小运营商成为 IVT的重要来源，因为这些小运营商网络 IP 地址采用了CGN（ Carrier Grade NAT),具有一定的匿名性，被作弊方利用来和真实流量混和在一起秒针认为单纯从固定规则的统计数据出发判定作弊有其局限性。秒针主张从 IVT的成因出发设计 IVT识别方法论，分析可能产生 IVT的环节和相应的动机，并深入探究制造 IVT的手段，区分不同手段，采用有针对性的算法多维度识别判断无效流量。除了固定规则外，秒针在积累大量设备和行为特征的基础上，通过机器学习的方式，建立无效流量的概率识别模型，不断升级更新训练库以便覆盖固定规则无法识别的作弊场景秒针认为反作弊技术不仅仅是一个用于广告最终结算的工具，它应该覆盖广告投放的各个环节，在广告投前、投中、投后的全流程上提供保障。从投放前的无效流量预判、到投放中实时过滤及预警、再到投放后的详细排查与结算，在投放全流程中最大程度的遏制IVT接上页无效流量定义、分类及用于分析无效流量的数据字段及数据指标18 19对无效流量的定义、分类和技术以及媒介环境现状的深度理解，是媒介计划和购买最基础和重要的一环。因此，群邑建议结合核心方法论，更好的把握数据报表分析，并以此进行媒介优化。 充分意识到控制无效流量的重要性 充分理解IVT定义，分类及第三方监测公司数据指标 理解验证IVT的代码形式有JS代码及Pixel代码，用于验证IVT的核心底层数据字段是IP及设备信息 条件允许的情况下，对过往数据进行分析以建立自己的Benchmark，并不断设置新的、合理的目标 立场明确，关键节点推动各方合作 与有执行能力的代理公司合作，整体管理、监控无效流量 GIVT可以通过行业协会与多方达成共识的识别列表进行过滤，不同公司对于GIVT的识别结果应该是完全相同或者高度近似的 SIVT的识别需要多方合作与协调，技术公司需要不断优化识别技术和相应判断阈值 数据报告需要汇报GIVT和SIVT，其中GIVT的数据必须在结算数据中直接扣除战术建议及最佳实践战术建议及最佳实践广告主Check List第三方监测供应商评估建议建议品牌主和代理在选择和评估反作弊监测方时需要考核如下：监测方需要有独立的身份，其监测的结果才能被媒体广泛接受要对广告进行全流程的监测，即覆盖多屏、多渠道、多形式，并从广告展现、点击、后端转化等多方面监测，以保证结果的全面性要拥有上百亿的监测数据力量，覆盖全网，从而宏观多角度进行反作弊要具备举证的能力，多方面（频次、行为分布、时间序列等）抓取作弊证据要具备采集第一手原始识别ID的能力（包括Cookie、移动端设备ID、智能电视设备ID），  拥有与不同媒体对接的实战能力拥有快速分析数据及实时标记能力，以小时级别对当前采集到的数据进行分析，并结合一段时间内的历史数据分析有异常行为的ID，对日志数据采用实时标记，快速判断流量质量20 21日常广告投放是一个重复发生的工作流程，IVT 验证实时优化及媒体沟通也是持续进行的。此阶段广告主需要：理解 IVT分析系统的使用，掌握报告解读和数据深度分析技能与媒体的沟通，建议将沟通重点集中在：a. IVT问题来源分析 b.GIVT的排除 c.督促媒体销售人员向内部技术部门反馈需求d.涉及移动媒体，要求其主动过滤虚拟安卓设备程序化广告（DSP / PDB）投放，充分发挥前置过滤技术（pre-bid）的自动优化能力实时优化最佳实践IVT验证以及过滤虽然是高度依靠技术发挥作用的服务，但关键岗位和关键决策人员的重要性不能忽视，有客户方参与的多方现场会议、电话会议、邮件沟通是确保进程优化的必要途径，商务沟通和管理协调能高效促进媒体端流量质量改进的达成。IVT验证执行到达成以下两个前提之后，广告主可以会同媒介代理公司共同为不同类型的媒体建立 IVT容差标准。建立容差前提：所有媒体均部署了曝光环节验证代码或进入品牌网站的点击环节部署了验证代码已和全部（或和占预算主要比例）的媒体进行了关于降低IVT的技术和商务层面沟通建立容差最佳实践GIVT零容差，根据 MRC / CMAC规范，广告曝光、点击环节的所有 GIVT不应计入投放总量亦不能计费。SIVT适度容差， MRC / CMAC的标准描述的指导下，广告验证公司对 SIVT的鉴别更多是鉴别出流量归属为 SIVT的相对概率而非绝对判定。推荐各广告主结合自身常用媒体组合中的各媒体的 SIVT数据指标，确定适合自身媒体采购规律的 SIVT容差指标。结合宏观数据，将细分流量中的相对最低值确定为容差的底线数值。例：某品牌投放的 100个常用媒体中，以 ISP为比对依据，按流量规模大小以及 SIVT百分比综合排序查看，视频媒体 A在 ISP中国电信的细分流量上具备最低的 SIVT百分比4.8%, 那么可以近似地认为， 4.8%的 SIVT比例是适合该广告主的 SIVT容差率，即 4.8%为最高可接受的 SIVT比例，超过比例的可考虑更新商务条款安排。战术建议及最佳实践重要前提是相关人员获得必备的基本概念和技术知识：基本概念国际通行的 IVT定义包括 CMAC以及 MRC对 IVT的界定标准技术知识验证 IVT的几种主要技术方法，包括 JS代码 / Pixel 代码 / 投放系统日志快速启动运营流程最佳实践最佳实践品牌网站的IVT验证代码部署有效实现对所有数字广告的 IVT分析，降低对媒体技术配合能力的依赖性实现对所有广告流量的抽样监测，迅速建立未受干扰的 IVT数据基准线，有利于对媒体方的质量改进和波动进行客观评估提取近三个月曝光监测日志数据文件进行IVT分析适用于已经采用了第三方曝光监测的视频类广告22 23某活动上线后第一天，第三方监测供应商执行团队发现某点位 CTR过高，其中 CTR大于 10%的时间为 829分钟，第三方监测供应商立即向客户反馈。经媒体排查发现，媒体在添加监测代码时，将曝光代码与点击代码配置错误，媒体立即做出改正某品牌广告主定投了某热剧，该热剧在多家媒体的 PC端流量大量出现同一 Cookie ID的 User Agent信息变化多次的现象，第三方监测供应商与媒体多次沟通排查后判定为片方恶意刷量造成某个与第三方监测供应商新对接的媒体在多个活动中的大量移动端点位出现了以下情况：点击频次过高、且同一 ID的点击触发间隔时间基本一致，经与媒体沟通后发现该异常是由媒体的监测重试机制导致的，即在广告点击请求发出后，媒体为防止请求失败会在短暂的特定时间后尝试重发。该问题所导致的流量被归为无效流量某媒体在某品牌广告主的活动中频频出现曝光碰撞，即同一 ID在极短时间内、在同一媒体上触发了两次及以上的曝光请求。第三方监测供应商发出异常情况报告，广告主协调媒体、代理和第三方监测供应商共同排查。媒体提出举证要求，第三方监测供应商核查举证日志时发现：触发曝光碰撞的 ID同时存在一天之内 IP频繁变换、出现在全国多个地域的情况。结合多维度的异常指标，这部分流量被认定为无效流量无效流量排查案例分享战术建议及最佳实践首先，应对无效流量，媒体的配合至关重要。例如，相较 PC端以 cookie来识别用户判定异常，移动端可以通过移动设备 ID更好地识别无效流量。设备 ID需要移动媒体配合通过 SDK或 API等方式传递给第三方，其中 SDK方式是被首先推荐的方式。在媒体配合下，通过 SDK反作弊模块从操作系统底层直接读取设备 ID、避免 APP干扰。再比如，可见曝光的监测可以让广告主更全面了解到广告流量的质量。 MRC标准中指出，探测可见状态失败的流量也是一种 SIVT。可见曝光在浏览器端的监测一般采用坐标法或浏览器渲染法，无论哪种方式，都需要媒体配合添加 JS监测代码。 JS代码有助于第三方监测公司获得更多的监测信息，从而更好地支持 IVT排查。随着广告主对无效流量的重视程度提高， JS监测代码及可见曝光的监测也将逐渐得到媒体的广泛认可与支持。其次，广告主在执行层面对媒体的态度和行动会直接影响无效流量的排查。广告主对 IVT的警惕性越高、容忍度越低，则其广告活动中 IVT的比例相较其他广告主明显降低。广告主为确保自身利益，最大程度地规避 IVT，通常在与媒体的签订广告合同中包含针对无效流量的相应约束条款。同时，广告主需要积极要求媒体不断提高透明度，包括推动媒体采取 SDKJS监测、100%回传移动端设备 ID等。当广告活动中出现异常时，广告主应主动协调代理公司、媒体和监测公司共同排查，并持续关注排查进度，针对 IVT排查结果要求媒体采取相应行动。只有广告主对无效流量坚决 Say No、主导协调各方，才会取得反作弊斗争的最终胜利。在实际监测服务过程中，当第三方发现无效流量后，会向客户发出数据异常情况报告。客户收到后，协调各方成立无效流量核查小组，成员一般包括客户、代理公司、监测公司、媒体，多方共同核查、分析定性。经排查，如确认存在无效流量，则进入商务谈判阶段，各方按照商定的处理方案执行。监测方媒体方代理公司协调各方成立核查小组向委托方输出核查结论委托方代理公司向委托方发出数据异常情况向代理公司转发数据异常情况分析问题并定性是否误判否是发现异常流量商务处理结束正常结束异常流量排查流程图媒体沟通最佳实践24 25对