数据资源体系技术指南第3部分:数据清洗加工规范DB5120/T 19.3-2023.pdf

返回 相关 举报
数据资源体系技术指南第3部分:数据清洗加工规范DB5120/T 19.3-2023.pdf_第1页
第1页 / 共12页
数据资源体系技术指南第3部分:数据清洗加工规范DB5120/T 19.3-2023.pdf_第2页
第2页 / 共12页
数据资源体系技术指南第3部分:数据清洗加工规范DB5120/T 19.3-2023.pdf_第3页
第3页 / 共12页
数据资源体系技术指南第3部分:数据清洗加工规范DB5120/T 19.3-2023.pdf_第4页
第4页 / 共12页
数据资源体系技术指南第3部分:数据清洗加工规范DB5120/T 19.3-2023.pdf_第5页
第5页 / 共12页
亲,该文档总共12页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述
I C S 3 5.0 4 0C C S L 7 1D B 5 12 0四 川 省(资 阳 市)地 方 标 准D B 5 1 2 0/T 1 9.3 2 0 2 3数 据 资 源 体 系 技 术 指 南第 3 部 分:数 据 清 洗 加 工 规 范2 0 2 3-1 2-2 2 发 布 2 0 2 3-1 2-2 9 实 施资 阳 市 市 场 监 督 管 理 局发 布D B 5 1 2 0/T 1 9.3 2 0 2 3I目 次前 言.I I1 范 围.12 规 范 性 引 用 文 件.13 术 语 和 定 义.14 缩 略 语.15 清 洗 目 的.26 管 理 职 责.27 清 洗 流 程.28 具 体 操 作.2附 录 A(规 范 性)典 型 业 务 数 据 清 洗 规 则 表.7参 考 文 献.8D B 5 1 2 0/T 1 9.3 2 0 2 3I I前 言本 文 件 按 照 G B/T 1.1 2 0 2 0 标 准 化 工 作 导 则 第 1 部 分:标 准 化 文 件 的 结 构 和 起 草 规 则 的 规 定起 草。请 注 意 本 文 件 的 某 些 内 容 可 能 涉 及 专 利,本 文 件 的 发 布 机 构 不 承 担 识 别 这 些 专 利 的 责 任。本 文 件 由 资 阳 市 政 务 服 务 和 大 数 据 管 理 局 提 出 并 归 口。本 文 件 由 资 阳 市 市 场 监 督 管 理 局 批 准 并 发 布。本 文 件 起 草 单 位:资 阳 市 大 数 据 服 务 中 心、资 阳 数 智 科 技 有 限 公 司。本 文 件 主 要 起 草 人:刘 桄 序、戢 培 全、邵 柏 华、袁 嘉、刘 光 乾、杨 建 康、张 亚 琴、李 爱 民、刘 西 北、郑 雪 梅、邓 森 林、彭 国 林、陈 杜 宇、杨 通、李 强、夏 荣、张 润 泽、任 良 华、冷 耀、陈 熙。本 文 件 为 首 次 发 布。D B 5 1 2 0/T 1 9.3 2 0 2 31数 据 资 源 体 系 技 术 指 南第 3 部 分:数 据 清 洗 加 工 规 范1 范 围本 文 件 规 定 了 资 阳 市 域 数 据 清 洗 加 工 相 关 术 语 和 定 义、缩 略 语、清 洗 目 的、管 理 职 责、清 洗 流 程、具 体 操 作 等 工 作 规 范。本 文 件 适 用 于 资 阳 市 域 政 务 组 织、非 政 务 组 织 和 个 人 信 息 资 源 数 据 清 洗 加 工。2 规 范 性 引 用 文 件下 列 文 件 中 的 内 容 通 过 文 中 的 规 范 性 引 用 而 构 成 本 文 件 必 不 可 少 的 条 款。其 中,注 日 期 的 引 用 文 件,仅 该 日 期 对 应 的 版 本 适 用 于 本 文 件;不 注 日 期 的 引 用 文 件,其 最 新 版 本(包 括 所 有 的 修 改 单)适 用 于 本文 件。G B/T 5 2 7 1.1 信 息 技 术 词 汇 第 1 部 份:基 本 术 语G B/T 1 1 4 5 7 信 息 技 术 软 件 工 程 术 语G B/T 1 8 4 9 2 信 息 技 术 系 统 及 软 件 完 整 性 级 别G B/T 2 2 0 3 2 系 统 工 程 系 统 生 存 周 期 过 程G B/T 2 5 0 0 0 系 统 与 软 件 工 程(所 有 部 分)G B/T 2 9 2 6 4 信 息 技 术 服 务 分 类 与 代 码G B/T 3 5 2 9 5 信 息 技 术 大 数 据 术 语G B/T 3 6 6 2 5.3 智 慧 城 市 数 据 融 合 第 3 部 分:数 据 采 集 规 范G B/T 3 8 6 6 7 信 息 技 术 大 数 据 数 据 分 类 指 南G B/T 4 0 0 9 4.2 电 子 商 务 数 据 交 易 第 2 部 分:数 据 描 述 规 范G B/T 4 2 4 5 0 信 息 技 术 大 数 据 数 据 资 源 规 划D B 5 1/T 3 0 5 6 政 务 数 据 数 据 分 类 分 级 指 南3 术 语 和 定 义G B/T 5 2 7 1.1、G B/T 1 1 4 5 7、G B/T 1 8 4 9 2、G B/T 2 5 0 0 0、G B/T 2 9 2 6 4、G B/T 3 5 2 9 5、G B/T 3 6 6 2 5.3、G B/T 3 8 6 6 7、G B/T 4 0 0 9 4.2、G B/T 4 2 4 5 0、D B 5 1/T 3 0 5 6 界 定 的 以 及 下 列 术 语 和 定 义 适 用 于 本 文 件。3.1数 据 清 洗 加 工 d a t a c l e a n i n g a n d p r o c e s s i n g运 用 一 定 方 法 修 正 识 别 的 数 据 问 题,转 化 为 满 足 数 据 质 量 要 求 或 应 用 要 求 的 数 据 的 过 程。4 缩 略 语下 列 缩 略 语 适 用 于 本 文 件。E T L:数 据 的 抽 取、转 换 和 加 载(E x t r a c t T r a n s f o r m L o a d)D B 5 1 2 0/T 1 9.3 2 0 2 325 清 洗 目 的数 据 清 洗 的 目 的 是 为 了 通 过 纠 正 不 符 合 要 求 的 数 据 来 提 高 数 据 质 量,满 足 数 据 质 量 标 准 要 求。其 中不 符 合 要 求 的 数 据 主 要 有 三 类:a)残 缺 数 据:缺 一 些 记 录,或 一 条 记 录 里 缺 一 些 值(空 值),或 两 者 都 缺。b)错 误 数 据:数 据 没 有 严 格 按 照 规 范 记 录,包 括 格 式 内 容 错 误、逻 辑 错 误、不 合 规 等。c)重 复 数 据:出 现 多 条 相 同 的 记 录 或 多 条 记 录 代 表 同 一 实 体。6 管 理 职 责数 据 提 供 方:a)数 源 单 位 需 要 参 与 数 据 清 洗 规 则 和 错 误 处 理 策 略 的 制 定。b)数 源 单 位 需 要 参 与 数 据 转 换 规 则 的 制 定。c)数 源 单 位 针 对 重 要 数 据 缺 失 的 错 误,需 要 凭 借 业 务 经 验 对 缺 失 数 据 进 行 补 全。数 据 管 理 方:a)数 据 管 理 方 需 要 参 与 数 据 清 洗 规 则 和 错 误 处 理 策 略 的 制 定。b)数 据 管 理 方 需 要 参 与 数 据 转 换 规 则 的 制 定。7 清 洗 流 程资 阳 市 数 据 资 源 中 心 的 数 据 清 洗 加 工 采 用 E T L 架 构 的 清 洗 流 程,流 程 如 附 录 A 所 示。8 具 体 操 作8.1 定 义 规 则分 析 抽 取 目 标 数 据 的 范 围 体 量、类 型、内 容、关 系、质 量 等 信 息,全 面 识 别 数 据 情 况。以 需 求 为 导 向、应 用 为 目 标,考 虑 目 标 数 据 资 源 特 点 和 工 作 复 杂 程 度,结 合 业 务 要 求 或 用 户 和 其 他相 关 方 的 需 求、期 望,定 义 切 实 可 操 作 的 数 据 清 洗 加 工 目 标 及 规 则。8.2 数 据 过 滤数 据 过 滤 的 任 务 是 过 滤 那 些 不 符 合 要 求 的 数 据,数 据 过 滤 包 括 以 下 操 作:a)将 非 结 构 化 和 半 结 构 化 数 据 转 化 为 结 构 化 数 据。b)对 噪 声 数 据 进 行 删 除。c)对 业 务 数 据 中 不 符 合 应 用 规 则 的 数 据 进 行 删 除。d)过 滤 删 除 掉 的 数 据 应 存 入 问 题 数 据 库 表,便 于 后 续 查 证 或 重 新 使 用。注:噪 声 数 据 指 存 在 错 误 或 异 常 的 数 据,这 些 数 据 对 数 据 的 分 析 造 成 了 干 扰。8.3 数 据 检 核8.3.1 检 核 要 求数 据 检 核 应 包 括 以 下 操 作:a)非 空 检 核:应 在 字 段 为 非 空 的 情 况 下,对 该 字 段 数 据 进 行 检 核,数 据 不 能 为 空 值。b)长 度 检 核:数 据 长 度 应 满 足 转 换 要 求 的 字 段 长 度。c)数 据 量 检 核:过 滤 后 的 数 据 总 量 应 与 原 始 抽 取 的 数 据 总 量 吻 合。D B 5 1 2 0/T 1 9.3 2 0 2 33d)数 据 类 型 和 数 据 值 检 核:数 据 类 型 和 值 应 能 支 持 后 续 数 据 转 换 过 程,如 后 续 根 据 定 义 规 则 需 要将 时 间 字 符 串 数 据 转 换 成 时 间 类 型 时,还 需 检 核 时 间 字 符 串 类 型 的 数 据,应 符 合 时 间 格 式。8.3.2 检 核 步 骤数 据 检 核 步 骤 如 下:a)按 检 核 要 求 检 核 数 据 资 源 是 否 满 足 要 求。b)当 不 满 足 检 核 要 求 时,应 进 行 数 据 错 误 标 识 和 错 误 处 理。c)当 满 足 检 核 要 求 时,直 接 进 行 数 据 转 换。8.4 错 误 标 识8.4.1 识 别 方 法可 采 用 统 计 学 方 法、数 据 挖 掘 方 法、基 于 聚 类 的 方 法、基 于 距 离 的 方 法、基 于 分 类 的 方 法、基 于 关联 规 则 的 方 法、业 务 区 分 等 方 式 分 析 数 据,从 而 识 别 出 数 据 的 错 误 类 型。8.4.2 标 识 步 骤错 误 标 识 步 骤 如 下:a)按 识 别 方 法 推 荐 的 方 法,分 析 筛 选 出 数 据 资 源 中 存 在 的 数 据 问 题。b)按 错 误 的 类 型,对 数 据 问 题 进 行 分 类 并 标 识 错 误。8.5 错 误 处 理8.5.1 由 数 源 单 位 进 行 错 误 处 理 的 情 况,建 议 数 源 单 位 在 业 务 系 统 中 更 正 数 据,并 把 更 正 后 的 数 据 更新 推 送 到 前 置 库。8.5.2 残 缺 数 据 处 理8.5.2.1 处 理 策 略按 照 字 段 缺 失 比 例 和 字 段 重 要 性,分 别 制 定 策 略:a)对 重 要 性 高、缺 失 率 高 的 残 缺 数 据,采 用 以 下 策 略:1)尝 试 从 其 他 渠 道 取 数 据 补 全;2)使 用 其 他 字 段 通 过 计 算 获 取;3)去 除 该 字 段,并 在 结 果 中 标 明。b)对 重 要 性 低、缺 失 率 高 的 残 缺 数 据,去 除 该 字 段。c)对 重 要 性 高、缺 失 率 低 的 残 缺 数 据,采 用 以 下 策 略:1)通 过 计 算 进 行 填 充;2)通 过 经 验 或 业 务 知 识 估 计。d)对 重 要 性 低、缺 失 率 低 的 残 缺 数 据,不 做 处 理 或 进 行 简 单 填 充。注:重 要 性 高 指 该 数 据 如 果 残 缺 了 会 导 致 业 务 中 断;缺 失 率 按 数 据 质 量 指 标 要 求 应 小 于 1 0%,因此 大 于 1 0%可 认 为 是 缺 失 率 高。8.5.2.2 处 理 方 法去 除 字 段:备 份 当 前 数 据,直 接 删 除 不 需 要 的 字 段。填 充 缺 失 内 容:按 以 下 方 式 填 充 缺 失 内 容:a)不 同 指 标 的 计 算 结 果 填 充:通 过 数 据 项 与 数 据 项 之 间 的 逻 辑 联 系,采 取 一 定 的 列 拆 分、列 计 算等 方 式 得 到 缺 失 内 容,如 年 龄 字 段 缺 失,但 具 有 公 民 身 份 证 号,可 从 公 民 身 份 证 号 提 取 年 龄 数 据。b)同 一 指 标 的 计 算 结 果 填 充:采 取 均 值、中 位 数、众 数 等 方 式 进 行 填 充,如 时 间 序 列 缺 失,可 使D B 5 1 2 0/T 1 9.3 2 0 2 34用 前 后 的 均 值 填 充。c)重 新 获 取:对 缺 失 率 高 且 非 常 重 要 的 数 据 项,应 采 取 重 新 抽 取 不 同 数 据 源 的 数 据 进 行 关 联 对 比填 充。d)取 数 补 全:以 线 下 收 集、业 务 知 识 或 经 验 推 测 的 方 式 补 全 缺 失 值。8.5.3 错 误 数 据 处 理8.5.3.1 格 式 内 容 问 题 处 理对 格 式 内 容 问 题 数 据,采 用 以 下 方 法 处 理:a)全 角、半 角 处 理:通 过 正 则 表 达 式 将 全 角、半 角 符 号 按 照 事 先 定 义 的 规 则 进 行 全 角、半 角 符 号统 一。b)有 不 该 存 在 的 字 符:以 自 动 校 验 结 合 人 工 方 式 来 找 出 存 在 的 问 题,自 动 去 除 不 需 要 的 字 符,将数 据 自 动 化 统 一 或 人 工 修 正 为 正 确 字 符。c)内 容 与 字 段 不 匹 配:详 细 识 别 问 题 类 型,如 人 工 填 写 错 误、前 端 没 有 校 验、导 入 数 据 时 部 分 或全 部 存 在 列 没 有 对 齐、数 据 源 端 业 务 系 统 缺 陷 等,不 能 直 接 删 除,应 按 照 清 洗 规 则,采 取 加 入 更 多 数 据源 进 行 数 据 关 联,找 到 匹 配 的 相 应 字 段 进 行 填 补。8.5.3.2 逻 辑 问 题 处 理对 逻 辑 问 题 数 据,采 用 以 下 方 法 处 理:a)了 解 数 据 潜 在 的 逻 辑 规 则,采 取 逻 辑 推 理 法,过 滤 掉 一 些 使 用 简 单 逻 辑 推 理 即 可 发 现 的 问 题 数据。b)对 于 不 重 要 的、不 合 理 的 数 据 可 直 接 删 除,对 于 重 要 的、不 合 理 值 应 进 行 人 工 干 预 或 引 入 更 多数 据 源 进 行 关 联 识 别。c)通 过 字 段 间 相 互 验 证 的 方 法 修 正 矛 盾 内 容,如 根 据 字 段 的 数 据 来 源,判 定 哪 个 字 段 提 供 的 信 息更 可 靠,去 除 或 重 构 不 可 靠 字 段。d)通 过 分 箱、聚 类、回 归 等 方 法 识 别 离 群 值(异 常 值),按 照 经 验 和 业 务 流 程 判 断 其 合 理 性,若合 理,则 保 留 该 数 值;若 不 合 理,对 重 要 性 较 高 而 无 法 重 新 采 集 的 数 值,按 缺 失 数 据 处 理,对 重 要 性 较低 的 数 值,可 直 接 删 除。e)对 于 复 杂 逻 辑 数 据 问 题 应 咨 询 了 解 该 数 据 的 产 生 原 因,按 照 协 商 的 清 洗 加 工 规 则 进 行 处 理。8.5.3.3 不 合 规 问 题 处 理对 不 合 规 问 题 数 据,采 用 以 下 方 法 处 理:a)设 定 判 定 规 则:设 定 强 制 合 规 条 件,不 在 规 则 范 围 内 的,强 制 设 置 最 大 值 或 最 小 值,剔 除 或 判断 为 无 效 字 段。b)设 定 警 告 规 则:不 在 规 则 范 围 内 的,进 行 警 告 及 人 工 处 理。8.5.4 重 复 数 据 处 理重 复 问 题 处 理 步 骤 如 下:a)通 过 元 数 据 血 缘 关 系 查 询 到 重 复 数 据 的 各 个 来 源。b)通 过 数 据 主 键 或 寻 找 相 关 信 息 识 别 重 复 数 据 的 含 义,不 是 相 同 含 义 的 数 据 不 能 界 定 为 重 复 数 据进 行 去 重 处 理,应 分 别 保 留。c)查 询 到 确 定 的 重 复 数 据,根 据 权 威 性 和 应 用 场 合,选 择 最 恰 当 渠 道 来 源 的 数 据,或 在 不 影 响 数据 保 真 度 和 完 整 性 的 情 况 下 进 行 合 并 处 理。8.5.5 质 量 报 告数 据 检 核 环 节 完 成 后 应 出 具 质 量 报 告,内 容 应 包 含 数 据 过 滤、检 核 发 现 的 问 题(错 误 标 识)和 错 误D B 5 1 2 0/T 1 9.3 2 0 2 35处 理 的 结 果。质 量 报 告 需 推 送 给 相 关 数 源 单 位。8.6 数 据 转 换数 据 转 换 应 在 数 据 检 核 通 过 后 执 行,按 以 下 操 作 执 行:a)开 始 前 应 检 查 需 要 转 换 的 数 据 规 则 和 字 段 是 否 一 致。b)应 实 现 对 数 据 的 格 式、信 息 代 码、值 的 冲 突 的 转 换,典 型 业 务 数 据 清 洗 规 则 见 附 录 A。c)清 洗 后 的 数 据 结 构 应 与 目 标 数 据 库 的 结 构 相 兼 容。d)数 据 向 目 标 移 动 时,将 数 据 复 制 到 多 个 目 标 中。e)转 换 失 败 应 立 即 停 止,开 始 查 找 问 题。f)长 时 间 未 转 换 结 束,需 仔 细 核 查 数 据 量、规 则 和 字 段 是 否 一 致,如 有 问 题 应 立 即 停 止。g)转 换 中 查 找 到 问 题,应 解 决 问 题 后 再 重 新 开 始 数 据 转 换。8.7 结 果 检 核8.7.1 检 核 内 容结 果 检 核 应 包 括 以 下 内 容:a)主 键 重 复:多 个 业 务 系 统 中 同 类 数 据 经 过 清 洗 后,在 统 一 保 存 时,检 核 主 键 的 唯 一 性。b)非 法 代 码、非 法 值:检 查 个 别 字 段 出 现 的 异 常 信 息,包 括 非 法 代 码、代 码 与 数 据 标 准 不 一 致、取 值 错 误、格 式 错 误、多 余 字 符、乱 码 等。c)数 据 格 式:根 据 表 中 属 性 值 的 格 式 检 核 其 准 确 性,如 时 间 格 式、币 种 格 式、多 余 字 符、乱 码。d)记 录 数:检 核 各 个 系 统 相 关 数 据 之 间 的 数 据 总 数,或 数 据 表 中 每 日 数 据 量 的 波 动。e)业 务 约 束:应 从 业 务 的 角 度 考 虑 数 据 的 正 确 性、一 致 性、有 效 性 等,如 建 档 日 期、入 学 日 期、民 族 信 息 等。f)标 准 约 束:对 照 系 统 数 据 应 符 合 的 标 准 进 行 检 核。8.7.2 结 果 要 求清 洗 后 的 结 果 应 满 足 以 下 要 求:a)规 范 性:数 据 的 质 量 及 存 储 标 准 应 统 一,源 数 据 应 在 源 头 或 备 份 表 中 能 找 到。b)唯 一 性:数 据 在 字 段、记 录 内 容 或 数 据 集 内 不 应 有 重 复 值。c)准 确 性:数 据 所 指 内 容 对 数 据 所 指 对 象 的 反 应、表 现 应 准 确,数 据 形 式 对 数 据 内 容 的 表 述、表达 应 准 确。d)完 整 性:数 据 集 合 中 应 包 含 足 够 的 数 据 来 响 应 各 种 查 询 和 支 持 各 种 计 算。e)一 致 性:数 据 一 致 性 应 符 合 以 下 要 求:1)同 一 个 数 据 在 同 一 时 刻 在 不 同 数 据 库、应 用 和 系 统 中 应 只 有 一 个 值;2)数 据 字 段 内 数 据 应 与 字 段 描 述 一 致;3)最 终 结 果 数 据 的 统 计 量 应 与 预 测 一 致。f)时 效 性:不 同 类 型 的 应 用 对 数 据 的 时 间 特 性 有 不 同 的 要 求,数 据 的 时 间 特 性 应 满 足 业 务 应 用 的要 求,数 据 记 录 应 根 据 时 间 特 性 及 时 更 新。g)稳 定 性:数 据 来 源 稳 定,数 据 结 果 能 支 撑 后 续 业 务。8.8 数 据 加 载数 据 加 载 方 式 应 匹 配 数 据 抽 取 方 式,包 含 全 量 加 载、增 量 加 载。数 据 加 载 操 作 应 满 足 以 下 要 求:a)存 储 环 境 应 能 支 撑 相 应 数 据。b)加 载 工 具 应 具 有 高 效 的 加 载 性 能。D B 5 1 2 0/T 1 9.3 2 0 2 36c)加 载 策 略 应 考 虑 加 载 周 期 和 数 据 追 加 策 略 两 方 面 的 内 容。d)加 载 应 记 录 日 志。D B 5 1 2 0/T 1 9.3 2 0 2 37A A附 录 A(资 料 性)典 型 业 务 数 据 清 洗 规 则 表清 洗 规 则 规 则 描 述统 一 时 间 日 期 数 据 格 式将 各 类 日 期 统 一 为 八 位 的 字 符 日 期,如 Y Y Y Y M M D D,符 合 G B/T 7 4 0 8-2 0 0 5。将 各 类 时 间 统 一 为 六 位 的 字 符 时 间,如 h h m m s s,符 合 G B/T 7 4 0 8-2 0 0 5。将 各 类 事 件 日 期 统 一 为 十 四 位 的 字 符 时 间 日 期,如 Y Y Y Y M M D D h h m m s s,符合 G B/T 7 4 0 8-2 0 0 5。统 一 分 类 数 据 取 值 代 码将 人 员 的 性 别 数 据 统 一 转 换 为 标 准 信 息 代 码(0-未 知 的 性 别,1-男 性,2-女 性,9-未 说 明 的 性 别),符 合 G B/T 2 2 6 1.1-2 0 0 3。将 人 员 的 民 族 数 据 统 一 转 换 为 标 准 信 息 代 码,符 合 G B/T 3 3 0 4-1 9 9 1。将 人 员 的 户 籍 地 址 数 据 统 一 转 换 为 行 政 区 划 代 码,符 合 G B/T 2 2 6 0-2 0 0 7。将 人 员 的 婚 姻 登 记 情 况 统 一 转 换 为 标 准 的 婚 姻 状 况 代 码(1 0-未 婚,2 0-已 婚,2 1-初 婚,2 2-再 婚,2 3-复 婚,3 0-丧 偶,4 0-离 婚,9 0-未 说 明 的婚 姻 状 态),符 合 G B/T 2 2 6 1.2-2 0 0 3。将 公 民 身 份 证 统 一 转 换 为 1 8 位 的 身 份 证 号,符 合 G B 1 1 6 4 3-1 9 9 9。全 角 半 角 转 换1.全 角 转 半 角(默 认 值);2.半 角 转 全 角。去 除 空 白 字 符配 置 去 除 左 边 的、右 边 的、所 有 空 白,或 将 连 续 的 空 白 字 符 转 为 一 个 空格。字 典 标 准 化根 据 字 典 表,将 数 据 进 行 标 准 化,标 准 化 结 果 是 字 典 名 或 字 典 值。字 典 表 依 赖 数 据 标 准 提 供,也 可 以 自 定 义 字 典 表 的 条 目。数 据 去 重1.跳 过 空 行(选 中 表 示 一 行 数 据 都 为 空 的 则 跳 过);2.跳 过 空 键(组 件 有 空 值 则 跳 过 该 行 数 据);3.去 重 范 围(选 择 是 在 全 表 去 重 或 是 分 区 内 去 重)。长 度 过 滤根 据 用 户 配 置 的 最 大 长 度 和 最 小 长 度 将 输 入 数 据 分 为 三 类:1.字 段 长 度 小 于 最 小 长 度 的 数 据;2.字 段 长 度 在 范 围 内 的 数 据;3.字 段 长 度 大 于 最 大 长 度 的 数 据。空 值 过 滤根 据 一 个 或 多 个 字 段 的 值 判 断 是 否 要 过 滤 输 入 数 据。过 滤 原 则:有 一 个 字 段 为 空 即 过 滤 或 者 所 有 字 段 为 空 才 过 滤;空 字 符 串是 否 要 过 滤。邮 箱 校 验校 验 邮 箱 格 式 合 法 性。正 则 过 滤根 据 一 个 或 多 个 字 段 的 值 设 定 的 正 则 表 达 式 判 断 是 否 要 过 滤 输 入 数 据。统 一 社 会 信 用 代 码 校 验校 验 统 一 社 会 信 用 代 码 合 法 性,符 合 G B 1 1 7 1 4-1 9 9 7。手 机 号 校 验校 验 手 机 号 合 法 性。固 定 号 码 校 验校 验 固 定 号 码 合 法 性。D B 5 1 2 0/T 1 9.3 2 0 2 38参 考 文 献 资 阳 市 政 务 信 息 化 项 目 管 理 办 法(试 行)(资 府 办 发 2 0 2 2 2 5 号)
展开阅读全文
相关资源
相关搜索
资源标签

copyright@ 2017-2022 报告吧 版权所有
经营许可证编号:宁ICP备17002310号 | 增值电信业务经营许可证编号:宁B2-20200018  | 宁公网安备64010602000642