资源描述
I C S 3 5.2 4 0.0 1C C S L 7 0D B 5 12 0四 川 省（资 阳 市）地 方 标 准D B 5 1 2 0/T 1 9.4 2 0 2 3数 据 资 源 体 系 技 术 指 南第 4 部 分：数 据 仓 库 建 设 指 南2 0 2 3-1 2-2 2 发 布 2 0 2 3-1 2-2 9 实 施资 阳 市 市 场 监 督 管 理 局发 布D B 5 1 2 0/T 1 9.4 2 0 2 3I目 次前 言.I I1 范 围.12 规 范 性 引 用 文 件.13 术 语 和 定 义.14 缩 略 语.25 综 述.26 命 名 规 范.47 开 发 规 范.7参 考 文 献.1 0D B 5 1 2 0/T 1 9.4 2 0 2 3I I前 言本 文 件 按 照 G B/T 1.1 2 0 2 0 标 准 化 工 作 导 则 第 1 部 分：标 准 化 文 件 的 结 构 和 起 草 规 则 的 规 定起 草。请 注 意 本 文 件 的 某 些 内 容 可 能 涉 及 专 利，本 文 件 的 发 布 机 构 不 承 担 识 别 这 些 专 利 的 责 任。本 文 件 由 资 阳 市 政 务 服 务 和 大 数 据 管 理 局 提 出 并 归 口。本 文 件 由 资 阳 市 市 场 监 督 管 理 局 批 准 并 发 布。本 文 件 起 草 单 位：资 阳 市 大 数 据 服 务 中 心、资 阳 数 智 科 技 有 限 公 司。本 文 件 主 要 起 草 人：刘 桄 序、戢 培 全、邵 柏 华、袁 嘉、刘 光 乾、杨 建 康、张 亚 琴、李 爱 民、刘 西 北、郑 雪 梅、邓 森 林、彭 国 林、陈 杜 宇、杨 通、李 强、夏 荣、张 润 泽、任 良 华、冷 耀、陈 熙。本 文 件 为 首 次 发 布。D B 5 1 2 0/T 1 9.4 2 0 2 31数 据 资 源 体 系 技 术 指 南第 4 部 分：数 据 仓 库 建 设 指 南1 范 围本 文 件 规 定 了 资 阳 市 域 数 据 仓 库 建 设 相 关 术 语 和 定 义、缩 略 语、综 述、命 名 规 范、开 发 规 范 等 工 作规 范。本 文 件 适 用 于 资 阳 市 域 的 数 据 仓 库 建 设。2 规 范 性 引 用 文 件下 列 文 件 中 的 内 容 通 过 文 中 的 规 范 性 引 用 而 构 成 本 文 件 必 不 可 少 的 条 款。其 中，注 日 期 的 引 用 文 件，仅 该 日 期 对 应 的 版 本 适 用 于 本 文 件；不 注 日 期 的 引 用 文 件，其 最 新 版 本（包 括 所 有 的 修 改 单）适 用 于 本文 件。G B/T 5 2 7 1.1 信 息 技 术 词 汇 第 1 部 份：基 本 术 语G B/T 1 1 4 5 7 信 息 技 术 软 件 工 程 术 语G B/T 1 8 4 9 2 信 息 技 术 系 统 及 软 件 完 整 性 级 别G B/T 2 0 2 7 0 信 息 安 全 技 术 网 络 基 础 安 全 技 术 要 求G B/T 2 0 2 7 1 信 息 安 全 技 术 信 息 系 统 通 用 安 全 技 术 要 求G B/T 2 2 0 3 2 系 统 工 程 系 统 生 存 周 期 过 程G B/T 2 1 0 6 2.3 政 务 信 息 资 源 交 换 体 系 第 3 部 分：数 据 接 口 规 范G B/T 2 5 0 0 0 系 统 与 软 件 工 程（所 有 部 分）G B/T 2 8 4 5 2 信 息 安 全 技 术 应 用 软 件 系 统 通 用 安 全 技 术 要 求G B/T 2 9 2 6 4 信 息 技 术 服 务 分 类 与 代 码G B/T 2 9 7 6 5 信 息 安 全 技 术 数 据 备 份 与 恢 复 产 品 技 术 要 求 与 测 试 评 价 方 法G B/T 3 5 2 9 5 信 息 技 术 大 数 据 术 语G B/T 3 6 6 2 5.3 智 慧 城 市 数 据 融 合 第 3 部 分：数 据 采 集 规 范G B/T 3 8 6 6 7 信 息 技 术 大 数 据 数 据 分 类 指 南G B/T 4 0 0 9 4.2 电 子 商 务 数 据 交 易 第 2 部 分：数 据 描 述 规 范G B/T 4 0 0 9 4.3 电 子 商 务 数 据 交 易 第 3 部 分：数 据 接 口 规 范 行G B/T 4 2 4 5 0 信 息 技 术 大 数 据 数 据 资 源 规 划D B 5 1/T 3 0 5 6 政 务 数 据 数 据 分 类 分 级 指 南3 术 语 和 定 义G B/T 5 2 7 1.1、G B/T 1 1 4 5 7、G B/T 1 8 4 9 2、G B/T 2 0 2 7 0、G B/T 2 0 2 7 1、G B/T 2 1 0 6 2.3、G B/T 2 5 0 0 0、G B/T 2 8 4 5 2、G B/T 2 9 2 6 4、G B/T 2 9 7 6 5、G B/T 3 5 2 9 5、G B/T 3 6 6 2 5.3、G B/T 3 8 6 6 7、G B/T 4 0 0 9 4.2、G B/T4 0 0 9 4.3、G B/T 4 2 4 5 0、D B 5 1/T 3 0 5 6 界 定 的 以 及 下 列 术 语 和 定 义 适 用 于 本 文 件。3.1数 据 仓 库 d a t a w a r e h o u s e数 据 仓 库 是 一 个 面 向 主 题 的、集 成 的、相 对 稳 定 的、反 映 历 史 变 化 的 数 据 集 合，用 于 支 持 管 理 决 策。D B 5 1 2 0/T 1 9.4 2 0 2 323.2贴 源 层 o p e r a t i o n a l d a t a s t o r e数 据 准 备 区，与 数 据 源 的 数 据 同 构，是 数 据 仓 库 层 加 工 数 据 的 来 源，主 要 目 的 是 简 化 后 续 数 据 加 工处 理 的 工 作。3.3标 准 层 s t a n d a r d d a t a贴 源 层 的 数 据 进 行 清 洗、转 化 后 的 数 据，为 后 续 数 据 加 工 提 供 标 准 数 据。3.4明 细 层 d a t a w a r e h o u s e d e t a i l保 存 通 过 标 准 层 标 准 化 之 后 的 所 有 历 史 数 据，为 后 续 数 据 加 工 提 供 统 一 的、标 准 的 数 据 视 图。3.5汇 聚 层 d a t a w a r e h o u s e s u m m a r y按 主 题 对 明 细 层 数 据 进 行 综 合、归 类。3.6集 市 层 d a t a m a r t在 汇 聚 层 的 基 础 上，满 足 特 定 的 部 门 或 者 用 户 的 需 求，按 照 多 维 的 方 式 进 行 存 储，包 括 定 义 维 度、需 要 计 算 的 指 标、维 度 的 层 次 等，生 成 的 面 向 决 策 分 析 需 求 的 数 据 立 方（一 个 全 局 数 据 表 与 其 多 个 重 要字 段 的 索 引 组 成 的 一 个 类 似 于 立 方 体 的 数 据 组 织 结 构）。4 缩 略 语下 列 缩 略 语 适 用 于 本 文 件。O D S：贴 源 层（O p e r a t i o n a l D a t a S t o r e）S T D：标 准 层（S T a n d a r d D a t）D W D：明 细 层（D a t a W a r e h o u s e D e t a i l）D W S：汇 聚 层（D a t a W a r e h o u s e S u m m a r y）D M：集 市 层（D a t a M a r t）5 综 述5.1 目 的本 文 件 的 拟 制 是 为 了 规 范 数 据 仓 库 的 建 设 过 程，降 低 开 发 难 度，保 障 开 发 质 量，避 免 因 开 发 不 规 范文 档 导 致 的 重 复 开 发 及 返 工 等 问 题。5.2 原 则数 据 仓 库 建 设 的 基 本 原 则 主 要 有 三 条：a）统 一 性：为 了 保 持 开 发 风 格 一 致，使 得 各 类 命 名、各 类 规 则、各 类 数 据 格 式、开 发 过 程 阶 段、问 题 处 理 方 式 等 保 持 统 一，数 据 仓 库 的 建 设 需 符 合“统 一 性”原 则。D B 5 1 2 0/T 1 9.4 2 0 2 33b）明 确 性：为 了 保 证 开 发 内 容 的 可 理 解 和 易 运 维，数 据 仓 库 的 建 设 需 符 合“明 确 性”的 原 则，命名 明 确、代 码 明 确、规 则 明 确、处 理 流 程 明 确、各 类 分 层 明 确 等。c）可 扩 展 性：为 了 保 障 后 续 数 据 仓 库 在 各 个 维 度 的 易 扩 展 能 力，需 要 遵 循“可 扩 展 性”原 则，要求 在 模 型 设 计、字 段 设 计、代 码 设 计 等 阶 段 关 注 此 原 则。5.3 数 据 架 构（数 据 采 集 过 程 与 采 集 规 范 一 致），如 图 1 所 示图 1 数 据 架 构5.4 分 区 选 取 原 则5.4.1 表 分 区 原 则：a）有 数 据 更 新 的 表 需 要 做 分 区，若 表 数 据 量 少 则 每 个 分 区 存 当 前 全 量 数 据，数 据 量 大 则 每 个 分 区放 增 量 数 据；b）分 区 列 尽 量 选 择 能 够 让 数 据 均 匀 分 布 的 列，避 免 数 据 倾 斜；c）有 必 要 时 可 以 选 择 多 级 分 区（如：地 区/年/月/日）；d）需 要 频 繁 查 询 且 数 据 量 较 大 的 表。5.4.2 表 不 分 区 原 则：a）数 据 几 乎 不 更 新 的 表 不 需 要 做 分 区，如 字 典 表；b）数 据 量 少 于 1 0 0 万 条。5.5 任 务 调 度任 务 调 度 是 配 置 任 务 的 运 行 周 期，主 要 基 于 数 据 资 源 中 心 数 据 开 发 平 台 或 其 他 大 数 据 平 台 的 工 作 流配 置。主 要 包 括 以 下 属 性：a）调 度 周 期：工 作 流 调 度 频 率，支 持 分 钟/小 时/天/周/月/年。b）起 止 时 间：调 度 将 在 有 效 日 期 内 生 效 并 自 动 调 度，每 次 调 度 生 成 工 作 流 实 例。c）依 赖 上 一 周 期：工 作 流 的 本 次 运 行 需 要 依 赖 上 一 周 期 的 运 行 结 果。如 果 上 一 周 期 运 行 失 败，则需 要 手 动 将 上 一 周 期 的 工 作 流 实 例 修 复 并 重 跑 成 功，才 能 继 续 进 行 下 一 周 期。d）补 数 据：若 设 置 的 调 度 起 始 时 间 早 于 当 前 时 间 一 个 调 度 周 期 及 以 上，则 缺 失 的 调 度 周 期 会 被 立刻 执 行，实 现 补 数 据 的 目 的。例 如：如 果 调 度 起 始 时 间 早 于 当 前 时 间 2 个 小 时，调 度 周 期 1 个 小 时，会把 之 前 2 个 小 时 的 2 个 工 作 流 实 例 也 生 成 运 行。D B 5 1 2 0/T 1 9.4 2 0 2 34e）调 度 依 赖：即 只 有 指 定 的 上 游 工 作 流 实 例 已 按 依 赖 策 略 执 行 成 功，才 会 调 度 执 行 本 工 作 流 实 例。如 果 添 加 了 多 个 上 游 工 作 流，则 需 要 所 有 上 游 工 作 流 同 时 满 足。6 命 名 规 范6.1 模 型 层 命 名命 名 要 求 如 表 1 所 示。表 1 模 型 层 命 名分 层 名 英 文 全 称 中 文 名 层 次 定 义O D SO p e r a t i o n a lD a t a S t o r e贴源层实 现 功 能：业 务 源 系 统 数 据 接 入 到 此 层，此 层 数 据 不 做 任 何 加 工，禁止重复进入。数据来源范围：业务源系统。数据存储时长：永久。实施环境：数据资源中心数据开发平台或其他大数据平台S T D S t a n d a r d D a t a 标准层实 现 功 能：该 层 为 标 准 数 据 层，主 要 是 O D S 层 的 数 据 进 行 清 洗、转 化后，导 入 到 这 一 层，为 D W D 层 提 供 标 准 数 据，并 把 清 洗 后 的 脏 数 据 保留到该层，反馈给业务系统进行修改。数据来源范围：O D S。数据存储时长：根据业务需求状况。实施环境：数据资源中心数据开发平台D W DD a t a W a r e h o u s eD e t a i l明细层实 现 功 能：该 层 为 数 据 明 细 层，主 要 按 主 题 对 数 据 进 行 综 合、归 类。保 留 通 过 S T D 层 标 准 经 之 后 的 所 有 历 史 数 据，为 D W S、D M 层 提 供 统 一的、标准的数据视图。数据来源范围：此层数据来源于 S T D。数据存储时长：根据业务需求保留。实施环境：数据资源中心数据开发平台或其他大数据平台D W SD a t a W a r e h o u s eS u m m a r y汇聚层实 现 功 能：该 层 为 数 据 汇 聚 层，主 要 从 D W D 层 的 数 据 进 行 粗 粒 度 聚 合汇 总；按 业 务 需 求 对 事 实 进 行 拉 宽 形 成 宽 表，共 性 汇 总 加 工。此 次 支持剪裁。数据来源范围：D W D。数据存储时长：根据业务需求状况。实施环境：数据资源中心数据开发平台或其他大数据平台D M D a t a M a r t 集市层实 现 功 能：该 层 为 数 据 集 市 层，根 据 应 用 要 求，生 成 相 关 结 果 数 据，支撑应用使用数据来源范围：D W D、D W S。数据存储时长：根据业务需求状况。实施环境：数据资源中心数据开发平台或其他大数据平台6.2 数 据 表 命 名6.2.1 O D S 层 实 体/表 名命 名 形 式：o d s _ 数 源 单 位 简 称 的 拼 音 首 字 母 _ 业 务 系 统 拼 音 首 字 母 _ 数 源 单 位 原 有 表 名 称，如表 2 所 示。表 2 O D S 层 表 名模 型 事 实 表 名 称 模 型 事 实 表 描 述o d s _ s g a j _ j z p t _ c z r k x x O D S _ 市公安局_ 警综平台_ 常驻人口信息o d s _ s j j _ f r x x p t _ f d d b r O D S _ 市监局_ 法人信息平台_ 法定代表人命 名 规 则：a）使 用 英 文 小 写 字 母，单 词 之 间 用 下 划 线 分 开。D B 5 1 2 0/T 1 9.4 2 0 2 35b）O D S 表 会 根 据 情 况 进 行 分 区，但 表 名 称 不 体 现 分 区 情 况，因 为 O D S 表 名 称 需 要 与 源 业 务 系 统 名称 保 持 一 致。c）日 期 分 区 字 段 名 称 为 d t，具 体 取 值 格 式 参 见：6.2.6 章 节d）添 加 数 据 加 载 日 期 字 段 l o a d _ t i m e，数 据 类 型 为 S t r i n g，值 格 式 为:Y Y Y Y-M M-D D6.2.2 S T D 层 实 体/表 名命 名 形 式：s t d _ 数 源 单 位 简 称 的 拼 音 首 字 母 _ 业 务 系 统 拼 音 首 字 母 _ 根 据 真 实 表 名 称 提 取 中 文首 字 母，如 表 3 所 示。表 3 S T D 层 表 名模 型 事 实 表 名 称 模 型 事 实 表 描 述s t d _ s g a j _ j z p t _ c z r k x x s t d _ 市 公 安 局 _ 警 综 平 台 _ 常 驻 人 口 信 息s t d _ s s c j g j _ f r x x p t _ f d d b r s t d _ 市 市 场 监 管 局 _ 法 人 信 息 平 台 _ 法 定 代 表 人命 名 规 则：使 用 英 文 小 写 字 母，单 词 之 间 用 下 划 线 分 开。6.2.3 D W D 层 实 体/表 名命 名 形 式：d w d _ 一 级 类 目 _ _ 数 据 描 述 _ 拉 链 标 识，如 表 4 所 示。表 4 D W D 层 表 名模 型 事 实 表 名 称 模 型 事 实 表 描 述d w d _ j b x x _ d j x x _ j t y j s y j b x x b d w d _ 基 本 信 息 _ 登 记 信 息 _ 交 通 域 驾 驶 员 基 本 信 息 表d w d _ j b x x _ d j x x _ j t y j s y j b x x b _ h i s d w d _ 基 本 信 息 _ 登 记 信 息 _ 交 通 域 驾 驶 员 基 本 信 息 表 历 史 拉 链 表d w d _ j b x x _ d j x x _ j t y k k l l d w d _ 基 本 信 息 _ 登 记 信 息 _ 交 通 域 卡 口 流 量命 名 规 则：a）使 用 英 文 小 写 字 母，单 词 之 间 用 下 划 线 分 开。b）一 级 类 目、二 级 类 目、数 据 描 述 均 采 用 中 文 首 字 母。c）如 果 是 历 史 拉 链 表 则 在 表 名 称 加“_ h i s”后 缀。6.2.4 D M 层 实 体/表 名命 名 形 式：d m _ _，如 表 5 所 示。表 5 D M 层 表 名模 型 事 实 表 名 称 模 型 事 实 表 描 述d m _ a l a r m 交 通 域 失 衡 预 警 次 数 日 表d m _ i n d e x 交 通 域 失 衡 指 数 日 表命 名 规 则，如 表 6 所 示：（1）使 用 英 文 小 写 字 母，单 词 之 间 用 下 划 线 分 开；（2）模 型 名 称 缩 写、数 据 内 容 描 述 均 采 用 中 文 首 字 母。表 6 D M 命 名 规 则模 型 名 称 对 应 缩 写区 域 人 口 分 布 q y r k f b各 地 区 各 年 龄 分 性 别 人 口 分 布 g d q g n l f x b r k f b各 少 数 民 族 人 口 分 布 g s s m z r k f b各 地 市 分 受 教 育 程 度 人 口 数 量 g d s f s j y c d r k s l分 地 区 新 生 儿 性 别 分 布 f d q x s e x b f bD B 5 1 2 0/T 1 9.4 2 0 2 36表 6（续）D M 命 名 规 则模 型 名 称 对 应 缩 写各 地 市 历 年 出 生、死 亡 人 口 统 计 g d s l n c s s w r k t j迁 移 人 口 分 布 情 况 q y r k f b q k三 次 产 业 分 性 别 迁 入 人 口 s c c y f x b q r r k各 地 市 城 镇 化 率 趋 势 g d s c z h l q s分 年 龄 不 同 文 化 程 度 不 同 性 别 婚 姻 情 况 f n l b t w h c d b t x b h y q k各 地 区 近 年 离 婚 率 趋 势 g d q j n l h l q s各 地 区 养 老 保 险 参 保 人 数 g d q t l b x c b r s6.2.5 临 时 表 命 名 规 范临 时 表 指 数 据 加 工 处 理 过 程 中，用 于 临 时 存 储 的 过 渡 表。命 名 形 式：t m p _ _ X X a）以 t m p 打 头，中 间 为 该 事 实 表 的 名 称，b）以 X X 结 尾，X X 为 从 0 1 9 9 的 数 字。6.2.6 分 区 字 段 命 名 及 取 值 规 范针 对 表 需 要 分 区 的 情 况，所 有 的 一 级 分 区 字 段 名 称 都 为“d t”，如 果 需 要 有 二 级 分 区，则 添 加 相 应的 二 级 分 区 字 段，d t 分 区 的 具 体 的 分 区 周 期，可 从 模 型 的 命 名 规 范 中 得 知，每 种 分 区 的 取 值 规 范 如 表 7所 示。表 7 分 区 取 值 规 范分 区 周 期 取 值 规 范 备 注日 数 据 格 式：Y Y Y Y-M M-D D，如:2 0 2 1-0 3-1 2周 数 据 格 式：Y Y Y Y W W 0 0，Y Y Y Y 表 示 某 年，W W 表 示 为 某 年 的 第 几 周，0 0 为 数 字 的 零；月 数 据 格 式：Y Y Y Y M M，如 2 0 2 1 0 3年 数 据 格 式：Y Y Y Y，如 2 0 2 16.3 节 点 命 名，如 表 8 所 示。表 8 节 点 命 名 规 范节 点、资 源 类 型 命 名 规 范 示 例 备 注数 据 集 成 节 点 e t l _ 节 点 含 义 e t l _ 开 始 根 节 点 启 动 任 务S p a r k S Q L 节 点 s q l _ 节 点 含 义 s q l _ 用 水 量 异 常 统 计M l a b 节 点 m l a b _ 节 点 含 义 m l a b _ 用 水 量 异 常 统 计数 据 清 洗 节 点 c l e a n _ 节 点 含 义 c l e a n _ 用 水 量 异 常 统 计P h o e n i x S Q L 节 点 p h _ 节 点 含 义 p h _ 异 常 分 析数 据 直 通 节 点 H b a s e _ 节 点 含 义 h b a s e _ 日 异 常 分 析S u b W o r k f l o w 节 点 s u b _ 工 作 流 名 称 s u b _ 指 标 系 统并 发 节 点 并 发 并 发 使 用 默 认 名 称 不 需 要 更 改结 合 结 合 结 合 使 用 默 认 名 称 不 需 要 更 改p y t h o n 资 源 脚 本 名 称.p y G e t L i n k D a i l y V o l u m e.p y 用 英 文 字 母，首 字 母 大 写j a r 脚 本 名 称.j a r G e t L i n k D a i l y V o l u m e.j a r 用 英 文 字 母，首 字 母 大 写6.4 工 作 流 命 名，如 表 9 所 示。D B 5 1 2 0/T 1 9.4 2 0 2 37表 9 工 作 流 命 名 规 范节 点、资 源 类 型 命 名 规 范 示 例 备 注D a t a B r i d g e 转 换 任务z h _ 目 标 表名 _ a l l/i n r z h _ o d s _ g a t _ j d c d j x x_ a l la l l 为 全 量 i n r 为 增 量D a t a B r i d g e 作 业 管理z y _ 目 标 表 名 _ 运 行周 期 z y _ o d s _ g a t _ j d c d j x x_ a l l _ dd:天 w:周 m:月 y:年D a t a R i v e r 标 准 层清 洗b z _ 目 标 表 名 _ 运 行周 期 _ a l l/i n r b z _ s t d _ g a t _ j d c d j x x _ d_ a l la l l 为 全 量 i n r 为 增 量，i t g 为 i n t e g r a t i o n，i n r为 i n c r e m e n td:天 w:周 m:月 y:年D a t a R i v e r 明 细 层m x _ 目 标 表 名 _ 运 行周 期 _ a l l/i n r m x _ d w d _ j b x x _ d _ a l la l l 为 全 量 i n r 为 增 量，d:天 w:周 m:月 y:年D a t a R i v e r 汇 聚 层h j _ 目 标 表 名 _ 运 行周 期 _ a l l/i n r h j _ d w s _ j b x x _ c z r k _ d _ a l la l l 为 全 量 i n r 为 增 量，d:天 w:周 m:月 y:年D a t a R i v e r 集 市 层j s _ 目 标 表 名 _ 运 行周 期 _ a l l/i n r j s _ d m _ n l r k _ i n ra l l 为 全 量 i n r 为 增 量，d:天 w:周 m:月 y:年D a t a R i v e r 工 作 调度 流 程d d _ 业 务 流 程 含义 _ 运 行 周 期 d d _ k k _ f l o w _ s d _ dd:天 w:周 m:月 y:年D a t a R i v e r 或D a t a S t u d i o 工 作 流j o b _ 工 作 流 含义 _ a l l/i n r j o b _ k k _ f l o w _ s d _ a l la l l 为 全 量 i n r 为 增 量7 开 发 规 范7.1 统 一 数 据 格 式在 S T D 层 实 施 过 程 中，需 要 将 各 源 系 统 的 数 据 格 式 进 行 统 一，如 表 1 0 所 示，主 要 需 统 一 的 数 据 格式。表 1 0 数 据 格 式 标 准 化格 式 类 型 统 一 格 式 示 例日 期 Y Y Y Y M M D D，默 认 为 1 9 0 0 0 1 0 1 2 0 1 9 0 6 1 2时 间 Y Y Y Y M M D D H H M M S S，默 认 为 1 9 0 0 0 1 0 1 0 0 0 0 0 0 2 0 1 9 0 9 0 5 1 2 0 0 0 0年 份 Y Y Y Y，默 认 为 1 9 0 0 2 0 1 9年 月 Y Y Y Y M M，默 认 为 1 9 0 0 0 1 2 0 1 9 0 9 0 5时 间（分）Y Y Y Y M M H H M M 默 认 为 1 9 0 0 0 1 0 1 0 0 0 0 2 0 1 9 0 9 0 5 1 2 0 0身 份 证1 8 位 字 符，合 规 性 判 断，1 5 位 身 份 证 通 过 数 据 加 工 系 统 统 一 转 化为 1 8 位字 符 串去 除 头 尾 空 格；去 除 回 车；默 认 为 N U L L；全 角 转 半 角T r i m(数 梦 工场)D B 5 1 2 0/T 1 9.4 2 0 2 38表 1 0（续）数 据 格 式 标 准 化格 式 类 型 统 一 格 式 示 例整 型 默 认 为 0（可 根 据 具 体 业 务 类 型 调 整），去 除 空 格 字 符、换 行 回 车双 精 度 默 认 保 留 4 位 小 数 位（可 根 据 具 体 业 务 调 整）主 键 去 重 去 空值 域 清 洗对 于 数 值 类 型 进 行 检 查 以 查 看 它 们 是 否 位 于 可 接 受 的 范 围 内，假如 默 认 值 为 空，则 不 做 数 据 转 换，否 则 需 要 赋 为 默 认 值数 值 清 洗对 于 数 值 类 型 进 行 检 查 以 查 看 它 们 是 否 位 于 可 接 受 的 范 围 内，假如 默 认 值 为 空，则 不 做 数 据 转 换，否 则 需 要 赋 为 默 认 值强 制 转 换 对 该 字 段 进 行 强 制 转 换 为 默 认 值，如：密 码 字 段 转 为 0 空 格 清 洗判 断 字 段 是 否 都 为 空 格，假 如 默 认 值 为 空，则 不 做 数 据 转 换，否则 需 要 赋 为 默 认 值7.2 统 一 数 据 维 度应 合 并 来 自 不 同 数 据 源 的 数 据，每 个 维 度 进 行 标 准 化、统 一 化，在 数 据 仓 库 中 为 每 个 维 度 建 立 一 致性 的 标 准，记 录 在 维 度 表 中，并 通 过 元 数 据 与 数 据 映 射 组 合 的 方 式 进 行 描 述，方 便 后 续 的 数 据 交 叉 探 查等 工 作。应 为 每 个 维 度 建 立 标 准 化 的 编 码 方 式，以 及 数 据 格 式。在 建 立 标 准 化 的 编 码 方 式 后，将 各 源 系 统 中数 据 中 的 维 度 数 据 进 行 关 联 转 换，将 不 同 数 据 源 标 识 同 一 事 物 的 不 同 属 性 值 进 行 统 一。对 于 不 同 系 统 的 不 同 维 度，创 建 维 度 的 映 射 关 系 表，将 其 映 射 到 标 准 化 后 的 维 度 上。7.3 处 理 重 复 数 据常 见 的 重 复 场 景 及 处 理 方 式 如 表 1 1 所 示表 1 1 重 复 数 据 处 理 方 式重 复 场 景 处 理 方 式每 日 全 量 入 库 使 用 数 据 加 工 系 统 中 去 重 的 功 能；大 部 分 字 段 一 样，但 仅 某 些 时 间 字 段 不 一 致，通 常 为后 续 添 加 的 操 作 时 间 字 段取 最 新 操 作 时 间；业 务 主 键 一 致 的 情 况 下，有 多 条 记 录，业 务 主 键 如 同一 个 人，同 一 个 航 班，同 一 天，同 起 飞，同 到 达根 据 业 务 主 键 分 区，根 据 业 务 时 间 或 系 统 时 间进 行 排 序，取 唯 一；7.4 S Q L 开 发 规 范为 方 便 数 据 加 工 系 统 数 据 血 缘 解 析，以 下 编 码 规 范 必 须 严 格 执 行：a）S Q L 代 码 中 应 用 到 的 所 有 关 键 字、保 留 字 都 使 用 大 写，且 不 要 缩 写，如 S E L E C T、F R O M、W H E R E、A N D、O R、U N I O N、I N S E R T、D E L E T E、G R O U P、H A V I N G、C O U N T 等。b）S Q L 代 码 中 应 用 到 的 除 关 键 字、保 留 字 之 外 的 代 码，都 使 用 小 写，如 字 段 名、表 别 名 等。c）四 个 空 格 为 一 个 缩 进 量，所 有 的 缩 进 皆 为 一 个 缩 进 量 的 整 数 倍，按 代 码 层 次 对 齐。d）禁 止 使 用 S E L E C T*操 作，所 有 操 作 必 须 明 确 指 定 列 名。e）S Q L 查 询 结 果 中 不 能 出 现 字 段 名 重 名，如 果 有 重 复 字 段 必 须 使 用 A S 别 名。f）S Q L 中 使 用 函 数 对 字 段 进 行 操 作 时 必 须 使 用 别 名，如 I N S E R T I N T O T A B L E t 1 S E L E C Tc o a l e s c e(n a m e,)A S n e w N a m e F R O M t 2。g）建 表 不 可 用 C R E A T E t a b l e A A S S E L E C T*F R O M t a b l e B 这 种 方 式，要 先 建 立 表 结 构，再 I N S E R TI N T O t a b l e A S E L E C T*F R O M t a b l e B。D B 5 1 2 0/T 1 9.4 2 0 2 397.5 数 据 接 口 规 范应 按 G B/T 2 1 0 6 2.3 的 规 定 执 行。7.6 数 据 安 全 规 范应 按 G B/T 2 0 2 7 0、G B/T 2 0 2 7 1、G B/T 2 8 4 5 2 的 规 定 执 行。7.7 数 据 备 份 规 范应 按 G B/T 2 9 7 6 5 的 规 定 执 行。D B 5 1 2 0/T 1 9.4 2 0 2 31 0A A参 考 文 献 1 资 阳 市 人 民 政 府 办 公 室 关 于 印 发 资 阳 市 人 民 政 府 机 构 简 称 的 通 知 2 资 阳 市 政 务 信 息 化 项 目 管 理 办 法(试 行)（资 府 办 发 2 0 2 2 2 5 号）
展开阅读全文