数据质量保障原则
完整性 完整性是指数据的记录和信息是否完整，是否存在数据缺失情况。数据缺失主要包括记录的缺失和具体某个字段信息的缺失，两者都会造成统计结果不准确。完整性是数据质量最基础的保障。例如，某个稳定业务的数据量每天约为100万条记录，...
交叉透视表
图标：设置表格中数据的 环比上升 或 环比下降 图标。您可单击 控制图标的显隐。形状：设置图标形状。颜色：设置图标颜色。尺寸：设置图标尺寸，单位为px。显示位置：设置图标相对于表格中数据的显示位置，包括 左 和 右。柱状图标记：设置...
Vector
TVS.HGETALL TVS.HGETALL index_name key 查询指定向量索引中的 key 对应的所有数据记录。TVS.HMGET TVS.HMGET index_name key attribute_key[attribute_key.]查询指定向量索引的 key 中对应的 attribute_key 所对应的数值。TVS.DEL TVS....
TS
Chunk为最小的过期单元，即单个Chunk中所有Datapoint都过期后才会删除该Chunk。DataPoint（时序数据）：包含一个时间戳和一个value数据（double类型）。支持降采样、属性过滤、分批查询、多种数值函数等条件下的聚合操作，将批量查询与聚合...
备份恢复性能说明
102 GB 总记录数 测试数据库中所有表的总记录数量，单位为个。1.5亿 单记录大小 测试数据库中一个记录的平均大小，通常以KB为单位。1~100 KB 字段数 测试数据库中一个记录的字段数，即列数。3~22列不等 字段类型 测试数据库中一个记录的...
权限说明
为了方便管理员整体进行数据权限管理，DLF提供了内置的数据权限管理员角色，您可以在“数据权限-角色”菜单下找到这两个角色，并将某些用户加到该角色下：admin（数据湖管理员）：拥有数据湖构建中，所有的数据权限及授权权限。super_...
资源角色
可直接查询名下实例中所有数据库中的数据（不包含敏感字段），直接提交各类数据方案与库表结构的工单。数据库Owner 每个数据库最多可以有三个数据库Owner，在数据库首次同步字典时初始化实例DBA为数据库Owner。DBA角色、管理员角色用户或原...
DescribePackages-查询数据包的信息
10 TotalCount integer 结果中数据的总条数。12 Items object[]数据资产包信息。CreationTime long 数据资产包创建时间。格式：时间戳。单位：毫秒 1536751124000 Sensitive boolean 数据资产包中是否包含敏感数据。true：包含。false：不...
执行补数据并查看补数据实例（旧版）
选择需要补数据的节点 区域为您展示的是当前节点及其包含的所有下游节点（包含下游节点的子节点），您可选择当前节点及其下游节点的部分或全部节点任务（包含当前节点）进行补数据。海量节点模式补数据 选择当前节点及下游节点作为本次补...
导航菜单栏
参数 说明 默认展示 表示默认显示的导航菜单栏选项数目，使用数据中的 id 字段的值。仅在 菜单布局 为 内嵌 时可显示配置。选项高度 导航栏每个选项的高度值，单位px。仅在 菜单布局 为 内嵌 和 垂直 时可显示配置。子菜单宽度 导航栏子...
数据页面管理
在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。本文介绍数据页面中各个数据功能的使用方法。数据页面分为两大模块，包括 我的数据分组 和 数据管理 页面。我的数据分组 在 我的数据分组 ...
数据页面管理
在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。本文介绍数据页面中各个数据功能的使用方法。数据页面分为两大模块，包括 我的数据分组 和 数据管理 页面。我的数据分组 在 我的数据分组 ...
多表合并
数据合并的结果中将包含全部来源节点中的指定对齐字段的所有记录。示例如下所示，假设三个输入节点分别为A、B、C，设置两个对齐条件为"A.ID<=>B.ID<=>C.ID"、"A.NAME<=>B.NAME<=>C.NAME"，则多表合并默认运算结果、去重合并后的运算结果...
配置Hive输出组件
根据Hive中数据存储格式不同，支持选择压缩格式不同：数据存储格式为 orc：支持选择的压缩格式包括 zlib、snappy。数据存储格式为 parquet：支持选择的压缩格式包括 snappy、gzip。数据存储格式为 textfile：支持选择的压缩格式包括 gzip、...
记录类型和记录变量
英文句号（.）表示法用于引用记录中的字段。record.field record 是以前声明的记录变量，field 是属于从其定义 record 的记录类型的字段的标识符。再次修改 emp_sal_query，这次使用用户定义的记录类型和记录变量。CREATE OR REPLACE ...
数据标准
添加数据标准 添加数据标准的方式有两种，第一种是手动在平台中单个添加标准，第二种是通过Excel的形式批量将数据标准维护到平台中去。进入【数据标准】模块，点击‘“创建数据标准”按钮即可进入数据标准添加页面。根据选项填写数据标准的...
多选框
数据面板 value：多选框中各选项显示的内容。表 1.配置项说明 配置项 说明 受控模式 打开开关，资产 初始化状态下不请求数据，仅通过回调ID或蓝图编辑器配置的方法发起请求数据；关闭开关，可以使用自动更新请求数据。开关默认为关闭状态。...
概览
操作审计 DMS的操作日志中保存了所有数据查询和变更记录，您可随时查询数据库的操作记录、操作人、操作时间等信息。数据安全解决方案 数据作为企业的核心资产，数据安全是企业管理的重中之重。在传统解决方案中，存在如下问题：大量开发...
实时同步字段格式
对于INSERT、UPDATE和DELETE等不同的操作类型，增量数据记录中的_before_image_和_after_image_定义如下：当操作类型为INSERT时，生成的记录为更新后的记录，_before_image_取值为N，_after_image_取值为Y。当操作类型为UPDATE时，数据集成...
数据源和项目协同
背景信息 项目管理员创建一个项目成员后，项目成员可以创建数据源，并在项目中添加数据源中的数据库后，即可进行数据库变更任务。系统管理员在 Web 版 ODC 中创建项目，并为该项目指定成员。系统管理员或者拥有新建数据源角色权限的项目...
查看数据导出记录
您可以查看数据导出的记录，并对数据进行下载或删除。本文主要介绍如何查看数据导出记录。前提条件 已进行数据导出操作，具体操作，请参见 相关操作-导出数据。操作步骤 登录 数据资源平台控制台。在页面左上角单击 图标，选择 探索。在...
查看审计日志
审计日志记录了数据库活动的详细信息，通过查看审计日志，您可以跟踪潜在的恶意行为或未授权访问、调查安全事件原因。审计日志也可以帮您满足合规要求。...操作完成后，可导出当前页面显示的所有日志记录。相关文档 审计配置 支持的数据库类型
数据质量教程概述
准确性 准确性是指数据记录中信息和数据是否准确、不存在错误或异常。例如，在本教程中，如果UV、PV数值小于0，则明显是错误数据。一致性 对于不同的业务流程和节点，同一份数据必须保持一致性。例如表 province 字段中如果有 浙江、ZJ 两...
数据质量教程概述
准确性 准确性是指数据记录中信息和数据是否准确、不存在错误或异常。例如，在本教程中，如果UV、PV数值小于0，则明显是错误数据。一致性 对于不同的业务流程和节点，同一份数据必须保持一致性。例如表 province 字段中如果有 浙江、ZJ 两...
数据采集
日志数据采集 内部的各类日志会被采集并发送到SLS日志服务系统中进行统一的存储和加工，日志数据主要包括：审计日志：用于记录用户的所有的操作行为，例如DDL操作和DML操作等。查询详情日志：用于记录一条查询在执行过程中的详细信息，包括...
气泡图
空值数据：打开开关，当气泡中数据显示气泡半径为0，并且值也为0时，可隐藏此空值数据；关闭开关，不隐藏空值数据。坐标：组件坐标轴包括 X轴 和 Y轴 两种。X轴 X轴显示：打开开关，组件内X轴样式显示可见；关闭开关，组件内X轴样式不可见...
雷达图
显示位置 提示框显示的位置样式，可选，包括 上、下、左 和 右。说明 鼠标指针贴近图表边框时，提示框位置会自适应展示。标题间距 提示框中标题之间的间距，单位px。标题文本 提示框中标题文本的样式，包括文字字体样式、文字粗细、字号和...
对称条形图
显示位置 提示框显示的位置样式，可选，包括 上、下、左 和 右。标题间距 提示框中标题文本之间的距离，单位px。标题文本 提示框中标题文本的样式，包括文本字体的样式、文字的粗细、字号的大小和文本的颜色。内容显示 单击右侧的 或 图标...
漏斗图
当选中数据项变化时 当漏斗图的梯形块数据发生变化时抛出事件，同时抛出该梯形块对应的数据项。当图例被点击时 当单击漏斗图的图例时抛出事件，同时抛出该图例对应的数据项。动作 动作 说明 请求漏斗图接口 重新请求服务端数据，上游数据...
分类玫瑰图
标题间距 提示框中标题文本的显示内容。标题文本 提示框中标题文本的样式，包括文字字体样式、文字粗细、字号和颜色。内容显示 单击右侧的 或 图标，添加或删除一个提示框内容显示系列。单击 或 图标配置多个提示框内容显示系列的排列样式...
导航菜单栏
背景颜色 设置选项的背景颜色，包括选项默认的背景颜色、鼠标悬停在选项上的背景颜色以及选中选项后的背景颜色。向右箭头 设置向右箭头距离右侧的边距、尺寸的大小和箭头的颜色。仅在 菜单布局 为 内嵌 和 垂直 时可显示配置。数据源面板 ...
热力图
数据类型：y轴数据的类型，包括 类目型 和 时间型。轴线：热力图y轴的轴线样式，包括线的形状、线的粗细和线的颜色，可单击 图标控制y轴的轴线样式的显隐。说明 当线的类型选择 虚线 或 点线 时，还可以配置线的间断长度值和每一个间断线...
饼图
显示位置 提示框显示的位置样式，可选，包括 上、下、左 和 右。标题间距 提示框中标题之间的间距，单位px。标题文本 提示框中标题文本的样式，包括文字字体样式、文字粗细、字号和颜色。内容显示 单击右侧的 或 图标，添加或删除一个提示...
玉珏图
玉珏图可对比分类数据的数值大小，当分类情况过多时，柱状图的文本为了排布合理，需要进行旋转，不利于阅读，相比于纵向柱状图，玉珏图更适用于此类分类较多的场景。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 ...
旭日图
图表样式 旭日图适合用于展示不同层级的数据，能在通过饼图表示占比关系的基础上，增加表达了数据的层级和归属关系，能清晰的表达具有父子层次结构类型的数据。旭日图不适用于数据分类过多、有负值和有零值的数据展示。配置面板 搜索配置：...
词云
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
入湖基础操作
关系数据库全量入湖：可以实现RDS MySQL或PolarDB数据库表数据全量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据全量同步到OSS中，如果待同步表中数据量大，则所消耗的资源也会比较大，建议在业务...
数据流运维
您可以在数据流运维中心查看数据流的发布状态、发布详情、运行记录等。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。单击画布右上方 前往运维。在数据流运维...
数据迁移链路规格说明
说明 如果一条SQL语句中包含对多行数据的操作，则计为多条数据记录变化；对同一条记录反复增删改则计为多条数据记录变化。每次COMMIT操作也会被计为一次数据记录变化的次数。数据迁移规格说明 数据迁移根据迁移链路的迁移性能上限，定义了...
任务管理
任务是指在DMS发起的变更SQL任务，例如普通数据变更、结构设计、库表同步等，但不包含在SQL窗口中直接执行的SQL。本文为您介绍了如何新建或管理SQL任务。前提条件 您的用户角色为管理员或DBA，关于用户角色信息，请参见 系统角色。操作步骤...
- 产品推荐
- 这些文档可能帮助您