基本概念
资产运营 资产目录：是对数据资源平台元数据的有序组织，是记录数据体系的保障。数据类目是目录信息与服务、保障与支撑所组成的一个整体。针对资产的合理组织，需要对资产进行对应分类，如部门类目、主题类目、行业类目，可进行该类目下...
快速体验
对象存储OSS 本案例中用于存储网站访问记录数据，案例已默认提供该OSS数据源基本信息，您无需单独开通该服务。涉及模块 本案例使用以下DataWorks模块共同完成。步骤 操作内容 阶段性目标 数据采集 通过 DataWorks数据集成 模块，将存储在...
InnoDB Physiological Logging
物理日志（Physical logging）物理日志是指在日志中保存一个页中发生改变的字节，是纯物理格式的日志，逐字节的记录数据的改动。比如[start,end,'xxxx']格式的内容改动。优点 高效率，并且可以直接修改物理格式，任何操作都不需要重新遍历...
概述
日志备份：也叫增量备份，备份了记录数据变更的Binlog日志。开启日志备份后，基于“数据备份+日志备份”，您可以恢复时间范围内任意时间点（精确至秒）的数据。例如，实例中创建了2021年01月01日00:00:01的数据备份集以及该时间之后的日志...
Kafka数据源
Kafka记录数据模块 处理后的数据类型 key 取决于数据同步任务配置的 keyType 配置项，keyType 参数介绍请参见下文的全量参数说明章节。value 取决于数据同步任务配置的 valueType 配置项，valueType 参数介绍请参见下文的全量参数说明章节...
采集数据
其中前两者为OSS数据源、RDS数据源，用于访问本教程提供的测试数据（用户访问网站记录数据、用户信息数据）；最后一个是私有OSS数据源，用于接收来自前两者访问后所获取的测试数据。新建OSS数据源 进入数据源页面。登录 DataWorks控制台，...
DataX同步数据
已创建RDS MySQL实例的数据库和账号，创建过程中需要您记录数据库名称、用户名和密码。如何创建数据库和账号，请参见 创建数据库和账号。背景信息 Dataphin系统内嵌了DataX组件，在Dataphin中创建和运行DataX任务（Shell任务）即可将DataX...
DataX同步数据
已创建RDS MySQL实例的数据库和账号，创建过程中需要您记录数据库名称、用户名和密码。如何创建数据库和账号，请参见 创建数据库和账号。背景信息 Dataphin系统内嵌了DataX组件，在Dataphin中创建和运行DataX任务（Shell任务）即可将DataX...
使用ETL分析实时订单
说明 时态表，也称动态表，是指基于表的（参数化）视图概念，根据时间记录数据变更历史，分为版本表（可显示数据的历史版本）和普通表（仅显示数据的最新版本）。时态JOIN要求流表定义时间属性，右表要有主键；如右表是维表，则您所设置的 ...
自定义RDBMS数据库及同步数据
已创建RDS MySQL实例的数据库和账号，创建过程中需要您记录数据库名称、用户名和密码。如何创建数据库和账号，请参见 创建数据库和账号。已下载MySQL数据库的 驱动。背景信息 RDBMS数据库即关系型数据库，包括MySQL、Oracle、SQL Server、...
自定义RDBMS数据库及同步数据
已创建RDS MySQL实例的数据库和账号，创建过程中需要您记录数据库名称、用户名和密码。如何创建数据库和账号，请参见 创建数据库和账号。已下载MySQL数据库的 驱动。背景信息 RDBMS数据库即关系型数据库，包括MySQL、Oracle、SQL Server、...
采集数据
前提条件 已为您准备该实验所需的用户信息数据和用户网站访问记录数据，并分别存放于平台提供的RDS MySQL及OSS上，您可直接在DataWorks注册使用。无需单独开通RDS服务与OSS服务，无需单独准备测试数据，但需自行创建DataWorks工作空间，并...
采集数据
前提条件 已为您准备该实验所需的用户信息数据和用户网站访问记录数据，并分别存放于平台提供的RDS MySQL及OSS上，您可直接在DataWorks注册使用。无需单独开通RDS服务与OSS服务，无需单独准备测试数据，但需自行创建DataWorks工作空间，并...
功能特性
云盘加密 SQL审计 SQL审计功能可以实时记录数据库的DML和DDL操作信息，在SQL审计页面可以查询到执行耗时长等异常SQL，便于快速分析定位解决问题。SQL审计 网络管理 切换vpc与交换机 当AnalyticDB for MySQL集群和ECS实例不在同一专有网络，...
查询记录
本文介绍如何使用数据存储服务查询数据集中的记录。客户端调用 查询一条记录。调用 findOne 方法查询大于且最接近18岁的一条记录的 name。projection:{ name:1 } 表示只返回 name 字段，其中1表示过滤，0表示排除。sort:{ age:1 } 表示将...
公告
数据质量新增知识库功能，支持记录配置问题和解决方案，便于了解该知识相关的质量问题、相关政策文件等，并可关联质量规则和治理流程中关联知识库。直连数据源创建API新增支持TDengine数据源；基于服务单元创建的API，不限数据源类型，支持...
操作审计
DMS的操作日志中保存了所有数据查询和变更记录，您可以在DMS中随时查询数据库的执行操作、操作人、操作时间等信息。下载操作审计 本示例将介绍如何下载全局近1个月的SQL窗口产生的SQL语句列表。登录 数据管理DMS 5.0。在顶部菜单栏中，选择...
ListDataServiceApiTest
列出数据服务API测试记录，只能查询最近一个月数据 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
校验记录概述
校验记录用于记录质量规则校验Dataphin数据表、全域数据表、指标、数据源和实时元表的结果并支持查看每一条质量规则的校验结果。权限说明 超级管理员、质量管理员可查看所有校验记录。项目成员可查看自己所加入的项目的校验记录。普通成员...
查看识别规则运行记录
查看识别规则运行记录列表 在运行记录列表页面，您可查看运行记录的任务状态及扫描成功或失败数据表数量等。区域 描述 ① 筛选及搜索区 您可根据任务的名称关键字进行搜索，也可根据任务类型、任务状态、表扫描结果进行筛选。② 列表区 为...
校验记录概述
校验记录用于记录质量规则校验Dataphin数据表、全域数据表、指标、数据源和实时元表的结果并支持查看每一条质量规则的校验结果。权限说明 超级管理员、质量管理员可查看所有校验记录。项目成员可查看自己所加入的项目的校验记录。普通成员...
查看实时元表校验记录
参数 说明 筛选与搜索 您可以选择 规则异常、执行记录、质量负责人、数据板块、所属项目 筛选校验记录，您也可以在搜索框中输入实时元表名称的关键字，快速搜索校验记录。表名称 质量规则校验的实时元表的名称。强/弱规则异常 强规则异常：...
查看实时元表校验记录
参数 说明 筛选与搜索 您可以选择 规则异常、执行记录、质量负责人、数据板块、所属项目 筛选校验记录，您也可以在搜索框中输入实时元表名称的关键字，快速搜索校验记录。表名称 质量规则校验的实时元表的名称。强/弱规则异常 强规则异常：...
新功能发布记录
2020年6月 新功能/特性 简要概述 类别 文档 支持同步数据到Hologres 支持同步数据到Hologres 数据同步 创建同步Hologres 兼容Kafka 可以使用原生Kafka客户端将数据写入DataHub 开发指南 兼容Kafka Canal插件 使用canal将MySql的增量数据...
数据质量评估标准
完整性 完整性是指数据的记录和信息是否完整，是否存在数据缺失情况。数据缺失主要包括记录的缺失和具体某个字段信息的缺失，两者都会造成统计结果不准确。完整性是数据质量最基础的保障。例如，某个稳定业务的数据量每天约为100万条记录，...
2023年
本文介绍2023年 云原生数据仓库AnalyticDB PostgreSQL版 存储弹性模式的内核功能发布记录。您可以在 云原生数据仓库AnalyticDB PostgreSQL版 控制台将实例升级至最新发布的小版本。升级小版本的具体操作，请参见 版本升级。2023年12月（V7....
查看合并记录
在 OceanBase 管理控制台对实例发起数据合并操作后，您可以进入实例工作台查看该实例的数据合并记录。前提条件 已对集群实例发起数据合并操作。发起数据合并的操作，详见 发起合并。操作步骤 查看数据合并记录时，涉及如下两种操作场景：...
查看指标校验记录
参数 说明 筛选与搜索 您可以选择 规则异常、执行状态、质量负责人、数据板块、所属项目 来筛选校验记录，您也可以在搜索框中输入指标名称的关键字，快速搜索校验记录。指标名称 质量规则校验的指标的名称。强/弱规则异常 强规则异常：强...
2024年
本文介绍2024年 云原生数据仓库AnalyticDB PostgreSQL版 存储弹性模式的内核功能发布记录。您可以在 云原生数据仓库AnalyticDB PostgreSQL版 控制台将实例升级至最新发布的小版本。升级小版本的具体操作，请参见 版本升级。2024年04月（V7....
2023年
本文介绍2023年 云原生数据仓库AnalyticDB PostgreSQL版 Serverless实例的内核功能发布记录。您可以在 云原生数据仓库AnalyticDB PostgreSQL版 控制台将实例升级至最新发布的小版本。升级小版本的具体操作，请参见 版本升级。2023年10月（V...
查看指标校验记录
参数 说明 筛选与搜索 您可以选择 规则异常、执行状态、质量负责人、数据板块、所属项目 来筛选校验记录，您也可以在搜索框中输入指标名称的关键字，快速搜索校验记录。指标名称 质量规则校验的指标的名称。强/弱规则异常 强规则异常：强...
2022年
本文介绍2022年 云原生数据仓库AnalyticDB PostgreSQL版 存储弹性模式的内核功能发布记录。您可以在 云原生数据仓库AnalyticDB PostgreSQL版 控制台将实例升级至最新发布的小版本。升级小版本的具体操作，请参见 版本升级。2022年11月30日...
查询并下载数据
样例数据下载：样例数据下载的格式和数据运行记录由数据下载审批设置决定。更多信息，请参见 数据下载配置。说明 若规范设置中已开启下载审批，您需提交 数据下载申请 后才可进行下载。审批通过后，您可查看审批任务、当前运行结果或在运行...
淘宝万亿级交易订单背后的存储引擎
每次交易会涉及到会员信息验证、商品库信息查询、订单创建、库存扣减、优惠扣减、订单支付、物流信息更新和确认支付等，每个环节都涉及到数据库记录创建和状态更新，整个流程可能涉及到数百次数据库事务操作，整个数据库集群每天会执行数百...
实时数据订阅概述
背景信息 云原生多模数据库 Lindorm 数据订阅功能支持任何一个表的每一条数据变更，您可以在客户端查看数据变更记录。当您开通某一张表的数据订阅功能后，其变更数据的操作就会被存储。每次对Lindorm表格的数据执行增删改操作时，数据订阅...
数据探查全局配置
数据探查配置可开启自动探查的数据表范围，管控数据探查记录、并发运行任务数、任务探查时间及配置set参数，从而更合理的运用资源。本文为您介绍如何进行数据探查的全局配置。前提条件 需开通数据质量功能模块才可使用数据探查功能。权限 ...
数据探查全局配置
数据探查配置可开启自动探查的数据表范围，管控数据探查记录、并发运行任务数、任务探查时间及配置set参数，从而更合理的运用资源。本文为您介绍如何进行数据探查的全局配置。前提条件 需开通数据质量功能模块才可使用数据探查功能。使用...
专题广场
数据探查配置：可开启自动探查的数据表范围，管控数据探查记录、并发运行任务数及任务探查时间，从而更合理的运用资源。详情请参见 数据探查全局配置。④ 专题分组 为您展示已创建的专题分组。系统内置 默认专题组 分组，用于管理系统内置...
专题广场
数据探查配置：可开启自动探查的数据表范围，管控数据探查记录、并发运行任务数及任务探查时间，从而更合理的运用资源。详情请参见 数据探查全局配置。④ 专题分组 为您展示已创建的专题分组。系统内置 默认专题组 分组，用于管理系统内置...
查询并下载数据
样例数据下载：样例数据下载的格式和数据运行记录由数据下载审批设置决定。更多信息，请参见 数据下载配置。说明 若规范设置中已开启下载审批，您需提交 数据下载申请 后才可进行下载。审批通过后，您可查看审批任务、当前运行结果或在运行...
- 产品推荐
- 这些文档可能帮助您