使用DataWorks同步数据
本文以MaxCompute为例介绍如何将数据通过DataWorks同步至 云数据库ClickHouse。背景信息 您可以通过DataWorks，将支持的各种数据源数据离线同步至 云数据库ClickHouse。离线同步支持的数据源类型，具体请参见 支持的数据源与读写插件。前提...
配置MaxCompute输出
大数据计算服务MaxCompute（原名ODPS）为您提供完善的数据导入方案，能够快速解决海量数据的计算问题。前提条件 配置MaxCompute输出节点前，您需要先配置好相应的输入或转换数据源，详情请参见 实时同步能力说明。背景信息 写入数据不支持...
查看及管理逻辑表下游对象
逻辑表的下游对象，指引用当前逻辑表字段生成的原子指标和业务限定。本文为您介绍如何查看及管理逻辑表的下游对象。逻辑表下游对象入口 请参见 规范建模入口，进入 规范建模 页面。按照下图操作指引，选择您需查看及管理下游对象的逻辑表，...
查看及管理逻辑表下游对象
逻辑表的下游对象，指引用当前逻辑表字段生成的原子指标和业务限定。本文为您介绍如何查看及管理逻辑表的下游对象。逻辑表下游对象入口 请参见 规范建模入口，进入 规范建模 页面。按照下图操作指引，选择您需查看及管理下游对象的逻辑表，...
功能特性
资源分组 支持将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。当使用SQL变更、结构设计时，DMS会提示是否需要变更该分组下的所有数据库。数据库分组 实例配置 实例录入DMS后，可以配置实例的基本信息，包含数据库账号、安全规则...
通过数据同步功能同步SLS数据至湖仓版
例如：AnalyticDB for MySQL 集群数据表的字段名为name，源端SLS数据字段名为user_name，系统会自动以name填充 源字段 和 目标字段，此时您需要手动修改 源字段 为user_name。同步配置 的参数说明如下：参数名称 参数说明 投递起始位点 ...
创建数据库
概念 实例：实例是虚拟化的数据库服务器。您可以在一个实例中创建和管理多个数据库。数据库：数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可以简单理解为存放数据的仓库。字符...
MongoDB数据导入
返回结果：+-+|CAST(_id AS string)|+-+|641002ad883a73eb0d7291a7|+-+说明 如果要将ObjectId字段导入到 AnalyticDB for MySQL 中，需要先创建用于存储ObjectId字段的数据库和数据表，具体操作，请参见 导入MongoDB非嵌套文档 中的步骤5~7...
配置安全规则
将数据库添加到数据库审计系统后，您可以为数据库配置安全规则（即审计规则），当数据库的审计记录命中审计规则时，数据库审计系统会触发告警。本文介绍如何配置审计规则。背景信息 审计规则支持内置规则和自定义规则。内置规则即数据库...
配置Hologres输出组件
Hologres输出组件用于向Hologres数据源写入...同行映射：源表和目标表的字段名称不一致，但字段对应行的数据需要映射。只映射同行的字段。例如，endpoint_type 字段对应的数据映射至 id 字段中。单击 确认，完成 Hologres输出组件 的配置。
他云/自建数据库录入
可通过给实例绑定分类分级模板，识别实例中库表的字段是否符合模板内的识别规则，若符合，则给字段打上分类分级的标签，保护敏感等级高的字段。详细信息，请参见 管理分类分级模板。高级信息 环境类型 选择数据库环境的类型。实例环境类型...
配置数据识别规则
DataWorks支持通过内置敏感字段类型和自定义敏感字段类型，有效识别组织内的敏感数据。本文将为您介绍如何新建、配置数据识别规则。背景信息 DataWorks支持您按照数据的敏感级别和所属分类定义数据识别规则，帮助您识别组织内的敏感数据，...
配置Hologres输出组件
同行映射：源表和目标表的字段名称不一致，但字段对应行的数据需要映射。只映射同行的字段。例如，endpoint_type 字段对应的数据映射至 id 字段中。单击 确认，完成 Hologres输出组件 的配置。后续步骤 完成输出组件的配置后，即可配置离线...
数据服务
存储数据库 存储物理表的数据库，可查看同一个物理表存于不同数据库的当日状态、数据质量、指标详情和规则明细。数据质量 平台会根据已配置的表级别规则，对物理表的数据质量进行评估。数据质量状态说明如下：优秀（绿灯）：没有命中规则。...
分布式序列
配置分表规则 在数据库中添加 dbp_sequence 表的分表规则，以下是以 100 个分片 100 个分表，以 sharding_col 字段 hash 规则为示例：全局序列 通过配置分布式序列，获取全局序列的核心步骤如下：在 DB 中创建 dbp_sequence 表。...
配置TiDB输出组件
输出字段 根据选择的 表 为您展示输出字段。如果不需要将某些字段输出，则您可以删除对应的字段。如果需要删除少量的字段，则可以单击 操作 列下的 图标，删除多余的字段。如果需要删除大批量字段，则可以单击 字段管理，在 字段管理 页面...
空间分析
您可以通过DAS的空间分析功能直观地查看某个数据库实例的空间使用概况、空间剩余可用天数，以及数据库中某个表的空间使用情况、空间碎片、空间异常诊断等，本文以 RDS MySQL 数据库为例介绍如何使用空间分析功能。前提条件 支持如下数据库...
执行增量 DDL 评估
本文为您介绍迁移评估如何执行增量 DDL 评估。背景信息 迁移评估支持增量 DDL 评估功能，用于对一系列连续的 DDL 在 OceanBase 数据库中的语法兼容性进行评估。执行增量 DDL 评估和执行在线评估、离线评估的区别如下：执行在线评估和离线...
核心能力
全面、准确的数据质量评估报告 多种类型数据源自定义表及字段质量规则配置。支持自定义SQL质量规则。多维度数据质量评估，可视化质量评估报告。数据资产的管理、服务与敏捷交付，使用数据资产更便捷 数据资产智能管理 表资产、API服务资产...
配置TiDB输出组件
输出字段 根据选择的 表 为您展示输出字段。如果不需要将某些字段输出，则您可以删除对应的字段。如果需要删除少量的字段，则可以单击 操作 列下的 图标，删除多余的字段。如果需要删除大批量字段，则可以单击 字段管理，在 字段管理 页面...
几何求差
本文介绍几何求差算子的使用方法。用途 几何求差算子用于计算主表相...输出字段 配置当前节点输出到下游节点的字段列表，默认包含一个差集结果的几何字段（字段代码difference_result）和主表的全部字段，可按需对主表字段进行删减和重命名。
SQL窗口介绍
自由操作和稳定变更模式的数据库默认返回行数为3000行（上限）。安全协同模式数据库默认返回行数为200行，系统规定查询返回行数上限为3000行。若需要调整查询返回的行数，可由管理员在 安全与规范>安全规则>SQL窗口 的 基础配置项 中修改。...
申请、续期和交还表权限
如果您需要使用他人开发的表，则需要申请该表的权限。本文为您介绍如何申请、续期和交还表权限。审批流程说明 若数据表权限申请审批单生成后，修改了审批流程设置（如权限申请从开启变更为关闭），则依然按照申请时执行，审批通过，则会...
申请、续期和交还表权限
如果您需要使用他人开发的表，则需要申请该表的权限。本文为您介绍如何申请、续期和交还表权限。审批流程说明 若数据表权限申请审批单生成后，修改了审批流程设置（如权限申请从开启变更为关闭），则依然按照申请时执行，审批通过，则会...
一键实时同步至AnalyticDB for MySQL 3.0
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
预降采样
语法参考 DROP PREDOWNSAMPLE 删除数据库级别的预降采样规则（API方式）删除数据库级别的预降采样规则，请求路径、请求方法、请求参数和响应说明，与创建数据库级别的预降采样规则相同，区别为需要将downsampleRules的值置为空。...
DML无锁变更概览
适用场景 历史数据清理 全表更新字段 支持的数据库类型 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、其他来源MySQL PostgreSQL：RDS PostgreSQL、PolarDB PostgreSQL版、MyBase PostgreSQL、其他来源PostgreSQL ...
使用拆分字段
拆分原则 数据表拆分的首要原则，就是要尽可能找到数据表中的数据在业务逻辑上的主体，并确保大部分（或核心的）数据库操作都是围绕这个主体的数据进行，然后可使用该主体对应的字段作为拆分字段，进行分库分表。选择业务逻辑主体 业务逻辑...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
配置规则：按模板（批量）
单击 添加字段，在弹出的对话框中，选择目标 引擎/数据库实例，待添加表 区域为您展示当前引擎/数据库中的所有表信息，选中要配置监控规则的字段所在的表后，选择字段 区域为您展示已添加表中的所有字段信息，支持您根据 字段名 和 字段...
生成测试数据
信息项 说明 数据库 选择需变更的数据库 odc_test。表 选择当前数据库 odc_test 中存在的表 employee，以生成该表的模拟数据。模拟生成数据量 指定需要生成的数据量。默认值：1000 条数据，最多生成不超过 100W 行数据，所以用户可以在文本...
宜搭创建大屏实操
本文主要介绍如何使用企业经营管理系统中客户库表及签约表表单数据，来创建并配置企业经营管理大屏。宜搭创建大屏实操视频，请参见：宜搭创建大屏实操视频。创建企业经营管理系统 操作步骤如下：登录宜搭系统，通过空白应用创建名称为 企业...
数据归档
背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中，以解决因线上数据增多影响查询性能与业务运作的问题。本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置...
配置并管理实时同步任务
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
01模型添加质量规则
本文介绍如何为模型添加质量规则。前提条件 已新建工作组“信息中心”，具体操作，请参见 新建工作组。已在工作组中分别添加数据源类型为MaxCompute、RDS MySQL的数据源，具体操作，请参见 新建云计算资源。已创建逻辑表，具体操作，请参见...
Oracle数据源
说明 数据库容器CDB（Container Database）是Oracle 12c及之后版本的数据库新特性，用于承载多个可插拔数据库PDB（Pluggable Database）。使用限制 当前数据集成同步数据时，仅支持UTF8、AL32UTF8、AL16UTF16及ZHS16GBK编码格式。Oracle单...
新建普通维度逻辑表
添加字段：支持添加 数据字段 和 分区字段，您可根据业务情况编辑字段的 名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 信息。说明 MaxCompute引擎下支持创建不超过6级分区字段。④ 字段列表...
数据扫描和识别
数据扫描会影响我的数据库性能吗？DSC支持扫描的数据源有哪些？数据源授权完成后需要多长时间完成扫描？DSC对于非结构化数据源（OSS）的扫描机制是怎样的？是否支持对已扫描过的OSS文件重新扫描？DSC对结构化数据（例如MaxCompute）的扫描...
两表关联分析
Join字段：选择左右表一致的字段（如：若右表为用户表则可选择user_id字段）。异常数据展示抽样条数：填入想要看到的异常数据条数（如：10），用于展示join失败的数据。周期运行：默认选择否，如果不对数据表进行周期分析，此时点击保存并...
新建普通维度逻辑表
添加字段：支持添加 数据字段 和 分区字段，您可以根据业务情况编辑字段的 名称、说明、数据类型、字段类别、关联维度、字段标准、字段约束、数据分类、数据分级 及 备注 信息。说明 MaxCompute引擎下支持创建不超过6级分区字段。ArgoDB、...
- 产品推荐
- 这些文档可能帮助您