新建 TiDB 数据源
重要 您在 TiDB 数据库中配置的待订阅库表，需要和数据传输的数据迁移项目中配置的库表名保持一致。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 新建...
测试数据构建
数据管理DMS的测试数据构建功能拥有强大的算法引擎，支持批量生成各类随机值、地区名、虚拟IP地址等信息，可以大大减轻准备测试数据的负担。本文介绍构建测试数据的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、...
图层配置项说明
包括 样式 和 数据 两个标签页。在 样式 页签中，您可以配置场景内图层的样式，每个图层的配置项内容都是不同的，具体配置方法请参见本章节中各组件的说明文档。在 数据 页签中，不同的图层在数据面板上的配置内容不一样，图层可分为 基底...
数据引入概述
Dataphin支持通过数据集成和数据同步的方式，将业务数据源的数据引入Dataphin平台。背景信息 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单...
配置Hive输出组件
同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg...
异地备份方案概览
数据库备份DBS支持将数据和日志备份至另外一个地域，本文介绍在各种场景下如何进行异地备份。费用说明 目前，有两种方式可配置跨地域备份，分别是从RDS控制台配置或DBS控制台配置。根据不同的配置方式，将有不同的计费项。方式一：通过RDS...
什么是数据传输服务DTS
说明 数据迁移在某些场景下可实现部分数据同步的功能，但是两者的适用场景、功能和收费上存在一定区别，详情请参见 数据迁移和数据同步的区别是什么？迁移方案概览 数据迁移功能特性 通过DTS实现数据库的垂直拆分 数据集成 作为数据迁移...
图层配置项说明
包括 配置 和 数据 两个标签页。在 配置 页签中，您可以配置场景内图层的样式，每个图层的配置项内容都是不同的，具体配置方法请参见本章节中各组件的说明文档。在 数据 页签中，不同的图层在数据面板上的配置内容不一样，图层可分为 基底...
图层配置项说明
包括 配置 和 数据 两个标签页。在 配置 页签中，您可以配置场景内图层的样式，每个图层的配置项内容都是不同的，具体配置方法请参见本章节中各组件的说明文档。在 数据 页签中，不同的图层在数据面板上的配置内容不一样，图层可分为 基底...
快速开始
卡片编辑-数据设置 操作 说明 查看数据列/明细数据 通过切换页签，查看当前卡片相关的数据列和数据明细。设置参数字段 直接拖拽至对应 X轴、Y轴 和 颜色 等字段中，并根据所需变更聚合方式、粒度方式和分组。字段筛选 通过对不同字段进行...
入仓解决方案
数据同步和迁移任务的区别，请参见 数据迁移和数据同步的区别是什么？新建实时同步任务 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据开发>数仓开发。说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标...
数据模型架构规范
数据分类架构 该数据分类架构在ODS层分为三部分：数据准备区、离线数据和准实时数据区。在进入到CDM层后，由以下几部分组成：公共维度层：基于维度建模理念思想，建立整个企业的一致性维度。明细粒度事实层：以业务过程为建模驱动，基于每...
创建数据流
说明 除 数据输入 和 数据输出 外，其他任务类型均可作为数据处理节点。在左侧 任务类型 列表中，拖拽 数据过滤 节点到画布的空白区域。将鼠标放在 数据输入 节点上，单击节点右侧出现的空心圆点并拉出连接线，连接至 数据过滤 节点上。...
图层配置项说明
包括 配置 和 数据 两个标签页。在 配置 页签中，您可以配置场景内图层的样式，每个图层的配置项内容都是不同的，具体配置方法请参见本章节中各组件的说明文档。在 数据 页签中，不同的图层在数据面板上的配置内容不一样，图层可分为 基底...
创建数据库用户
您在使用数据传输的数据迁移和数据同步功能前，请先在源端和目标端数据库中，为数据迁移或同步任务创建专用的数据库用户。OceanBase 数据源 创建 OceanBase 数据库用户 此处创建的 OceanBase 数据库用户，用于创建 实例类型 为 VPC 内自建...
数据接口配置说明
单击选中画布中的区块，在右侧配置面板中选择 数据 页签，即可查看该区块的数据接口中的所有配置信息，您可以参见 配置组件数据 和 设置组件数据源，修改区块的数据内容。实时预览数据接口配置 在 数据接口设置 页签中，对话框左侧是用于...
场景管理器
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
数仓规划概述
使用DataWorks进行数据建模时，数仓架构师或者模型小组成员可以在数仓规划页面对数据分层、业务分类、数据域、业务过程、数据集市、主题域进行设计。完成设计后，模型设计师在建模过程中可以依赖数仓规划中的数据分层、业务分类、数据域、...
导出数据
本文将为您介绍如何导出表结构、SQL查询结果集、整个数据库。前提条件 数据库关联的安全规则已开启 结果集是否支持导出 规则（系统默认开启）。更多信息，请参见 SQL窗口-关系型数据库。具有目标数据库的查询、导出等权限。更多信息，请...
功能特性
多可用区部署 备份恢复 Lindorm宽表引擎支持数据备份恢复功能，基于数据生态服务中的数据迁移将数据存储至OSS中，定期全量备份数据，实时增量同步数据，来满足对数据备份和数据恢复的需求。备份恢复 产品生态 功能集 功能 功能描述 参考...
操作流程
新建数据字典并物理化 通过新建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。具体操作，请参见 新建...
自定义RDBMS数据库及同步数据
步骤四：创建离线管道任务 基于自定义的数据源组件类型（test_rdbms_mysql）和数据源实例（test_rdbms_mysql），创建离线管道任务。完成离线管道任务的创建后，即可运行离线管道任务，以实现数据的集成（同步数据）。步骤一：配置网络和...
操作流程
新建数据字典并物理化 通过新建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。具体操作，请参见 新建...
自定义RDBMS数据库及同步数据
步骤四：创建离线管道任务 基于自定义的数据源组件类型（test_rdbms_mysql）和数据源实例（test_rdbms_mysql），创建离线管道任务。完成离线管道任务的创建后，即可运行离线管道任务，以实现数据的集成（同步数据）。步骤一：配置网络和...
步骤二：规划数仓
在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息 数据板块：数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。本教程以 ...
A100使用指南
功能模块 操作指南链接 管理数据库审计实例 启用数据库审计实例 配置数据库审计实例 管理数据库审计实例的标签 管理数据库 登录数据库审计系统 添加数据库实例 部署Agent程序 查看SQL语句存储空间用量 开启系统管理员和系统审计员角色 ...
数据服务概述
数据安全和查询性能无法保障：在数据接口开发时往往只考虑数据的获取性，数据资源访问安全性和数据访问的稳定性考虑少。维护成本高：缺乏线上平台化管理，异常情况无法监控告警，线上业务问题暴露后再排查代码修复上线。数据服务价值 为了...
资源组操作及网络连通
如何切换任务在调度系统中执行所用的资源组 在生产运维中心切换任务执行使用的调度资源组和数据集成任务执行资源组：在数据开发界面走发布流程修改生产环境任务执行使用的资源组。说明 以下方式修改资源组请记得发布，标准模式下提交操作...
划分数据域
通常，您需要阅读各源系统的设计文档、数据字典和数据模型，研究逆向导出的物理数据模型。进而，可以进行跨源的主题域合并，跨源梳理出整个企业的数据域。数据域是指面向业务分析，将业务过程或者维度进行抽象的集合。为保障整个体系的生命...
场景管理器
图表样式 场景管理器是3D地球的子组件，支持独立的样式、数据和交互配置，能够使用数据定义镜头位置，通过移动和缩放的动效展示球体的不同位置。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置面板中输入您需要...
发展历程
2022年 自研一体化大数据计算平台和数据仓库产品ODPS获世界互联网领先科技成果奖。在TPCx-BB 100TB标准测试中，连续6次获得全球冠军，保持性能和性价比第一。Forrester：每两年一次的全球云数仓评测中，进入卓越表现者象限，国内唯一。进入...
新建 ADB 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建云原生数据仓库 AnalyticDB MySQL 版...单击 测试连接，验证数据传输和数据源的网络连接，以及用户名和密码的有效性。待数据源测试连接成功，单击 确定。
Catalog概述
例如，执行 CREATE DATABASE 和 CREATE TABLE 语句创建的数据库和数据表都由Internal Catalog管理。每个StarRocks集群都有且只有一个Internal Catalog名为 default_catalog。External Catalog：外部数据目录，用于管理外部数据源的访问信息...
新建 PostgreSQL 数据源
新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 PostgreSQL 数据源。前提条件 已创建 RDS ...单击 测试连接，验证数据传输和数据源的网络连接，以及用户名和密码的有效性。测试连接通过后，单击 确定。
功能特性
消费订阅数据 数据订阅流量管理 数据订阅实例的源库为MySQL时，支持通过配置费用的类型选择是否收取数据流量费用。计费项 创建RDS MySQL数据订阅任务 任务管理 DTS任务管理 功能集 功能 功能描述 参考文档 任务管理 任务创建与配置 支持...
查看数据迁移项目的详情
此处支持修改的具体参数和数据迁移项目的类型，以及任务运行的阶段有关，不同的运行阶段支持修改的参数不同。下载对象配置信息 数据传输支持下载数据迁移项目的配置信息，以批量导入的格式输出。详情请参见 下载和导入迁移对象配置。查看...
功能简介
通过我的资产清晰掌握可使用、可管理、已授权的数据表、标签和数据服务API数据资产相关信息。功能特性 支持以用户的视角展示自有权限或申请授权成功的数据表、标签、数据服务API资产。支持特定角色对数据表、标签、数据服务API等数据资产...
增量数据同步
通过选择已注册的数据源端数据和目标端，实现增量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线增量数据同步周期调度的任务。前提条件 已新建工作组“信息中心（xxzx）”，具体操作，请参见 新建工作...
创建数据库
如果您要迁移本地数据库到RDS，请在RDS实例中创建与本地数据库一致的迁移账号和数据库。创建数据库 访问 RDS实例列表，在上方选择地域，然后单击目标实例ID。在左侧导航栏单击 数据库管理。单击 创建数据库。设置如下参数。参数 说明 数据...
数据标准概述
映射关系 资产对象和数据标准之间的映射关系列表，包括已确认的映射关系和被指定为无效映射的关系。支持按资产粒度汇总查看或按映射关系全量平铺查看2种模式。其中，支持针对已映射关系配置质量监控规则。落标评估明细 为您展示全局所有...
- 产品推荐
- 这些文档可能帮助您