整库离线同步至OSS
详情请参见：新增和使用独享数据集成资源组。已完成数据集成资源组与数据源的网络连通。详情请参见：配置资源组与网络连通。已完成数据源环境准备。您可以基于您需要进行的同步配置，在同步任务执行前，授予数据源配置的账号在数据库进行...
数据传输作业：数据集成
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
数据湖元数据管理
数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，例如同时使用Databricks 数据洞察和E-MapReduce。多个Databricks 数据洞察集群可以共享统一元数据库。前提条件 已在 数据湖构建...
创建AnalyticDB for PostgreSQL数据源
仅支持使用独享数据集成资源组、独享调度资源组运行AnalyticDB for PostgreSQL任务，详情请参见 新增和使用独享数据集成资源组、新增和使用独享调度资源组；基于AnalyticDB for PostgreSQL数据源创建数据服务API，推荐使用独享数据服务资源...
创建Hologres数据源
独享资源组的购买与配置操作，详情请参见 新增和使用独享数据集成资源组、新增和使用独享调度资源组、新增和使用独享数据服务资源组。操作前准备：权限说明与配置 DataWorks侧权限配置。进行创建数据源操作前，您需确保操作的阿里云账号有...
配置并管理实时同步任务
详情请参见：新增和使用独享数据集成资源组。独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。使用限制 实时数据同步任务仅支持使用独享数据集成资源组。实时同步节点目前仅支持同步PolarDB、Oracle、MySQL数据...
DB2数据源
使用限制 DB2 Reader和DB2 Writer仅支持使用 新增和使用独享数据集成资源组，不支持使用 公共资源组 和 自定义资源组。DB2 Writer通过数据同步框架获取Reader生成的协议数据，通过 insert into（当主键/唯一性索引冲突时，冲突的行会写不...
创建AnalyticDB for MySQL3.0数据源
仅支持使用独享数据集成资源组、独享调度资源组运行AnalyticDB for MySQL3.0任务，详情请参见 新增和使用独享数据集成资源组、新增和使用独享调度资源组；基于AnalyticDB for MySQL3.0数据源创建数据服务API，推荐使用独享数据服务资源组，...
从这里开始
使用介绍 DataV数据可视化将为您提供如下功能服务：数据看板管理 创建数据看板：DataV支持通过PC端、移动端创建模板和空白数据看板，也支持通过识图方式创建数据看板。管理数据看板：在数据看板管理页面，对数据看板可进行分组、排序、搜索...
通过脚本模式配置离线同步任务
详情请参见：新增和使用独享数据集成资源组。独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。进入数据开发界面 进入数据开发页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框...
功能发布记录（2022年）
英国（伦敦），美国（硅谷），美国（弗吉尼亚），阿联酋（迪拜）所有DataWorks用户 数据集成概述 DataWorks支持EMR新版数据湖DataLake DataWorks支持基于EMR计算引擎新版数据湖DataLake，实现基于EMR引擎的数据集成、数据建模、数据开发...
使用DataWorks
选择已创建的独享数据集成资源组，详情请参见 新增和使用独享数据集成资源组。选择数据去向。在 数据去向 下拉列表中选择目标数据源类型及目标数据源名称。测试连通性。测试资源组与数据来源、数据去向之间的网络连通性，确认独享数据集成...
通过向导模式配置离线同步任务
详情请参见：新增和使用独享数据集成资源组。独享数据集成资源组与数据源网络已打通。详情请参见：配置资源组与网络连通。进入数据开发界面 进入数据开发页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框...
配置资源组与网络连通
购买合适规格的资源组 购买并选择合适规格的独享数据集成资源组，购买详情请参见：新增和使用独享数据集成资源组。说明 不同规格的资源组支持同步的任务数或并发线程数存在上限，您需要根据业务需要选择合适规格的资源组。离线和实时同步...
自定义配置 DDL/DML
不同类型的数据迁移项目 DDL 同步支持的范围请参见 同步 DDL 的支持范围和使用限制，数据同步项目 DDL 支持的范围请参见相应类型的配置数据同步项目文档。您可以根据支持的 DDL 同步范围来自定义配置 DDL。在 自定义配置 DDL/DML 对话框，...
功能特性
湖仓版（3.0）产品定价 存储空间 集群使用过程中，存储数据会占用一定的空间，包括热数据存储空间和冷数据存储空间，并按照实际使用的空间按量计费，您无需预分配存储空间大小。湖仓版（3.0）产品定价 数仓版 基础资源 数仓版集群的基础...
使用DataWorks同步数据
如何创建和配置，请参见 新增和使用独享数据集成资源组。已创建目标云数据库ClickHouse集群和登录数据库的账号和密码。如何创建，请参见 新建集群 和 创建账号。已具备登录数据库的操作权限。具体信息，请参见 准备权限。如果RAM用户使用...
计费逻辑说明
软件费用明细：版本服务 数据建模 DataWorks支持使用智能数据建模和DATABLAU数据建模两种产品构建数据模型，您可以根据业务需求选购合适产品使用。软件费用明细：数据建模 增强分析 DataWorks增强分析提供卡片和报告功能，您无需下载数据，...
添加宜搭数据源
本文为您介绍在DataV中添加和使用宜搭数据源的方法，以及相关参数配置说明。前提条件 已通过钉钉登录 宜搭控制台 创建一个宜搭应用数据表单。新建表单详情请参见 新建宜搭数据表单。背景信息 宜搭数据源内数据的调用权限使用最小可用原则。...
添加宜搭数据源
本文为您介绍在DataV中添加和使用宜搭数据源的方法，以及相关参数配置说明。前提条件 已通过钉钉登录 宜搭控制台 创建一个宜搭应用数据表单。新建表单详情请参见 新建宜搭数据表单。背景信息 宜搭数据源内数据的调用权限使用最小可用原则。...
mysqldump
当您需要备份或者迁移 云数据库SelectDB 中的数据时，通过mysqldump工具，可以将数据库的结构和数据导出到一个文本文件中。该文件包含了创建数据库、表以及插入数据的SQL语句，从而确保数据的完整性和一致性。使用示例 导出 导出test_db...
采集数据
更多新增和使用独享数据集成资源组的操作指导请参见 新增和使用独享数据集成资源组。步骤二：创建数据源 本教程需要分别在您当前空间创建名为 oss_workshop_log 的OSS数据源、名为 mysql_workshop_log 的MySQL数据源用于访问平台提供的测试...
采集数据
更多新增和使用独享数据集成资源组的操作指导请参见 新增和使用独享数据集成资源组。步骤二：创建数据源 本教程需要分别在您当前空间创建名为 oss_workshop_log 的OSS数据源、名为 mysql_workshop_log 的MySQL数据源用于访问平台提供的测试...
路况层
路况层是三维城市构建器的图层，支持独立的样式和数据配置，使用不同的颜色区分不同的路况。本文介绍路况层各配置项的含义。在场景编辑器左侧图层列表中，单击 路况层 图层，进入配置面板配置 路况层 图层的样式和数据。说明 如果图层列表...
路况层
路况层是三维城市构建器的图层，支持独立的样式和数据配置，使用不同的颜色区分不同的路况。本文介绍路况层各配置项的含义。在场景编辑器左侧图层列表中，单击 路况层 图层，进入配置面板配置 路况层 图层的样式和数据。说明 如果图层列表...
他云/自建数据库录入
使用API录入实例。RegisterInstance-录入新的数据库实例 常见问题 Q：已将DMS IP地址添加至Azure SQL数据库白名单，但是在DMS控制台进行新增数据库实例操作时，仍然出现如下图的报错信息，该如何解决？A：请您在配置 新增实例 信息时，在...
数据服务入门
详情请参见 新增和使用独享数据服务资源组。单击 完成，成功创建数据源。本文示例新建名为 rds_workshop_log 的MySQL数据源，并测试该数据源与公共数据服务资源组的连通性，参数配置如下图。步骤二：创建API分组 数据服务基于API网关对外...
应用场景
云数据库HBase是一个键值/宽表型的分布式数据库，适用于任何数据规模，可以提供单个毫秒响应的性能，尤其擅长低成本、高并发的场景，支持水平扩展到PB级存储和千万级QPS，在淘宝、支付宝、菜鸟等众多阿里巴巴核心服务中起到了关键支撑的...
新增和使用独享数据服务资源组
前提条件 购买和使用独享数据服务资源组前：你需要先了解独享数据服务资源组的规格性能（不同规格能支持的QPS）、计费类型（不同规格怎么收费）等细节，提前根据业务场景规划需购买的资源组规格和购买时长，详情请参见：独享数据服务资源组...
采集数据
新增和使用独享数据集成资源组，详情请参见 新增和使用独享数据集成资源组。需确保至少一个资源组为 可连通 状态，否则此数据源无法使用向导模式创建同步任务。数据同步时，一个任务只能使用一种资源组。您需要测试每个资源组的连通性，以...
离线同步常见问题
配置详情请参见：新增和使用独享数据集成资源组。脏数据如何排查和定位？脏数据定义：单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。脏数据影响：脏数据将不会成功写入目的端。...
云数据库录入
使用API录入实例。RegisterInstance-录入新的数据库实例 常见问题 Q：在DMS录入阿里云数据库的过程中，提示白名单问题（如下图所示），该如何操作？A：您可单击提示框的 设置白名单，系统将自动尝试在云数据库的白名单中添加DMS的服务器...
多租户管理使用说明
简介 PolarDB MySQL版 提供的多租户模式，可以使得多个租户在同一个集群下共享计算资源和存储资源，且保证各租户下的数据隔离和资源隔离。各个租户仅能访问到自己的数据，租户之间不会出现资源争抢，以保证业务的稳定运行。技术原理如下图...
管理敏感数据
如果您需要对RDS实例中的敏感数据进行管控和脱敏，可以使用数据管理DMS提供的敏感数据保护功能。费用 请参见 敏感数据保护功能定价。功能介绍 数据管理DMS的敏感数据管理提供如下功能：提供敏感数据资产大盘，解决企业敏感数据分布的统一纳...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
本文为您介绍如何使用数据传输迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
本文为您介绍如何使用数据传输迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输...
功能简介
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。概览 对数据资产...
功能简介
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。概览 对数据资产...
离线同步数据质量排查
以下介绍最常见的关系型数据库的写出模式（不同数据源类型写出模式不同）：insert into 将数据使用insert into的SQL语句写出至目标端，如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），则来源数据会作为...
发现
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助资产运营管理者进行高价值、可共享的数据资源的注册、编目分类和公开运营，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。...
- 产品推荐
- 这些文档可能帮助您