创建ClickHouse数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至ClickHouse的能力，您可将其他数据源的数据同步至当前ClickHouse数据源，或将当前ClickHouse数据源的数据同步至其他数据源。您可通过离线同步场景执行相关数据同步操作。增...
路网轨迹层
最大宽度：路网轨迹层线的最大宽度，通过数据中的 value 字段来控制轨迹线的粗细。轨迹长度：运动轨迹线的长度。速度：轨迹线的运动速度。最大值颜色：数据中 value 值最大的线的颜色，请参见 颜色选择器说明 进行修改。最小值颜色：数据中...
创建Oracle数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
一键实时同步至Kafka
一键实时同步至Kafka方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至Kafka任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源...
自建数据库与RDS性能对比的注意事项
您可以通过测试来对比自建数据库与RDS的性能差异，但是对比时需要保证二者具有相同的条件，如相同的网络环境、性能规格、数据库版本等。本文介绍具体的注意事项。您可以自行搭建数据库，或者购买阿里云RDS实例。推荐您购买RDS实例，因为它...
自建数据库与RDS性能对比的注意事项
您可以通过测试来对比自建数据库与RDS的性能差异，但是对比时需要保证二者具有相同的条件，如相同的网络环境、性能规格、数据库版本等。本文介绍具体的注意事项。您可以自行搭建数据库，或者购买阿里云RDS实例。推荐您购买RDS实例，因为它...
ApsaraDB For OceanBase数据源
ApsaraDB for OceanBase数据源提供读取和写入ApsaraDB for OceanBase数据的双向功能，您可以使用ApsaraDB for OceanBase数据源配置同步任务同步数据。本文为您介绍DataWorks的ApsaraDB For Oceanbase数据同步能力支持情况。支持的版本 离线...
MySQL分库分表同步至Hologres（方案1.0）
本文以MySQL分库分表实时写入Hologres场景为例，为您介绍如何通过数据集成同步分库分表数据至Hologres。前提条件 已完成Hologres和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制...
创建Hologres数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
轨迹层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
创建GoldenDB数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
数据集成侧同步任务能力说明
DataWorks为您提供多种数据源之间进行不同数据同步场景的全增量同步任务，包括实时数据同步、离线全量同步、离线增量同步等同步场景，助力企业数据更高效、更便捷的一键上云。背景信息 实际业务场景下，数据同步通常不能通过一个或多个简单...
应用场景
并且一旦出现数据安全问题，线上业务将无法进行。随着数据恢复时间的增加，造成的损失也会越大。数据库备份DBS提供的应急恢复功能，将自动获取备份集并合成快照点，可按需在短时间内恢复出（即创建）一个新的DBS沙箱实例。您可以在DBS沙箱...
数据归档
通过数据归档OSS功能，用户能够将低频访问、数据量大的表转储至OSS，并通过原生InnoDB的访问方式去读取冷表数据。数据归档DDL操作如下：归档 ALTER TABLE$table_name ENGINE_ATTRIBUTE='{"OSS":"Y"}';取回 ALTER TABLE$table_name ENGINE_...
DataWorks模块使用说明
使用流程概览：参考文档：安全中心概述 子模块：数据治理中心 功能说明：数据治理中心针对多个治理领域，通过数据领域规则沉淀、自动识别资产待优化问题项、覆盖事后及事前的治理优化策略等方式帮助用户主动式、体系化完成数据治理工作。...
SQL Server数据源
SQL Server数据源为您提供读取和写入SQL Server双向通道的功能，本文为您介绍DataWorks的SQL Server数据同步的能力支持情况。支持的版本 SQL Server Reader使用驱动版本是com.microsoft.sqlserver sqljdbc4 4.0，驱动能力具体请参见 官网...
一键实时同步至DataHub
一键实时同步至DataHub方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至DataHub任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步...
MySQL一键实时同步至MaxCompute
本文为您介绍如何通过DataWorks数据集成将MySQL全增量数据一体化同步至MaxCompute表中。前提条件 已完成MaxCompute和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入...
MySQL一键实时同步至MaxCompute
本文为您介绍如何通过DataWorks数据集成将MySQL全增量数据一体化同步至MaxCompute表中。前提条件 已完成MaxCompute和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入...
新建 Kafka 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 Kafka 数据源。使用限制 数据传输仅支持 Kafka 数据源作为数据同步的目标端。背景信息 数据传输的安全问题，贯穿服务连通性验证、链路创建和数据传输...
一键实时同步至Hologres
一键实时同步至Hologres方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。同时，还支持单独进行实时增量数据同步，适用于已经通过其他方式将全量数据同步至Hologres的场景，本文为您介绍如何创建一键实时...
数据导入性能优化
云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法，满足不同场景下的数据导入需求。然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法...
数据导入性能优化
云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法，满足不同场景下的数据导入需求。然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法...
快速入门综述
分析型数据库MySQL版（AnalyticDB MySQL版）是一种高并发低延时的PB级实时数据仓库，全面兼容MySQL协议以及SQL 2003语法标准，可以毫秒级针对万亿级数据进行即时的多维分析透视和业务探索。前提条件 先注册阿里云账号。如果以按量付费方式...
MySQL整库实时同步至OSS数据湖
本文以MySQL实时入湖写入至OSS场景为例，为您介绍如何通过数据集成实时入湖。前提条件 已购买合适规格的独享数据集成资源组。详情请参见：新增和使用独享数据集成资源组。已完成MySQL和OSS数据源配置，以便在同步任务配置时，可通过选择...
关系网络
图表样式 关系网络是以点线的形式表现事物之间关系的组件，支持自定义点、线和标签的样式，支持多系列的节点配置，能够以点线的形式在数据看板中展示复杂的网络关系。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索...
数据源配置常见问题
请根据数据库的网络类型和所在地域，将相应的DataV服务器IP地址加入到您的数据库白名单或ECS的安全组设置中，或者使用代理工具来连接您的数据库，具体请参见 如何使用DataV Proxy。如何配置CSV数据来源？保留CSV的首行作为表头，并且每一个...
数据源配置常见问题
请根据数据库的网络类型和所在地域，将相应的DataV服务器IP地址加入到您的数据库白名单或ECS的安全组设置中，或者使用代理工具来连接您的数据库，具体请参见 如何使用DataV Proxy。如何配置CSV数据来源？保留CSV的首行作为表头，并且每一个...
一键建仓
背景信息 传统创建数据仓库的方法为：通过离线脚本将数据周期性地从源数据库采集至数据仓库，再进行ETL开发，这种方法的时间性较差，通常需要T+1天才能看到数据分析报表，且技术成本较高。数据管理DMS提供的一键建仓功能结合DTS同步链路和...
从Oracle迁移应用至阿里云PolarDB全流程指南
DTS数据传输服务（线上）：选择 数据迁移，支持结构迁移（不推荐使用，不要勾选），全量数据迁移，增量数据迁移，数据校验与数据订正以及数据回流（即PolarDB增量同步回Oracle）等功能。DTS迁移工具（线下）：阿里云官方线下迁移工具，支持...
数据集成侧同步任务配置
完成数据源、网络、资源的准备配置后，您可以根据同步场景选择同步解决方案，创建并执行同步任务，将源端数据同步至目标端。本文为您介绍同步任务的通用配置流程，不同的同步方案配置流程可能存在差异，对应方案配置详情请以界面为准。前提...
一键实时同步至Elasticsearch
一键实时同步至Elasticsearch方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至Elasticsearch任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置...
Amazon Redshift数据源
Amazon Redshift数据源为您提供读取和写入Amazon Redshift的双向通道，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍Amazon Redshift数据同步能力支持情况。支持的Amazon Redshift版本 Amazon Redshift使用的驱动...
一键实时同步至MaxCompute
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。一键实时同步至MaxCompute，按实例模式同步时...
一键实时同步至MaxCompute
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。一键实时同步至MaxCompute，按实例模式同步时...
Vertica数据源
Vertica是一款基于列存储的MPP架构的数据库，Vertica数据源为您提供读取和写入Vertica双向通道的功能，本文为您介绍DataWorks的Vertica数据同步的能力支持情况。支持的版本 Vertica Reader通过Vertica数据库驱动访问Vertica，您需要确认...
受众与核心能力
从事销售运营、商业智能分析等岗位的业务人员 从事数据安全与合规工作的管理人员 从事数据应用开发的开发人员 把控公司核心数据资产的管理人员 核心能力 基于DataWorks，您可以获得如下能力：数据集成：复杂网络环境、丰富数据源之间的数据...
整库离线同步至OSS
说明 DataWorks的离线同步任务通过调度资源组将其下发到数据集成任务执行资源组上执行，所以离线同步任务除了涉及数据集成任务执行资源组外，还会占用调度资源组资源。如果使用了独享调度资源组，将会产生调度实例费用。您可通过 任务下发...
分析外部OSS上的数据
典型应用场景 以一个典型数仓架构为例，通过ETL将在线数据（关系数据库或者应用服务日志）导入离线分析平台做计算分析，分析的结果（如数仓模型的数据集市层ADS）再导入关系数据库中，用于对接BI报告、监控和广告计算等应用。该架构有几个...
产品优势
数据库备份DBS 支持多种环境的数据库备份，通过专线接入、公网等接入技术，实现用户本地IDC数据库备份、ECS自建数据库的备份、其他云环境和RDS数据库备份，通过简单地配置实现数据库全量备份、增量备份以及数据恢复。低成本 DBS使用飞天...
- 产品推荐
- 这些文档可能帮助您