创建并管理数据源
若简单模式升级为标准模式，会将原有的一个数据源拆分为生产环境和开发环境隔离的两个数据源。详情请参见 场景：工作空间模式升级（简单模式升级标准模式）。标准模式工作空间中，任务在不同环境执行时所访问的数据源如下：在数据开发...
管理数据源权限
您可以在数据源管理页面，分享数据源权限给相应的工作空间，并进入被分享的工作空间查看该数据源。本文为您介绍如何管理数据源权限及查看分享的数据源。背景信息 通常数据源会承载数据的具体地址、账户和密码等敏感信息，但普通开发人员仅...
功能特性
Hudi存储 数据导入与导出 功能集 功能 功能描述 参考文档 大数据数据源 Maxcompute数据源 AnalyticDB for MySQL支持通过外表、DataWorks两种方式将MaxCompute数据导入至数仓版或湖仓版集群，也支持通过外表将AnalyticDB for MySQL数仓版...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
DLA Lakehouse实时入湖
例如：库表选择输入 db1.user_*，主键字段输入 f1,f2，表示 db1 的所有 user_前缀的表都使⽤ f1,f2 两个字段作为组合主键。说明 如果不设置该参数，则系统依次尝试选择表中的主键或唯一键来作为目标端主键字段；如果表中不存在主键或唯一键...
离线同步常见问题
在时序模型的配置中，如何理解_tag和is_timeseries_tag两个字段？离线同步场景及解决方案 离线同步任务如何自定义表名？配置离线同步节点时，无法查看全部的表，该如何处理？读取MaxCompute（ODPS）表数据时，添加一行注意事项 读取...
数据源权限管理
本文为您汇总数据源权限管理相关的问题。哪些角色可以管理数据源的权限？是否支持再次分享已被分享的数据源？数据源的创建者是否有权控制该数据源？什么是私有模式的数据源？哪些用户能够收回数据源的分享权限？如何检查数据源分享关系的...
动态修改schema
动态修改schema操作包括为源索引创建灰度索引并修改多元索引schema、等待表数据全部同步到灰度索引、设置权重进行A/B测试、交换源索引和灰度索引的schema和删除灰度索引五个步骤。功能概述 表格存储数据表是schema free的，而多元索引是强...
基本概念
支持简单易用的数据交换、处理、订阅等能力，满足用户的数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求，实现面向Lindorm的一站式数据生态服务。更多信息，请参见 LTS（原BDS）服务介绍。M MaxCompute 大数据计算...
RDS实例间的数据迁移
说明 目标RDS实例和源RDS实例可以不同也可以相同，即您可以使用DTS实现两个RDS实例间的数据迁移或同一RDS实例内的数据迁移。数据库名称 填入RDS PostgreSQL实例中待迁入数据的目标数据库名，可以和源实例中待迁移的数据库名不同。说明 当...
RDS实例间数据迁移
说明 目标RDS实例和源RDS实例可以不同也可以相同，即您可以使用DTS实现两个RDS实例间的数据迁移或同一RDS实例内的数据迁移。数据库名称 填入RDS PostgreSQL实例中待迁入数据的目标数据库名，可以和源实例中待迁移的数据库名不同。说明 当...
将表格存储数据表中数据同步到另一个数据表
步骤一：新增表格存储数据源 分别以源数据表和目标数据表所在实例新增表格存储数据源。进入数据集成页面。以项目管理员身份登录 DataWorks控制台。在左侧导航栏，单击 工作空间列表 后，选择地域。在 工作空间列表 页面，在目标工作空间 ...
一键克隆RDS MySQL至PolarDB MySQL版
DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到目标数据库。收费规则 物理迁移（物理复制）方式的收费规则如下：从RDS迁移到 PolarDB 的操作完全免费，您只需承担购买 PolarDB 集群的费用。关于 ...
方案概述
如为增量同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取...
产品架构
数据同步的工作原理 DTS可以在两个数据源之间同步正在进行的数据变更。数据同步通常用于OLTP到OLAP的数据传输。数据同步包括以下两个阶段：同步初始化：DTS先开始收集增量数据，然后将源数据库的结构和存量数据加载到目标数据库。数据实时...
数据源配置常见问题
本文介绍在DataV中连接数据源时，遇到的常见问题及相应的解决方法。数据库连接不成功，如何解决？请根据数据库的网络类型和所在地域，将相应的DataV服务器IP地址加入到您的数据库白名单或ECS的安全组设置中，或者使用代理工具来连接您的...
数据源配置常见问题
本文介绍在DataV中连接数据源时，遇到的常见问题及相应的解决方法。数据库连接不成功，如何解决？请根据数据库的网络类型和所在地域，将相应的DataV服务器IP地址加入到您的数据库白名单或ECS的安全组设置中，或者使用代理工具来连接您的...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 GreenPlum 支持 支持 TDengine 不...
数据集成概述
数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。使用限制 数据同步：支持且仅支持结构化（例如RDS、DRDS等）、半结构化、无结构化（OSS、TXT等，要求具体同步...
DataWorks数据服务对接DataV最佳实践
新建数据源 数据服务支持丰富的数据源类型，如下所示：关系型数据库：RDS、DRDS、MySQL、PostgreSQL、Oracle和SQL Server 分析型数据库：AnalyticDB NoSQL数据库：TableStore和MongoDB 登录 DataWorks控制台，单击左侧导航栏的 数据服务，...
管理数仓规划待发布对象
当您批量发布多个数据源且存在不可并发的数据源时，可能导致批量发布过慢，请您耐心等待。不支持并发的数据源包括SAP Table和HDFS、Hive、Impala、Kudu、Kafka以及其他支持Kerberos的数据源类型。设置数据源替换规则 来源环境和目标环境的...
管理数仓规划待发布对象
当您批量发布多个数据源且存在不可并发的数据源时，可能导致批量发布过慢，请您耐心等待。不支持并发的数据源包括SAP Table和HDFS、Hive、Impala、Kudu、Kafka以及其他支持Kerberos的数据源类型。设置数据源替换规则 来源环境和目标环境的...
SDK概述
Loghub数据源offset计算逻辑重构，减少额外计算和存储开销。修复读取DataHub无数据时出现NPE问题。v1.6.0 新增Spark Streaming SQL测试工具。Spark Streaming SQL适配Loghub数据源。新增DataHub数据源direct api实现。Loghub python接口...
采集数据
user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据...
EMR Hive数据整库离线同步至MaxCompute
新建Hive数据源 在DataWorks 数据源管理 页面，单击 新建数据源，根据界面提示手动添加Hive数据源。Hive数据源包括 阿里云实例模式，连接串模式，CDH集群内置模式 三种类型，若您配置的数据源为阿里云EMR，推荐您使用 阿里云实例模式 配置...
EMR Hive数据整库离线同步至MaxCompute
新建Hive数据源 在DataWorks 数据源管理 页面，单击 新建数据源，根据界面提示手动添加Hive数据源。Hive数据源包括 阿里云实例模式，连接串模式，CDH集群内置模式 三种类型，若您配置的数据源为阿里云EMR，推荐您使用 阿里云实例模式 配置...
Kafka实时ETL同步至Hologres
添加数据源 新建Kafka数据源 您可以手动添加Kafka数据源至DataWorks，详情请参见：Kafka数据源。新建Hologres数据源 获取Hologres数据源信息 进入 Hologres产品控制台。找到您要进行数据同步的Hologres数据源，在 实例详情 界面获取到...
采集数据
user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据...
逻辑数仓
但在实际落地过程中有两个常见问题影响了数据驱动的实现和效率：资源和成本问题 建仓和管仓成本高，中小企业缺少资源和技术手段构建数仓支持业务分析和决策，使得大多数企业望而却步。大型企业业务复杂度高，数仓开发门槛高，专业开发人员...
文档更新动态（2022年之前）
更新说明 2021年08月24日 数据源：可支持的数据源类型和版本拓展，优化数据源配置交互 新建数据源页面支持分类展示数据源类型，同时增加最近使用的数据源类型，提升了产品的易用性。更新说明 数据源 MySQL数据源版本拓展支持8.0，您可以...
DataStudio侧实时同步任务配置
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。前提...
新增和使用独享调度资源组
说明 DataWorks工作空间和数据源不在同一地域或不在同一个阿里云主账号下，您还需通过 VPN网关 或 高速通道 等方式，将独享资源组绑定的VPC与数据源所在VPC网络打通，并手动添加路由指向目标数据库IP，保障两个网络间可达。详情请参见 配置...
文档更新动态（2023年）
校验数据源、数据表、密钥、质量监控对象等权限。校验来源表和目标表的重复性。新增Salesforce输入组件，可离线抽取Salesforce实例中的数据。整库迁移新增FTP作为来源库，通过上传并解析Excel文件（.xlsx格式）的指定格式，批量创建FTP文件...
数据归档至专属存储
文件合并功能可实现对单次执行归档的数据文件进行重组排列（例如将两个文件合并为一个文件），合并后可以提升本次归档数据的查询性能。费用说明 该功能免费使用。注意事项 已归档数据文件合并后，会额外增加存储量（已归档数据量的0.5~1倍...
新建 Kafka 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 Kafka 数据源。使用限制 数据传输仅支持 Kafka 数据源作为数据同步的目标端。背景信息 数据传输的安全问题，贯穿服务连通性验证、链路创建和数据传输...
数据源开发和生产环境隔离
背景信息 同一个名称的数据源存在开发环境和生产环境两套配置，在配置数据源时，您可基于标准模式工作空间对应底层两个数据库或数据仓库的背景，针对不同环境设置不同的数据源信息。在同步任务执行过程中，可由执行环境控制离线同步任务所...
场景：跨账号创建数据源
说明 您可根据跨账号添加的数据源在A工作空间的使用场景，提前为RAM角色授权与相关权限，例如，若要在A工作空间查询B工作空间数据源下的表，需确保数据源配置的RAM角色已拥有该表的SELECT权限。账号A：使用账号B的用户信息创建数据源 说明 ...
通过向导模式配置离线同步任务
背景信息 数据集成离线同步，为您提供数据读取（Reader）和写入插件（Writer）实现数据的读取与写入，您可通过向导模式和脚本模式配置离线同步任务，实现源端单表同步至目标端单表、源端分库分表同步至目标端单表两类数据同步场景。...
产品简介
如下图所示，用户通过DLA Ganos可以加载OSS上的GeoTiff文件为RDD模型，然后写入Lindorm（HBase）等存储系统实现数据归档，同时也可以同时加载多个数据源（PolarDB或Lindorm）的时空数据，进行清洗转换，并通过机器学习等工具进行分析计算，...
Kafka单表实时入湖OSS（HUDI）
添加数据源 新建Kafka数据源 在DataWorks 数据源管理 页面，单击 新建数据源，根据界面提示新建Kafka数据源。详情请参见：Kafka数据源。新建OSS数据源 在DataWorks 数据源管理 页面，单击 新建数据源，根据界面提示新建OSS数据源。OSS数据...
- 产品推荐
- 这些文档可能帮助您