创建HBase数据源
版本 HBase 2.x数据源 支持选择如下版本：CDH5:1.2.0。CDP7.1.3:2.2.3。亚信DP5.x HBase 2.x。EMR HBase 2.x。说明 HBase0.9.4和HBase1.1.x不支持配置版本。数据源描述 对数据源的简单描述。不超过128字符。数据源配置 选择需要配置的数据...
创建并管理数据源
数据源环境隔离 标准模式的工作空间支持数据源隔离功能。您可以分别创建开发环境和生产环境的数据源，使测试与生产调度操作的数据源隔离，以保护您的生产数据安全。详情请参见 附录：数据源环境介绍。开发环境的数据源：可在数据同步节点中...
计算引擎版本说明
功能优化 宽表引擎（数据源）支持访问已完成HBase类型映射的表。详细介绍，请参见 使用SQL访问HBase表。修复Spark官方引入的CAST语法bug。1.2.0 新特性 新增 访问Lindorm列存数据 功能。3.2.1 1.7.0 新特性 JDBC数据源支持以Java JDBC方式...
管理数仓规划待发布对象
如MaxCompute支持 数据源名称、负责人、Endpoint、Project Name、Access ID 进行范围圈选。设置匹配条件。各配置项支持的匹配条件：支持 精确匹配、不匹配、包含、不包含、开头是、结尾是、为空、不为空、空文本、非空文本。说明 负责人仅...
管理数仓规划待发布对象
如MaxCompute支持 数据源名称、负责人、Endpoint、Project Name、Access ID 进行范围圈选。设置匹配条件。各配置项支持的匹配条件：支持 精确匹配、不匹配、包含、不包含、开头是、结尾是、为空、不为空、空文本、非空文本。说明 负责人仅...
数据源开发和生产环境隔离
新增数据源隔离模式后，对工作空间有以下影响：仅标准模式工作空间支持数据源开发生产隔离，即开发环境和生产环境可以配置不同的数据库或数据仓库。说明 简单模式工作空间仅一个环境，无法做到开发生产隔离，关于工作空间模式说明，详情请...
约束和限制
60000 一个客户端IP一分钟内最多可发起的JDBC连接请求数 10 Presto使用限制 限制 描述 DLA Presto外表数据源支持的阿里云产品列表 OSS RDS Tablestore PolarDB Redis MongoDB AnalyticDB for MySQL DLA Presto异步查询结果写入端 OSS Spark...
数据源管理常见问题
说明 API数据源支持get和post两种请求方式。API数据源不用添加，可以直接在画布编辑器中的 数据 面板 设置数据源 模块查找到。在DataV中使用API数据源时，如果遇到跨域的问题，无法正常获取数据时怎么解决？跨域数据源共享（CORS）是一种...
数据源管理常见问题
说明 API数据源支持get和post两种请求方式。API数据源不用添加，可以直接在画布编辑器中的 数据 面板 设置数据源 模块查找到。在DataV中使用API数据源时，如果遇到跨域的问题，无法正常获取数据时怎么解决？跨域数据源共享（CORS）是一种...
创建Hologres数据源
说明 历史创建的存量数据源支持使用 AccessID及AccessKey 的认证方式，这类数据源建议后续修改认证方式为 阿里云账号及阿里云RAM角色。所属云账号 指定当前创建的数据源对应的Hologres实例属于当前阿里云主账号还是其他阿里云主账号。当前...
配置SQLServer数据源
背景信息 标准模式的工作空间支持数据源隔离功能，您可以分别添加并隔离开发环境和生产环境的数据源，以保护您的数据安全。详情请参见 数据源开发和生产环境隔离。操作步骤 进入 数据源管理 页面。登录 DataWorks控制台。在左侧导航栏，...
访问CDC数据
true Lindorm CDC数据源的语法介绍 Lindorm CDC数据源支持的语法如下表所示：语法 描述 示例 USE table_name 使用某个表。USE test SHOW TABLES 查看所有的表。SHOW TABLES DESCRIBE table_name 查看某个表的详细信息。DESC test或者...
配置同步任务
数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、PostgreSQL、AnalyticDB for PostgreSQL 开源大数据数仓存储 Hive、TDH Inceptor 说明 HBase作为数据源或者目标数据源，支持的版本为HBase V1.1.x、HBase V0.94.x。...
新建实时自定义源类型
文件中仅支持数据源级别的加密参数。说明 自定义实时连接器说明，详情请参见 Flink官网。配置文件 上传数据源类型连接器的配置文件，单击 下载配置文件模板 进行配置。仅支持.yaml（不区分大小写）为后缀的文件。不能与已经存在的数据源的...
新建实时自定义源类型
文件中仅支持数据源级别的加密参数。说明 自定义实时连接器说明，详情请参见 Flink官网。配置文件 上传数据源类型连接器的配置文件，单击 下载配置文件模板 进行配置。仅支持.yaml（不区分大小写）为后缀的文件。不能与已经存在的数据源的...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
DataWorks on EMR Serverless StarRocks最佳实践
说明 您也可以创建MySQL数据源，通过在DataWorks创建MySQL数据源的方式，封装兼容MySQL生态的StarRocks数据源，完成StarRocks数据源支持的操作。更多信息，请参见 MySQL数据源。进入数据源页面。登录 DataWorks控制台，切换至目标地域后，...
数据清理
清理数据源支持：OceanBase MySQL 数据源。OceanBase Oracle 数据源。以下情况不支持清理：OceanBase MySQL 数据源若表中不包含主键 PRIMARY KEY 或唯一非空索引，不支持进行清理。OceanBase MySQL 数据源若表中包含 bit、enum、set、xml、...
SDK概述
支持数据写入Loghub数据源。Spark Structured Streaming支持写入Druid数据源。优化Loghub数据的类型转换。对Loghub数据源出现的几种服务端错误进行重试。Loghub数据源offset计算逻辑重构，减少额外计算和存储开销。修复读取DataHub无数据时...
数据集成概述
DataWorks支持各种类型的数据源，并且支持数据源之间的转换。在数据集成同步任务配置前，您可以在DataWorks 数据源管理 页面，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，并在同步过程中，通过选择数据源名称来控制同步...
创建同步任务
部分数据源支持分布式模式执行任务，详情请参见各插件配置文档：支持的数据源与读写插件。配置任务依赖关系。双击当前 业务流程，设置 insert_data 节点为 write_result 节点的上游节点。任务配置完成后，单击工具栏的 图标，保存任务。...
新建元表
元表参数 参数名称 根据数据源类型提供不同的元表参数，您可进行下拉获取该数据源支持的元表参数及其对应的说明，也可进行手动填写。若需新增参数，您可单击添加参数。参数个数不超过50个，参数名称只能是数字、大小写字母、下划线、减号、...
DataStudio侧实时同步任务配置
说明 不同数据源支持的DML操作可能存在差异，对应同步方案是否支持DML处理策略，请以产品界面为准。数据源当前的DML支持情况请参见 支持的DML及DDL操作。设置DDL消息处理规则。来源数据源会包含许多DDL操作，进行实时同步时，您可以根据...
新建元表
元表参数 参数名称 根据数据源类型提供不同的元表参数，您可进行下拉获取该数据源支持的元表参数及其对应的说明，也可进行手动填写。若需新增参数，您可单击添加参数。参数个数不超过50个，参数名称只能是数字、大小写字母、下划线、减号、...
配置同步任务
参数 描述 数据源 支持根据数据类型筛选数据源。Dataphin支持的同步来源数据源类型包括MySQL、Oracle、PostgreSQL、AnalyticDB for PostgreSQL、MongoDB、Microsoft SQL Server。模式 当数据源类型为MySQL、Oracle、PostgreSQL、AnalyticDB...
通过整库迁移配置集成任务
加载策略 Hive、TDH Inceptor、ArgoDB、Oracle、MaxCompute目标数据源支持 覆盖数据 和 追加数据。覆盖数据：如果同步的数据存在，已存在数据将进行覆盖同步。追加数据：如果同步的数据存在，不进行覆盖，新增数据进行追加同步。AnalyticDB...
功能更新动态（2023年）
函数操作 数据源 Protocol类型为SFTP的FTP数据源，支持 用户名+密钥文件 作为认证方式。新增Salesforce数据源，支持通过离线集成抽取数据。OSS数据源支持配置目录，可支持账号只有目录级别数据权限的场景。支持配置数据源编码，配置数据源...
通过数据同步功能同步SLS至湖仓版（推荐）
是否跨阿里云主账号 SLS数据源支持跨阿里云账号同步SLS数据到 湖仓版（3.0）。不跨账号：同步当前账号下的SLS数据到 湖仓版（3.0）。跨账号：同步非当前账号下的SLS数据到 湖仓版（3.0）。选择跨账号同步数据时，需要填写 跨阿里云主账号 ...
文档更新动态（2023年）
更新说明 新建FLINK_SQL任务 创建PolarDB数据源 创建MySQL数据源 创建SAP HANA数据源 管理中心-数据源管理 Protocol类型为SFTP的FTP数据源，支持 用户名+密钥文件 作为认证方式。新增Salesforce数据源，支持通过离线集成抽取数据。OSS数据...
功能更新动态（2022年之前）
计算源 数据源 支持创建离线数据源和实时数据源，通过数据源将业务数据引入Dataphin平台。数据源 业务板块 创建业务板块时，支持设定板块管理员，帮助您更好地管理业务板块。业务板块 发布管理 新增数据集成、实时计算任务的发布管理。管理...
Oracle同步至Tablestore
本实践以Oracle作为来源数据源，以Tablestore作为去向数据源，因此您需要在DataWorks的工作空间的 数据源管理 页面新增Oracle数据源和Tablestore数据源，两个数据源支持的数据同步能力请参见 Oracle数据源、Tablestore数据源。已购买独享...
通过整库迁移配置集成任务
加载策略 Oracle、MaxCompute目标数据源支持 覆盖数据 和 追加数据。覆盖数据：如果同步的数据存在，已存在数据将进行覆盖同步。追加数据：如果同步的数据存在，不进行覆盖，新增数据进行追加同步。AnalyticDB for PostgreSQL支持 insert ...
文档更新动态（2022年）
更新说明 管理动态脱敏规则、项目安全策略、脱敏算法、密钥管理 2022年10月25日 数据表质量规则和质量规则模块升级 支持多种数据源表的质量监控，支持数据源连通性及表结构异动性监控。内置丰富的质量规则模板。资产报告升级，可从资源粒度...
通过向导模式配置离线同步任务
写入端 操作 说明 配置同步前后执行语句 部分数据源支持在同步前（数据写入目标端数据源前）与同步完成后（数据写入目标端后），在目标端执行相关数据库SQL。示例：MySQL Writer支持配置preSql与postSql，即在数据写入MySQL前或后，可以...
Kafka单表实时入湖OSS（HUDI）
OSS数据源支持 RAM角色授权模式 与 Access Key认证模式 两种方式：Access key模式 Endpoint：您在 OSS产品控制台 OSS Bucket信息页面概览处获取到的访问端口，请参见 获取OSS Bucket信息。AccessKey ID：访问密钥中的AccessKey ID，您可以...
版本发布记录
1.1.0 类别 功能点 描述 核心功能 PolarDB数据源 支持阿里云PolarDB数据源。Redis Connector 支持Redis Connector。读取MongoDB的数据 支持读取MongoDB的数据。逻辑View 支持逻辑View。MySQL8.0协议 支持MySQL8.0协议。建表向导支持OSS DDL...
湖仓一体
关于不同外部数据源支持的数据类型，请参见 数据湖分析 与 数据库分析。权限管理 默认情况下，SelectDB访问External Catalog中的库表时，是由SelectDB自身的权限访问管理功能进行访问控制。SelectDB的权限管理功能提供了对Catalog层级的...
功能更新动态（2024年）
达梦数据源支持使用SSL加密。创建Kafka数据源 创建达梦（DM）数据源 离线集成 FTP输出组件优化：写入文件个数不与并发数强绑定，支持选择写入单个文件或生成多个文件。当加载策略选择覆盖数据或文件冲突报错时，单个文件不生成后缀；多个...
通过脚本模式配置离线同步任务
写入端（Writer）操作 说明 配置同步前后执行语句 部分数据源支持在同步前（数据写入目标端数据源前）与同步完成后（数据写入目标端后），在目标端执行相关数据库SQL。示例：MySQL Writer支持配置preSql与postSql，即在数据写入MySQL前或后...
文档更新动态（2024年）
新增说明 安装及管理Python三方包 管理中心-数据源管理 Kafka数据源支持在无认证或用户名+密码认证方式下，使用双向SSL加密。达梦数据源支持使用SSL加密。更新说明 创建Kafka数据源 创建达梦（DM）数据源 数据引入-离线集成-离线单条管道-...
- 产品推荐
- 这些文档可能帮助您