创建Lindorm数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
创建Lindorm数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
创建Redis数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
创建Sap Table数据源
配置数据源的基本信息。参数 描述 数据源名称 命名规则如下：只能包含中文、字母、数字、下划线（_）或中划线（-）。长度不能超过64字符。数据源描述 对数据源的简单描述。不超过128字符。数据源配置 选择需要配置的数据源：如果业务数据源...
创建Sap Table数据源
配置数据源的基本信息。参数 描述 数据源名称 命名规则如下：只能包含中文、字母、数字、下划线（_）或中划线（-）。长度不能超过64字符。数据源描述 对数据源的简单描述。不超过128字符。数据源配置 选择需要配置的数据源：如果业务数据源...
创建Salesforce数据源
配置数据源编码后，可在FLINK_SQL任务中通过 数据源编码.table 或 数据源编码.schema.table 的格式引用数据源中的物理表；如果需要根据所处环境自动访问对应环境的数据源，可以通过${数据源编码}.table 或${数据源编码}.schema.table 的...
创建Salesforce数据源
配置数据源编码后，可在FLINK_SQL任务中通过 数据源编码.table 或 数据源编码.schema.table 的格式引用数据源中的物理表；如果需要根据所处环境自动访问对应环境的数据源，可以通过${数据源编码}.table 或${数据源编码}.schema.table 的...
创建API数据源
配置数据源的基本信息。参数 描述 数据源名称 命名规则如下：只能包含中文、字母、数字、下划线（_）或中划线（-）。长度不能超过64字符。数据源描述 对数据源的简单描述。不超过128字符。数据源配置 选择需要配置的数据源：如果业务数据源...
创建API数据源
配置数据源的基本信息。参数 描述 数据源名称 命名规则如下：只能包含中文、字母、数字、下划线（_）或中划线（-）。长度不能超过64字符。数据源描述 对数据源的简单描述。不超过128字符。数据源配置 选择需要配置的数据源：如果业务数据源...
Tablestore Stream配置同步任务
配置数据来源与去向。类别 参数 描述 数据来源 表 导出增量数据的表的名称。该表需要开启Stream，您可以在建表时开启。开始时间 增量数据的时间范围（左闭右开）的左边界，格式为 yyyymmddhh24miss，单位为毫秒。结束时间 增量数据的时间...
数据上传
选择待上传数据及存放该数据的目标表后，您可预览数据详情，并配置数据所在文件的列与目标表字段的映射关系，配置后相关数据才可被成功上传。说明 目前仅支持预览前20条数据。参数说明如下。参数 描述 预览数据并设置目标表字段（上传数据...
数据源管理常见问题
直连数据库通过Datav服务端查询，会有10s超时限制，同时，数据库需要能通过外网访问，并配置访问白名单，白名单地址请参见：配置数据库白名单。如果无法使用外网或不想使用外网访问时，可以使用数据代理服务。对于数据代理服务的适用场景...
数据源管理常见问题
直连数据库通过Datav服务端查询，会有10s超时限制，同时，数据库需要能通过外网访问，并配置访问白名单，白名单地址请参见：配置数据库白名单。如果无法使用外网或不想使用外网访问时，可以使用数据代理服务。对于数据代理服务的适用场景...
弹性伸缩配置中设置数据磁盘加密
应用场景 为弹性伸缩配置中的数据磁盘设置加密可以提高数据的安全性和可靠性，同时满足合规性要求，是一种有效的数据保护措施。风险等级 默认风险等级：中风险。当您使用该规则时，可以按照实际需求变更风险等级。检测逻辑 弹性伸缩配置中...
数据源概述
本文将介绍配置数据源时您需要了解的相关信息。数据源功能概述 配置数据源时，您需要了解如下内容：能力 说明 数据源支持情况与配置 在配置数据集成同步任务前，您需要提前在DataWorks数据源管理页面配置好需要同步的数据源。数据集成目前...
Redis企业版实例间的双向同步
数据传输服务DTS（Data Transmission Service）支持Redis企业版实例间的双向同步，适用于异地多活、数据容灾等多种应用场景，本文介绍数据同步作业的配置流程。本文通过控制台来完成配置，您也可以通过调用OpenAPI来完成配置，详情请参见 ...
Redis企业版实例间的双向同步
数据传输服务DTS（Data Transmission Service）支持Redis企业版实例间的双向同步，适用于异地多活、数据容灾等多种应用场景，本文介绍数据同步作业的配置流程。本文通过控制台来完成配置，您也可以通过调用OpenAPI来完成配置，详情请参见 ...
PostgreSQL数据源
PostgreSQL数据源为您提供读取和写入PostgreSQL双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的PostgreSQL数据同步能力支持情况。支持的版本 目前仅支持配置PostgreSQL数据源为PostgreSQL...
创建TiDB数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
创建TiDB数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
数据安全治理的必要性
从微观上看，数据安全治理的本质则是要处理好各类人员（身份）对组织资产（IAAS/PAAS/SAAS/各类数据）所施加的行为，若某人员对组织资产采取了不恰当的行为，将导致资产所承载信息的机密性（Confidentiality）、完整性（Integrity）、可用...
整库离线同步至OSS
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至OSS为例，为您讲解如何将整库数据离线同步至OSS。前提条件 已完成数据源配置。您需要...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
C100售后支持相关问题
购买数据库审计实例后，您可以通过以下操作配置数据库审计服务：启用数据库审计实例 配置数据库审计实例 登录数据库审计系统 管理数据库资产 安装Agent 如果您想配置审计规则和告警通知，更多信息，请参见 C100快速入门。如何将跨地域、跨...
离线同步常见问题
文档概述 问题分类 相关文档 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步传输数据时，脏数据超出限制，是否...
Kafka增量数据同步至MaxCompute
配置数据来源：Kafka侧参数 配置离线同步节点的数据来源相关参数。本实践将Kafka数据增量同步至MaxCompute，数据来源为Kafka数据，配置要点如下所示。说明 通用的Kafka数据来源的配置项介绍可查看 Kafka Reader 文档，以下为本次实践的配置...
Kafka增量数据同步至MaxCompute
配置数据来源：Kafka侧参数 配置离线同步节点的数据来源相关参数。本实践将Kafka数据增量同步至MaxCompute，数据来源为Kafka数据，配置要点如下所示。说明 通用的Kafka数据来源的配置项介绍可查看 Kafka Reader 文档，以下为本次实践的配置...
功能更新动态（2022年之前）
2021年08月24日 华南1（深圳）2021年08月26日 华东2（上海）数据源：可支持的数据源类型和版本拓展，优化数据源配置交互 新建数据源页面支持分类展示数据源类型，同时增加最近使用的数据源类型，提升了产品的易用性。2021年08月19日 华北2...
重新配置数据订阅
当您删除数据订阅通道的配置和通道中的增量变更数据时，您可以通过本文的方法来重置数据订阅通道。前提条件 数据订阅通道需处于 正常、初始化中 或 异常 状态。...相关文档 如需配置该数据订阅通道，请参见 DTS数据订阅方案概览。
重新配置数据同步作业
当您需要停止数据同步或重新配置数据同步时，您可以通过本文的方法来重置数据同步作业。前提条件 数据同步作业不处于 未配置 状态。费用影响 包年包月：无影响。...相关文档 如需重新配置数据同步作业，请参见 DTS数据同步方案概览。
版本发布记录
计费项 数据字典 支持控制台配置数据字典，当业务中有常量数据或者业务数据可以划分为业务事实表和业务维度表，通过数据字典来替代维度表，直接查询字典获得维度数据，增加查询效率。数据字典 资源队列 解决开源版中单个大查询消耗资源过多...
数据风险点监控
检测规则由离线开发人员配置，确保数据准确性。不同的业务会有不同的业务规则的约束，这些规则来源于数据产品或消费的业务需求。您可以通过配置消费节点，然后上推到离线系统的起点进行监控，实现规则影响的最小化。数据的及时性 在确保...
DataStudio侧实时同步任务配置
目前，同步单表数据支持的输入数据源类型及其配置如下：配置MySQL输入 配置DataHub输入 配置LogHub（SLS）输入 配置Kafka输入 配置PolarDB输入 可选：配置数据转换方式。在实时同步数据的过程中，如果您希望将输入的数据转换为需要使用的...
新建及管理数据标准
数据标准是为业务、技术和管理提供服务和支持，数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。本文为您介绍如何新建及管理数据标准。权限说明 超级管理员、数据标准管理员可以在所有标准集下新建或克隆数据...
新建及管理数据标准
数据标准是为业务、技术和管理提供服务和支持，数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。本文为您介绍如何新建及管理数据标准。权限说明 超级管理员、数据标准管理员可以在所有标准集下新建或克隆数据...
配置集成管道质量监控
规则校验 当规则模板选择 表稳定性校验、表波动性校验 需配置。数据质量规则校验后，结果会和异常校验的配置进行对比，符合条件则校验结果为不通过；同时触发告警等后续流程。异常校验可用指标由模板和配置内容决定，支持多种条件的and/or...
配置集成管道质量监控
规则校验 当规则模板选择 表稳定性校验、表波动性校验 需配置。数据质量规则校验后，结果会和异常校验的配置进行对比，符合条件则校验结果为不通过；同时触发告警等后续流程。异常校验可用指标由模板和配置内容决定，支持多种条件的and/or...
功能发布记录 2022年之前
2021-12 功能名称 功能描述 发布时间 发布地域 相关文档 数据质量支持选择规则模板来批量配置数据质量规则。DataWorks数据质量支持选择规则模板来批量配置数据质量规则，简化配置难度：支持选择表级规则模板，批量给多张表配置规则。支持...
功能更新动态（2023年）
支持配置数据源编码，配置数据源编码后，可在Flink SQL任务中通过 数据源编码.table 或 数据源编码.schema.table 的格式引用MySQL、Hologres和MaxCompute数据源中的表。创建FTP数据源 创建Salesforce数据源 创建OSS数据源 安全设置 安全...
场景：跨账号创建数据源
配置数据源信息。配置基本信息。根据界面提示，配置如下信息。标准模式工作空间，需分别创建开发环境数据源和生产环境数据源。工作空间模式，详情请参见 必读：简单模式和标准模式的区别。关键参数配置如下：对方账号的UID：其他阿里云账号...
- 产品推荐
- 这些文档可能帮助您