数据脱敏
脱敏源为 RDS表/PolarDB-X表/MaxCompute表/PolarDB表/OceanBase表/ADB-MySQL表 时配置项说明 脱敏源配置项 是否必填 配置描述 数据存储类型 是 选择脱敏文件的数据存储类型。支持的存储类型包括：RDS表、PolarDB-X表、MaxCompute表、...
创建数据流
单击 数据输入 节点，在页面下方的 数据源 页签中配置数据源信息。配置项 操作 数据库类型 选择源数据库的类型。数据库 输入并选择数据流读取数据的源数据库。（可选）若数据库为非安全协同模式，还需要在弹出的 登录实例 对话框中，输入 ...
API概览
数据传输服务DTS提供以下API...监控报警 API 描述 ConfigureMigrationJobAlert 配置数据迁移实例的监控报警。DescribeMigrationJobAlert 查询数据迁移实例的监控报警设置。ConfigureSubscriptionInstanceAlert 配置数据订阅实例的监控报警。...
创建元数据
参数 描述 数据表配置 物理数据表 选择 HBase 0.9.4/1.1.x/2.x 的数据源类型、数据源和需要创建元数据的数据表。Rowkey 配置 在读写HBase的数据时，需要通过RowKey字段查询到数据所在的Region及Region下的MemStore和HFile。分隔符 基于业务...
创建Hive数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
新建数据探查任务
数据过滤 开启后，可在代码框中配置数据过滤的脚本。例如：city='hangzhou'。探查范围 用于设置需要探查记录数。支持全部记录、随机抽样n条记录、百分比抽样n%记录。全部记录：已选字段指定分区内的所有记录均参与探查，适用于需要对全量...
新建数据探查任务
数据过滤 开启后，可在代码框中配置数据过滤的脚本。例如：city='hangzhou'。探查范围 用于设置需要探查记录数。支持全部记录、随机抽样n条记录、百分比抽样n%记录。全部记录：已选字段指定分区内的所有记录均参与探查，适用于需要对全量...
新建元表
附录：实时数据源配置信息说明 数据源 配置 描述 MaxCompute 来源表、blinkType 来源表：数据的来源表。blinkType：支持选择odps或continuous-odps。odps：作为source表为全量读取，可作为sink表。continuous-odps：作为source表为增量读取...
新建元表
附录：实时数据源配置信息说明 数据源 配置 描述 MaxCompute 来源表、blinkType 来源表：数据的来源表。blinkType：支持选择odps或continuous-odps。odps：作为source表为全量读取，可作为sink表。continuous-odps：作为source表为增量读取...
配置离线数据集成节点
源表配置 数据过滤 填写WHERE过滤语句。支持使用变量。推荐分片字段 默认取值为 自动。最大并发数量 选择最大并发数量，默认取值为4。说明 DMS 限制单个租户的并发Spark任务数量，超过4后，任务将会排队执行。目标表配置 导入数据前置行为 ...
配置DTS数据迁移节点
分类 配置项 描述 数据库 来源 搜索并选择来源库。目标 搜索并选择目标库。表 迁移整库 是否打开迁移整库开关：打开：迁移来源库中的所有表。关闭：单击 请选择需要迁移的表，在 表选择 对话框中选中需要迁移的表，单击 确认。同步配置 ...
新建自定义数据源
如果开发模式是Dev-Prod模式，则可以通过以下方式配置数据源：单击 生产+开发数据源，配置生产环境和开发环境的数据源。单击 生产数据源，配置生产数据源。完成生产数据源的创建后，单击 开发数据源，配置开发环境的数据源。说明 系统支持...
新建自定义数据源
如果开发模式是Dev-Prod模式，则可以通过以下方式配置数据源：单击 生产+开发数据源，配置生产环境和开发环境的数据源。单击 生产数据源，配置生产数据源。完成生产数据源的创建后，单击 开发数据源，配置开发环境的数据源。说明 系统支持...
自定义RDBMS数据库及同步数据
如果开发模式是Dev-Prod模式，则可以通过以下方式配置数据源：单击 生产+开发数据源，配置生产环境和开发环境的数据源。单击 生产数据源，配置生产数据源。完成生产数据源的创建后，单击 开发数据源，配置开发环境的数据源。说明 系统支持...
自定义RDBMS数据库及同步数据
如果开发模式是Dev-Prod模式，则可以通过以下方式配置数据源：单击 生产+开发数据源，配置生产环境和开发环境的数据源。单击 生产数据源，配置生产数据源。完成生产数据源的创建后，单击 开发数据源，配置开发环境的数据源。说明 系统支持...
管理数据库资产
关于数据库的配置描述，请参见 步骤 4。删除数据库 如果不再需要审计某个数据库，您可以在数据库审计系统中将其删除。登录数据库审计系统。具体操作，请参见 登录数据库审计系统。在左侧导航栏，选择 资产>资产管理。单击目标数据库操作列...
数据保护伞概述
细分操作 描述 参考文档 配置数据分类分级 用于对您的数据按照数据价值、内容敏感程度、影响和分发范围进行敏感级别划分，后续可基于分类分级进行数据管控操作。不同敏感级别的数据管控原则和数据开发要求存在差异。DataWorks提供了内置的...
管理数据库资产
关于数据库的配置描述，请参见 添加数据库 的步骤 4。删除数据库 如果不再需要审计某个数据库，您可以在数据库审计系统中删除自建数据库。不支持删除资产分类为RDS的资产。登录数据库审计系统。具体操作，请参见 登录数据库审计系统。在...
实时消费Kafka数据
源端配置 数据源 选择在新增实时数据源中配置的数据源，目前仅支持Kafka为源的数据源。group_name Kafka的消费者组。failback_offset 消费位点。earliest：从最早可用位点消费。latest：从最新的位点开始消费。投递保证 流计算中的一致性...
日志服务通过数据集成投递数据
配置数据来源与数据去向具体同步的表等信息。数据来源参数说明：参数 描述 Logstore 目标日志库的名称。日志开始时间 数据消费的开始时间位点，为时间范围（左闭右开）的左边界，为 yyyyMMddHHmmss 格式的时间字符串（例如 20180111013000...
创建HBase数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
新建普通维度逻辑表
步骤五：配置普通维度逻辑表调度 在 调度&参数配置 页面，配置维度逻辑表的 数据延迟、调度属性、调度依赖、调度参数、运行配置。参数 描述 数据延迟 开启数据延迟，系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部数据。详细说明，请...
新建普通维度逻辑表
步骤五：配置普通维度逻辑表调度 在 调度&参数配置 页面，配置维度逻辑表的 数据延迟、调度属性、调度依赖、调度参数、运行配置。参数 描述 数据延迟 开启数据延迟，系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部数据。详细说明，请...
新建事实逻辑表
单击 保存并下一步 步骤四：配置事实逻辑表调度配置 在 调度&参数配置 页面，配置事实逻辑表的 数据延迟、调度属性、调度依赖、调度参数、运行配置。参数 描述 数据延迟 开启数据延迟，系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部...
新建事实逻辑表
单击 保存并下一步 步骤四：配置事实逻辑表调度配置 在 调度&参数配置 页面，配置事实逻辑表的 数据延迟、调度属性、调度依赖、调度参数、运行配置。参数 描述 数据延迟 开启数据延迟，系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部...
Quick BI
当您的网络类型为VPC网络时，请选中 vpc数据源 并配置以下参数：名称 描述 显示名称 数据源配置列表的显示名称。名称由汉字、数字、字母、下划线（_）或短划线（-）组合组成。数据库地址 ClickHouse集群的内网地址。端口 ClickHouse集群的...
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。...前提条件 完成派生指标的创建，详情请参见 创建派生指标。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。...配置完成后单击 确定。
Quick BI数据可视化
名称 描述 显示名称 数据源配置列表的显示名称。请输入规范的名称，不可使用特殊字符，前后不能包含空格。数据库地址 云数据库 SelectDB 版 实例的 公网地址。端口 云数据库 SelectDB 版 实例的 MySQL协议端口。数据库 云数据库 SelectDB ...
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。...前提条件 完成派生指标的创建，详情请参见 创建派生指标。操作步骤 登录 Dataphin控制台。在Dataphin控制台页面，选择工作区地域后，单击 进入Dataphin>>。...配置完成后单击 确定。
C100快速入门
您也可以添加自建数据库，具体配置描述，请参见 ECS自建数据库配置。单击 保存。安装流量采集工具（Agent）。如果数据库服务器是安装了云助手的云服务器ECS，推荐您通过云助手安装Agent；否则，您需要根据数据库服务器的操作系统类型，下载...
配置MySQL输入
已配置数据同步资源组与数据库的网络连通，详情请参见 配置资源组与网络连通。使用限制 数据集成不支持同步MySQL只读库实例的数据。DataWorks的数据集成实时同步MySQL数据是基于实时订阅MySQL实现的，实时同步MySQL数据目前仅支持配置MySQL...
新建离线自定义源类型
区域 参数 描述 基本配置 类型 选择 RDBMS数据库。名称 自定义组件的名称。支持64个文字以内，中英文字符、下划线（_）及数字。类型编码 供后端使用，创建后不可编辑。资源配置 驱动名称 输入数据库驱动名称，例如com.mysql.jdbc.Driver。...
新建离线自定义源类型
区域 参数 描述 基本配置 类型 选择 RDBMS数据库。名称 自定义组件的名称。支持64个文字以内，中英文字符、下划线（_）及数字。类型编码 供后端使用，创建后不可编辑。资源配置 驱动名称 输入数据库驱动名称，例如com.mysql.jdbc.Driver。...
数据源概述
数据源功能概述 配置数据源时，您需要了解如下内容：能力 说明 数据源支持情况与配置 在配置数据集成同步任务前，您需要提前在DataWorks数据源管理页面配置好需要同步的数据源。数据集成目前支持几十种数据源，目前支持的数据源及其配置...
配置数据源
本文为您介绍如何配置数据源。前提条件 为了保障数据源和服务资源组之间的正常数据访问，需要完成网络连通与白名单的配置，否则将无法正常执行数据服务的相关任务。公共资源组网络配置，请参见 获取白名单IP地址：公共资源组。独享服务资源...
D100快速入门
您也可以添加自建数据库，具体配置描述，请参见 添加自建数据库。单击 保存。安装流量采集工具（Agent）。如果数据库服务器是安装了云助手的云服务器ECS，推荐您通过云助手安装Agent；否则，您需要根据数据库服务器的操作系统类型，下载...
配置DataHub输出
如果未配置数据源，请单击右侧的 新建数据源，跳转至 工作空间管理>数据源管理 页面进行新建。详情请参见 配置DataHub数据源。Topic 选择当前数据源下需要同步的Topic。您可以单击右侧的 数据预览 进行确认。批量条数 支持批量同步的数量。...
配置AnalyticDB for MySQL输出
如果您未配置数据源，请单击右侧的 新建数据源，进入 工作空间管理>数据源管理 页面进行新建，详情请参见 配置AnalyticDB for MySQL 3.0数据源。表 选择当前数据源下需要同步的数据表名称。您可以单击右侧的 一键建表 新建数据表，也可以...
散点层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
XYZ栅格瓦片
说明 如果 数据项目 和 数据集 配置项内没有任何可供配置数据类型的内容，请您单击面板内 前往空间构建平台管理数据 处，进入空间构建平台配置数据。详情请参见 空间数据管理概览。蓝图交互 在当前场景编辑器页面，单击左侧图层列表中 XYZ...
- 产品推荐
- 这些文档可能帮助您