实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、...
ApsaraDB For OceanBase数据源
但实时同步OceanBase的数据至 AnalyticDB for MySQL，目前仅支持同步单个物理库的数据，不支持同步逻辑库数据。说明 在整库实时同步任务中，不支持连接串模式数据源。在整库实时同步任务中，版本需要在V3.0及以上。数据同步前准备 在...
配置并管理实时同步任务
实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源相关能力介绍详情请参见：数据源概述。已购买合适规格的独享数据集成资源组。详情请参见：新增和使用独享数据集成资源组。独享数据集成资源组与数据源网络已打通...
配置并管理实时同步任务
实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源相关能力介绍详情请参见：数据源概述。已购买合适规格的独享数据集成资源组。详情请参见：新增和使用独享数据集成资源组。独享数据集成资源组与数据源网络已打通...
DataWorks On MaxCompute使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
列存表使用排序键和粗糙集索引加速查询
例如，假设一张表存储了7年的数据，并且这张表的数据是按照时间字段排序存储的，如果我们需要查询一个月的数据，那么只需要扫描 1/(7*12)的数据，也就是说有98.8%的数据块在扫描（SCAN）时可以被过滤掉。但是如果数据没有按照时间排序的话...
使用DataV可视化应用展示数据返回结果
本文为您介绍如何在DataV中调用DataWorks的数据服务API，并将数据返回结果展示在DataV可视化应用中。前提条件 在开始本案例前，您需要首先完成 准备工作，并已经 生成了数据服务API。背景信息 警告 您必须使用HTTP协议进入DataV控制台，...
新建 DataHub 数据源
数据源标识 建议使用中文、数字和字母的组合。名称中不能包含空格，长度不得超过 32 个字符。是否跨阿里云主账号 数据传输支持对不同阿里云主账号下的实例配置数据迁移或数据同步项目，实现跨阿里云主账号的数据迁移或数据同步。您可以根据...
COMBINATIONS
返回输入数组元素的N元组合组成的数组。命令格式 combinations(array(T),n)参数说明 array：为输入数组。n：元数。返回值说明 返回输入数组元素的N元组合组成的数组。如果输入数组没有重复项，则返回N元子集数组。子集是确定的但顺序不保证...
静态数据
例如[{"label":"Apple","value":"apple"},{"label":"Pear","value":"pear","disabled":true }]搜索框组件 数据格式为一维数组，例如["Recent","dress","sunglasses"]。当开始在搜索框输入内容时，显示数据源提示框。操作 说明 格式参考 ...
新建 MySQL 数据源
建议您为迁移或同步项目创建单独的数据库用户。密码 数据库用户的密码。Database Name MySQL 数据库的名称。说明 如果您配置了 Database Name，当数据源作为源端时，数据迁移项目仅支持选择指定 Database Name 下的迁移对象。备注 数据源的...
使用DTS将华为云文档数据库迁移至阿里云
Secondary节点：副本集实例中的从节点，该节点的数据库仅支持只读。在 基本信息 页签的 网络 区域框中，单击安全组ID。在 安全组设置 页面中，将DTS服务器的IP地址段添加至 入方向规则 中。说明 华为云文档数据库默认的端口为8635，如您...
新建 Oracle 数据源
建议您为迁移或同步项目创建单独的数据库用户。密码 数据库用户的密码。Schema Name Oracle 数据库的 Schema 名称。说明 如果您配置了 Schema Name，当数据源作为源端时，数据迁移或数据同步项目仅支持选择指定 Schema Name 下的迁移或同步...
使用DTS将华为云文档数据库迁移至阿里云
Secondary节点：副本集实例中的从节点，该节点的数据库仅支持只读。在 基本信息 页签的 网络 区域框中，单击安全组ID。在 安全组设置 页面中，将DTS服务器的IP地址段添加至 入方向规则 中。说明 华为云文档数据库默认的端口为8635，如您...
pg_type
注意该分隔符是与数组元素数据类型相关联的，而不是和数组的数据类型关联。typrelid oid 对于复合类型（见 typtype），那么这个列指向 pg_class 中定义对应表的项（对于自由存在的复合类型，pg_class 项并不表示一个表，但不管怎样该类型的...
新建自定义数据源
完成自定义数据源类型后，您可将该类型的数据源接入到Dataphin中，为后续进行集成开发做准备。前提条件 已有自定义数据源类型。具体操作，请参见：新建离线自定义源类型。新建实时自定义源类型。操作步骤 请参见 数据源管理入口，进入 数据...
配置并管理实时同步任务
实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源相关能力介绍详情请参见：数据源概述。已购买合适规格的独享数据集成资源组。详情请参见：新增和使用独享数据集成资源组。独享数据集成资源组与数据源网络已打通...
新建自定义数据源
完成自定义数据源类型后，您可将该类型的数据源接入到Dataphin中，为后续进行集成开发做准备。前提条件 已有自定义数据源类型。具体操作，请参见：新建离线自定义源类型。新建实时自定义源类型。操作步骤 请参见 数据源管理入口，进入 数据...
MAP_FROM_ARRAYS
将ARRAY数组 a 和 b 组合成一个MAP对象。命令格式 map,V>map_from_arrays([string,]array<K><a>,array<V><b>))参数说明 mapDupKeyPolicy：可选。STRING类型。指定出现重复Key时的处理方式。取值范围如下：exception：如果出现重复的Key，...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
设置白名单
在 组内白名单 右侧本文框中输入需要访问图数据库GDB的客户端的IP地址。本教程将使用云服务器ECS连接图数据库GDB，ECS的IP地址可以在 ECS控制台 获取。单击 确定。相关文档 更多关于数据安全性的设置操作，请参见 设置白名单 和 设置安全组...
创建服务项目
变更请求参数的数据类型），导致影响API以及关联的组合API的正常调用。因此，在API绑定应用或者被组合API引用后，API发布新版本到线上时，会与线上的版本进行对比，如果存在以上四种变更，可以选择不同的处理机制。您可基于API的使用场景，...
构建数据仓库
用户的应用场景复杂，对非结构化的语音、自然语言文本进行语音识别、语义分析、情感分析等，同时融合结构化数据搭建企业级的数据管理平台，并且计算和存储成本最低。平台支撑多种形式的应用，包括使用机器学习算法进行复杂数据分析、使用BI...
使用数据传输同步数据
数据同步能够保持源端和目标端的数据一致性，实现关键业务的数据实时流动。本文以同步 OceanBase 数据库的数据至 Kafka 为例，介绍如何使用数据传输同步数据。前提条件 在同步数据之前，您需要确认以下信息：数据传输已具备云资源访问权限...
名词解释
数据组（Data Group）：如果需要对比不同监测对象（由标签定义）的同一指标（由度量定义）的数据，可以按标签这些数据分成不同的数据组。例如，将温度指标数据按照不同城市进行分组查询，操作类似于该 SQL 语句：select avg(temperature)，...
通过数据同步功能同步Kafka至湖仓版（推荐）
AnalyticDB for MySQL 湖仓版（3.0）支持新建Kafka同步链路，通过同步链路从指定时间位点，实时同步Kafka中的数据入湖，以满足近实时产出、全量历史归档、弹性分析等需求。本文主要介绍如何添加Kafka数据源，新建Kafka同步链路并启动任务，...
新建 OceanBase 数据源
oblogproxy Port（可选）_oceanbase_inner_drc_user 密码（可选）本用户主要用于 OceanBase 数据库内无唯一键表的数据迁移。请注意：您需要在当前数据源所在的租户下创建本用户。选择的 实例类型 为 OceanBase Serverless 实例 时，配置...
穿梭框
说明 该功能支持调整单列显示的数据项，不支持调整树状显示的数据项。调整组件在页面中的最终位置。有关组件通用样式配置的更多信息，请参见 样式配置。步骤四：配置交互动作 选中组件的 交互 页签，配置事件和交互动作。具体操作请参见 ...
公共数据集成（调试）资源组
公共数据集成（调试）资源组的性能限制 由于公共资源组容量有限，单租户任务并发数最大不超过5并发。已建立存量任务并发限制保持不变。公共数据集成（调试）资源组的其他注意事项 公共数据集成（调试）资源组新建任务不支持跨主账户任务...
访问增强版HBase数据
云原生多模数据库 Lindorm 支持通过Lindorm计算引擎访问云数据库HBase增强版集群中的数据。前提条件 已开通Lindorm计算引擎。如何开通，请参见 开通与变配。已阅读并了解通过Lindorm计算引擎访问数据时的使用须知。详细内容，请参见 使用...
同步 OceanBase 数据库的数据至 RocketMQ
如果开启，请设置 RPS（全量同步阶段每秒最多可以同步至目标端的数据行数的最大值限制）和 BPS（全量同步阶段每秒最多可以同步至目标端的数据量的最大值限制）。说明 此处设置的 RPS 和 BPS 仅作为限速限流能力，全量同步实际可以达到的...
配置Kafka输入
数组所在位置路径 当输出模式设置为多行输出时，指定JSON数组在kafka记录value中的路径，路径支持以 a.a1 的格式引用特定JSON对象中的字段或者以 a[0].a1 的格式引用特定JSON数组中的字段，如果该配置项为空，则将整个kafka记录value作为...
OceanBase 数据库 MySQL 租户之间的数据同步
本文为您介绍如何创建 OceanBase 数据库 MySQL 租户（简称为 OB_MySQL）至 OceanBase 数据库 MySQL 租户的数据同步项目。前提条件 数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为 OceanBase 数据库创建专用于数据...
通过数据同步功能同步SLS至湖仓版（推荐）
AnalyticDB for MySQL 湖仓版（3.0）支持新建SLS同步链路，通过同步链路从指定时间位点将日志服务LogStore中的数据实时同步至 湖仓版（3.0），以满足近实时产出、全量历史归档、弹性分析等需求。本文介绍如何添加SLS数据源，新建SLS同步...
DataWorks资源组概述
资源组介绍 DataWorks包括独享资源组、公共资源组，各资源组根据任务调度、数据集成、数据服务等不同的使用场景，细分为不同类型的资源组，包括：独享调度资源组、独享数据集成资源组、独享数据服务资源组、公共调度资源组、公共数据服务...
购买与使用独享数据传输服务资源组
独享数据传输服务资源组可以提供更高的数据传输速度和更好的网络条件，以减少传输时间并提高效率。本文为您介绍如何购买、使用独享数据传输服务资源组。背景信息 MaxCompute当前在各个地域均为您提供了免费的 公共数据传输服务资源组，为该...
通用参考：切换资源组
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。修改数据集成资源组。离线同步任务 单个任务修改 在左侧导航栏，单击 数据开发，找到目标离线同步...
配置学区地图单选框交互
本文档为您介绍通过 单选框 实现不同类型学校的散点层数据的切换展示，以及 Tab列表 和 单选框 的双重触发判断方法。例如 Tab列表 选择 小学，单选框 选择 公办，那么最终实现在可视化应用上展示所有 公办小学 的散点层信息。前提条件 完成...
配置学区地图单选框交互
本文档为您介绍通过 单选框 实现不同类型学校的散点层数据的切换展示，以及 Tab列表 和 单选框 的双重触发判断方法。例如 Tab列表 选择 小学，单选框 选择 公办，那么最终实现在可视化应用上展示所有 公办小学 的散点层信息。前提条件 完成...
同步 OceanBase 数据库 MySQL 租户的数据至 Analytic...
如果开启，请设置 RPS（全量同步阶段每秒最多可以同步至目标端的数据行数的最大值限制）和 BPS（全量同步阶段每秒最多可以同步至目标端的数据量的最大值限制）。说明 此处设置的 RPS 和 BPS 仅作为限速限流能力，全量同步实际可以达到的...
- 产品推荐
- 这些文档可能帮助您