采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
EMR Hive数据整库离线同步至MaxCompute
背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成...
EMR Hive数据整库离线同步至MaxCompute
背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成...
使用SDK示例代码消费订阅数据
创建一个或多个消费组，详情请参见 新增消费组。根据业务需求，使用SDK示例代码。使用打包好的新版订阅SDK（推荐）打开IntelliJ IDEA软件，然后单击 Create New Project，新建一个业务Project。在新建的业务Project中，找到项目对象模型...
购买按量付费集群
从回收站恢复：您可以通过从回收站中恢复已删除集群的备份来创建新集群。原版本：已删除集群的版本。已删除集群：已删除的集群名称。历史备份：选择想要恢复的备份。说明 其他选项用于创建其他引擎的数据库。数据库引擎 选择 数据库引擎 为...
MySQL一键实时同步至MaxCompute
本文为您介绍如何通过DataWorks数据集成将MySQL全增量数据一体化同步至...在数据开发界面找到ODPS SQL节点，通过命令查询表数据，创建ODPS SQL临时查询节点，详情请参见 创建临时查询。说明 增量Log表的数据格式说明请参见 实时同步字段格式。
MySQL一键实时同步至MaxCompute
本文为您介绍如何通过DataWorks数据集成将MySQL全增量数据一体化同步至...在数据开发界面找到ODPS SQL节点，通过命令查询表数据，创建ODPS SQL临时查询节点，详情请参见 创建临时查询。说明 增量Log表的数据格式说明请参见 实时同步字段格式。
离线同步能力说明
示例：创建一个离线同步任务，每天从源MySQL订单表中同步前一天新产生的订单数据到MaxCompute目标表的当天分区，原表订单的创建时间字段为 gmd_created,目标odps表的分区字段为 ds，可以将任务配置如下：同步任务配置：调度参数配置：订单...
购买包年包月集群
从回收站恢复：您可以通过从回收站中恢复已删除集群的备份来创建新集群。原版本：已删除集群的版本。已删除集群：已删除的集群名称。历史备份：选择想要恢复的备份。说明 其他选项用于创建其他引擎的数据库。数据库引擎 选择 数据库引擎 为...
2023年
ENHANCED_SYM_DECRYPT 2023-10-20 新增密钥集（KEYSET）使用说明 新说明 MaxCompute的密钥管理对象Keyset，每个Keyset可以存放1个到多个密钥，您可以在Keyset中增加密钥来实现密钥的轮转，并且可以查看原始密钥。本文介绍KeySet的使用。...
使用SDK示例代码消费PolarDB-X 1.0订阅数据
创建一个或多个消费组，具体操作请参见 新增消费组。下载并解压SDK示例代码文件，下载地址为 SDK示例代码。在IntelliJ IDEA软件中打开目标项目。打开IntelliJ IDEA软件，然后单击 Open or Import。在弹出的对话框中，选择SDK示例代码解压的...
购买包年包月集群
从回收站恢复：您可以通过从回收站中恢复已删除集群的备份来创建新集群。原版本：已删除集群的版本。已删除集群：已删除的集群名称。历史备份：选择想要恢复的备份。说明 其他选项用于创建其他引擎的数据库。数据库引擎 选择 数据库引擎 为...
分区表常见问题
如果租户ID有一定规律，如按照100、200和500这样的分区数来拆分数据量，数据量在各个分区分布不均衡，则可以尝试使用一些质数作为分区数。如果有10亿的数据量，则建议创建100至200个分区，单个分区的数据量平均大约为500万至5000万。HASH...
配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至Kafka。本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的...
配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至MaxCompute。本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要...
购买按量付费集群
从回收站恢复：您可以通过从回收站中恢复已删除集群的备份来创建新集群。原版本：已删除集群的版本。已删除集群：已删除的集群名称。历史备份：选择想要恢复的备份。说明 其他选项用于创建其他引擎的数据库。数据库引擎 选择 数据库引擎 为...
常见问题
搜索索引是宽表引擎与搜索引擎深度融合的特性，需要单独开通购买，核心功能为倒排索引和列存，适合较为复杂的多维查询场景，一个宽表只能创建一个搜索索引表，索引列个数最多1000个（默认）。二级索引是Lindorm宽表内置的特性，无需开通...
DLA Lakehouse实时入湖
DLA Lakehouse实时入湖方案利用数据湖技术，重构数仓语义；分析数据湖数据，实现数仓的应用。本文以RDS MySQL数据源为例介绍了RDS MySQL从入湖到分析的操作步骤。背景信息 数据湖分析（Data Lake Analytics）是⽬前炙⼿可热的⽅向，主要是...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
数据集成侧同步任务配置
完成数据源、网络、资源的准备配置后，您可以根据同步场景选择同步解决方案，创建并执行同步任务，将源端数据同步至目标端。本文为您介绍同步任务的通用配置流程，不同的同步方案配置流程可能存在差异，对应方案配置详情请以界面为准。前提...
全增量实时同步至Hologres
步骤八：资源组配置 运行当前同步解决方案将产生多个离线同步子任务和一个实时同步子任务，您可以单击界面右上方的 资源组配置，查看并切换当前的任务所使用的离线同步资源组和实时同步资源组。说明 离线和实时同步任务推荐使用不同的资源...
数据导入方式介绍
为满足多样化的数据导入需求，云原生数据仓库AnalyticDB MySQL版 提供了多种数据导入方式，包括：通过外表导入数据、使用DataWorks导入数据和利用JDBC通过程序导入数据等。本文介绍各导入方式的特性及适用场景，帮助您选择正确的数据导入...
Lindorm实时入湖建仓分析
DLA Lakehouse实时入湖方案利用数据湖技术，重构数仓语义，分析数据湖数据，实现数仓的应用。本文介绍Lindorm实时入湖建仓分析的操作步骤。方案介绍 DLA Lakehouse的Lindorm实时入湖建仓分析助力企业构建大数据离在线一体化，主要包括三...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
一键实时同步至DataHub
本文为您介绍如何创建一键实时同步至DataHub任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库...
创建数据库
说明 创建实例时所选择的存储类型将决定您在创建数据库时所使用的存储类型，例如您在创建实例时选择的是 RDS MySQL，则您在创建数据库时存储类型即固定为 RDS for MySQL 不可变更。PolarDB-X 1.0 存储层 私有定制RDS 与计算层 PolarDB-X 1....
集群资源规格评估建议
如果预估集群总分区副本数量会比较多，建议您从总分区数来评估所需Broker的节点数。此时，计算所需Broker节点数公式为：Broker节点数=Max（4，总预估分区数*分区副本因子/2000）估算每个Broker的磁盘大小 每个Broker的磁盘大小=数据总存储...
DataStudio侧实时同步任务配置
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。前提...
离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
新建类型
通过 as table of 创建一个数组 list。步骤 3：编辑语句 指定上述信息后，单击 下一步 按钮，进入语句编辑页面，在语句编辑页面中会根据在 新建类型 弹窗中指定的信息生成对应的类型定义语句，用户需要根据需求补齐语句。补齐语句后，单击...
一键实时同步至Hologres
同时，还支持单独进行实时增量数据同步，适用于已经通过其他方式将全量数据同步至Hologres的场景，本文为您介绍如何创建一键实时同步至Hologres任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源端...
DataHub数据源
datahub侧对于一次request请求写入的数据条数限制是10000条，超出10000条数据会超出限制导致任务出错，请根据您单条数据平均数据量*10000条数据的数据总量来从侧方面进行单次写入datahub的数据条数控制。比如每条数据10 k，那么此参数的...
OSS数据源
Schema名称 设置Schema名称，即映射到DLA中的数据库名称（默认每个发现任务会新创建一个独立的Schema）。完成上述参数配置后，单击 创建，开始创建元信息发现任务。说明 元信息发现任务创建完成后，DLA自动在您设定的时间周期运行发现任务...
一键实时同步至MaxCompute
本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入...
恢复全量数据
操作步骤 您可以使用原实例的备份数据创建新实例进行数据恢复，该方式不会影响原实例的数据性能。访问 RDS实例列表，在上方选择地域，然后单击目标实例ID。在左侧导航栏单击 备份恢复>数据库恢复。说明 您也可以单击 基本信息 页面 实例...
一键实时同步至MaxCompute
本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移项目，您可以通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。同时，数据传输支持将...
数据开发：开发者
本文以使用MaxCompute数据源，在DataWorks上运行MaxCompute作业任务为例，为您介绍开发人员如何使用数据开发（DataStudio）创建一个周期调度任务，帮助您快速了解数据开发（DataStudio）模块的基本使用。前提条件 已完成开发前的环境准备，...
一键实时同步至Elasticsearch
本文为您介绍如何创建一键实时同步至Elasticsearch任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入...
数据开发功能索引
组件管理：组件是一种带有多个输入参数和输出参数的SQL代码过程模板，SQL代码过程的处理通常会引入一到多个源数据表，通过过滤、连接和聚合等操作，加工出新业务需要的目标表。操作历史：可以通过操作类型、操作人、操作时间进行筛选，查看...
- 产品推荐
- 这些文档可能帮助您