离线同步写入MongoDB数据
DataWorks的数据集成为您提供MongoDB Writer插件，可从其他数据源中读取数据，并将数据同步至MongoDB。本文以一个具体的示例，为您演示如何通过数据集成将MaxCompute的数据离线同步至MongoDB。前提条件 本实践进行操作时，需满足以下条件。...
NodeGroupConfig
当前数据盘只支持一种磁盘类型，即数组元数个数 N 的取值范围：1~1。DataDisk 数据盘。GracefulShutdown boolean 节点组上部署的组件是否开启优雅下线。取值范围：true：开启优雅下线。false：不开启优雅下线。默认值：false。false ...
使用公共资源组
开通DataWorks时，DataWorks自动为您提供公共资源组（包括公共调度资源组、公共数据集成（调试）资源组、公共数据服务资源组），可用于数据开发、运行测试等操作。公共资源组被多个租户共享，高峰期租户间可能会存在抢占资源的情况。本文为...
Tab列表
设置选择项 选择某一个或多个Tab选项，可以是数组或单个对象，参考数据示例。{"id":"1"} 开启轮播 Tab列表开启轮播样式，参考数据示例。{"duration":2000/轮播时间，单位ms } 关闭轮播 Tab列表关闭轮播样式，不需要参数。移动 将组件移动到...
CREATE TYPE
第一个参数是输入文本的C字符串形式，第二个参数是该类型本身的OID，或者对于数组类型来说，是其元素类型的 OID；第三个参数是目标列的类型修饰符 typmod（如果此信息未知，则会传递值-1）。输入函数必须返回对应的新数据类型值。通常，...
CREATE TYPE
第一个参数是输入文本的C字符串形式，第二个参数是该类型本身的OID，或者对于数组类型来说，是其元素类型的 OID；第三个参数是目标列的类型修饰符 typmod（如果此信息未知，则会传递值-1）。输入函数必须返回对应的新数据类型值。通常，...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
访问增强版HBase数据
云原生多模数据库 Lindorm 支持通过Lindorm计算引擎访问云数据库HBase增强版集群中的数据。前提条件 已开通Lindorm计算引擎。如何开通，请参见 开通与变配。已阅读并了解通过Lindorm计算引擎访问数据时的使用须知。详细内容，请参见 使用...
数据归档OSS
该功能允许用户在控制台数据库管理页面或通过API将不经常访问的在线数据库转为冷存数据库，而冷数据会存储在低成本的对象存储OSS中，以此实现数据的冷热分离，帮助用户节约存储成本。功能简介 RDS SQL Server基于SQL Server内核原生的数据...
复杂类型函数
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。predicate：必填。用于对ARRAY数组 a 中的元素进行判断的函数（内建函数或自定义函数）或表达式。输入参数的数据类型必须与ARRAY数组 a 中元素的数据类型一致。返回...
概述
集合是一组具有相同数据类型的有序数据项。通常，数据项是标量字段，但也可以是用户定义的类型，例如记录类型或对象类型，只要构成用户定义类型的每个字段的结构和数据类型对于集合中的每个元素相同即可。通过在一对括号内使用下标表示法来...
购买与使用独享数据传输服务资源组
背景信息 MaxCompute当前在各个地域均为您提供了免费的 公共数据传输服务资源组，为该地域下所有客户提供数据传输服务，同时也为您提供了 独享数据传输服务资源组（包年包月），以提供更好的数据同步稳定性和同步的并发数。两类资源组的...
概览
功能项 说明 任务编排 通过一个或多个任务编排而成的任务组，实现数据归档、数据集成、数仓数据开发、数据挖掘等需求。数据服务 将DMS上管控的数据以API的形式快速对外输出。数据可视化 提供灵活布局和丰富的自定义样式能力，及大量可视化...
配置Kafka输入
数组所在位置路径 当输出模式设置为多行输出时，指定JSON数组在kafka记录value中的路径，路径支持以 a.a1 的格式引用特定JSON对象中的字段或者以 a[0].a1 的格式引用特定JSON数组中的字段，如果该配置项为空，则将整个kafka记录value作为...
API概览
BindDBResourceGroupWithUser 将资源组与数据库用户进行绑定 调用BindDBResourceGroupWithUser接口为AnalyticDB MySQL数仓版（3.0）集群的资源组绑定数据库账号。UnbindDBResourceGroupWithUser 解绑资源组和用户 调用...
ARRAY_POSITION
ARRAY数组元素位置编号自左往右，从1开始计数。命令格式 bigint array_position(array<T><a>,T)参数说明 a：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型。支持的数据类型如下：TINYINT、SMALLINT、INT、BIGINT FLOAT、...
FLATTEN
将数组类型的数组转换为单个数组。命令格式 flatten(arrayOfArray)参数说明 arrayOfArray：为数组类型的数组。返回值说明 将数组类型的数组按元素顺序展开为单个数组。如果输入值为 null，则返回NULL。如果输入参数不是数组类型的数组，则...
等待资源
本文为您介绍等待资源的相关问题。为什么会出现等待资源？为什么任务一直在等待gateway调度资源？...说明 不同规格的独享数据集成资源组支持同时跑的最大实例数不同，详情请参考：独享数据集成资源组计费说明：包年包月。
新建补数据任务
高级配置 并发运行组数 并发运行组数用于控制同时有多少个补数据进程在运行。您可以选择并发运行的组数，系统支持最少并发运行 1组，最多并发运行 12组。业务日期的跨度时间小于并发运行组数，则实际并行组数为业务日期天数。业务日期的...
新建补数据任务
高级配置 并发运行组数 并发运行组数用于控制同时有多少个补数据进程在运行。您可以选择并发运行的组数，系统支持最少并发运行 1组，最多并发运行 12组。业务日期的跨度时间小于并发运行组数，则实际并行组数为业务日期天数。业务日期的...
如何提高冷存数据的读写性能
本文介绍提高冷存数据读写性能的最佳实践。场景描述 由于OSS延迟较高，冷存中的数据读写性能会下降，PolarDB PostgreSQL版 在开启冷数据分层存储功能时，默认会在云盘上开辟很小量的物化缓存空间，用于存储冷存元数据及一些IO合并。如果要...
整库离线同步至OSS
步骤六：运行资源设置 该同步方案将分别创建全量离线同步任务和增量离线同步任务，您可以在此步骤配置任务名称及任务执行所使用的调度资源组与数据集成任务执行资源组，同时，数据集成提供数据库最大连接数、并发数等配置的默认值，如果您...
如何提高冷存数据的读写性能
本文介绍提高冷存数据读写性能的最佳实践。场景描述 由于OSS延迟较高，冷存中的数据读写性能会下降，PolarDB PostgreSQL版（兼容Oracle）在开启冷数据分层存储功能时，默认会在云盘上开辟很小量的物化缓存空间，用于存储冷存元数据及一些IO...
日志服务通过数据集成投递数据
本文将以LogHub数据同步至MaxCompute为例，为您介绍如何通过数据集成功能同步LogHub数据至数据集成已支持的目的端数据源（例如MaxCompute、OSS、Tablestore、RDBMS和DataHub等）。前提条件 准备好相关的数据源，详情请参见 创建MaxCompute...
任务运行诊断
例如，4C8G独享数据集成资源组最大支持8个并发数同时执行，若当前存在3个并发数为3的任务，其中2个任务同时执行，则机器剩余的并发数为2，此时另一个并发数为3的任务将由于资源组剩余资源不足，导致当前任务进入等待状态，日志显示 wait。...
如何将冷存数据进行预热
本文介绍将冷存数据进行预热的最佳实践。场景描述 冷存中的数据首次查询时延迟会比较高，可以提前预热将其加载到持久化缓存（分层存储中的云盘层），可以起到查询加速的效果。PolarDB PostgreSQL版 提供了 polar_osfs_prewarm 函数，支持将...
JSON类型
根据 RFC 7159 中的说明，JSON 数据类型是用来存储 JSON（JavaScript Object Notation）数据的。这种数据也可以被存储为 text，但是 JSON 数据类型的优势在于能强制要求每个被存储的值符合 JSON 规则。也有很多 JSON 相关的函数和操作符...
如何将冷存数据进行预热
本文介绍将冷存数据进行预热的最佳实践。场景描述 冷存中的数据首次查询时延迟会比较高，可以提前预热将其加载到持久化缓存（分层存储中的云盘层），可以起到查询加速的效果。PolarDB PostgreSQL版（兼容Oracle）提供了 polar_osfs_prewarm...
概述
为应对数据爆炸式增长的挑战，PolarDB分布式版本基于对象存储设计了一套列存索引（Clustered Columnar Index，CCI）功能，支持将行存数据实时同步到列存存储上，并支持以下功能：在线事务处理和实时数据分析的一体化能力，满足OLTP和OLAP...
ApsaraDB For OceanBase数据源
ApsaraDB for OceanBase数据源提供读取和写入ApsaraDB for OceanBase数据的双向功能，您可以使用ApsaraDB for OceanBase数据源配置同步任务同步数据。本文为您介绍DataWorks的ApsaraDB For Oceanbase数据同步能力支持情况。支持的版本 离线...
通过 HyperLoglog 实现高性能多维数据透视
本文通过电商类数据透视示例，介绍了使用 AnalyticDB PostgreSQL 通过HLL预计算，实现毫秒级多维数据透视的方法。关于HyperLogLog的用法，请参考 使用HLL。实践总结 本文介绍的操作方法，涉及以下最佳实践。如您已了解操作方法，可以直接...
LOADING_NCI状态说明及其影响
根据具体列存数据量的大小和集群的规格，LOADING_NCI状态持续时间为几秒到数小时不等。LOADING_NCI状态对事务更新的影响 处于LOADING_NCI状态的索引依然可以实时更新列存索引中的数据，但由于该状态下列存索引与行存的映射没有完全建立，...
整库离线同步至MaxCompute
步骤六：运行资源设置 该同步方案将分别创建全量离线同步任务和增量离线同步任务，您可以在此步骤配置任务名称及任务执行所使用的调度资源组与数据集成任务执行资源组，同时，数据集成提供数据库最大连接数、并发数等配置的默认值，如果您...
执行补数据并查看补数据实例（旧版）
例如，业务日期为 1月11日~1月13日，并行数为2组，则会生成两个补数据实例（其中一个补数据实例会包含两个业务日期，这两个业务日期对应的任务串行执行），两个补数据实例并行执行。补数据告警 设置此次补数据操作是否会触发告警。是：满足...
整库离线同步至MaxCompute
步骤六：运行资源设置 该同步方案将分别创建全量离线同步任务和增量离线同步任务，您可以在此步骤配置任务名称及任务执行所使用的调度资源组与数据集成任务执行资源组，同时，数据集成提供数据库最大连接数、并发数等配置的默认值，如果您...
整库离线同步至Elasticsearch
步骤六：运行资源设置 该同步方案将分别创建全量离线同步任务和增量离线同步任务，您可以在此步骤配置任务名称及任务执行所使用的调度资源组与数据集成任务执行资源组，同时，数据集成提供数据库最大连接数、并发数等配置的默认值，如果您...
迁移ECS自建MySQL数据库至MaxCompute
parameter":{"column":[/源列名"create_time","category","brand","buyer_id","trans_num","trans_amount","click_cnt"],"connection":[{"datasource":"shuai",/源数据源"table":["good_sale"/源数据库表名，此处必须为方括号数组格式。...
准备数据
在数据准备阶段，您需要同步原始数据至MaxCompute。前提条件 已完成 准备环境。已新增MaxCompute数据源。详情请参见 创建MaxCompute数据源。准备数据源 通过RDS创建MySQL实例，获取RDS实例ID。详情请参见 快速创建RDS MySQL实例。在RDS控制...
迁移ECS自建MySQL数据库至MaxCompute
parameter":{"column":[/源列名"create_time","category","brand","buyer_id","trans_num","trans_amount","click_cnt"],"connection":[{"datasource":"shuai",/源数据源"table":["good_sale"/源数据库表名，此处必须为方括号数组格式。...
注意事项
DataV组件要求的数据格式是个数组，数据服务生成的API返回结果是个带有错误码的完整JSON，因此要使用过滤器对API结果进行处理。您可以在DataV中添加过滤器，也可以直接在数据服务配置API时添加过滤器。一般来说，对于未分页查询的API，直接...
- 产品推荐
- 这些文档可能帮助您