如何清理孤立文档
databasesToProcess：待清理孤立文档的数据库名称数组。MongoDB 4.2及以前版本 说明 该脚本用于清理多个Shard节点中 指定数据库下指定集合的孤立文档。如需清理数据库中多个集合的孤立文档，您可以修改 fullCollectionName 参数并多次执行...
散点层
重要 该配置项为一个数组，配合数据分级使用，从类型1到类型n为递增的设置，例：类型1设置为10，则表示value值为0~10的数据将展示为10的大小，类型2设置为20，则表示value值为11~20的数据将展示为20的大小，如果数据分级配置项设置为3级，...
轨迹层
重要 该配置项为一个数组，配合数据分级使用，从类型1到类型n为递增的设置，例：类型1设置为10，则表示value值为0~10的数据将展示为10的大小，类型2设置为20，则表示value值为11~20的数据将展示为20的大小，如果数据分级配置项设置为3级，...
数据膨胀诊断
每个Page包含Header（数据头）、Item pointer array（指向内部数据的指针数组）、Unused space（未使用空间量）和Tuples（数据元组）。INSERT数据时，会从Page的未使用空间中分配新的Tuple。如果当前Page的未使用空间不足时，会分配新的...
云数据库MongoDB版（分片集群架构）同步至云数据库...
databasesToProcess：待清理孤立文档的数据库名称数组。在 cleanupOrphaned.js 脚本所在的目录下，执行以下命令清理孤立文档。mongo-host<Mongoshost>-port<Primaryport>-authenticationDatabase<database>-u<username>-p<password>...
云数据库MongoDB版（分片集群架构）同步至云数据库...
databasesToProcess：待清理孤立文档的数据库名称数组。在 cleanupOrphaned.js 脚本所在的目录下，执行以下命令清理孤立文档。mongo-host<Mongoshost>-port<Primaryport>-authenticationDatabase<database>-u<username>-p<password>...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
OSS Foreign Table数据类型对照表
LIST(INT)int4[]LIST(LONG)int8[]LIST(FLOAT)float4[]LIST(DOUBLE)float8[]说明 对于ORC中的LIST数据类型，目前仅支持转换成 AnalyticDB PostgreSQL版 的一维数组。Parquet文件数据类型对照表 Parquet文件中没有提供Logical Types的情况下...
使用扩展属性定制列存索引
具体操作请参见 设置列存数据压缩算法。order_key 用于设置列存索引的排序键。具体操作请参见 设置列索引的排序键。pruner/pruner_minmax/pruner_bloom 用于设置是否在字符串列上构建辅助索引来加速数据扫描。具体操作请参见 设置列索引...
MongoDB数据源
数据集成本身不支持数组类型，但MongoDB支持数组类型，并且数组类型具有强大的索引功能。您可以通过参数的特殊配置，将字符串转换为MongoDB中的数组。转换类型后，即可并行写入MongoDB。自建MongoDB数据库不支持公网访问，仅支持阿里云内网...
设置列索引的排序键
imci_parallel_build_use_parallel_load 并行构建有序列存数据时是否并发读取数据文件。取值如下：ON（默认）：并行构建有序列存数据时并发读取数据文件。说明 并发读取数据文件时，不保证数据完全有序。OFF：并行构建有序列存数据时顺序...
应用场景
物流应用：使用云数据库MongoDB存储订单信息，订单状态在运送过程中会不断更新，以云数据库MongoDB内嵌数组的形式来存储，一次查询就能将订单所有的变更读取出来，方便快捷且一目了然。社交应用：使用云数据库MongoDB存储用户信息以及用户...
离线同步并发和限流之间的关系
上面任务期望最大并发数：即是任务配置的并发数，由于数据集成资源组或者任务本身特性等原因，任务实际执行的并发数可能小于等于任务配置并发数，如涉及任务并发数计费场景（数据集成调试资源组）会按照任务实际并发数计费。数据集成会尝试...
MongoDB 5.0新特性概览
PyMongoArrow可以快速将简单的MongoDB查询结果转换为流行的数据格式（例如Pandas数据框架和NumPy数组），帮助您简化数据科学工作流程。Schema验证改进 Schema验证（模式验证）是对MongoDB进行数据应用管理控制的一种方式。MongoDB 5.0中，...
组复制简介
特性 组复制 半同步复制 异步复制 数据可靠性★数据一致性 保证主备数据一致性 不保证 不保证 全局事务一致性 支持 不支持 不支持 数据 强 可靠性 组复制的数据强可靠性来源于Paxos协议的多数派原则，即当多数派收到事务的Binlog后，事务...
RestAPI（HTTP形式）数据源
举2个示例如下：以接口返回数据body如下举例，其中业务数据在DATA内，且接口一次返回了多行数据（DATA是一个数组）：{"HEADER":{"BUSID":"bid1","RECID":"uuid","SENDER":"dc","RECEIVER":"pre","DTSEND":"202201250000"},"DATA":[{"SERNR...
数据源配置常见问题
请根据数据库的网络类型和所在地域，将相应的DataV服务器IP地址加入到您的数据库白名单或ECS的安全组设置中，或者使用代理工具来连接您的数据库，具体请参见 如何使用DataV Proxy。如何配置CSV数据来源？保留CSV的首行作为表头，并且每一个...
数据源配置常见问题
请根据数据库的网络类型和所在地域，将相应的DataV服务器IP地址加入到您的数据库白名单或ECS的安全组设置中，或者使用代理工具来连接您的数据库，具体请参见 如何使用DataV Proxy。如何配置CSV数据来源？保留CSV的首行作为表头，并且每一个...
查看账单详情
账单明细说明 DataWorks包括按量付费和包年包月两种计费方式：类别 描述 按量付费 每个地域下，按照按量付费计费项（例如，公共数据服务资源组、公共调度资源组、数据质量检查实例数等）类别进行统一收费，不支持按照工作空间粒度出账。...
使用DataV可视化应用展示数据返回结果
数据过滤器支持使用JavaScript代码对数据结果进行二次过滤和处理，过滤器的 data 参数为API返回结果的JSON对象。本案例中，您只需要返回API结果中的 rows 数组，故需要输入代码 return data.data.rows;即可，过滤完成后可以看到数据匹配...
数据传输独享资源费用（包年包月）
数据传输服务（包年包月）资源组是MaxCompute为满足部分客户数据传输的需求推出的独享资源组，保障了数据传输资源的独享性，并提高了数据传输的稳定性。本文为您介绍MaxCompute的数据传输服务（包年包月）资源组的计费规则。背景信息 ...
周期任务补数据
并发运行组数 并发运行组数用于控制同时有多少个补数据进程在运行。您可以选择并发运行的组数，系统支持最少并发运行 1组，最多并发运行 12组。业务日期的跨度时间小于并发运行组数，则实际并行组数为业务日期天数。业务日期的跨度时间大于...
周期任务补数据
并发运行组数 并发运行组数用于控制同时有多少个补数据进程在运行。您可以选择并发运行的组数，系统支持最少并发运行 1组，最多并发运行 12组。业务日期的跨度时间小于并发运行组数，则实际并行组数为业务日期天数。业务日期的跨度时间大于...
OpenAPI列表
基于这些能力，用户可以定制化的开发数据集成的工具，以及轻度的自助取数和即席查询的能力。说明 OpenAPI不提供规范建模的能力。API API说明 数据架构 CreateBusinessEntity 创建业务实体，包括业务对象和业务活动。DeleteBusinessEntity ...
步骤七：运维补数据
本文为您介绍如何为本教程的维度逻辑表、事实逻辑表、汇总逻辑表和管道任务补数据。背景信息 您需要为产品表、客户表、订单表集成任务和明细及汇总表 dim_customer、dim_products、fct_order_buy_di、dws_all 补数据。集成任务和明细及汇总...
步骤七：运维补数据
本文为您介绍如何为本教程的维度逻辑表、事实逻辑表、汇总逻辑表和管道任务补数据。背景信息 您需要为产品表、客户表、订单表集成任务和明细及汇总表 dim_customer、dim_products、fct_order_buy_di、dws_all 补数据。集成任务和明细及汇总...
CSV数据文件格式
propertyname:type(set)[]SET属性字段，表示数据字段是属性 propertyname 的属性值数组，数组元素类型是 type。数组元素之间使用分号;分隔。属性覆盖逻辑 原属性逻辑 新属性逻辑 结果 普通属性 普通属性 原属性值被覆盖，保留最后一次的...
资源组说明
资源组分类 资源组是用于执行具体任务的服务，如接收调度引擎的指令执行SQL任务、数据同步任务，也包括按数据API的定义提供数据服务。按使用场景，资源组分为两类：系统资源组：由数据资源平台提供，供所有用户使用，对于QPS和并发有限制，...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
本文为您介绍如何使用数据传输迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
本文为您介绍如何使用数据传输迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL 数据库。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
本文为您介绍如何使用数据传输迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
写入并发配置 该参数用于配置全量迁移阶段往目标端写入数据的并发数，最大限制为 512。并发数过高可能会造成目标端压力过大，影响业务。全量迁移速率限制 您可以根据实际需求决定是否开启全量迁移速率限制。如果开启，请设置 RPS（全量迁移...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
项目启动成功后，PolarDB-X 1.0 数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目会自动删除，数据传输会保存 PolarDB-X 1.0 数据库下挂载的数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目，并自动创建相应的数据源。您可以在弹...
基于AnalyticDB构建企业数仓
独享数据集成资源组 选择任务运行的机器，如果任务数比较多，使用默认资源组出现等待资源的情况，建议购买独享数据集成资源或添加自定义资源组，详情请参见 新增和使用独享数据集成资源组 和 新增和使用自定义数据集成资源组。单击右侧的 ...
资源组说明
资源组分类 资源组是用于执行具体任务的服务，如接收调度引擎的指令执行SQL任务、数据同步任务，也包括按数据API的定义提供数据服务。按使用场景，资源组分为两类：系统资源组：由企业数据智能平台提供，供所有用户使用，对于QPS和并发有...
同步 OceanBase 数据库的数据至 DataHub
参数 描述 写入并发配置 该参数用于配置增量同步阶段往目标端写入数据的并发数，最大限制为 512。并发数过高可能会造成目标端压力过大，影响业务。增量同步速率限制 您可以根据实际需求决定是否开启增量同步速率限制。如果开启，请设置 RPS...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
数据接口配置说明
数据类型：为数据接口选择一个数据类型，可选 对象、数组、任意值 和 无。删除数据接口 单击数据接口右侧的 图标，即可删除当前数据接口。新增数据接口 单击 数据接口设置 页签内的 新增数据接口，即可在下方数据接口配置区域，新增一个...
数据接口配置说明
数据类型：为数据接口选择一个数据类型，可选 对象、数组、任意值 和 无。删除数据接口 单击数据接口右侧的 图标，即可删除当前数据接口。新增数据接口 单击 数据接口设置 页签内的 新增数据接口，即可在下方数据接口配置区域，新增一个...
变更规格操作
说明 资源组的规格变更，支持升配与降配，不同规格支持执行的任务数不同，详情请参考 独享调度资源组不同规则支持的任务数 及 独享数据集成资源组不同规则支持的任务数。支付订单。单击 前往支付页，在订单支付页面最终确认 订单概要 与 ...
- 产品推荐
- 这些文档可能帮助您