使用场景
数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务的编排和执行，如数据清洗、数据匹配、数据合并、数据转换等，确保数据的准确性和完整性。数据集成与汇总 使用DMS任务编排集成和汇总不同数据源的数据，进行数据聚合和分析，生成报表...
什么是ETL
实时数据集成：ETL强大的流式数据转换处理能力大幅提升数据集成效率，低代码的开发方式也进一步降低了数据集成的难度和成本，让企业专注于数据价值实现。实时数据仓库：行业领先的流数据处理能力帮助企业快速搭建实时数据仓库。离线数仓...
流式ETL
实时数据集成：ETL强大的流式数据转换处理能力大幅提升数据集成效率，低代码的开发方式也进一步降低了数据集成的难度和成本，让企业专注于数据价值实现。实时数据仓库：行业领先的流数据处理能力帮助企业快速搭建实时数据仓库。离线数仓...
下载备份
无免费额度，计费标准如下：地域 转换费用（元/GB）公共云 0.2 金融云/微金融云 0.38 政务云 0.4 说明 云盘实例的快照备份下载发起后，系统会产生一个数据转换的下载任务，该任务失败时不收取备份集转换费用。下载方法 云盘实例 您可以按...
概述
PolarDB for AI 功能通过一系列MLOps和内置的模型解决了数据、特征和模型的割裂状态，实现了基于数据库的数据智能的一站式服务。本文介绍了 PolarDB for AI 功能的相关特性。背景信息 随着数据的累积，数据驱动的智能应用（例如：搜索、...
Tunnel命令常见问题
java.io.IOException:Error writing request body to server 产生原因 这是上传数据到服务器时产生的异常，通常是因为上传过程中的网络连接断开或超时导致的：当您的数据源并非是本地文件，需要从数据库等地方获取时，数据在写入的过程中还...
Iceberg概述
同时，由于Iceberg支持ACID，保证了数据的流入和查询的隔离性，不会产生脏数据。删除或更新数据 大部分数仓都难以实现较为高效的行级数据删除或更新，通常需要启动离线作业把整个表原始数据读取出来，然后变更数据后，写入到一个原始表。而...
数据集成概述
而“一键实时同步至MaxCompute”功能实现了数据库全增量实时同步到MaxCompute以及在MaxCompute上进行自动的全增量合并，可以使整个同步场景化繁为简。全增量同步任务具有如下优势：全量数据初始化。增量数据实时写入。增量数据和全量数据...
连接方式概述
ODC 支持连接 OceanBase 数据库的 MySQL 租户和 Oracle 租户，同时为数据库开发者提供了数据库日常开发操作、WebSQL、SQL 诊断、会话管理和数据导入导出等功能。使用 OceanBase 开发者中心连接 OceanBase 租户的具体操作示例请参见 通过 ...
散点层（v1.x版本）
只有开启了 数据映射，此选项才会显示。散点大小：设置数据源中 value 值为最大、最小和空时对应散点的大小。对于 value 值介于最大值和最小值之间的散点，系统会根据比例将该散点的大小设置成最大和最小的散点之间。只有开启了 数据映射，...
连接方式概述
ODC 支持连接 OceanBase 数据库的 MySQL 租户和 Oracle 租户，同时为数据库开发者提供了数据库日常开发操作、WebSQL、SQL 诊断、会话管理和数据导入导出等功能。使用 OceanBase 开发者中心连接 OceanBase 租户的具体操作示例请参见 通过 ...
数据集成概述
Dataphin升级了数据集成的能力，旨在为您构建简单高效、安全可靠的数据同步平台：支持通过整库迁移（快速生成批量同步任务）和一键生成目标表（同步到MaxCompute的数据无需手动建表）的方式，提高数据集成的效率，详情请参见 通过整库迁移...
数据集成概述
Dataphin升级了数据集成的能力，旨在为您构建简单高效、安全可靠的数据同步平台：支持通过整库迁移（快速生成批量同步任务）和一键生成目标表（同步到MaxCompute的数据无需手动建表）的方式，提高数据集成的效率，详情请参见 通过整库迁移...
产品优势
它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输方式。相对于第三方数据流工具，DTS提供丰富多样、高性能、高安全可靠的传输链路，同时它提供了诸多便利功能，极大方便了传输链路的创建及管理。丰富多样 DTS支持多种同构或...
计费逻辑说明
说明 若您使用了数据质量功能，并成功触发校验规则，则将产生数据质量实例检查费用。例如，一张表配置了两个分区表达式，每个表达式分别配置了两个数据质量校验规则，关联调度后，该调度任务运行时将同时运行该任务关联的数据质量表规则。...
概述
正向切换是数据迁移必不可少的一个流程，通过正向切换，数据传输可以确保完成了数据正向迁移的相关工作，并且您可以根据业务需求启动反向增量组件。正向切换主要涉及的工作如下：您需要自行确认已完成数据迁移，并等待正向同步延迟被追平。...
查看数据迁移项目的详情
正向切换是数据迁移必不可少的一个流程，通过正向切换，数据传输可以确保完成了数据正向迁移的相关工作，并且您可以根据业务需求启动反向增量组件。正向切换主要涉及的工作如下：您需要自行确认已完成数据迁移，并等待正向同步延迟被追平。...
CREATE TYPE
alignment 参数定义了数据类型的内存对齐要求。可能的值包括按1、2、4或8字节边界对齐。说明 所有变长类型的 alignment 参数至少必须为4，因为变长类型需要在内部包含一个 int4 类型的长度值作为它们的首部元素。storage 参数允许为变长...
CREATE TYPE
alignment 参数定义了数据类型的内存对齐要求。可能的值包括按1、2、4或8字节边界对齐。说明 所有变长类型的 alignment 参数至少必须为4，因为变长类型需要在内部包含一个 int4 类型的长度值作为它们的首部元素。storage 参数允许为变长...
常见问题
若同步过程中进行了数据过滤，或者源实例内表碎片较多，迁移完成后目标实例的数据量可能会小于源实例。跨账号数据同步任务，是否支持双向同步？当前仅 RDS MySQL 实例间，支持跨账号的双向同步任务。DTS是否支持跨境的双向同步任务？不支持...
专业术语
schema（模式）描述了数据在TSDB For InfluxDB®中是如何组织的。TSDB For InfluxDB® schema的基础是数据库（database）、保留策略（retention policy）、序列（series）、measurement、tag key、tag value和field key。相关术语：...
AnalyticDB for PostgreSQL数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据集成和服务器端的网络交互次数，能够提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 512 Writer脚本Demo {"type...
网易有数BI连接MaxCompute
背景信息 网易有数BI是新一代敏捷数据可视化分析平台，是包含了数据填报、自助式ETL、可视化建模、可视化报告、数据大屏、数据门户、指标预警等的全功能平台。用户只需简单拖拽、配置即可完成所有数据可视化分析相关工作。更多网易有数BI...
FineBI
您可以通过FineBI连接 云原生数据仓库AnalyticDB MySQL版，以可视化的形式帮助您进行多样数据管理，例如过滤、分组汇总、新增列、字段设置、排序等，极大的提升了数据整合的便利性和效率。前提条件 了解FineBI与 AnalyticDB MySQL版 之间的...
DB2数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据同步系统和服务器端的网络交互次数，能够较大的提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1024 Writer脚本...
数据集成侧同步任务能力说明
而“一键实时同步至MaxCompute”功能实现了数据库全增量实时同步到MaxCompute以及在MaxCompute上进行自动的全增量合并，可以使整个同步场景化繁为简。全增量同步任务具有如下优势：全量数据初始化。增量数据实时写入。增量数据和全量数据...
【停售/下线】TokuDB引擎转换为InnoDB引擎
全库迁移时，如果变更了数据库版本，建议提前进行兼容性测试。方案建议 实例中的表较小（100M以下），且业务可接受短时阻塞时，可以使用方案一，锁表时间短，而且免去各种工具配置流程。实例中的表较大（大于5G）时，建议使用方案二或方案...
SQL Server数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据集成和服务器端的网络交互次数，能够提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1024 对于您配置的 table、...
创建备份计划
说明 如果您在DMS控制台使用了 数据归档 功能，系统会在DBS控制台创建按量付费的备份计划。该备份计划会按实际备份的数据量进行收费。计费详情，请参见 备份费用。如果备份库表存在表结构不合理、大表、大字段等情况，备份计划规格选择过小...
Oracle数据源
v$parameter是Oracle的动态字典表，保存了数据库参数的设置值。grant select any transaction to '同步账号';授权同步账号查看数据库的任意事务。grant execute on SYS.DBMS_LOGMNR to '同步账号';授权同步账号使用数据库的Logmnr工具。...
Tablestore Stream配置同步任务
Tablestore Stream插件主要用于导出Tablestore增量数据，本文将为您介绍如何通过Tablestore Stream配置同步任务。背景信息 Tablestore Stream插件与全量导出插件不同，增量...时序信息包含了数据的写入时间等，默认该值为 false，即不导出。
全增量同步任务常见问题
使用数据同步任务同步了数据源表至Hologres的外部表。目前，Hologres Writer不支持写入数据至Hologres外部表。如何处理：您需要使用Hologres的内部表作为同步任务的目标表。如果Hologres目标表不存在，请在配置数据同步任务时使用 自动建表...
常见问题
同步解决方案常见问题 MySQL一键同步至Hologres中decimal（7，4）数据类型转换成了numeric（38，18），正常吗？一键实时同步至MaxCompute时,分表是否可以同步到同一张表里?一键实时全增量同步任务中，实时同步时修改源表字段是否会导致报错...
数据查询
在开发调试或者生产运维过程中，往往需要去HBase中查询某条数据。除了使用HBase shell来写Get、Scan请求，Lindorm insight提供了一个简单的SQL查询入口，您可以使用SQL语法来查询HBase增强版宽表数据。前提条件 已登录目标集群的集群管理...
数据查询
Lindorm宽表引擎在集群管理系统中提供了SQL查询入口，您可以使用SQL语法来查询Lindorm宽表数据。本节介绍通过集群管理系统查询宽表数据。前提条件 已登录目标实例的集群管理系统，具体操作请参见 登录集群管理系统。使用限制 为确保数据...
定义敏感数据
为了能够明确区分普通数据和敏感数据，全密态数据库为敏感数据单独定义了新的数据类型，并提供了常用的SQL算子。更多敏感数据类型及其SQL算子请参见 支持的数据类型和相关算子。全新定义敏感数据 您需要根据业务场景特性，判断哪些数据属于...
定义敏感数据
为了能够明确区分普通数据和敏感数据，全密态数据库为敏感数据单独定义了新的数据类型，并提供了常用的SQL算子。更多敏感数据类型及其SQL算子请参见 支持的数据类型和相关算子。全新定义敏感数据 您需要根据业务场景特性，判断哪些数据属于...
定义敏感数据
为了能够明确区分普通数据和敏感数据，全密态数据库为敏感数据单独定义了新的数据类型，并提供了常用SQL算子。更多敏感数据类型及其SQL算子请参见 支持的数据类型和相关算子。全新定义敏感数据 您需要根据业务场景特性，判断哪些数据属于...
备份恢复概览
这种方式不仅备份了数据本身，还包含了数据库对象的逻辑定义及其具体内容。备份内容 OceanBase 数据库的备份恢复功能支持对数据库的数据进行恢复操作，支持的数据包括用户权限、表定义、系统变量、用户信息、视图信息等逻辑数据以及其他...
等值面层（v1.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
- 产品推荐
- 这些文档可能帮助您