RDS实例数据复制方式非异步同步
异步数据复制方式容易引起主备节点数据不一致，建议使用半同步或强同步方式。应用场景 异步复制的RDS实例数据性能好，但可能会出现数据不一致的情况。同步复制的RDS实例数据可以保证主实例和备实例的数据一致性，同时也可以实现高可用性和...
应用场景
物联网应用 云数据库MongoDB具有高性能和异步数据写入功能，特定场景下可达到内存数据库的处理能力。同时，云数据库MongoDB中的分片集群实例，可按需配置Mongos和Shard组件的配置和个数，性能及存储空间可实现无限扩展，非常适合物联网高...
使用写入高可用特性
写入请求将经过异步数据处理组件（包含消息队列），再将数据实时写入Elasticsearch，来提高Elasticsearch的写入性能及稳定性。同步写入模式 未开启写入高可用的集群，默认采用同步写入模式。即查询和写入请求均直接由代理服务转发给...
创建云盘异步复制关系
云盘异步复制功能可以将某一块云盘的数据异步复制到其他地域或者其他可用区内的另一块云盘中，实现存储数据的容灾备份。在通过云盘异步复制功能实现云盘跨地域或者同地域跨可用区异步容灾前，需要先参考本文创建云盘异步复制关系。前提条件...
技术架构
跨地域低延时同步 全球数据库网络支持通过异步复制机制帮助实现跨地域复制数据，并通过物理日志、并行处理等技术降低主从集群间跨地域复制的延迟。所有集群间的数据都能保持同步且网络延迟被控制在2秒之内，大大降低了非中心区域应用访问的...
流式数据通道概述
提供了增量数据异步处理机制，可以在使用过程中无感知情况下对新写入的增量数据做进一步处理，已经支持数据聚合（Merge）：提升存储效率。应用场景 MaxCompute流式数据通道服务应用场景如下。场景 说明 特点 大量事件日志实时写入...
启动云盘异步复制功能
当您创建完成云盘异步复制关系后，需要启动异步复制功能，以实现周期性地将主盘数据异步复制到从盘。本文介绍如何启动云盘异步复制功能。前提条件 当使用自动同步时（即启动时单击 确定），复制对必须处于 已创建、同步中、正常 或 已停止 ...
将OSS数据写入AnalyticDB for MySQL 3.0
写入数据 异步执行以下SQL将OSS table目录下dla_table_1文件中的数据写入AnalyticDB for MySQL adb_demo数据库的shipping表。执行 OSS 到 AnalyticDB for MySQL 的全量数据写入。run-async=true*/INSERT INTO ads_database_schema.shipping...
添加ClickHouse数据源
网络 数据源可选的网络类型。域名 连接数据库的地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录数据库的密码。数据库 单击 ...
技术原理
扩展性原理 扩展性本质在于分而治之，PolarDB-X 1.0 计算资源通过水平拆分（分库分表）和垂直拆分，将数据分散到多个存储...避免数据异步传输，满足全局数据查询一致性，提升业务实时分析效率。资源链路隔离，确保在线核心业务链路稳定性。
添加ClickHouse数据源
网络 数据源可选的网络类型。说明 当前仅支持外网访问。域名 连接数据库的地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录...
通过异步复制功能实现容灾恢复
当异步复制关系变更为 正常 状态后，表示已将原来从盘中的数据异步复制到原来的主盘中，即完成了容灾恢复。（可选）将异步复制关系中的主盘与从盘的关系切换至初始状态。由于在上述步骤的反向复制数据时，异步复制关系中原有的主从关系被...
一致性复制组概述
移除复制对 启动复制组的异步复制功能 添加复制对后，您需要启动一致性复制组中复制对的异步复制功能，以实现周期性地将生产站点的云盘数据异步复制到容灾站点的云盘中。启动复制组的异步复制功能 停止复制组的异步复制功能 后续如果不再...
数据库高级特性管理
延迟耐久性允许事务在提交后，将数据异步写入磁盘，从而提高事务处理性能。取值如下：DISABLED：禁用延迟耐久性，事务在提交后会立即同步写入磁盘（默认值）。ALLOWED：启用延迟耐久性，但并不强制要求所有事务都使用延迟耐久性。FORCED：...
阶段一：基础防护建设
例如：《金融数据安全分级指南 JR/T 0197-2020》《网络安全标准实践指南——网络数据分类分级指引》《信息安全技术个人信息安全规范 GB/T 35273—2020》《信息技术大数据数据分类指南 GB/T 38667-2020》《基础电信企业数据分类分级方法 YD/...
SQL洞察
相关API API 描述 GetErrorRequestSample 异步查询数据库实例SQL洞察结果中执行错误的SQL样本数据，最多返回指定时间范围内20条数据。GetAsyncErrorRequestStatResult 异步获取数据库实例SQL洞察结果中指定SQL的执行错误次数。...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
创建全球数据库网络
全球数据库网络（Global Database Network，简称GDN）是由分布在同一个国家不同地域的多个 PolarDB 集群组成的网络，网络中所有集群的数据均保持同步。当您的业务部署在多个地域时，利用GDN可以实现应用访问数据库的低延迟和高稳定性。本文...
产品架构
通过回放Leader的元数据日志来异步同步数据。参与Leader选举，必须有半数以上的Follower节点存活才能进行选主。Observer 主要用于扩展实例的查询并发能力，可选部署。不参与选主，不会增加实例选主压力。通过回放Leader的元数据日志来异步...
写入数据
异步非阻塞的写数据 异步写数据的方式比较简单，只要有 Point 就可以提交数据。Client 会自动帮助您批量地提交数据，不需要您手动打包。如果没有特殊需求，推荐您使用异步非阻塞的写数据的方式。示例代码/构建 Point Point point=Point....
常见问题
PolarDB数据源网络联通性测试失败怎么办？Oracle数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：...
TSDBConfig
boolean isAsyncPut()获取是否异步写数据。boolean isHttpCompress()获取是否压缩传输数据。从类继承的方法 java.lang.Object clone,equals,finalize,getClass,hashCode,notify,notifyAll,toString,wait。构造器详细资料 TSDBConfig public...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
Purge Large File Asynchronously
AliSQL通过异步Purge数据文件的方式来提高系统的稳定性。背景信息 当通过DROP TABLE来删除数据时，对应的InnoDB数据文件会直接从文件系统中删除。如果数据文件非常大，直接删除文件会导致POSIX文件系统出现严重的稳定性问题。AliSQL的大...
API概览
本产品（云数据库 ...全球数据库网络（GDN）管理 API 标题 API概述 CreateGlobalDatabaseNetwork 新建全球数据库网络 创建一个新的全球数据库网络（GDN）。DeleteGlobalDatabaseNetwork 删除全球数据库网络 删除全球数据库网络（GDN）。...
查询数据
示例代码 使用query方法异步的查询数据，并通过设置回调来设置异步查询后的行为：QueryCallback cb=new QueryCallback(){@Override public void response(Query input,List<QueryResult>result){ System.out.println("查询参数："+input);...
常见问题
PolarDB数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can't find start position for XXX 实时任务，运行报错：...
全增量同步任务常见问题
PolarDB数据源网络联通性测试失败怎么办？OceanBase数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？全增量实时至MaxCompute时，数据源被置灰了没法选择怎么办？实时任务，运行报错：...
独享数据集成资源组
数据源处于经典网络中 独享资源组处于阿里云VPC网络，如果数据源处于经典网络环境中，则数据源与独享资源组间网络无法连通，建议您将数据源迁移至VPC网络中。白名单配置 如果数据源设置有白名单限制访问地址时，您需要将独享资源组的访问...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
数据传输作业：数据集成
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
独享调度资源组
数据源处于经典网络中 独享资源组处于阿里云VPC网络，如果数据源处于经典网络环境中，则数据源与独享资源组间网络无法连通，建议您将数据源迁移至VPC网络中。白名单配置 如果数据源设置有白名单限制访问地址时，您需要将独享资源组的访问...
同阿里云主账号访问
在进行数据同步前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据源的网络连通性。本文为您介绍数据源与DataWorks工作空间同阿里云主账号时如何进行网络连通。背景信息 网络连通方案选择取决于数据...
如何异步删除大表
背景信息 PolarDB-X 底层存储节点默认使用InnoDB引擎时，直接删除大表后会触发数据文件的删除，导致POSIX文件系统出现严重的稳定性问题，因此InnoDB会启动一个后台线程来异步清理数据文件。当删除单个表空间时，会将对应的数据文件先重命名...
TSDBClient
HttpUnknowStatusException-Exception 将时间点异步写入TSDB put public void put(Point…points)从接口复制的说明：TSDB 异步写时间点 参数：points-时间点集合 put public void put(Point point)从接口复制的说明：TSDB 异步写数据 ...
配置数据源网络
本文主要介绍Serverless Spark如何配置数据源网络来访问用户VPC网络中的数据。这些数据包括RDS系列、ADB系列、PolarDB系列、MongoDB、Elasticsearch、HBase、E-MapReduce、Kafka以及用户在ECS上自建的各种数据服务等。背景信息 Serverless ...
通过DataWorks导入数据
DataWorks提供了可视化的数据导入方式，相对于通过外表导入，DataWorks导入的方式更为轻量化，适合数据量相对较小的数据导入场景。本文介绍如何通过DataWorks将 PolarDB分布式版（原DRDS）的数据导入至 AnalyticDB MySQL版 湖仓版（3.0）或...
系统管理
上传数据至MaxCompute引擎：支持使用公共资源组及独享资源组，且需确保数据上传任务使用的数据源与所选资源组网络连通。所选独享资源组需绑定至待接收数据的表所在的DataWorks工作空间。上传数据至EMR Hive、Hologres引擎：仅支持使用独享...
新增和使用独享数据集成资源组
由于执行数据同步任务流程的要求，需要保证资源组可以访问数据源（来源数据源和目标数据源）所在的网络，且不会因白名单限制等原因不能访问数据源。因此，您需要在保证网络连通的前提下，再使用数据集成，如果网络不通，会导致数据同步任务...
使用公共资源组
数据源网络环境 是否支持访问 数据源处于公网环境 支持 数据源处于经典网络 支持 数据源处于VPC网络 不支持 公共数据集成（调试）资源组 公共数据集成（调试）资源组仅保证支持公网访问能力。白名单设置 公共调度资源组为您提供任务安全...
- 产品推荐
- 这些文档可能帮助您