实时同步常见问题
如果选择忽略TRUNCATE，可能会导致进行实时数据同步时出现多的数据。如何提高实时同步的速度和性能？如果同步写入速度较慢，可以适当增加写入端并发数，调整JVM参数，JVM参数与同步库数量无关，和变更频率有关。在当前资源组机器允许情况下...
配置数据库代理连接地址访问策略
相关文档 开通数据库代理 什么是读写分离 通过代理连接地址连接数据库 相关API API 描述 DescribeDBProxy 查询RDS实例的数据库代理详情。DescribeDBProxyEndpoint 查询RDS实例数据库代理的代理连接地址访问策略信息。ModifyDBProxyEndpoint...
使用Flink写入时序引擎
Flink可以处理实时数据流，并将处理结果写入Lindorm时序引擎，以实现实时数据监控等场景。本文介绍如何将Flink上实时的数据处理结果写入到时序引擎。前提条件 已开通实时计算Flink版或者已有自建Flink。实时计算Flink版的开通，请参见 开通...
产品优势
基于低成本的OSS存储，提供开放标准的Hudi格式，支持近实时的增量数据处理能力，并提供 数据入湖 的能力。简单易用 AnalyticDB MySQL版 高度兼容MySQL协议和SQL:92、SQL:99、SQL:2003标准，通过标准SQL和 常用BI工具、以及ETL工具平台即可...
离线同步并发和限流之间的关系
数据源连接数限制功能，是指：目标端写入并发数：在实时数据同步任务内，向目标端写入数据的最大线程数。需要根据资源组大小和目标端实际规模合理设置。目前可配置的上限为32，默认值为3。来源端读取支持最大连接数：同步解决方案的离线全...
数据导入方式介绍
常见使用场景 数据预处理后导入 业务端实时产生日志文件，需要对日志文件进行自动化解析并实时导入 AnalyticDB MySQL。非云上数据导入 当数据无法上传到OSS、HDFS或者MaxCompute时，需要将本地数据导入 AnalyticDB MySQL。使用方法与建议 ...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
什么是图数据库GDB?
图数据库（Graph Database，简称GDB）是一种支持Property Graph图模型、用于处理高度连接数据查询与存储的实时、可靠的在线数据库服务。它支持Apache TinkerPop Gremlin查询语言，可以帮您快速构建基于高度连接的数据集的应用程序。图数据...
配置并管理实时同步任务
使用限制 实时数据同步任务仅支持使用独享数据集成资源组。实时数据同步任务暂不支持同步没有主键的表。创建实时同步任务 创建整库实时同步节点。配置资源组。设置同步来源和规则。在 数据来源 区域，选择要同步的数据源 类型 和 数据源 ...
实时物化视图
AnalyticDB PostgreSQL版 提供了实时物化视图功能，相较于普通（非实时）物化视图，实时物化视图无需手动调用刷新命令，即可实现数据更新时自动同步刷新物化视图。当基表发生变化时，构建在基表上的实时物化视图将会自动更新。您还可以在...
通用标题
（可选）如果需要跳转特定Tab页签，可以在串行数据处理节点前加入 条件判断 节点，满足时再执行处理方法；不满足显示默认值。例如：不显示第一个Tab页签内容。条件判断节点 return data.id>1;串行数据处理-满足 return[{value:data.content...
设置读写属性和读权重
如果您需要修改数据库代理连接地址的读写属性，或者不希望使用系统默认的读权重策略，可以参考本文，RDS PostgreSQL支持调整数据库代理连接地址的读写属性，并且支持自定义各只读实例的读权重比例。前提条件 已开通数据库代理服务，具体请...
配置数据库代理连接地址访问策略
相关文档 开通数据库代理 什么是数据库代理 通过代理连接地址连接数据库 相关API API 描述 DescribeDBProxy 查询数据库代理详情。DescribeDBProxyEndpoint 查询数据库代理的连接地址信息。ModifyDBProxyEndpoint 修改数据库代理的连接地址...
配置并管理实时同步任务
使用限制 实时数据同步任务仅支持使用独享数据集成资源组。实时同步节点目前仅支持同步PolarDB、MySQL、OceanBase数据源至 AnalyticDB for MySQL。实时数据同步任务暂不支持同步没有主键的表。创建实时同步任务 创建整库实时同步节点。配置...
开通Dataphin
购买基础研发版的Dataphin实例 在购买页面，选择 地域、版本、计算引擎、数据处理单元、实时研发 和 资产质量 基本配置及购买数量和购买时长，同时您可以根据业务需求选择增值功能包。参数 描述 基本配置 地域 选择购买Dataphin实例的 地域...
数据集成概述
全增量同步任务简介 实际业务场景下，数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个 离线同步、实时同步 和 数据处理 等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。为了解决上述问题，...
2024-04-01版本
暂无 MongoDB CDC支持CTAS和CDAS 支持整库同步MongoDB中的数据到下游进行实时处理，同时也支持表结构变更自动同步。管理MongoDB Catalog（公测中）CREATE TABLE AS（CTAS）语句 CREATE DATABASE AS（CDAS）语句 MongoDB（公测中）Postgres ...
存储资源
数据库连接池满 在应用中使用的数据库连接池已经达到设置的最大连接数，无法再创建新的数据库连接的情况。数据库连接池满可能会造成响应延迟、请求阻塞、服务无法响应等问题。可以采用以下容错策略：配额管理：根据系统负载和需求，合理...
多行文本
[{"value":"文本内容"}]请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如多行文本配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
应用场景
云原生数据仓库AnalyticDB MySQL版 为千万家企业级客户提供了数据处理ETL、实时在线分析、核心报表、大屏和监控能力，为广大商家和消费者提供稳定的离线和在线数据服务。本文介绍 云原生数据仓库AnalyticDB MySQL版 的五个使用场景：实时数...
通用标题
动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如通用标题配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
无感集成（Zero-ETL）
方案优势 简单易用：用户无需创建和维护执行ETL（提取、转换、加载操作）的复杂数据管道，仅需选择源端数据和目标端实例，自动创建实时数据同步链路，减少构建和管理数据管道所带来的挑战，专注于上层应用开发。零成本：Zero-ETL链路不额外...
无感数据集成（Zero-ETL）
方案优势 简单易用：用户无需创建和维护执行ETL（提取、转换、加载操作）的复杂数据管道，仅需选择源端数据和目标端实例，自动创建实时数据同步链路，减少构建和管理数据管道所带来的挑战，专注于上层应用开发。零成本：Zero-ETL链路不额外...
Redis Proxy特性说明
管理只读节点流量 Proxy会实时探测只读节点的状态，当出现下述情况时，Proxy会执行流量管控动作：只读节点处于异常状态：Proxy会降低该节点的服务权重，如果多次无法连接该节点，Proxy会停止该节点的服务（即不再将流量转发至该节点），待...
跨云账号迁移云数据库Redis实例
源、目标库无法连接重试时间 在迁移任务启动后，若源库或目标库连接失败则DTS会报错，并会立即进行持续的重试连接，默认重试720分钟，您也可以在取值范围（10~1440分钟）内自定义重试时间，建议设置30分钟以上。如果DTS在设置的时间内重新...
功能特性
倒排索引 物化视图 当您需要优化重复且耗时较长的复杂查询时，您可以使用云数据库 SelectDB 版中的物化视图功能来缓存复杂查询，实现快速访问和高效数据处理。物化视图 高并发点查 云数据库 SelectDB 版中高并发点查相关优化设计和使用指南...
Reserve参数说明
maxRetryTime 否 源库、目标库无法连接后的重试时间，取值为[10,1440]的整数，单位为分钟。默认为720分钟，建议设置30分钟以上。表 2.订阅实例 参数 是否必填 说明 vpcId 是 订阅实例的专有网络ID。vswitchId 是 订阅实例的虚拟交换机ID。...
多行文本
动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如多行文本配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
Tair Proxy特性说明
管理只读节点流量 Proxy会实时探测只读节点的状态，当出现下述情况时，Proxy会执行流量管控动作：只读节点处于异常状态：Proxy会降低该节点的服务权重，如果多次无法连接该节点，Proxy会停止该节点的服务（即不再将流量转发至该节点），待...
2023年
ListJobInfos-查看作业列表 2023-12-04 新增SKEWJOIN HINT 新说明 当两张表Join存在热点，导致出现长尾问题时，您可以通过取出热点key，将数据分为热点数据和非热点数据两部分处理，最后合并的方式，提高Join效率。SkewJoin Hint可以通过...
自建Oracle迁移至阿里云消息队列Kafka版
源库、目标库无法连接后的重试时间 在迁移任务启动后，若源库或目标库连接失败则DTS会报错，并会立即进行持续的重试连接，默认重试720分钟，您也可以在取值范围（10~1440分钟）内自定义重试时间，建议设置30分钟以上。如果DTS在设置的时间...
常见问题
GDB是一种支持Property Graph图模型、用于处理高度连接数据查询与存储的实时、可靠的在线数据库服务。它支持Apache TinkerPop Gremlin查询语言，可以帮助用户快速构建基于高度连接的数据集的应用程序。GDB非常适合社交网络，欺诈检测，推荐...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
本文为您介绍如何使用数据传输迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放...
PolarDB-X 2.0迁移至Elasticsearch
为实时保持数据一致性，建议选择结构迁移、全量数据迁移和增量数据迁移。PolarDB分布式版 需兼容MySQL 5.7版本。其他限制 如果源库中待迁移的表需要执行增加列的操作，您只需先在 Elasticsearch 实例中修改对应表的mapping，然后在源数据库...
数据集成侧同步任务能力说明
DataWorks为您提供多种数据源之间进行不同数据同步场景的全增量同步任务，包括实时数据同步、离线全量同步、离线增量同步等同步场景，助力企业数据更高效、更便捷的一键上云。背景信息 实际业务场景下，数据同步通常不能通过一个或多个简单...
PolarDB-X 2.0间的迁移
是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。监控报警 是否设置告警，当迁移失败或延迟超过阈值后，将通知告警联系人。不设置：不设置告警。设置：设置告警，您还需要...
计费项
如果实时计算引用的RDS数据存储存在连接数或者TPS限制，则实时计算吞吐能力将受限于RDS本身的流控限制。如果作业中使用窗口函数，CU的使用量会比简单作业高，建议至少购买4 CU。计费项 Flink工作空间的费用由以下两部分组成。计费项 资源...
RDS MariaDB迁移至RDS PostgreSQL
是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见 在DTS迁移或同步任务中配置ETL。否：不配置ETL功能。监控报警 是否设置告警，当迁移失败或延迟超过阈值后，将通知告警联系人。不设置：不设置告警。设置：设置告警，您还需要...
通过代理连接地址连接数据库
连接RDS MySQL实例 在获取数据库代理连接地址和端口后，支持使用数据库代理连接地址通过以下三种方式连接RDS MySQL实例：通过客户端、命令行连接RDS MySQL实例 通过DMS登录RDS数据库 通过应用程序访问数据库 相关文档 连接数据库 配置数据...
内存型
在TairSearch中使用Msearch实现索引分片搜索 在TairSearch中使用bool进行组合条件查询 Graph 图数据库GDB RedisGraph 图数据库（Graph Database，简称GDB）是一种支持Property Graph图模型、用于处理高度连接数据查询与存储的实时、可靠的...
- 产品推荐
- 这些文档可能帮助您