为什么高可用系统会触发主备切换
常见原因如下：节点不可用：云数据库MongoDB版支持节点健康状态监测，当监测到实例中的某个节点不可用，则会触发高可用切换，对节点进行切换操作（例如将Primary节点和Secondary节点进行互换），保障实例的高可用性。节点所在的机器下线：...
Kafka实时ETL同步至Hologres
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
CLB释放和挂载
当您在使用ClickHouse集群实例进行大规模数据处理并希望确保高效负载均衡时，云数据库ClickHouse集群会默认为您挂载CLB。挂载CLB后，ClickHouse集群将实现自动故障转移，通过健康检查分配流量至正常节点，确保集群高可用。挂载CLB属于依赖...
跨阿里云主账号访问
如果数据源所在的可用区不可选择，则选择其他任意可用区和交换机。安全组：可以选择您名下任意自建安全组。安全组规则出、入方向，均需放行数据源IP段。自定义路由，添加路由转发策略。进入 DataWorks管控台资源组列表页面，找到您要联通的...
恢复SQL Server数据
简单恢复模式 下的实例，按备份集恢复数据时，不支持恢复数据到高可用系列、共享规格、企业集群版的实例中。对于通用云盘实例，如果实例开启了 数据归档OSS 功能，仅支持恢复备份集中存在的库（非冷存库），如果某个库转为冷存，则恢复的...
使用写入高可用特性
写入请求将经过异步数据处理组件（包含消息队列），再将数据实时写入Elasticsearch，来提高Elasticsearch的写入性能及稳定性。同步写入模式 未开启写入高可用的集群，默认采用同步写入模式。即查询和写入请求均直接由代理服务转发给...
基本概念
分片（Shard）在超大规模海量数据处理场景下，单台服务器的存储、计算资源会成为瓶颈。为了进一步提高效率，云数据库ClickHouse 将海量数据分散存储到多台服务器上，每台服务器只存储和处理海量数据的一部分，在这种架构下，每台服务器被...
流式数据通道概述
解决高并发抢锁导致流式服务不可用，避免 batch size 太小导致MaxCompute产生大量小文件的问题。流式存储服务（DataHub、Kafka）实时同步MaxCompute 消息服务实时同步MaxCompute解除并发数及 batch size 的限制。解决消息服务实时同步到...
修改数据复制方式
因此，在异步数据复制方式下，备实例不可用时不会影响主实例上的操作，而主实例不可用时可能会导致主备实例数据不一致。操作步骤 登录 云数据库专属集群控制台。在页面左上角，选择目标地域。在导航栏左侧，选择 实例列表>MySQL。找到目标...
MySQL分库分表同步至MaxCompute
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
MySQL分库分表同步至MaxCompute
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
归档存储服务等级协议
不可用时间：归档存储所提供的服务在连续的5分钟或更长时间不可使用方计为不可用时间，不可使用的服务时间低于5分钟的，不计入不可用时间。归档存储不可用时间不包括日常系统维护时间、由用户原因、第三方原因或不可抗力导致的不可用时间。...
X-Engine简介
事务处理 得益于LSM的轻量化写机制，写入操作固然是其明显的优势，但是事务处理不只是把更新的数据写入系统那么简单，还要保证ACID（原子性、一致性、隔离性、持久性），涉及到一整套复杂的流程。X-Engine将整个事务处理过程分为两个阶段：...
云数据库ClickHouse企业版兼容性指导
Kafka Kafka表引擎在 云数据库 ClickHouse 企业版 中不可用。相反，我们建议依赖于将Kafka连接组件与ClickHouse服务分离以实现关注点的分离。我们建议考虑Kafka用户指南中列出的替代方法。这将有助于确保您的体系结构更加灵活和可维护。...
查看数据复制方式
因此，在异步数据复制方式下，备实例不可用时不会影响主实例上的操作，而主实例不可用时可能会导致主备实例数据不一致。查看数据复制方式 访问 RDS实例列表，在上方选择地域，然后单击目标实例ID。在左侧导航栏中，单击 服务可用性 查看...
全增量同步任务常见问题
如果Hologres目标表不存在，请在配置数据同步任务时使用 自动建表，创建可用的Hologres目标表，详情请参见 配置Hologres目标表。源表有默认值，通过数据集成创建的目标表，默认值、非空属性等会保留吗？创建目标表时候，DataWorks只会保留...
数据安全治理的必要性
当下企业在开展数据处理相关业务时，只要存在数据收集、处理、使用等行为，就需要从以下方面保障企业的经营合法合规。重点关注及遵守相关法律法规，时刻监督自己是否存在违规行为。例如，网络安全法、数据安全法、个性信息保护法、民法典及...
功能概述
该功能可以避免云平台软件、管理人员（如DBA）以及其他非授权人员接触到明文数据，防止研发和运维人员窃取数据，实现了数据在数据库内 可用不可见。结合阿里云强大的安全防护体系，全密态数据库能够有效防御来自云平台外部和内部的安全威胁...
开通数据库代理
如果迁移主实例可用区，将会导致主实例与数据库代理不在同一可用区，从而使数据库访问延迟增高，响应变慢。说明 如果因业务故障导致主备切换，主实例主可用区与代理可用区不一致，为了降低访问延迟，可手动进行主备切换，使主实例主可用区...
租户设置
说明 如果您的租户不支持恢复，可能的原因有以下几种情况：已使用的数据处理单元数大于剩余的可分配的数据处理单元。已使用的质量规则数大于剩余的可分配的质量规则数。租户功能存在降配的情况。租户已配置的调度资源（CPU或内存）超过系统...
配置并管理实时同步任务
有条件的正常处理：选择后，您可以配置过滤条件，同步任务将按照您配置的过滤表达式对源端数据进行过滤，满足过滤条件的数据会被正常处理，不满足的会被忽略掉。DDL消息处理规则设置。来源数据源会包含许多DDL操作，数据集成体提供默认处理...
代码智能推荐
该功能可以利用AI模型帮助用户生成组件数据处理的代码。用户可以在对话框中描述数据处理的需求，并支持对推荐的代码内容进行修改。前提条件 已登录DataV控制台 已进入画布编辑器页面 操作步骤 在当前数据看板中随机添加一个组件（例如：...
Kyuubi概述
批数据处理：Kyuubi提供了SQL接口用于常见的批处理，通常是大型提取、转换、加载（ETL）过程。Kyuubi及其引擎都是存储独立的，支持众多的数据源，并且Kyuubi支持在连接级别隔离后台引擎实例，以便实现更好的计算资源隔离并提升稳定性。...
弱依赖降级
若依赖方出现不稳定的情况，则请求和调用依赖方的方法的响应时间变长，线程产生堆积，最终可能耗尽自身的线程数，导致应用本身不可用。在复杂链路中，若某一环不稳定，就可能会层层渲染，最终导致整个链路都不可用。针对以上情况，可以使用...
数据库代理费用说明
华东1（杭州）可用区C和可用区D暂不支持数据库代理功能。如需使用，请将实例迁移至其他可用区，具体操作，请参见 迁移可用区。说明 如需查看数据库代理的开通记录以及操作人，可通过 操作审计 查询 资源类型 为 ACS:RDS:DbProxy 的事件记录...
应用采集
解压后有两个目录：collector：collector是统一收集器，单独部署在没有线上应用的服务器上（数据处理时避免对线上应用造成影响）。javaagent：javaagent目录拷贝到需要监控的应用服务器上，和应用部署在一起，用于采集数据。确保Collector...
主备切换
备节点异常 发现备节点不可用，HA系统将自动创建新的备节点并完成数据同步，保障主备双副本架构的持续性。说明 由于主备节点间的同步数据是异步实现的，可能会丢失主节点最近写入的部分数据。Q：实例为 读写分离架构 时，主备切换对只读...
主备切换
备节点异常 发现备节点不可用，HA系统将自动创建新的备节点并完成数据同步，保障主备双副本架构的持续性。说明 由于主备节点间的同步数据是异步实现的，可能会丢失主节点最近写入的部分数据。Q：实例为 读写分离版 时，主备切换对只读节点...
DataWorks模块使用说明
使用流程与主要子模块 DataWorks为您提供从端到端的一站式数据开发治理平台，数据处理流程主要包括以下几个阶段。各个阶段DataWorks的主要子模块如下。数据集成 子模块：数据集成 功能说明：数据集成是稳定高效、弹性伸缩的数据同步平台，...
数据处理
数据处理类节点包括串行数据处理节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。串行数据处理节点 串行数据处理 节点，是使用串行方式来处理一个事件。使用场景：例如，小数0.835要转换成整数百分比83%，可经过：单位转换（83.5...
概述
高性能版（推荐使用）：基于基础版Spark全密态引擎提供的数据加密能力，高性能版的Spark全密态计算引擎结合Gluten和Velox，提供了向量化计算的能力，在保证数据传输与存储过程安全的同时，提升了数据处理效率。基础版和高性能版Spark全密态...
暂停实例
A：暂停实例后，不能进行其它运维操作，如变配，迁移可用区，重启等，但是实例的待处理事项不会移除。Q：备份保留时长，是否会包括实例暂停期间的时长？A：备份保留时长不包括实例暂停期间的时长，实例暂停期间备份会按备份策略里面的过期...
一键实时同步至Hologres
有条件的正常处理：选择后，您可以配置过滤条件，同步任务将按照您配置的过滤表达式对源端数据进行过滤，满足过滤条件的数据会被正常处理，不满足的会被忽略掉。说明 若不设置，则默认为“正常处理”。步骤六：DDL消息处理规则 来源数据源...
MySQL只读实例简介
主实例因备份或维护等原因暂不可用时，可将读请求转发至只读实例，保证部分业务正常运行。在报表分析等场景下，使用只读实例查询、分析大量数据，不影响主实例业务。在读写分离场景下，使用只读实例可以避免读写锁争抢问题，提升系统的性能...
功能特性
当 OceanBase 数据库的生产集群出现计划内或者计划外的不可用情况时，主备库可以通过将某一个备集群的角色切换为主集群，从而保证系统的持续运行，最大限度地降低服务的停机时间。另外，OceanBase 也提供基于数据块拷贝和事务日志拷贝的...
阶段二：数据安全防护措施及策略增强建设
在该阶段，DataWorks为您提供了新人入职自动化授权、按需申请数据权限&多级审批、数据可用而不可见、数据完整性与可用性专项治理等多个场景的最佳实践，帮助企业做好数据安全防护措施并建设更加完善的安全治理策略。场景一：新人入职自动化...
自动或手动主备切换
当主实例发生故障或不可用时（例如操作系统错误、硬件故障等），系统会自动触发主备切换，主实例和备实例将进行互换，切换后实例地址保持不变，应用程序会自动连接到新的主实例（原备实例），从而保障业务的连续性和高可用性。此外，您还...
配置TiDB输出组件
是指数据输出前和输出完成的一些特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，...
配置TiDB输出组件
是指数据输出前和输出完成的一些特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，...
什么是RDS PostgreSQL
Babelfish for RDS PostgreSQL：基于Babelfish for PostgreSQL的开源项目，阿里云RDS PostgreSQL实例购买时开启Babelfish选项后，可以同时获得Microsoft SQL Server和PostgreSQL两种数据库引擎数据查询和处理的能力，从而使RDS PostgreSQL...
- 产品推荐
- 这些文档可能帮助您