Warm Up（冷启动）
对于长期处于低水位状态的系统，可以使用Warm Up（冷启动）功能来避免流量骤增导致水位瞬间升高系统不可用的情况。功能原理 Warm Up，即冷启动/预热的方式。当系统长期处于低水位的情况下，若流量突然增加，可能会把系统水位瞬间拉高把系统...
为什么已使用的Dataphin数据处理单元会超过已购买的...
超过系统剩余可用上限1 再次发布任务C，预检不通过，提示无剩余可用数据处理单元 提示：为了保证开发使用体验，Dataphin会优先保证所有数据处理单元都可使用。如果发布完成后发现已经超过了购买的可用数据处理单元，建议尽快联系管理员进行...
手动更换可用区
例如当需要将备可用区更换为目标主可用区时，平均耗时为5分钟/节点，若集群中有4个节点，是否意味着业务会有约20分钟的不可用时间？A：更换主可用区所需的时间不等于业务不可用时间。整个切换过程中，仅在主备切换时会出现1~2次约30秒的闪...
查看资源使用情况-半托管
Virtual计算任务、虚拟维度逻辑表不纳入数据处理单元统计。仅统计已发布到生产环境（Basic项目下的任务提交即发布）、周期调度的任务或表；不统计手动任务，不限制生成的周期实例数量。实时集成任务和实时计算任务单独售卖，不纳入数据处理...
计费说明-半托管
智能研发版定价 数据处理单元规格 定价（CNY/年）500 298,000 1000 397,800 1500 497,600 2000 597,400 2500 697,200 3000 797,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）...
查看资源使用情况-全托管
Virtual计算任务、虚拟维度逻辑表不纳入数据处理单元统计。仅统计已发布到生产环境（Basic项目下的任务提交即发布）、周期调度的任务或表；不统计手动任务，不限制生成的周期实例数量。达到资源使用上限后，所有类型的任务均无法继续发布 ...
多可用区部署和更换主可用区
说明 如果目标可用区是备可用区，则不需要迁移数据。系统只需要切换数据库计算节点，因此可以达到比较快的跨机房切换效果（平均耗时5分钟/节点），该操作常用于容灾演练。如果目标可用区不在备可用区，则需要迁移数据。系统执行迁移时间...
多可用区部署和更换主可用区
说明 如果目标可用区是备可用区，则不需要迁移数据。系统只需要切换数据库计算节点，因此可以达到比较快的跨机房切换效果（平均耗时5分钟/节点），该操作常用于容灾演练。如果目标可用区不在备可用区，则需要迁移数据。系统执行迁移时间...
Presto概述
具体如下：数组和Map数据 JSON数据 GIS（Geographic Information System）数据 颜色数据 功能扩展能力强，提供了多种扩展机制：扩展数据连接器 自定义数据类型 自定义SQL函数 流水线：基于Pipeline处理模型数据在处理过程中实时返回给用户...
X-Engine简介
数据库领域的泰斗，图灵奖得主Michael Stonebreaker就此写过一篇论文《OLTP Through the Looking Glass,and What We Found There》，指出传统关系型数据库，仅有不到10%的时间是在做真正有效的数据处理工作，剩下的时间都浪费在其它工作上...
数据开发概述
Basic 项目绑定了 Prod 数据板块，则系统不支持 规范建模 功能，仅支持 数据处理 和 即席查询 功能。Dev 项目支持 规范建模、数据处理 和 即席查询 功能。Prod 项目支持 规范建模 和 数据处理 功能。数据开发入口 在Dataphin首页，单击顶部...
数据开发概述
Basic 项目绑定了 Prod 数据板块，则系统不支持 规范建模 功能，仅支持 数据处理 和 即席查询 功能。Dev 项目支持 规范建模、数据处理 和 即席查询 功能。Prod 项目支持 规范建模 和 数据处理 功能。智能编辑器：Dataphin代码编辑器不仅...
配置逻辑表数据延迟
当前逻辑表无设置事件时间字段、无主键时，不支持开启延迟数据处理。操作步骤 请参见 数据开发入口 进入数据 开发 页面。在数据 开发 页面，选择您需配置数据延迟的逻辑表，进入调度配置信息页面。在调度配置页面，配置逻辑表的数据延迟。...
配置逻辑表数据延迟
当前逻辑表无设置事件时间字段、无主键时，不支持开启延迟数据处理。操作步骤 请参见 数据开发入口，进入数据 开发 页面。在数据 开发 页面，选择您需配置数据延迟的逻辑表，进入调度配置信息页面。在调度配置页面，配置逻辑表的数据延迟。...
计费说明-全托管
000 4500 60C240G 101,500 5000 60C240G 110,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）+明细逻辑表总数+[向上取整（指标数/10）]其中：前200个数据集成任务不纳入统计，...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
功能特性
当 OceanBase 数据库的生产集群出现计划内或者计划外的不可用情况时，主备库可以通过将某一个备集群的角色切换为主集群，从而保证系统的持续运行，最大限度地降低服务的停机时间。另外，OceanBase 也提供基于数据块拷贝和事务日志拷贝的...
计费说明
版本介绍 流数据处理Confluent对外提供三个版本，不同版本提供的功能不同，价格也不相同，版本的功能如下：标准版 Standard 专业版Professional 企业版Enterprise 环境部署 Develop/QA Stage/Product Stage/Product 跨可用区部署 单可用区 ...
集群版-单副本
数据节点故障之后，系统会在30秒内重新拉起一个Redis进程保证服务高可用，但是该节点的数据将会丢失掉。配置服务器（config server）采用双副本高可用架构，用于存储集群配置信息及分区策略。各组件的数量和配置由Redis实例的 规格 决定，...
新增离线数据同步任务
如果设置了取数规则，则该功能不可用。配置字段映射：在 字段映射 区域，系统默认为同名映射，可根据需要选择同行映射或通过拖拽连线自定义完成字段映射。配置通用控制。参数 说明 依赖配置 支持配置上游依赖节点，可依赖同周期数据同步...
Kafka实时ETL同步至Hologres
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
云数据库MongoDB产品架构
如果判断主节点实例不可用，则切换主备节点并通知用户，您也可以手动切换主备节点，保障MongoDB实例的高可用。具体请参见 切换主备节点并通知用户 和 切换节点角色。日志收集系统 收集MongoDB运行情况的日志信息，包括实例慢操作记录日志、...
产品架构
云原生数据库PolarDB 基于Cloud Native设计理念，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、快速迭代的优势。本文将介绍 PolarDB 的产品架构及特点。图 1.产品架构图 一写多读 PolarDB 采用分布式...
产品架构
云原生数据库PolarDB 基于Cloud Native设计理念，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、快速迭代的优势。本文将介绍 PolarDB 的产品架构及特点。图 1.产品架构图 一写多读 PolarDB 采用分布式...
阶段二：数据安全防护措施及策略增强建设
在该阶段，DataWorks为您提供了新人入职自动化授权、按需申请数据权限&多级审批、数据可用而不可见、数据完整性与可用性专项治理等多个场景的最佳实践，帮助企业做好数据安全防护措施并建设更加完善的安全治理策略。场景一：新人入职自动化...
高可用系列
说明 当备节点出现故障不可用时，主节点会进行实时备份，主节点备份临近完成时会产生全局锁（FTWRL），导致主节点只读，一般不会超过5秒。功能全面 高可用系列实例提供完整的产品功能，包括弹性伸缩、备份恢复、性能优化、读写分离等，且...
产品概述
结合全密态访问控制模块，限制数据库内数据库用户对数据操作的访问控制，避免非授权访问，可以 确保数据对包括DBA在内的任何数据库用户是可用不可见的，实现数据私有化。仅需信任数据库集群内的操作系统、数据库软件、以及IaaS运维人员。全...
企业版产品系列
集群中所有的数据文件都存放在共享存储（PolarStore）中，各个主节点通过分布式文件系统（PolarFileSystem）共享底层存储（PolarStore）中的数据文件。用户可以通过集群地址访问整个集群，数据库代理会自动转发SQL命令到正确的主节点。多主...
产品概述
结合全密态访问控制模块，限制数据库内数据库用户对数据操作的访问控制，避免非授权访问，可以 确保数据对包括DBA在内的任何数据库用户是可用不可见的，实现数据私有化。仅需信任数据库实例内的操作系统、数据库软件、以及IaaS运维人员。全...
技术面临的挑战与革新
在分布式数据库中，同样也可以采用这种模式，将事务集中在一个节点处理，而这限制了事务处理的扩展能力，系统能处理的事务操作的数据范围受限于单个节点所能访问的数据范围，事务处理能力也受限于单个节点的处理能力。
什么是PolarDB MySQL企业版
高可用和高可靠保障，数据安全可靠 共享分布式存储的设计，彻底解决了主从异步复制所带来的备库数据非强一致的缺陷，使得整个数据库集群在应对任何单点故障时，可以保证数据零丢失。数据多副本跨可用区部署，主节点故障后RTO。GDN集群间...
为什么高可用系统会触发主备切换
在MongoDB实例的运行过程中，当高可用系统监测到实例中的某个节点不可用，将触发节点切换操作并以短信或站内通知的形式通知用户。收到的通知内容【阿里云】尊敬的*：您的云数据库MongoDB实例：dds-bp*（名称：*）出现异常，高可用系统已经...
功能概述
该功能可以避免云平台软件、管理人员（如DBA）以及其他非授权人员接触到明文数据，防止研发和运维人员窃取数据，实现了数据在数据库内 可用不可见。结合阿里云强大的安全防护体系，全密态数据库能够有效防御来自云平台外部和内部的安全威胁...
强弱依赖治理概述
异常发生时，不影响核心业务流程，不影响系统可用性的依赖称作弱依赖，反之为强依赖。以商品详情页为例。商品详情页后台系统架构如下。如果商品详情页对下游依赖是强依赖，例如当下游依赖 库存、优惠、物流 出现故障的时候，将导致业务流程...
配置流控规则
失败退化策略 当出现连接失败、通信失败或Token Server不可用等情况时，流控规则是退化到单机限流的模式或是直接通过忽略失败情况。退化到单机限流：当出现失败的情况时，退化到根据的单机阈值来进行流控。需要设置 退化单机阈值，代表单机...
归档存储服务等级协议
归档存储不可用时间不包括日常系统维护时间、由用户原因、第三方原因或不可抗力导致的不可用时间。归档存储服务可用性的计算方法如下：在每个月的月初，统计以下两种情况的失败请求数：A:归档存储访问日志统计上一个月用户的失败请求数...
切换主可用区
概念介绍 主可用区（Primary Zone）：OceanBase 数据库中同一分区（partition）的数据副本分布在多个可用区中，其中分区的主副本所在的可用区称为主可用区。切换主可用区场景 在主可用区故障时，OceanBase 会根据服务情况自动将主切换至新...
存储类型概述
当该可用区不可用时，会导致相关数据不可访问。如您的业务需要更高的可用性保障，建议您使用同城冗余的存储类型来存储和使用数据。标准存储-同城冗余（ZRS）采用多可用区（AZ）内的数据冗余存储机制，将用户的数据冗余存储在同一地域...
数据上云工具
Fluentd（DataHub通道系列）Fluentd是一个开源的软件，用来收集各种源头日志（包括Application Log、Sys Log及Access Log），允许您选择插件对日志数据进行过滤，并存储到不同的数据处理端（包括MySQL、Oracle、MongoDB、Hadoop、Treasure ...
面临的业务挑战
数据散乱不一致 传统企业的数据具有多样性，包括结构化、半结构化以及非结构化的数据。数据来源上包含数据库数据、日志数据、对象数据以及已有数仓上的存量数据等。这些不同来源、不同格式的数据，各自又有不同的访问和分析方式，而大量...
- 产品推荐
- 这些文档可能帮助您