ARMS告警精细管理最佳实践
背景知识 在告警管理中有一个非常重要的指标Mean Time To Contain（MTTC），MTTC描述了从检测到故障事件到控制和解决该事件所需的平均时间。它是一个关键指标，因为它衡量了一个组织对事件的响应能力和效率。较短的MTTC意味着组织能够快速...
故障复盘
故障复盘规范 故障复盘作为故障体系中的重要一环，整体复盘流程包括故障处理过程、改进分析、故障定责，基于包含标准化的复盘SOP、对应预防action推荐、问责管理机制，全面地回溯线上故障的发生，产出故障复盘报告和改进措施，避免故障重复...
错误码
说明：PolarDB-X 向后端数据节点异步创建连接时，如果在短时间创建大量连接，或者数据节点建立连接速度太慢，会出现等待超时。该问题通常是由于后端数据节点压力过大或异常导致的，建议使用 PolarDB-X 读写分离，或者升级更高规格，减轻后...
常见问题
一般性常见问题 什么是 表格存储？表格存储 面向海量结构化数据提供Serverless表存储服务，同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
元数据迁移
元数据迁移提供可视化的元数据迁移能力，可以帮您快速的将Hive Metastore的元数据迁移到数据湖构建（DLF）中。前提条件 支持Hive版本：2.3.x 版本。支持元数据库类型：MySQL。创建元数据迁移任务 创建迁移任务 打开 数据湖构建控制台。选择...
为什么云存储网关与OSS上的文件不一致
但是，由于OSS Bucket内部是扁平的，在通过OSS API操作模拟文件夹功能列举下级文件的时延可能会较长，因此如果设定的反向同步的时间间隔较小，则会触发大量的扫描操作，当执行例如 ls 等元数据操作时会出现卡顿从而影响体验，这种场景下...
EMR Kafka磁盘写满运维
业务场景 Kafka将日志数据存储到磁盘中，当磁盘写满时，相应磁盘上的Kafka日志目录会出现offline问题。此时，该磁盘上的分区副本不可读写，降低了分区的可用性与容错能力，同时由于leader迁移到其他Broker，增加了其他Broker的负载。因此，...
EMR元数据迁移DLF最佳实践
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖...
单实例快速恢复
当出现1分钟容器响应超时（可能是内存溢出、硬件故障、软件Bug等原因导致），Resource Manager会自动拉起新的计算节点，并迁移数据分片（Shard）职责到新的节点上（例如Worker Node3响应超时，Resource Manager拉起Worker Node4取代Worker ...
升级内核小版本
云数据库RDS SQL Server实例支持手动升级内核小版本，内核小版本的升级涉及性能提升、新功能或问题修复等。RDS SQL Server内核小版本的更新说明，请参见 SQL Server小版本发布记录。其他引擎升级内核小版本请参见：MySQL升级内核小版本 ...
OOM常见问题排查指南
关于该问题产生的原因、主要影响和解决方法具体如下：产生原因 元数据占用内存多 表现为Meta内存使用率高：表数据量增加，数据总量也随之增加，元数据占用内存多，当没有任务运行时，内存水位也会高，通常建议一个Table Group下不要超过...
2020年
DBLink概述 缺陷修复 修复部分场景下节点重启会出现卡顿的问题。修复部分场景下内存溢出导致的集群崩溃的问题。修复部分场景下只读节点崩溃的问题。修复执行 client_encoding=gbk 命令时，UTF8编码格式转换为GBK时报错的问题。修复NVL函数...
三可用区概述
本文介绍了什么是三可用区实例及其优势。功能介绍 PolarDB-X 实例部署方式分为单可用区和三可用区。相对于单可用区实例，三可用区实例具备了可用区级别的容灾能力。三可用区实例面向高端企业级用户，采用一主两备的三节点架构，通过多副本...
管理文件元数据
将Object下载到浏览器指定路径时：说明 如果Object名称包含星号（*）、正斜线（/）等特殊字符时，可能会出现特殊字符转义的情况。例如，下载 example*.jpg 到本地时，example*.jpg 可能会转义为 example_.jpg。如需确保下载名称中包含中文...
现代IM系统中的消息系统—实现
功能：元数据管理 元数据是指描述数据的数据，此处主要体现为用户元数据和会话元数据两类。此处群的元数据信息包括群ID（复用群的timelineId）、群名称、创建时间等信息，可以直接基于timelineMeta的管理表完成实现，所有Group类型的...
Hologres管控台的监控指标
只有在子实例绑定了主实例之后，该指标会显示数据（0ms），当主实例有数据写入时，子实例的同步延迟会出现数据波动。一般情况下，主从实例的同步延迟毫秒级，当实例偶尔出现延迟抖动时，一般情况为主实例在做DDL等元数据修改的操作，可忽略...
DML操作常见问题
问题类别 常见问题 插入或更新数据 执行INSERT操作过程中出现错误，会损坏原有数据吗？执行INSERT INTO或INSERT OVERWRITE操作时，提示Table xxx has n columns，but query has m columns，如何解决？执行INSERT INTO或INSERT OVERWRITE...
数据湖管理FAQ
元数据发现相关问题 为什么配置了元信息发现，并在“手动执行”之后，过了几天新的数据看不到了？OSS数据源配置数仓模式和自由模式的差异以及适用场景是什么？为什么Excel导出的CSV文件没有被识别建表？为什么一个目录下面是同样Schema的...
新功能试用申请
日期 功能名称 描述 2024年2月 跨地域灾备 MaxCompute提供跨地域（Region）灾备功能，支持以项目（Project）为单位远程备份数据和元数据，确保备份地点与数据源的地理距离超过一百公里，以提升数据安全性。您能够自定义选择备份目标地域，...
查看血缘关系
提升故障排查效率 当数据在处理过程中出现问题时，通过血缘关系，您可以追踪到问题的根源，快速定位和解决故障，避免业务损失和高昂的人力成本。提升数据分析效率 当数据资产变更或者出错的情况下快速定位所影响的线上作业，及时进行处理，...
DataWorks on EMR快速入门
DataWorks支持基于E-MapReduce创建Hive、Spark SQL、Presto和MR等节点，实现任务工作流的配置和定时调度、元数据管理及数据质量监控告警等功能，为用户提供一站式数据湖开发和治理的环境。本文为您介绍如何在DataWorks上快速使用EMR集群。...
模型介绍
Meta：用于描述Timeline的元数据，元数据描述采用free-schema结构，可自由包含任意列。Queue：一个Timeline内所有Message存储在Queue内。SequenceId：Queue中消息体的序列号，需保证递增、唯一。模型支持自增列、自定义两种实现模式。...
新功能发布记录
优化 按量计费转包年包月 2022-11-17 功能名称 功能描述 功能类型 相关文档 控制台支持查看实例的Rebalance详情 当消费客户端出现Rebalance时，云消息队列 Kafka 版 支持在控制台上查看Rebalance详情，包括时间、耗时、次数、原因及是否有...
配置电话消息渠道
权限说明 元仓租户超级管理员和系统管理员（实例级别）支持编辑消息渠道。超级管理员和系统管理员（租户级别）支持编辑消息渠道；其他用户支持查看消息渠道。配置阿里云语音服务的电话 说明 默认 系统设置，使用部署的配置文件中的邮件配置...
常见问题
本文介绍使用Trino时的常见问题。Trino与Presto的区别与联系是什么？Trino的各个版本有什么区别？Trino在EMR上的部署形态是什么样的？是否支持高可用？Trino如何连接DLF？开启了DLF后是否还能连接MetaStore？默认提供的连接器不够用怎么办...
将自建ClickHouse数据迁移到云ClickHouse中
当您计划将自建数据库ClickHouse迁移到云数据库ClickHouse提升业务的可扩展性和可靠性时，本文档将为您提供实际操作指南以及如何处理可能遇到的问题。参考本文档迁移策略，您将能够高效、安全地完成数据迁移，并最大化云端环境的利益。说明...
DLA Lakehouse实时入湖
随着数据湖的应⽤越来越多，⼤家发现依赖数据湖最原始的能力，仅仅做简单的存储和分析，往往会遇到很多的问题。比较典型的痛点如下：多源头数据需要统⼀存储管理，并需要便捷的融合分析。源头数据元信息不确定或变化大，需要⾃动识别和管理...
存储空间地域属性
✓ 仅支持删除，不支持存储类型转换 基于最后一次访问时间的生命周期规则 您可以通过基于最后一次访问时间（Last Access Time）策略的生命周期规则来自动监测数据的访问模式并识别冷数据，然后将识别出来的冷数据进行存储类型的转换，从而...
约束和限制
数据湖管理使用限制 限制 描述 元数据发现支持发现的数据源 OSS SLS Tablestore 元数据发现OSS数据源的文件格式 只支持识别CSV、JSON、Parquet、ORC格式的文件 元数据发现OSS数据源目录结构 按照库/表/分区布局的路径 元数据发现OSS数据源...
RDS MySQL如何管理长时间执行的查询
出现原因 在使用RDS MySQL的过程中，由于某些原因，例如被SQL注入、SQL执行效率较差、DDL语句引起表元数据锁等待等，会出现运行时间很长的查询。说明：元数据锁等待的问题请参考 解决MDL锁导致无法操作数据库的问题。由于SQL执行效率差而...
现代IM系统中的消息系统—模型
Meta 用于描述Timeline的元数据，元数据描述采用free-schema结构，可自由包含任意列。Queue 一个Timeline内所有Message存储在Queue内。Message Timeline内传递的消息体，也是一个free-schema的结构，可自由包含任意列。Index 包含Meta ...
设置宕机自动迁移
如果本地SSD型DDH出现故障，您可以 提交工单 申请人工迁移，但迁移后本地盘数据会丢失。DDH因故障迁移完成后，DDH ID及ECS实例的元数据（例如实例ID、私有IP地址、公网IP地址）均保持不变，但是由于更换了物理服务器，DDH的机器码会改变。...
独立RDS元数据库
本文介绍如何配置独立的阿里云RDS，作为Databricks数据洞察集群的元数据。前提条件 已购买RDS，详情请参见 创建RDS MySQL实例。说明 本文以MySQL 5.7版本为例介绍。元数据库准备 创建hivemeta的数据库 详情请参见 创建数据库和账号 中的...
0024-00000505
问题描述 元数据转换任务数量超过了上限。问题原因 您创建的元数据转换任务数量超过了上限。问题示例 该功能为邀测功能，未对全部用户开放，暂不提供示例。解决方案 检查任务是否超过上限，删除不使用的多余任务后重试。相关文档 OSS-HDFS...
0024-00000506
问题描述 元数据转换任务中，Path数量超过了上限。问题原因 您创建的元数据转换任务中，Path数量超过了上限。问题示例 该功能为邀测功能，未对全部用户开放，暂不提供示例。解决方案 检查Path是否超过上限，删除多余的Path任务后重试。相关...
0024-00000501
问题描述 元数据转换请求中的XML格式或参数不正确。问题原因 您发起了元数据转换相关的管理请求，请求中XML格式或参数不正确。问题示例 该功能为邀测功能，未对全部用户开放，暂不提供示例。解决方案 该功能为邀测功能，如果发现此错误，请...
写入
重要 写入时间线元数据会覆盖该时间线元数据的原有数据。示例代码 写入数据点。构造时间线标识。TimestreamIdentifier identifier=new TimestreamIdentifier.Builder("cpu").addTag("Role","OTSServer").build();构造数据点，支持多个值。...
Hive数据源
通过连接Hive Metastore，云数据库 SelectDB 版 可以自动获取Hive的库表信息，进行数据查询、分析。除了Hive外，例如Iceberg、Hudi等其他系统也会使用Hive Metastore存储元数据。通过Hive Catalog，能轻松集成Hive及使用Hive Metastore作为...
集群高可用
如果Utility节点宕机或者Utility节点上的MariaDB Master出现故障，仅需要简单的操作就可以将元数据库切换到cdp-master-1节点上的备库，具体操作如下：在cdp-master-1上运行命令：mysql 进入mysql终端 停止MariaDB Slave的IO线程：stop ...
- 产品推荐
- 这些文档可能帮助您