OOM常见问题排查指南
解决方法 元数据过多导致内存较高时，建议通过 hg_table_info 表对数据表进行治理，详情请参见 表统计信息查看与分析。建议删除不再查询的数据或者表和减少不必要的分区表设计，以释放占用的内存。计算导致内存水位较高时，建议区分写入和...
强一致分布式事务
如果事务内写入的数据涉及多个分区，PolarDB-X 的计算节点将会使用两阶段提交（Two-phase Commit Protocol，简称2PC）方式提交事务，即便在事务提交过程中发生节点宕机等问题，基于2PC的事务恢复机制也能确保事务原子性。MVCC多版本 以上面...
查询服务
您可以通过微服务中心MSE查询部署的Spring Cloud或Dubbo应用的服务列表和服务详情。本文介绍如何查询服务。名词解释 服务：指被注册到注册中心的Spring Cloud和Dubbo服务。应用：指部署的实体。查看服务列表 登录 MSE治理中心控制台，并在...
查询Dubbo服务
您可以通过EDAS查询部署的Dubbo应用的服务列表和服务详情。使用限制 服务查询包含新版和旧版，您可以在 服务查询 页面切换版本。新版通过Agent查询服务，支持查询EDAS注册中心、MSE托管的注册中心 和自建注册中心（包括ZooKeeper、Nacos、...
数据湖加速查询
基于阿里云数据湖构建（Data Lake Formation，DLF）和对象存储（Object Storage Service，OSS）推出的Hologres数据湖加速服务，提供了灵活的数据访问和分析能力以及高效的数据处理能力，显著加快了对OSS数据湖的查询和分析过程。...
查询服务列表
本文介绍如何通过SAE控制台查询部署的Spring Cloud应用和Dubbo应用的服务列表...元数据 参数信息如下：接口元数据：包含服务的所属类和请求方法，以及显示服务的接口信息。Metadata数据：包含服务的元数据，以及用于使用微服务能力的元数据。
查询Spring Cloud服务
您可以通过EDAS查询部署的Spring Cloud应用的服务列表...元数据 接口元数据 接口元数据 包含服务的所属类和请求方法，显示服务的接口信息。Metadata数据 Metadata元数据 包含服务的元数据，还包含EDAS提供的一些用于使用微服务能力的元数据。
Query洞察
Query洞察旨在结合 慢Query日志 和表统计信息日志系统表hg_table_info，快速获取当前Query的执行信息，例如Query进程的资源消耗、Query所涉及的表的元数据，以及Query对应的执行计划（plan）。同时可以通过Query洞察快速判断当前Query是否...
如何基于LSM-tree架构实现一写多读
由于Primary和Replica共享一份日志和数据，Dump_thread只需要传递位点信息，由Replica根据位点信息去读redo日志。Replica解析日志，根据日志类型来分发日志给不同的回放引擎，这种架构使得所有复制框架与之前的复制保持一致，只需要新增...
迁移元数据上云
迁移元数据上云是指将开源RabbitMQ集群的元数据导出，并将其导入到阿里云 云消息队列 RabbitMQ 版 实例。云消息队列 RabbitMQ 版 会根据成功导入的元数据在目标 云消息队列 RabbitMQ 版 实例中创建对应的Vhost、Queue、Exchange、Binding，...
集群高可用
阿里云Cloudera CDP默认支持集群中组件HDFS NameNode、YARN ResourceManager以及Hive Metastore Server的高可用，此外对于Hive、Hue等组件用于存储元数据的元数据库MariaDB也做了主从备份，能最大限度保证服务的可用性和数据的可恢复性。...
单点登录（SSO）常见问题
问题原因 解决方法 企业IdP中使用的签名公私钥对发生了轮转，但未更新在阿里云中配置的IdP元数据。更新在阿里云中配置的IdP元数据。您可以从企业IdP下载最新的元数据文件，重新上传到阿里云中。企业IdP中使用的签名公私钥对发生了轮转，且...
单点登录（SSO）常见问题
问题原因 解决方法 企业IdP中使用的签名公私钥对发生了轮转，但未更新在阿里云中配置的IdP元数据。更新在阿里云中配置的IdP元数据。您可以从企业IdP下载最新的元数据文件，重新上传到阿里云中。企业IdP中使用的签名公私钥对发生了轮转，且...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
Hive元数据说明
另外，DLF还支持数据探索、湖管理和数据权限控制等功能，并与阿里云其他计算产品（例如MaxCompute、Databricks和Hologres等）无缝对接，可以扩展更丰富的计算场景，DLF详情请参见 产品简介。该元数据类型相比自建RDS和内置MySQL两种方式的...
设置宕机自动迁移
为了降低物理故障对业务的影响，阿里云为您提供专有宿主机DDH宕机自动迁移的功能。本章节介绍在创建DDH后如何开启或者关闭宕机自动迁移。背景信息 宕机自动迁移开启后，当DDH因故障停机时，会自动迁移至健康的DDH。若您未开启宕机自动迁移...
EMR元数据迁移公告
本文为您介绍迁移E-MapReduce（简称EMR）元数据至数据湖元数据DLF（Data Lake Formation）中的原因及迁移流程。迁移原因 2020年阿里云EMR推出全新的数据湖构建和统一元数据服务，为EMR用户提供了更好的统一元数据服务方案。阿里云EMR团队...
元数据管理
元数据管理是构建数据湖重要一环，通过有效集中式的元数据管理，可以提升数据资产价值。您可以使用该功能管理元数据库和元数据表。创建元数据库 登录 数据湖管理控制台，选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库...
概述
元数据管理 数据湖元数据管理包括元数据库和元数据表两层结构构成。数据源 用户从数据源抽取数据到注册的数据湖位置，数据湖构建支持多种形式的数据源，目前RDS MySQL已对外开放。参数 描述 连接名称 数据湖构建中惟一的名称 连接类型 目前...
查询服务契约
服务契约指基于OpenAPI规范的微服务接口描述，是微服务系统运行和治理的基础。您无需在应用中引入依赖，直接部署后，便可以通过服务契约在线查看微服务接口、路径等API信息，不但能查询提供的服务，还能方便的使用服务测试等功能。背景信息...
AD FS和无影云电脑AD用户实现SSO
选择数据源时请选择 从文件导入有关信赖方的数据，导入第1步获取的SP元数据文件。编辑声明规则。在信赖方信任列表中，右键单击上一步添加的信赖方依赖，选择 编辑声明规则。在弹出的对话框中，单击 添加规则。按照向导完成规则配置。配置...
JindoFS缓存模式
概述 缓存模式兼容现有OSS存储方式，文件以对象的形式存储在OSS上，每个文件根据实际访问情况会在本地进行数据和元数据的缓存，从而提高访问数据以及元数据的性能，Cache模式提供不同元数据同步策略以满足您在不同场景下的需求。...
Iceberg数据源
不同元数据服务的配置方法如下：Hive MetaStore 属性 是否必选 说明 type 是 数据源类型，取值为 iceberg。iceberg.catalog.type 是 Iceberg中Catalog的类型。使用Hive MetaStore则设置该参数为 HIVE。iceberg.catalog.hive.metastore.uris...
Spark
原因和解决方法如下：原因1：Executor进程使用的内存超出限制。Spark Executor除了JVM本身使用的内存外，还包括堆外内存（Shuffle、Cache），以及Python UDF等使用的内存。容器使用的内存超过了容器允许使用内存的限制，导致Spark进程被...
日志同步到 ODPS 失败，报错“readLog fail,logFile ...
出现上述问题，需要排查 ODPS 授权问题，确认是否具有读取表元数据（Describe）和读取表数据（Select）权限。如缺少 Describe 或 Select 权限，请参考下图添加授权后，重试导出离线日志。下图以表“sale_detail”为例，为“worker”角色...
Hive作业异常排查及处理
原因分析：元数据和数据不一致，元数据中存在某个分区的记录，但数据存储系统中没有该路径，导致使用cleanup方法的时候报错找不到路径。解决方法：您可以尝试修复元数据问题之后再重新执行作业。Hive读表或者删除表时报错java.lang....
时序数据生命周期
数据生命周期 时序模型中的数据包括时间线元数据和时序表数据，分别由时间线元数据表和时间线数据表存储。表格存储分别提供了时间线元数据生命周期和时序表数据生命周期用于管理相应数据。时序表数据生命周期 时序表数据生命周期是时间线...
产品优势
支持企业级管理组件，降低运维复杂度和运维能力要求 更专业的数据安全和治理，满足数据合规要求 提供完整一套基于元数据的安全和治理技术 简化多用户的数据访问和分析，对数据访问进行授权、跟踪和审核 符合法规要求，以减少安全原因导致的...
阿里云上的Salesforce技术迁移数据手册
避免出现意外的增量数据 按正确顺序迁移元数据和数据 在导入前更新元数据，例如为新组织创建/更新用户名/电子邮件，为某些中国相关数据导入新的自定义对象/字段 确定保持数据关系（父项/子项关系）的方法 处理各类特殊数据，如加密数据、...
元数据仓库共享模型概述
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。...
Dubbo概述
EDAS支持Apache Dubbo微服务框架，您在Apache Dubbo框架下开发的微服务只需添加依赖和修改配置，对代码无侵入，即可部署到EDAS之后，获取EDAS企业级的微服务应用托管、微服务治理、监控报警和应用诊断等能力。Dubbo架构 开源Dubbo目前包含...
EMR-3.33.x版本说明
本文介绍EMR-3.33.x发行版本的发布日期和更新内容等信息。发布日期 EMR-3.33.0 2021年1月15日 更新内容 服务 变更点 SmartData 升级至3.2.0版本。详情请参见 SmartData 3.2.x版本简介。Spark 升级至2.4.7版本。升级jQuery至3.5.1版本。兼容...
EMR+DLF数据湖解决方案
您可以通过DLF来可视化创建元数据，或者使用Hive/Spark SQL来创建数据库和数据表等。登录 元数据库管理控制台，在左上角选择与OSS相同的地域，例如华东1（杭州）。使用控制台，可视化创建元数据库。例如emr_dlf_data_lake。在左侧导航栏，...
管理数据流动任务
导入类型：支持导入元数据（Metadata）和数据（MetaAndData）两种数据类型。元数据：只导入文件的元数据。数据：导入文件的元数据和数据。导入路径：是文件OSS Bucket中的路径。数据流动任务按文件在OSS Bucket中的路径导入到Fileset中。...
RDS MySQL如何管理长时间执行的查询
概述 本文主要介绍关于RDS MySQL版本中出现长时间执行查询命令的原因、影响和解决方法。详细信息 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、...
锁分析
数据库自治服务DAS锁分析功能可直观地查看和分析数据库最近一次发生的死锁，本文介绍锁分析的具体操作步骤。前提条件 目标数据库引擎为 PolarDB MySQL版。目标数据库实例已接入DAS，并且接入状态显示为 接入正常，接入方法详情请参见 接入...
锁分析
数据库自治服务DAS的 锁分析 功能可直观地查看和分析数据库最近一次发生的死锁，本文介绍 锁分析 的具体操作步骤。前提条件 目标数据库引擎为：RDS MySQL 自建MySQL 目标数据库实例已接入DAS，并且接入状态显示为 接入正常，接入方法详情请...
锁分析
当面临数据库的死锁问题时，您可以使用锁分析功能，直观地查看和分析数据库发生的死锁，从而快速定位和解决死锁问题，确保数据库的稳定运行。前提条件 目标数据库引擎为：RDS MySQL 自建MySQL PolarDB MySQL版 PolarDB-X 2.0 目标数据库...
时序模型介绍
时序数据由元数据和数据两部分组成，如果未预先新建元数据，则系统会根据写入的数据自动提取元数据。说明 表格存储还提供了时序Writer用于将时序数据写入时序表，时序Writer支持多表写入、写入状态统计、行级别回调和自定义配置功能。更多...
产品架构
FE和BE都可以在线水平扩展，元数据和业务数据都有副本机制，确保整个系统无单点。StarRocks提供MySQL协议接口，支持标准的SQL语法，您可以通过MySQL客户端方便地查询和分析StarRocks中的数据。说明 该图片来源于社区StarRocks的 系统架构。...
- 产品推荐
- 这些文档可能帮助您