SQL查询介绍
SQL查询为表格存储的多数据引擎提供统一的访问接口，兼容MySQL的查询语法，适用于在海量数据中进行在线数据访问类型的场景。您可以通过SQL查询功能对表格存储中的数据进行复杂的查询和高效的分析。背景信息 为了满足用户业务平滑迁移到表格...
升级内核小版本
云数据库RDS SQL Server实例支持手动升级内核小版本，内核小版本的升级涉及性能提升、新功能或问题修复等。RDS SQL Server内核小版本的更新说明，请参见 SQL Server小版本发布记录。其他引擎升级内核小版本请参见：MySQL升级内核小版本 ...
Canal
在很多情况下，利用Canal这个特性非常的有用，例如：将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 数据库表的temporal join变更历史 Flink还支持将Flink SQL中的INSERT、UPDATE或DELETE消息编码为Canal格式的JSON消息...
数据索引
常见问题 Bucket内文件数量达到上亿级别时，为什么很长时间都没有成功建立数据索引？1秒内大约可以为600个文件建立索引。您可以结合Bucket内的文件数量，预估建立索引所需时间。相关文档 数据索引支持多项过滤条件，例如文件最后修改时间、...
DataWorks的审计事件
操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过OpenAPI或控制台等方式操作云资源时产生的管控事件，DataWorks支持在操作审计中查询的事件如下表...
新旧版本使用指引
更新数据集 UpdateSet-更新媒体集的显示名称 GetDataset-查询数据集信息 GetSet-获取媒体集信息 ListDatasets-列出数据集 ListSets-获取媒体集列表 DeleteDataset-删除数据集 DeleteSet-删除媒体集 元数据索引 IndexFileMeta-文件元信息...
Debezium
在很多情况下，利用这个特性非常的有用，例如：将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 数据库表的temporal join变更历史 Flink还支持将Flink SQL中的INSERT、UPDATE或DELETE消息编码为Debezium格式的JSON消息或...
使用OSS静态存储卷
单击 选择 Bucket，在弹出的对话框中选择所需的bucket并单击 选择。访问域名 您可以参考以下情况选择需要的访问域名。如果Bucket和ECS实例位于不同地域（Region），请选择 公网域名。如果Bucket和ECS实例位于相同地域，请选择 私网域名。...
文档更新动态（2022年）
更新说明 管理元数据 2022年05月05日 新增数据服务权限说明 新增数据服务权限相关描述。新增说明 数据服务权限说明 2022年03月 数据服务权限说明 更新时间 特性 描述 类别 产品文档 2022年03月03日 Basic项目支持开启机器学习开关 增加开启...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
快速使用数据湖分析版实例
数据湖分析版实例适用于查询存储在Apache Hive、Apache Iceberg、Apache Hudi以及Apache Paimon等多种数据湖上的数据，并涵盖OSS、OSS-HDFS、HDFS等平台，无需数据迁移即可实现快速的数据湖查询分析，且其性能比Presto高出3到5倍。...
EMR Kafka磁盘写满运维
kafka-topics.sh-bootstrap-server core-1-1:9092-topic test-topic-describe 数据清理方式恢复 方案描述 数据清理是指当磁盘被写满时，将业务日志数据（非Kafka内部Topic数据）按照从旧到新的方式删除，直到释放出足够的空间。适用场景 写...
成本追踪
元数据 当发现异常的计算作业时，您可以通过查看元数据来查看作业执行详细信息，找出具体的问题作业进行治理。您可以通过 Information Schema 视图中的TASKS_HISTORY数据统计作业量和TOP费用作业。具体可参考最佳实践 MaxCompute后付费消费...
元数据管理常见问题
本文介绍使用智能媒体管理过程中可能遇到的元数据管理相关的问题。什么是工作流模板？工作流模板（Template）定义了部分接口所需要执行的工作流。在创建智能媒体管理项目、数据集时，可以设置工作流模板ID（TemplateId）。在为存储在阿里云...
锁分析
当面临数据库的死锁问题时，您可以使用锁分析功能，直观地查看和分析数据库发生的死锁，从而快速定位和解决死锁问题，确保数据库的稳定运行。前提条件 目标数据库引擎为：RDS MySQL 自建MySQL PolarDB MySQL版 PolarDB-X 2.0 目标数据库...
锁分析
当面临RDS MySQL的死锁问题时，您可以使用锁分析功能，直观地查看和分析数据库最近一次发生的死锁，从而快速定位和解决死锁问题，确保数据库的稳定运行。前提条件 实例为如下版本：RDS MySQL 8.0 高可用系列或集群系列 RDS MySQL 5.7 高...
全景视角
阿里云DataWorks为您提供数据生产、数据使用、数据管理视角下的主要数据治理情况。您可以根据需求选择合适的视角，高效的进行数据治理工作。背景信息 为提高不同使用场景下的数据治理效率和质量，DataWorks为您提供以下视角：数据管理视角...
0024-00000301
问题描述 问题一：重复创建元数据转换预热任务。问题二：重复创建加速器预热任务。问题原因 问题一：您在发起PutDataLakeStorageTransferJob请求时，job已经存在。问题二：您在发起PutDataLakeCachePrefetchJob请求时，job已经存在。问题...
管理元数据
参数分区 参数名称 描述 数据源配置 元数据名称 填写元数据的名称。命名规则如下：长度不能超过30个字符。允许任何字符。存储类型 存储类型默认为Dataphin的离线计算引擎类型，不支持修改。您也可以查看Dataphin的计算引擎，具体操作请参见...
管理元数据
参数分区 参数名称 描述 数据源配置 元数据名称 填写元数据的名称。命名规则如下：长度不能超过30个字符。允许任何字符。存储类型 存储类型默认为Dataphin的离线计算引擎类型，不支持修改。您也可以查看Dataphin的计算引擎，具体操作请参见...
现代IM系统中的消息系统—模型
Meta 用于描述Timeline的元数据，元数据描述采用free-schema结构，可自由包含任意列。Queue 一个Timeline内所有Message存储在Queue内。Message Timeline内传递的消息体，也是一个free-schema的结构，可自由包含任意列。Index 包含Meta ...
约束和限制
数据湖管理使用限制 限制 描述 元数据发现支持发现的数据源 OSS SLS Tablestore 元数据发现OSS数据源的文件格式 只支持识别CSV、JSON、Parquet、ORC格式的文件 元数据发现OSS数据源目录结构 按照库/表/分区布局的路径 元数据发现OSS数据源...
组件接入
会在Chart文件目录里生成component.yaml的元数据描述文件，如果需要指定该业务组件支持的os架构类型，可以以标准YAML格式直接编辑component.yaml文件中的spec.platforms字段然后重新使用zlink push上传业务组件。组件支持多架构可以使用数...
独立RDS元数据库
本文介绍如何配置独立的阿里云RDS，作为Databricks数据洞察集群的元数据。前提条件 已购买RDS，详情请参见 创建RDS MySQL实例。说明 本文以MySQL 5.7版本为例介绍。元数据库准备 创建hivemeta的数据库 详情请参见 创建数据库和账号 中的...
常见问题
本文为您介绍数据湖构建的常见问题。如何申请数据湖构建产品的公测资格？数据湖构建如何收费？数据湖构建与OSS有什么区别？什么情况下我需要使用数据湖构建？如何申请数据湖构建产品的公测资格？请使用阿里云 主账号 进行公测资格申请（请...
配置说明
EMR Doctor的基本配置在安装过程中已设置，主要控制集群元数据和任务元数据的采集行为，通常情况下不需要修改和下发配置。本文为您介绍EMR Doctor的基本配置信息以及如何修改基本配置。重要 本文为您列出了EMR Doctor中可以修改的配置。...
变更日志
技术元数据在平台已经发布情况下仍然可以上报。[0.8.1-stable.1.11.0-rc1]Fixed 修复?extends xxx 上报到平台后再校验的异常。修复在项目启动等特定阶段，可能存在Action的Event中无Project导致空指针问题。[0.8.0-stable.1.11.0-rc1]Added...
配置自建RDS
本文介绍如何配置自建的阿里云RDS，作为E-MapReduce（简称EMR）上DataLake集群、Custom集群或Hadoop集群的元数据。前提条件 已购买RDS MySQL实例（EMR所有版本均支持MySQL 5.7，仅EMR-3.35.0以上版本、EMR-5.0.0以上版本同时支持MySQL 5.7...
实例元数据
ECS实例元数据是指在ECS实例内部通过访问元数据服务（Metadata Service）获取的实例属性等信息，如实例ID、VPC信息、网卡信息。通过元数据服务，您无需登录控制台或调用API，在实例内部即可访问实例信息，可以更便捷、安全地配置或管理正在...
管理中心概述
在使用Dataphin前，超级管理员需要通过管理中心...创建变更规则 变更规则是基于对象的基础属性抽象出元数据，结合系统内置规则或自定义代码编写的逻辑条件而组成的校验规则；规则校验不通过的对象即被纳入管控，结合变更策略判断管控方式。
元数据迁移
元数据迁移提供可视化的元数据迁移能力，可以帮您快速的将Hive Metastore的元数据迁移到数据湖构建（DLF）中。前提条件 支持Hive版本：2.3.x 版本。支持元数据库类型：MySQL。创建元数据迁移任务 创建迁移任务 打开 数据湖构建控制台。选择...
资源规划
我们建议使用标签用于包括但不限于如下场景：使用标签描述应用：一般情况下，组织可根据日常管理层级构建资源归属的标签组合。组合形式一般不会超过3个标签。例如，某企业为了能够快速找到对应资源，设计如下标签：project：描述资源项目...
表详情
当您需要全面了解并高效地使用表数据，您可在 数据管理DMS 的SQL窗口查看表的详细信息，包含表所属库、字段、索引、行数等技术元数据，类目、表描述等业务元数据，以及表权限、表Owner等管理元数据。背景信息 DMS在表详情中引入表的元数据...
EMR元数据迁移公告
本文为您介绍迁移E-MapReduce（简称EMR）元数据至数据湖元数据DLF（Data Lake Formation）中的原因及迁移流程。迁移原因 2020年阿里云EMR推出全新的数据湖构建和统一元数据服务，为EMR用户提供了更好的统一元数据服务方案。阿里云EMR团队...
管理中心概述
在使用Dataphin前，超级管理员需要通过管理中心添加...变更规则 变更规则是基于对象的基础属性抽象出元数据，结合系统内置规则或自定义代码编写的逻辑条件而组成的校验规则；规则校验不通过的对象即被纳入管控，结合变更策略判断管控方式。
元数据管理
元数据管理是构建数据湖重要一环，通过有效集中式的元数据管理，可以提升数据资产价值。您可以使用该功能管理元数据库和元数据表。创建元数据库 登录 数据湖管理控制台，选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库...
其它特性
document.addEventListener('WV.Event.APP.Background',function(e){/一些机型退出时弹 alert 会出问题。console.log('Event Background');},false);应用激活事件Active 当应用被切换到后台再切换回来时，WindVane会引发WV.Event.APP....
MySQL连接器
通用配置属性 通过配置下列属性，可以将来自数据源的数据类型映射到Presto的数据类型，以及可以在Presto中缓存元数据。属性 描述 unsupported-type-handling 配置如何处理不支持的数据列类型。取值如下：IGNORE（默认值）：列不可访问。...
Dataphin管道任务将数据同步到Oracle数据库选择表之后...
问题描述 Dataphin管道任务将数据同步到Oracle数据库选择表之后报错“获取元数据失败SQLTimeoutException：ORA-01013:user requested cancel of current operation”。问题原因 根据报错“ORA-01013:user requested cancel of current ...
Query洞察
同时可以通过Query洞察快速判断当前Query是否产生了DDL冲突，以及表锁情况，辅助业务进一步排查问题和处理问题。前提条件 存在已登录实例，请参见 登录实例。进入Query洞察 您可从HoloWeb的 诊断与优化 页面直接进入 Query洞察，也可通过...
- 产品推荐
- 这些文档可能帮助您