如何使用 Trialforce 模板创建 Scratch Org
然而，有时您可能想要在 Scratch Org 中使用预定义的元数据或已安装的包开始工作。简而言之，您想知道如何使用模板来创建 Scratch Org。解决方案 阿里云上的 Salesforce 允许您基于自己的Dev Org的结构创建自己的 Trialforce 模板。您可以...
审计日志
Python Module InstallPythonModule 安装Python module。UpgradePythonModule 升级Python module。DeletePythonModule 删除Python module。规范设置 SecurityConfigSetting 安全设置。DataDownloadBasicSetting 修改文件下载格式配置。数仓...
创建集群
BootstrapAction.N.ExecutionMoment String 否 BEFORE_INSTALL 脚本执行时机，取值如下：BEFORE_INSTALL：集群服务安装之前执行。AFTER_STARTED：集群服务启动之后执行。BootstrapAction.N.ExecutionFailStrategy String 否 FAILED_BLOCKED...
自定义购买实例
（可选）高级选项 高级选项包括主机名、实例元数据、实例自定义数据等，用于定制实例在控制台和操作系统内显示的信息或使用方式。参数 说明 实例名称、描述、主机名、有序后缀 创建多台实例时，设置有序的实例名称和主机名称便于从名称了解...
实例元数据
访问 实例元数据 重要 实例或实例元数据中若包含了敏感数据，建议您采取适当的措施来保护敏感数据，例如访问控制、数据加密等。实例元数据访问 模式说明 实例元数据支持普通模式和加固模式两种访问模式。普通模式和加固模式 的区别 对比项 ...
MaxCompute后付费消费突增排查
说明 如果需要同时对多个MaxCompute项目的元数据进行统计分析，您可以创建多个ODPS SQL节点，将这些MaxCompute项目的元数据写入到同一张数据备份表中。步骤四：通过费用中心分析高额消费项目和计费项 进入费用中心请参见 进入费用中心，在...
迁移自建Kafka集群至新实例
您也可以在运行迁移工具时通过指定-installTsar 参数自动安装Tsar软件，但自动安装比较耗时，也有可能因为环境差异，导致安装失败。背景信息 Kafka集群元数据是指Kafka集群的Topic和Group配置信息。Kafka集群元数据存储于ZooKeeper上，...
使用Hadoop作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
统计MaxCompute TOPN费用账号及耗时作业
说明 如果需要同时对多个MaxCompute项目的元数据进行统计分析，您可以创建多个ODPS SQL节点，将这些MaxCompute项目的元数据写入到同一张数据备份表中。步骤四：创建统计TOPN费用账号及耗时作业 TASKS_HISTORY视图中的settings会记录上层...
配置说明
EMR Doctor的基本配置在安装过程中已设置，主要控制集群元数据和任务元数据的采集行为，通常情况下不需要修改和下发配置。本文为您介绍EMR Doctor的基本配置信息以及如何修改基本配置。重要 本文为您列出了EMR Doctor中可以修改的配置。...
项目级别Information Schema
元数据及作业历史数据保存在Information Schema空间下，如果需要对历史数据进行快照备份或获得超过14天的作业历史，您可以定期将Information Schema的数据备份到指定项目。获取Information Schema服务 自2024年03月01日开始，MaxCompute...
API概览
元数据 API 标题 API概述 目录 目录 CreateCatalog 创建数据湖数据目录 创建数据湖数据目录。DeleteCatalog 删除数据湖数据目录 删除数据目录。UpdateCatalog 更新目录 更新数据目录内容。ListCatalogs 获取数据目录列表 分页查询，获取...
管理元数据
参数分区 参数名称 描述 数据源配置 元数据名称 填写元数据的名称。命名规则如下：长度不能超过30个字符。允许任何字符。存储类型 存储类型默认为Dataphin的离线计算引擎类型，不支持修改。您也可以查看Dataphin的计算引擎，具体操作请参见...
管理元数据
参数分区 参数名称 描述 数据源配置 元数据名称 填写元数据的名称。命名规则如下：长度不能超过30个字符。允许任何字符。存储类型 存储类型默认为Dataphin的离线计算引擎类型，不支持修改。您也可以查看Dataphin的计算引擎，具体操作请参见...
元数据管理
元数据管理是构建数据湖重要一环，通过有效集中式的元数据管理，可以提升数据资产价值。您可以使用该功能管理元数据库和元数据表。创建元数据库 登录 数据湖管理控制台，选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库...
元数据抽取
在业务运行中，经常会沉淀到大量数据到数据湖中这部分数据可能是没有像数据仓库一样经过严格的数据管理流程或沉淀规范明确的元数据信息。元数据抽取可以分析数据湖中特定格式的数据，并自动生成元数据信息，通过周期性或手动执行，实现数据...
元数据采集
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
数据湖构建的审计事件
数据湖构建已与操作审计服务集成，您可以在操作审计中查询用户操作数据湖构建产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过...
Hive统一元数据
EMR-2.4.0之前版本，所有集群采用的是集群本地的MySQL数据库作为Hive元数据库；EMR-2.4.0及后续版本，E-MapReduce（简称EMR）支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接，所以集群必须要有公网IP，同时请...
元数据迁移
元数据迁移提供可视化的元数据迁移能力，可以帮您快速的将Hive Metastore的元数据迁移到数据湖构建（DLF）中。前提条件 支持Hive版本：2.3.x 版本。支持元数据库类型：MySQL。创建元数据迁移任务 创建迁移任务 打开 数据湖构建控制台。选择...
EMR元数据迁移DLF最佳实践
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖...
迁移元数据上云
元数据存储于RabbitMQ集群的内部数据库，在集群的各个节点之间自动复制。集群内各节点的元数据内容都相同。使用限制 由于RabbitMQ和 云消息队列 RabbitMQ 版 在权限管控机制等方面存在差异，rabbit_version、users、permissions、...
Hive元数据说明
DLF统一元数据 元数据存储在阿里云数据湖构建（Data Lake Formation，简称DLF）中。数据湖构建具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持元数据多版本管理和Data Profile功能。另外，DLF还...
EMR元数据迁移到数据湖构建（DLF）
本文为您介绍如何将Hive MetaStore存储在MySQL、RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置使用DLF作为数据湖统一元数据。适用场景 从其他大数据集群迁移到阿里云E-MapReduce产品。从阿里云EMR老集群（MySQL做元数据），整体...
概述
例如相册场景，一个相册创建一个数据集，调用 BatchIndexFileMeta-批量索引文件元信息 或者 IndexFileMeta-索引文件元信息 接口为照片建立元数据索引，使用人脸聚类功能，将相册中存在相似人脸的多张照片进行分组。具体操作，请参见 创建...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
EMR元数据迁移公告
本文为您介绍迁移E-MapReduce（简称EMR）元数据至数据湖元数据DLF（Data Lake Formation）中的原因及迁移流程。迁移原因 2020年阿里云EMR推出全新的数据湖构建和统一元数据服务，为EMR用户提供了更好的统一元数据服务方案。阿里云EMR团队...
元数据仓库共享模型概述
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。...
计费模式
本文介绍数据湖构建中各资源的计费规格，包括入湖作业资源用量、数据存储对象和元数据请求三部分。计量计费项 重要 DLF产品目前所有功能为 0折扣活动阶段，即使超过免费阶梯限定后，目前也均不会产生实际计费。元数据对象的存储量 元数据...
EMR+DLF数据湖解决方案
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持数据湖的多种管理如数据生命周期，湖格式自动优化，存储分析等。同时支持多源数据入湖以及一站式数据探索的能力。本文为您介绍EMR+DLF数据湖方案...
元数据
元数据用于产品内的展示、检索使用，同时也是敏感数据规则自动化识别的基础信息，也是库、表、字段、数据行、可编程对象等细粒度的权限管控的基础信息。数据管理DMS会根据数据库实例的管控模式提供不同的采集范围与采集方式。背景信息 ...
数据湖元数据管理
Databricks 数据洞察DBR 7.3,Spark 3.0.1,Scala 2.12及之后版本，在创建集群选择元数据类型时支持数据湖元数据作为Hive数据库。数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，...
产品简介
阿里云数据湖构建（Data Lake Formation，简称 DLF）是一款全托管的快速帮助用户构建云上数据湖及Lakehouse的服务，为客户提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力。DLF可以帮助用户快速...
SAML配置
2.进入 Microsoft Azure AD界面，配置SP的元数据信息，获取IDP的元数据信息 步骤一：在Azure AD中创建应用 管理员用户登录 Microsoft Azure AD界面，点击 查看。在左侧导航栏，选择 企业应用程序>所有应用程序。单击 新建应用程序。在 浏览...
数据查询
在迷你图区域，单击 快速对比，系统将同步您已完成的配置（元数据筛选条件、标签筛选条件、聚合策略、元数据时间范围、主时间范围）到 数据对比 页面，并展示数据对比迷你图和火焰图。更多信息，请参见 Profile Explorer使用（数据对比）。...
set-meta（管理文件元数据）
ossutil64 set-meta oss:/examplebucket/exampleobject.txt X-Oss-Meta-Createdby-delete 示例二：批量删除多个Object的自定义元数据 批量删除多个Object的自定义元数据步骤如下：将待删除自定义元数据的Object名称写入本地文件localfile....
元数据导出
DLF提供了元数据导出工具，可以帮您将DLF元数据导出到Hive Metastore元数据中。前提条件 已有一个EMR集群，且Metastore服务配置的元数据库与导出的目标RDS库要一致。同步任务会使用EMR集群的Metastore服务，以Spark作业的方式运行在该EMR...
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
- 产品推荐
- 这些文档可能帮助您