配置说明
EMR Doctor的基本配置在安装过程中已设置，主要控制集群元数据和任务元数据的采集行为，通常情况下不需要修改和下发配置。本文为您介绍EMR Doctor的基本配置信息以及如何修改基本配置。重要 本文为您列出了EMR Doctor中可以修改的配置。...
创建TDH Inceptor计算源
前提条件 若以TDH Inceptor作为元仓，或元仓初始化中的元数据库配置使用TDH Incepor作为元数据库获取方式时，需要具备以下条件：已在TDH Inceptor中创建dataphin_meta的项目。元仓初始化中TDH Inceptor配置的用户，需具备dataphin_meta项目...
数据湖管理FAQ
元数据发现相关问题 为什么配置了元信息发现，并在“手动执行”之后，过了几天新的数据看不到了？OSS数据源配置数仓模式和自由模式的差异以及适用场景是什么？为什么Excel导出的CSV文件没有被识别建表？为什么一个目录下面是同样Schema的...
使用Hadoop作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
创建Impala数据源
配置数据源元数据库参数。参数 描述 数据库类型 请根据集群中使用的元数据库类型，选择数据库类型。Dataphin支持选择MySQL和PostgreSQL。JDBC URL 填写对应元数据库的链接地址：MySQL：格式为 jdbc:mysql:/host[,failoverhost.]port/dbname...
1.0.8版本
1）内容管理-橱窗推荐 功能变更公告 数字工厂 1）主数据集成应用优化 主数据的编码支持层级嵌套 元数据属性为主数据、工厂模型等类型支持默认值 元数据属性增加库存地点类型 元数据集成映射配置保存和上传 2）工厂模型\工艺路径\库存模型的...
Hudi连接器
使用DLF元数据 如果数据表的元数据使用了 DLF统一元数据，则还需为Hive、Iceberg和Hudi等连接器进行额外的配置。此时查询不再依赖数据集群，hive.metastore.uri 可以任意填写，Trino能够直接访问到同一个账号下的DLF元数据。数据湖元数据...
DatabaseInput
名称 类型 描述 示例值 object 数据库对象 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如可填写 HDFS 路径/hdfs/hivedb/data Name string 元数据库名称，校验长度 128，不支持...
Database
名称 类型 描述 示例值 object 数据库对象 CreateTime integer 创建时间，Unix 时间戳秒数 1608707407 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如 HDFS 路径/hdfs/hivedb/...
落标监控概述
Dataphin的公共系统属性内置了常用的元数据监控，您可以在创建标准集时引用该系统属性，则该标准集下创建的数据标准默认继承系统属性的监控配置，详情请参见：新建和管理公共标准集属性。内容质量监控 基于标准对资产对象添加内容质量监控...
落标监控概述
Dataphin的公共系统属性内置了常用的元数据监控，您可以在创建标准集时引用该系统属性，则该标准集下创建的数据标准默认继承系统属性的监控配置，详情请参见：新建和管理公共标准集属性。内容质量监控 基于标准对资产对象添加内容质量监控...
实现原理
监控的通用逻辑 定义数据源：首先，需要建立元数据基本模型，元数据是监控系统的根基。例如：定义应用、部署实例、机房信息，单元化信息等。在 SOFAStack 场景下，这部分信息需要从 PaaS 侧自动获取。数据采集：通过安装在机器上的 Agent ...
现代IM系统中的消息系统—实现
功能：元数据管理 元数据是指描述数据的数据，此处主要体现为用户元数据和会话元数据两类。此处群的元数据信息包括群ID（复用群的timelineId）、群名称、创建时间等信息，可以直接基于timelineMeta的管理表完成实现，所有Group类型的...
MySQL连接器
通用配置属性 通过配置下列属性，可以将来自数据源的数据类型映射到Presto的数据类型，以及可以在Presto中缓存元数据。属性 描述 unsupported-type-handling 配置如何处理不支持的数据列类型。取值如下：IGNORE（默认值）：列不可访问。...
创建Hadoop计算源
元数据库获取方式 参数 描述 数据库类型 根据集群中使用的元数据库类型，选择数据库。Dataphin支持选择 MySQL。支持 MySQL 的版本包括 MySQL 5.1.43、MYSQL 5.6/5.7 和 MySQL 8 版本。JDBC URL 填写目标数据库的JDBC连接地址。例如：MySQL...
元数据迁移
单击创建迁移任务，开始配置元数据迁移任务。源库配置 元数据库类型：目前仅支持MySQL类型。MySQL类型：Aliyun RDS：阿里云官网提供的RDS，可参考 云数据库RDS MySQL 版。其他MySQL：EMR内置MySQL、自建MySQL或其他MySQL数据库。如果选择为...
CreateService-创建服务
新增入参：SourceServiceId 新增入参：SourceServiceVersion 2023-08-03 OpenAPI 描述信息更新、OpenAPI 入参发生变更 看变更集 变更项 变更内容 API 描述 OpenAPI 描述信息更新。入参 OpenAPI 入参发生变更。新增入参：LogMetadata 2023-...
UpdateService-更新服务
升级服务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI ...新增入参：LogMetadata 2023-05-25 API 内部配置变更，不影响调用 看变更集 变更项 变更内容 API 内部配置变更，不影响调用。
附录：数据地图权限管控能力总览
在 数据地图 页面，鼠标悬停至左侧导航栏的 图标，选择 配置管理>项目管理配置，即可进入工作空间管理页面，配置数据地图需展示的项目元数据，详情请参见 项目管理配置。控制某项目是否允许其他项目成员在数据地图查看该项目下的元数据。...
CreateProject-创建项目
10000000000 DatasetMaxRelationCount long 否 每个数据集中元数据关系的最大个数，默认值为 100000000000。说明 当前该配置仅为预留，使用中并不做实际限制。100000000000 DatasetMaxTotalFileSize long 否 每个数据集中文件总大小的最大...
DescribeHubClusterDetails-获取主控集群详情
["192.168.0.0/16"]WorkFlow object ACK One 工作流元数据 ArgoWorkflow object ACK One 工作流元数据 Enabled boolean 是否启用工作流配置。取值 true：启用 false：禁用 true ServerEnabled string 是否启用 Argo Server UI。取值 true：...
QueryContent-查询文档内容
用自然语句从指定文档库检索向量和元数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句...
参数配置
元数据与集群管理相关配置 参数 默认值 描述 catalog_try_lock_timeout_ms 5000 Catalog Lock获取的超时时长，单位为ms。edit_log_roll_num 50000 Image日志拆分大小。ignore_unknown_log_id false 当FE回滚到低版本时，可能存在低版本BE...
类目导航管理：配置管理
其他配置 您可以在左侧导航的 其他配置 页面，配置：是否限制RAM用户必须加入任意工作空间后才可以访问数据地图功能 是否限制RAM用户必须加入任意工作空间才可以调用元数据OpenAPI 说明 该配置需要由阿里云主账号或具备...
Presto Server配置和SQL示例
配置PrestoDB对接Tablestore时，您需要根据实际进行Presto Server的Catalog配置和Schema配置。对接完成后，您可以参考常见SQL示例进行数据操作。Server配置 根据需要对Presto Server进行Catalog配置和Schema配置。Catalog配置主要包括连接...
使用星环TDH作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
参数配置
元数据与集群管理相关配置 配置项 默认值 描述 meta_dir StarRocksFe.STARROCKS_HOME_DIR/meta 元数据保留目录。heartbeat_mgr_threads_num 8 HeartbeatMgr中发送心跳任务的线程数。heartbeat_mgr_blocking_queue_size 1024 HeartbeatMgr中...
时序表操作
创建时序表时，您可以配置数据生命周期 和为时序表创建分析存储。创建时序表后，您可以根据实际管理时序表，例如获取实例中的所有时序表名称、更新时序表的配置信息等。注意事项 单个实例中最多可以创建64张表。其中表包含数据表、二级索引...
管理单点登录
支持手动配置和上传元数据文件两种方式配置身份提供商信息。其中手动配置仅能配置单点登录所必须的属性：Entity ID、登录地址和SAML签名证书。如果您需要配置更多IdP信息，请在IdP端生成元数据文件并使用上传元数据的方式进行配置。配置...
EMR元数据迁移DLF最佳实践
创建迁移任务 进入数据湖构建控制台，切换到EMR集群所属的区域，选择左侧菜单“元数据管理-元数据迁移”，并单击“创建迁移任务”进行配置迁移任务，如下图 源库配置 元数据库类型：选择MySQL类型即可。MySQL类型：根据Hive元数据类型选择...
SAML配置
1.在PDS启用SAML配置开关，获取SP的元数据文件 管理员 进入管理控制台>专属登录配置>SAML配置。启用SAML配置。下载SP的元数据信息，将下载好的XML文件保存到本地。说明 服务提供商（SP）元数据信息保存了PDS作为一个SAML服务提供商的访问...
RAM鉴权
配置审计统一使用通配符星号（*）来代替。RAM鉴权说明 配置审计所有API中可授权的操作（Action）和资源（Resource）的格式如下：Action格式：config:API名称 Resource格式：acs:config:*:{AccountId}:*例如：API为CreateConfigRule，Action...
创建Hive数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
WordPress miniOrange SAML
Upload Metadata IdP 元数据 IdP Metadata 从 IDaaS 单点登录配置页 应用配置信息 中获取，对应“IdP 元数据”，您可以将元数据下载到本地之后，然后在当前页面进行上传。Enter metadata URL 从 IDaaS 单点登录配置页 应用配置信息 中获取...
Partition
1608730999 Parameters object 分区有关的键值对参数 string 键值对 key Privileges PrincipalPrivilegeSet 权限配置，可以空 Sd StorageDescriptor 存储描述符 TableName string 元数据表名称 test_table_20201223 Values array 分区的值 ...
Hive数据源
不同元数据服务的配置方法如下：属性 是否必选 说明 type 是 数据源类型，取值为 hive。hive.metastore.uris 否 Hive MetaStore的URI。格式为 thrift:/的IP地址>:<端口号>，端口号默认为9083。hive.metastore.type 否 配置MetaStore类型，...
PartitionInput
1608730999 Parameters object 分区有关的键值对参数 string 键值对 key Privileges PrincipalPrivilegeSet 权限配置，可以空 Sd StorageDescriptor 存储描述符 TableName string 元数据表名称 test_table_20201223 Values array 分区的值 ...
进行用户SSO时企业IdP的SAML配置
本文主要介绍企业在使用用户SSO时，如何在企业身份提供商（IdP）中配置阿里云为可信SAML服务提供商（SP）。操作步骤 从阿里云获取SAML服务提供商元数据URL。使用阿里云账号登录 RAM控制台。在左侧导航栏，选择 集成管理>SSO管理。在 SSO...
调用方式
参数 描述 Endpoint 配置审计API的服务接入地址为 config.cn-shanghai.aliyuncs.com 。Action 要执行的操作。例如调用 DescribeDiscoveredResource 查询资源配置详情。Version 要使用的API版本。配置审计的API版本是 2019-01-08。...
进行角色SSO时企业IdP的SAML配置
进行角色SSO时，为了建立企业IdP对阿里云的信任，需要在企业IdP中配置阿里云为可信SAML服务提供商（SP）。操作步骤 从阿里云获取SAML服务提供商元数据URL。URL为 https://signin.aliyun.com/saml-role/sp-metadata.xml 。在企业IdP中创建...
- 产品推荐
- 这些文档可能帮助您