元数据管理常见问题
问题分析：由于删除OSS上的表数据之前，没有删除数据表对应的元数据，导致表的Schema还存在，但实际的数据已经不存在或已经移动到别的路径。解决方法：可以先修改表的Location为一个存在的路径，然后再删除表。alter table test set ...
落标监控概述
落标监控 落标监控是基于数据标准对映射到的对象进行的监控，可分为 元数据监控 和 内容质量监控：元数据监控是评估资产对象的元数据字段值和标准定义的属性值是否一致。内容监控是指针对标准映射到的资产对象（如字段、指标），评估其具体...
模型介绍
该轨迹数据的元数据是快递本身，包含了单号、物流平台、快递当前位置信息以及快递寄件/收件等元信息，其中单号以及物流平台的组合（Identifier）唯一确定这个快递。数据存储方式分析 将物流平台作为Name进行存储，一个快递平台的数据属于同...
JindoFS缓存模式
元数据同步策略 缓存模式下可能存在JindoFS集群构建之前，您已经在OSS上保存了大量数据的场景，对于这种场景，后续的数据访问会同步数据和元数据到JindoFS集群，数据同步策略为了访问数据都会在本地保留一份；元数据同步策略分为两部分，...
时序模型设计
在车联网场景中车辆的时序数据主要包含了车辆轨迹信息（例如车辆速度、车辆GPS坐标等）。本文介绍如何设计车联网场景下的时序表结构和映射表结构。时序表结构 假设存储车辆元数据的数据表名称为vehicles_timeseriesdata，表结构请参见下表...
数据湖元数据管理
数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，例如同时使用Databricks 数据洞察和E-MapReduce。多个Databricks 数据洞察集群可以共享统一元数据库。前提条件 已在 数据湖构建...
采集管理概述
管理应用内全部业务埋点的元数据，提供按照业务方案分类管理页面埋点元数据的能力，并可以集中管理参数和公共事件。埋点验证：包含 App 验证、Web 验证、小程序验证 功能模块。用户可以通过平台提供的测试工具，在app或网站上进行操作可以...
检索时间线
当不确定要查询的时间线信息（例如度量名称、数据源信息）或者需要按照指定条件列出时间线时，您可以使用QueryTimeseriesMeta接口指定度量名称、数据源、标签、属性、更新时间等多种条件检索时间线。说明 API接口说明请参见 ...
写入
Timestream提供了数据点和元数据的写入接口。数据点写入 Timestream提供了同步和异步两种数据点写入方式。其中异步接口的底层是通过TableStoreWriter来写入，其写入吞吐能力更高，对延时不是特别敏感的业务建议使用异步接口。元数据写入 ...
Spark SQL
在数据湖 元信息发现、T+1全量同步一键建仓 中创建的库表结构,可以被Spark读取并使用，Spark SQL创建或者修改的元数据也可以被其他引擎访问到。下图是Spark SQL和DLA SQL与元数据服务之间的关系。登录 DLA控制台，单击左侧导航栏的 SQL执行...
获取文件元数据
默认情况下，在受版本控制的存储空间（Bucket）中调用HeadObject接口仅获取文件（Object）当前版本的元数据。说明 如果Object的当前版本为删除标记，则返回404 Not Found。请求参数中指定versionId则返回指定版本Object的元数据。注意事项 ...
AD FS和无影云电脑便捷用户SSO
下文指导您如何获取办公网络的元数据文件，实际业务中您也可以按需获取组织ID的元数据文件。获取组织ID元数据文件的 具体操作，请参见 基于SAML配置SSO。在AD FS侧，获取Idp元数据文件并下载到本地。IdP元数据文件的获取地址为：...
检索时间线
当不确定要查询的时间线信息（例如度量名称、数据源信息）或者需要按照指定条件列出时间线时，您可以使用QueryTimeseriesMeta接口指定度量名称、数据源、标签、属性、更新时间等多种条件检索时间线。前提条件 已写入时序数据。具体操作，请...
数据目录
什么是数据目录（Catalog）数据目录（Catalog）是数据湖构建（Data Lake Formation）的元数据最上层实体，它可以包含多个数据库。适用场景 主要适用于元数据隔离的场景，比如多个E-MapReduce集群，每个集群绑定不同的Catalog，每个EMR集群...
基于DLF数据入湖的MaxCompute湖仓一体实践
由于DLF中数据入湖功能已经停止更新，本文采用DataWorks数据集成的入湖方式，以MySQL数据入湖为例，为您介绍在MaxCompute中如何创建外部项目，并查询DLF中的表数据。使用限制 仅华东1（杭州）、华东2（上海）、华北2（北京）、华北3...
配置自建RDS
本文介绍如何配置自建的阿里云RDS，作为E-MapReduce（简称EMR）上DataLake集群、Custom集群或Hadoop集群的元数据。前提条件 已购买RDS MySQL实例（EMR所有版本均支持MySQL 5.7，仅EMR-3.35.0以上版本、EMR-5.0.0以上版本同时支持MySQL 5.7...
修改已有文件的元数据
本文介绍如何修改已有文件（Object）的元数据。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于OSS支持的Region与Endpoint的对应关系，请参见 访问域名和数据...
如何修改OSS服务的Object元数据信息
方法二：通过接口对Object进行拷贝 可以通过CopyObjcet或者UploadPartCopy接口对Object进行拷贝，可以修改目标文件的元数据，然后再将源文件删除即可，建议您使用该方法进行操作。请参考如下代码，本文以Java SDK修改文件目录和名称为例。...
产品优势
无存量数据的低成本批量处理方案 采用厂商的同步处理价格高昂，需要提供存量数据的低成本批量处理方案，接受异步接口返回检测结果。例如针对存量的OSS Bucket中的所有图片，进行打标处理。网盘 对于网盘应用，通常需要用户登录、目录服务、...
UpdateDatabase-更新元数据库信息
CatalogId string 否 数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseInput DatabaseInput 否 新的元数据库 Name string 否 修改前的元数据库名称，更新前后元数据库相同则仅更新其他 Meta database_test 返回参数 名称 类型 ...
元数据仓库共享模型标准访问方式
元数据共享模型是一系列元数据相关的物理表，基于Dataphin的系统元数据和相应计算引擎的元数据加工汇总而成，存储在Dataphin元仓租户下的元仓项目中，产出时效为T+1。若您需访问元仓共享模型，可以通过集成任务将元仓中所需的元仓共享模型...
Dataphin编辑治理项规则自定义SQL如何书写
示例中的select字段不是必填的，但是需要和自己新建的元数据表的字段对应，并且select来源表需要为自己新建的元数据表（SQL编辑框上面也有选择元数据表的地方）。2.对于物理表自定义SQL，需要输出主键table_guid字段，规则[maxcompute]....
获取文件元数据
您可以获取一个文件（Object）的元数据信息，包括该Object的ETag、Size、LastModified信息，并且不返回该Object的内容。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网...
管理数据流动任务
任务说明 任务类型 按任务对数据的操作，可分为导入（Import）、导出（Export）和删除（Evict）三种类型。类型 说明 导入（Import）将源端存储的数据导入CPFS文件系统。导入类型：支持导入元数据（Metadata）和数据（MetaAndData）两种数据...
获取文件元数据
默认情况下，在受版本控制的存储空间（Bucket）中调用HeadObject接口仅获取文件（Object）当前版本的元数据。说明 如果Object的当前版本为删除标记，则返回404 Not Found。请求参数中指定versionId则返回指定版本Object的元数据。注意事项 ...
管理文件元数据
nil { fmt.Println("Error:",err)os.Exit(-1)} fmt.Println("Object Meta:",props)} 修改已有文件的元数据 以下代码用于修改已有文件的元数据。package main import("fmt""os""github.com/aliyun/aliyun-oss-go-sdk/oss" )func main(){/从...
0016-00000836
问题描述 SelectObject请求体XML中设置了Range标签，但是目标文件的Select元数据与请求体XML中设置的元数据不匹配。问题原因 您发起了SelectObject请求，并在请求体XML中通过设置了要查询的文件内容范围，但是查询的目标文件对应的Select ...
Dataphin数据集成Oracle组件下拉表清单提示无法获取...
问题描述 Dataphin数据集成Oracle组件下拉表清单提示无法获取元数据。问题原因 数据源中绑定的账号没有数据库元数据的相关表权限，涉及的表如下：ALL_TABLES ALL_TAB_COMMENTS ALL_VIEWS ALL_TAB_COLUMNS ALL_COL_COMMENTS 解决方案 在...
表操作
元数据表只能有一个，所有数据表的元数据信息全部记录到同一张表中。Timestream提供了元数据表和数据表的创建和删除功能。元数据表 创建元数据表时可以预定义需要建索引的Attributes以及对应的索引属性和类型。索引类型支持LONG、DOUBLE、...
CreateDatabase-新增元数据库
在数据湖元数据中创建一个新的元数据库。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的...
获取文件元数据
默认情况下，在受版本控制的存储空间（Bucket）中调用HeadObject接口仅获取文件（Object）当前版本的元数据。如果您需要返回指定版本Object的元数据，您可以在请求参数中指定版本ID。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您...
指标总览
单击操作列的 详情，可以查看当前指标的元数据、详细的上报量、时间线数量等内容。更多信息，请参见 指标详情。指标详情 基本信息 基本信息显示了指标名称、单位、指标类型、采集间隔、付费类型、指标来源和采集Job。存储实例 存储实例展示...
指标总览
单击操作列的 详情，可以查看当前指标的元数据、详细的上报量、时间线数量等内容。更多信息，请参见 指标详情。指标详情 基本信息 基本信息显示了指标名称、单位、指标类型、采集间隔、付费类型、指标来源和采集Job。存储实例 存储实例展示...
配置说明
collect.storage.intermediate.path/mnt/disk1/log/doctor/derby/存储元数据采集过程产生的中间数据的路径。存储元数据采集过程会产生中间数据，数据大小与FSImage成正比。collect.storage.max.depth 6 高级配置。存储元数据遍历目录层深，...
概述
使用场景 典型的应用场景如下：近实时计算场景 时间序列数据的场景 预测建模 与存量数据共存 通常生产环境中会有大量的存量数据，数据可能存储在HDFS、RDBMS或Kudu中。如果您只是想访问和查询这些存量数据，可以使用Impala访问和查询，而...
在Azure中获取SAML配置说明
在 Azure中 获取SAML的元数据配置文件 单击列表页，选择 Azure Active Directory-企业应用程序，进入企业应用程序页面。新建应用程序。在 浏览Azure AD库 页面，单击 创建你自己的应用程序，自建应用程序。输入应用名称，并选择 集成未在库...
拷贝文件
如果指定了 meta 参数，则拷贝后的文件将使用新的元数据覆盖源文件的元数据。以下代码用于拷贝文件：require 'aliyun/oss' client=Aliyun:OSS:Client.new(#填写Bucket所在地域对应的Endpoint。以华东1（杭州）为例，Endpoint填写为...
管理单点登录
获取服务提供商（SP）元数据 在 SSO登录 的 服务提供商（SP）信息 区域，单击 下载SP元数据文档，您在外部IdP中配置单点登录时需要使用该SP元数据文档。同时，您可以查看或复制 ACS URL、Entity ID，用于外部IdP的手动配置。说明 如您启用...
单点登录概述
如果您需要配置更多IdP信息，请在IdP端生成元数据文件并使用上传元数据的方式进行配置。在云SSO中启用单点登录。具体操作，请参见 启用单点登录。通过SCIM同步用户或在云SSO中创建IdP的同名用户。如果IdP中有大量用户，且IdP支持SCIM协议，...
Hive数据源
通过Hive Catalog，您可以直接查询Hive中的数据。本文为您介绍如何创建和查看Hive Catalog。创建Hive Catalog 语法 CREATE EXTERNAL CATALOG<catalog_name>PROPERTIES("key"="value",.);参数说明 catalog_name：Hive Catalog的名称，必...
- 产品推荐
- 这些文档可能帮助您