EMR+DLF数据湖解决方案
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持数据湖的多种管理如数据生命周期，湖格式自动优化，存储分析等。同时支持多源数据入湖以及一站式数据探索的能力。本文为您介绍EMR+DLF数据湖方案...
Hive统一元数据
EMR上可以支持将数据存放在阿里云OSS中，在大数据量的情况下将数据存储在OSS上会大大降低使用的成本，EMR集群主要用来作为计算资源，在计算完成之后可以随时释放，数据在OSS上，同时也不用再考虑元数据迁移的问题。数据共享。使用统一的...
模板结构说明
Metadata（可选）模板编写者可以使用Metadata来存放与模板相关的元数据信息，内容可以为JSON格式。Parameters（可选）定义创建资源栈时，模板用户可以定制化的参数。通常，模板的编辑者会把ECS的规格设计成一个参数。参数支持默认值。使用...
管理文件元数据
注意事项 在Ruby SDK中，文件元数据用 Hash 来表示，其他key和value均为 String 类型。文件元数据会附在HTTP Headers中，而HTTP协议规定请求头部不能包含复杂字符，元数据只能是简单的ASCII可见字符且不能包含换行。所有元数据的总大小不能...
迁移元数据上云
迁移元数据上云是指将开源RabbitMQ集群的元数据导出，并将其导入到阿里云 云消息队列 RabbitMQ 版 实例。云消息队列 RabbitMQ 版 会根据成功导入的元数据在目标 云消息队列 RabbitMQ 版 实例中创建对应的Vhost、Queue、Exchange、Binding，...
自定义OSS文件下载时的文件名
为了避免重新上传整个对象内容并减少数据覆盖的风险，推荐使用SDK中的 update_object_meta 接口而非 PutObject 接口来安全地更新对象的元数据。示例代码 更新文件的元数据中的 Content-Disposition 字段的Python示例代码如下：#-*-coding:...
EMR元数据迁移公告
本文为您介绍迁移E-MapReduce（简称EMR）元数据至数据湖元数据DLF（Data Lake Formation）中的原因及迁移流程。迁移原因 2020年阿里云EMR推出全新的数据湖构建和统一元数据服务，为EMR用户提供了更好的统一元数据服务方案。阿里云EMR团队...
实例元数据
访问 实例元数据 重要 实例或实例元数据中若包含了敏感数据，建议您采取适当的措施来保护敏感数据，例如访问控制、数据加密等。实例元数据访问 模式说明 实例元数据支持普通模式和加固模式两种访问模式。普通模式和加固模式 的区别 对比项 ...
PutObject
不建议使用ETag作为Object内容的MD5来校验数据完整性。默认值：无 Expires 字符串 否 2022-10-12T00:00:00.000Z 缓存内容的绝对过期时间，格式是格林威治时间（GMT）。默认值：无 x-oss-forbid-overwrite 字符串 否 false 指定PutObject...
语义检索
若要利用语义搜索找到包含“IT服务流程”内容的文件，可以创建一个数据集来为网盘中的文件建立元数据索引，之后使用关键词“IT服务流程”进行检索。如下以查询项目 test-project 下，test-dataset 数据集中包含“IT服务流程”的文件为例，...
迁移概述
迁移自建Kafka集群元数据至已有实例 迁移自建Kafka集群元数据至新实例 迁移Topic上云 迁移Group上云 MirrorMaker 您可以使用该工具将源自建Kafka集群中的数据镜像拷贝到目标 云消息队列 Kafka 版 集群。迁移数据上云 迁移操作流程 流程说明...
基本概念
IMM处理引擎将根据配置的工作流模板来决定要执行的算子操作，算子对元数据进行采集并将元数据索引到数据集中。请求类型 同步请求 客户端发出请求后阻塞等待结果返回，通常在几百毫秒内返回。例如图片实例中的人脸检测、内容识别等。异步...
获取文件元数据
通过HeadObject方法可以只获取文件元数据而不获取文件的实体。注意事项 文件元数据是对文件的属性描述，包括HTTP标准属性（HTTP Header）和用户自定义元数据（User Meta）两种。您可以通过设置HTTP标准属性来自定义HTTP请求的策略，例如...
管理文件元数据
上传文件时指定文件元数据 使用 put、putStream 和 multipartUpload 时，都可以通过指定 meta 参数来指定文件的元数据：const OSS=require('ali-oss');const client=new OSS({/yourregion填写Bucket所在地域。以华东1（杭州）为例，Region...
转换元数据
OSS-HDFS服务支持在未部署任何导入和导出工具的情况下，直接将OSS元数据转换为OSS-HDFS元数据。前提条件 已开通并授权访问OSS-HDFS服务。具体步骤，请参见 开通并授权访问OSS-HDFS服务。仅 华北3（张家口）地域支持将OSS元数据转换为OSS-...
消息模板
背景信息 Dataphin中阿里云短信服务基于 阿里云短信 创建的短信模板来配置，您可以在消息模板中查看模板内容，包括离线计算、实时计算、实时集成、基线监控、数据质量、数据服务模块。前提条件 在消息渠道中已开启邮件、短信、电话、钉钉群...
管理文件元数据
print(objectmeta.headers['Content-Type'])print(objectmeta.headers['Last-Modified'])print(objectmeta.headers['x-oss-object-type'])相关文档 关于文件元数据的更多内容，请参见 管理文件元数据。关于在简单上传过程中设置文件元数据...
管理文件元数据
您还可以通过设置用户自定义元数据来标识Object的用途或属性等。注意事项 当您使用webpack或browserify等打包工具时，请通过 npm install ali-oss 的方式安装Browser.js SDK。通过浏览器访问OSS时涉及跨域请求，如果未设置跨域规则，浏览器...
管理文件元数据
您还可以通过设置用户自定义元数据来标识Object的用途或属性等。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于OSS支持的Region与Endpoint的对应关系，请...
管理文件元数据
您还可以通过设置用户自定义元数据来标识Object的用途或属性等。HTTP标准属性 OSS将为上传至Bucket中的每个Object保留如下HTTP标准属性。名称 描述 Content-Type 指定Object的文件类型。内容类型决定浏览器将以什么形式、什么编码读取文件...
应用场景
物联网存储IoTstore作为物联网的统一数据存储平台...数据检索：根据多个设备指标来查找设备，需要支持根据一个或多个字段值组合条件来检索设备元数据。异常实时监测：设备状态更新后，对异常状态实时监测，需要支持对更新后数据进行实时计算。
成本追踪
元数据 当发现异常的计算作业时，您可以通过查看元数据来查看作业执行详细信息，找出具体的问题作业进行治理。您可以通过 Information Schema 视图中的TASKS_HISTORY数据统计作业量和TOP费用作业。具体可参考最佳实践 MaxCompute后付费消费...
上传文件时设置元数据
您还可以通过设置用户自定义元数据来标识Object的用途或属性等。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于OSS支持的Region与Endpoint的对应关系，请...
管理文件元数据
您还可以通过设置用户自定义元数据来标识Object的用途或属性等。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于OSS支持的Region与Endpoint的对应关系，请...
Spark SQL
在数据湖 元信息发现、T+1全量同步一键建仓 中创建的库表结构,可以被Spark读取并使用，Spark SQL创建或者修改的元数据也可以被其他引擎访问到。下图是Spark SQL和DLA SQL与元数据服务之间的关系。登录 DLA控制台，单击左侧导航栏的 SQL执行...
管理文件元数据
您还可以通过设置用户自定义元数据来标识Object的用途或属性等。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于OSS支持的Region与Endpoint的对应关系，请...
数据湖管理FAQ
在SLS投递数据所在的OSS region上，使用“OSS元数据发现”来替代“SLS元数据发现”任务，进而实现自动建表时查询SLS所投递的数据。OSS存储CSV格式文件时，为什么OSS元数据发现不出任何表？这种情况一般原因有：某个字段值超过了4096字节...
管理文件元数据
您还可以通过设置用户自定义元数据来标识Object的用途或属性等。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于OSS支持的Region与Endpoint的对应关系，请...
许可证配置
如果您的私有部署服务需要限制服务实例中应用的使用期限、获取或传入自定义信息等，可以在创建服务时设置许可证。本文介绍了许可证的相关信息。背景信息 许可证设置包含软件的使用时长和自定义元数据的设置。当服务实例的许可证到期后，...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS或Flink、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据...
删除时间线元数据
使用DeleteTimeseriesMeta接口，您可以批量删除时间线元数据。前提条件 已写入时序数据。具体操作，请参见 写入时序数据。已初始化TimeseriesClient。具体操作，请参见 初始化。参数 timeseriesKey用于标识一个时间线，您可以传入多个...
进行用户SSO时阿里云SP的SAML配置
本文介绍通过基于SAML 2.0的用户SSO，配置相应元数据来建立阿里云对企业身份提供商（IdP）的信任，实现企业IdP通过用户SSO登录阿里云。背景信息 设置默认域名、域别名或辅助域名可以简化SAML SSO的配置流程。关于如何设置阿里云账号的默认...
使用独立的Trino集群
本文为您介绍创建独立的Trino集群后，如何配置连接器和数据湖元数据，以使用独立的Trino集群。背景信息 在使用开源大数据平台E-MapReduce控制台时，您可以在创建DataLake集群、自定义集群或Hadoop集群时选择Trino服务，或者创建独立的Trino...
使用SQL查询时序数据
创建时序表并建立SQL映射关系后，您可以通过控制台、SDK等不同方式使用SQL查询时序数据。时序表的SQL映射关系 根据每个时间线每个时刻对应一个值或者多个值，时序模型分为“单值模型”和“多值模型”。对于同一个时序表，您可以建立三种SQL...
删除时间线元数据
使用DeleteTimeseriesMeta接口，您可以批量删除时间线元数据。说明 API说明请参见 DeleteTimeseriesMeta。前提条件 已写入时序数据。具体操作，请参见 写入时序数据。已初始化TimeseriesClient。具体操作，请参见 初始化OTSClient。参数 ...
对象概述
对象（Object）是OSS存储数据的基本单元，也被称为OSS的文件。和传统的文件系统不同，Object没有文件目录层级结构的关系。Object类型 Object包含以下三种类型：通过 简单上传 生成的Object类型为Normal。通过 分片上传 生成的Object类型为...
2023-04-13版本
作业启动 新增元数据页面 Flink社区不推荐使用临时表，建议您使用Catalog来创建SQL作业，从而避免重复使用DDL。因此，本版本将元数据能力继续增强，您可以在SQL作业中更多使用元数据，方便管理SQL作业。暂无 SQL作业调试流程优化 优化了SQL...
SAML2.0对接
前言 安全断言标记语言（英语：Security Assertion Markup Language，简称 SAML）是一个基于XML的开源标准数据格式，它在系统之间交换身份验证和授权数据，尤其是在身份提供者和服务提供者之间交换。IoT支持基于 SAML 2.0 的 SSO（Single ...
工作流模板与算子
注意事项 在通过绑定OSS Bucket或调用 IndexFileMeta-索引文件元信息、BatchIndexFileMeta-批量索引文件元信息 接口建立元数据索引时，根据数据集和项目配置的工作流模板来决定要执行的算子操作。在数据集中建立元数据索引时，数据集的模板...
PolarDB MySQL版DDL操作指南
DDL执行算法 PolarDB MySQL版 支持以下三种DDL执行算法：INSTANT算法：使用INSTANT算法执行DDL操作时，只需要修改数据字典中的元数据，不需要修改或复制存量数据，也不需要重建表。因此其不受表的大小影响，整个DDL过程可以秒级完成。...
- 产品推荐
- 这些文档可能帮助您