2020年
2020年7月 时空数据库（V2.8）类别 名称 描述 相关文档 发布时间 新增 栅格数据元数据访问接口增强 新增ST_XMin函数，用于获取栅格数据X方向最小值。ST_XMin 2020年7月 新增ST_YMin函数，用于获取栅格数据Y方向最小值。ST_YMin 2020年7月 ...
StarRocks Connector
StarRocks Connector通过实现External Catalog机制，无需数据导入或创建外部表即可无缝访问MaxCompute数据源，并执行复杂的SQL查询，提升了数据分析效率并降低了运维难度和成本。本文为您介绍如何通过StarRocks Connector访问MaxCompute。...
客户端加密
OSS客户端加密是在数据上传至OSS之前，由用户在本地对数据进行加密处理，确保只有密钥持有者才能解密数据，增强数据在传输和存储过程中的安全性。免责声明 使用客户端加密功能时，您需要对主密钥的完整性和正确性负责。因您维护不当导致主...
UpdateTable-更新元数据表信息
CatalogId string 否 数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test SkipArchive boolean 否 默认情况下，更新元数据表会创建一个新的归档版本，但如果 skipArchive 设置 true 则...
数据目录
什么是数据目录（Catalog）数据目录（Catalog）是数据湖构建（Data Lake Formation）的元数据最上层实体，它可以包含多个数据库。适用场景 主要适用于元数据隔离的场景，比如多个E-MapReduce集群，每个集群绑定不同的Catalog，每个EMR集群...
查看血缘关系
数据血缘关系描述了数据在来源、处理、传输和消费过程中形成的关系，包括元数据之间的流向、依赖关系以及元数据与流批作业的生产消费关系。在Flink全托管中，我们提供了N层作业的表级别和字段级别的数据血缘关系的查看和分析能力，具体的...
创建Impala数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
管理文件元数据
常见问题 在上传文件时设置元数据，如何避免覆盖Bucket内的同名文件？为避免覆盖Bucket内的同名文件，您可以选择以下任意方式：开启版本控制 开启版本控制功能后，Bucket中被覆盖的文件会以历史版本的形式保存下来。您可以随时恢复历史版本...
常见问题（FAQ）
说明 详情请参考Databricks官网文章：常见问题 什么是 Delta Lake?Delta Lake是一个开源存储层，可为数据湖带来可靠性。Delta Lake提供ACID事务，可伸缩的元数据处理，并统一流处理和批数据处理。Delta Lake在您现有的数据湖之上运行，并且...
SmartData常见问题
本文汇总了使用SmartData时的常见问题。基本概念 什么是JindoFS？已经有阿里云OSS，为什么还要使用JindoFS？JindoFS有哪些使用方式？使用场景是什么？JindoFS SDK和缓存模式的区别是什么？JindoFS缓存模式和Block模式的区别是怎么？JindoFS...
新建和管理落标映射规则
Dataphin支持定义标准属性和资产对象元数据字段的匹配关系，实现标准和资产对象的映射关联。落标映射是对资产对象进行落标评估的前提条件。本文为您介绍如何创建及管理落标映射规则。权限说明 超级管理员、数据标准管理员可以在所有标准集...
新建和管理落标映射规则
Dataphin支持定义标准属性和资产对象元数据字段的匹配关系，实现标准和资产对象的映射关联。落标映射是对资产对象进行落标评估的前提条件。本文为您介绍如何创建及管理落标映射规则。权限说明 超级管理员、数据标准管理员可以在所有标准集...
Dataphin数据集成Oracle组件下拉表清单提示无法获取...
问题描述 Dataphin数据集成Oracle组件下拉表清单提示无法获取元数据。问题原因 数据源中绑定的账号没有数据库元数据的相关表权限，涉及的表如下：ALL_TABLES ALL_TAB_COMMENTS ALL_VIEWS ALL_TAB_COLUMNS ALL_COL_COMMENTS 解决方案 在...
时序模型介绍
表格存储的时序模型是针对时间序列数据的特点进行设计，适用于物联网设备监控、设备采集数据、机器监控数据等场景，支持自动构建时序元数据索引、丰富的时序查询能力等功能。时序模型通过时序表存储时间序列数据，能提供高并发写入和查询...
DatabaseInput
名称 类型 描述 示例值 object 数据库对象 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如可填写 HDFS 路径/hdfs/hivedb/data Name string 元数据库名称，校验长度 128，不支持...
扫描代码与合并模型
数据的显示顺序按照元数据模型中的创建时间倒序显示。默认所有的模型显示折叠状态。您可单击 全部展开 或 图标展开节点，拖动滚动条查看完整数据。模型数据按照层级可分为如下三类：层级类型 说明 数据是否可变 根节点 根节点没有父节点，...
2023年12月26日V5.17产品更新公告
功能描述：支持通过外键关联其他表，即一个问题通过多个数据表来查询，数据可存储在不同的数据表中，通过字段的关联关系实现跨数据表的查询，例如：查询学生A的学号（基本信息表）和保险号（保险表）。覆盖范围：通义版（体验版）、通义版...
Database
名称 类型 描述 示例值 object 数据库对象 CreateTime integer 创建时间，Unix 时间戳秒数 1608707407 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如 HDFS 路径/hdfs/hivedb/...
新建元表
功能优势 元表具有以下优势：安全可靠：通过元表可以有效避免直接编写原生Flink DDL语句导致的敏感信息透出问题。提升效率和体验：通过一次建表，可多次引用。您无需重复编写DDL语句，无需进行繁杂的输入、输出、维表映射。简化开发，提升...
存储费用
0.00399 华北2 阿里政务云1 0.0042 存储费用常见问题 为什么实例购买后还没用就产生存储空间消耗量？云消息队列 RocketMQ 版 的存储费用按照实例占用的存储空间大小和存储时长计费。存储空间主要为消息存储在服务端 云消息队列 RocketMQ 版...
Hive访问Iceberg数据
Hive支持通过内表或外表的方式访问Iceberg数据。本文通过示例为您介绍如何使用EMR上的Hive访问EMR Iceberg数据。前提条件 已创建Hadoop集群，详情请参见 创建集群。说明 此文档仅适用于EMR-3.38.0及后续版本与EMR-5.4.0及后续版本的Hadoop...
IDaaS用户和便捷用户实现SSO
本文以阿里云 应用身份服务（IDaaS）为例，无影云电脑 和IDaaS基于SAML协议，互相交换元数据文件，即可实现SSO。终端用户可以安全使用IDaaS的访问凭据来登录 无影终端。背景信息 云身份服务IDaaS（英文名：Alibaba Cloud IDentity as a ...
新建和管理公共标准属性
当选择 数据分类/数据分级 属性时，将对比数据标准中指定的数据分类数据分级值和其映射到的字段在安全模块配置中的数据分类数据分级值是否一致。需要开通资产安全模块才支持数据分类数据分级属性的监控。内容质量监控（需开通资产质量模块...
新建和管理公共标准属性
当选择 数据分类/数据分级 属性时，将对比数据标准中指定的数据分类数据分级值和其映射到的字段在安全模块配置中的数据分类数据分级值是否一致。需要开通资产安全模块才支持数据分类数据分级属性的监控。内容质量监控（需开通资产质量模块...
0011-00000002
问题描述 x-oss-meta-开头的用户元数据超出大小限制。问题原因 以PutObject作为例子，使用PutObject接口时，如果配置以 x-oss-meta-*为前缀的参数，则该参数视为元数据，例如 x-oss-meta-location。一个Object可以有多个类似的参数，但所有...
快速使用EMR StarRocks Manager
EMR StarRocks Manager是阿里云EMR团队针对Serverless StarRocks实例提供的数据管理控制台，为您提供对实例内数据的管理、诊断与分析，以及安全权限配置等能力。前提条件 已创建StarRocks实例，详情请参见 创建实例。操作流程 步骤一：进入...
DLF+EMR之统一权限最佳实践
通过DLF提供的统一元数据视图访问湖上数据，解决湖上数据面临的元数据一致性及数据难以共享的问题，同时各引擎也可通过集成DLF统一权限服务获得企业级的权限管理能力。相关概念说明 EMR：阿里云 E-MapReduce产品，详见 什么是E-MapReduce。...
DLF数据探索快速入门-淘宝用户行为分析
demo`.`user_log` GROUP BY date,day_of_week ORDER BY date 分析结果如下：（由于数据集经过裁剪，对于工作日和非工作日的结果有失真）最后，我们结合商品表，分析出数据集中最受欢迎的是个商品品类-销售最多的品类耗时1分10秒 SELECT ...
Block模式使用说明
Block模式提供了最为高效的数据读写能力和元数据访问能力。数据以Block形式存储在后端存储OSS上，本地提供缓存加速，元数据则由本地Namespace服务维护，提供高效的元数据访问性能。本文主要介绍JindoFS的Block模式及其使用方式。背景信息 ...
通过CNFS可观测性定位NAS或CPFS客户端IO问题
您可以通过加速弹性客户端存储卷的监控仪表板定位分析客户端的IO操作问题，并定位到问题所在的相关业务（Pod）。例如，哪些频繁的操作会导致系统繁忙占用大量带宽等常见的客户端IO问题。本文通过示例介绍如何通过CNFS可观测性定位这些问题...
表实用程序命令
检索Delta表详细信息 可以使用“描述详细信息”检索有关增量表的详细信息（例如，文件数、数据大小）。SQL%sql DESCRIBE DETAIL '/data/events/' DESCRIBE DETAIL eventsTable 详细架构 此操作的输出只有一行具有以下架构。列 类型 说明 ...
QueryAppMetadata-查询编码映射内容
操作 访问级别 资源类型 条件关键字 关联操作 arms:QueryAppMetadata Read 全部资源*无 无 请求参数 名称 类型 必填 描述 示例值 MetaIds string 是 元数据 ID 列表，多个 ID 之间用","分隔 4c9dd447,3c76c565 MetaType string 是 元数据...
对象概述
对象（Object）是OSS存储数据的基本单元，也被称为OSS的文件。和传统的文件系统不同，Object没有文件目录层级结构的关系。Object类型 Object包含以下三种类型：通过 简单上传 生成的Object类型为Normal。通过 分片上传 生成的Object类型为...
DataWorks on EMR快速入门
DataWorks支持基于E-MapReduce创建Hive、Spark SQL、Presto和MR等节点，实现任务工作流的配置和定时调度、元数据管理及数据质量监控告警等功能，为用户提供一站式数据湖开发和治理的环境。本文为您介绍如何在DataWorks上快速使用EMR集群。...
Search-搜索元数据
POST/api/metastore/catalogs/search 请求参数 名称 类型 必填 描述 示例值 body object 否 A short description of struct CatalogId string 否 catalogid 默认是空，在多catalogid下填写对应的id SearchText string 否 搜索问题 ...
JindoFS介绍和使用
常见问题 Q：针对典型的数据湖场景，建议采用什么模式？A：因为JindoFS SDK和Cache模式完全兼容OSS对象存储语义，具有完全的存储分离架构和弹性灵活性，所以，针对典型的数据湖场景，推荐您使用SDK或者Cache模式以支持大数据分析和AI训练...
JindoData版本说明
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。本文为您介绍JindoData各版本支持的功能。背景信息 JindoData是原阿里云EMR SmartData组件...
使用Webshell诊断应用
为了方便定位和排查线上问题，您可以使用 SAE 控制台提供的简易版Webshell，查看并调试容器。SAE 容器的基础镜像是面向应用运行时的且暂时状态的，因此您无需在镜像中启动SSH服务，仅需带有可执行的/bin/bash，同时建议您带上所需的运维...
查看选项
为提升性能，默认情况下ossfs会使用磁盘空间来保存上传或下载的临时数据。您可以通过该选项设置保留的可用硬盘空间大小，单位为MB。例如，您需要设置ossfs保留1024 MB的可用磁盘空间，则使用-oensure_diskfree=1024。dbglevel 设置日志信息...
数据治理中心概述
数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题，并通过健康分量化评估，从全局、工作空间、个人等多个视角，以治理报告及排行榜呈现治理成果，帮助您高效达成治理目标。同时，提供...
- 产品推荐
- 这些文档可能帮助您