Dataphin修改表结构查询报错字段不存在
问题描述 用户修改了表结构，新增了某字段，即席查询发现查询单个字段报错字段...问题原因 用户资产元数据未及时更新导致的。解决方案 1.等待30分钟即可自动更新。2.手动更新，资产搜该表，点击右侧更新元数据按钮即可。适用于 Dataphin 资产
使用OSS静态存储卷
但若通过其他例如OSS、SDK、控制台、ossutil等方式修改文件，可能会导致元数据未被及时更新。allow_other：赋予计算机上其他用户访问挂载目录的权限，但不包含目录内的文件。更多可选参数，请参见 查看选项。Bucket ID 您要使用的OSS ...
DLF+EMR之统一权限最佳实践
如果您已经有E-MapReduce集群，但Hive元数据未使用DLF，可以通过元数据迁移后再使用DLF 数据权限。可以参考 EMR元数据迁移到数据湖构建（DLF），也可通过钉钉群联系我们：33719678。初始化相关数据库和数据表。登录EMR集群，可参考 登录...
SAML2.0对接
前言 安全断言标记语言（英语：Security Assertion Markup Language，简称 SAML）是一个基于XML的开源标准数据格式，它在系统之间交换身份验证和授权数据，尤其是在身份提供者和服务提供者之间交换。IoT支持基于 SAML 2.0 的 SSO（Single ...
计费模式
本文介绍数据湖构建中各资源的计费规格，包括入湖作业资源用量、数据存储对象和元数据请求三部分。计量计费项 重要 DLF产品目前所有功能为 0折扣活动阶段，即使超过免费阶梯限定后，目前也均不会产生实际计费。元数据对象的存储量 元数据...
强制调用接口
force 选项说明 在阿里云CLI中，如果调用了一个元数据中未包含的API或参数，会导致 unknown api 或 unknown parameter 错误。您可以通过使用-force 选项，强制调用元数据列表以外的API和参数。调用时，您需要确保以下信息的准确性：云产品...
Hologres管控台的监控指标
Meta：元数据、文件等占用的内存，元数据的内存使用采用Lazy Open模式，即频繁被访问的元数据会常驻内存中，未被访问的元数据则不会放在内存中，以此来减少元数据对内存的占用。一般建议meta占用的内存维持在总内存的30%以内。如果meta的...
0037-00000003
问题示例 例如，你发起了DoMetaQuery请求，但是请求的Bucket（oss-example）未开启元数据管理功能，导致请求错误。POST/?metaQuery&comp=query ...
UpdateTimeseriesMeta
调用UpdateTimeseriesMeta接口更新时间线元数据。请求消息结构 message UpdateTimeseriesMetaRequest { required string table_name=1;repeated TimeseriesMeta timeseries_meta=2;} 名称 类型 是否必选 描述 table_name string 是 时序表...
表实用程序命令
userMetadata 字符串 用户定义的提交元数据（如果已指定）该history操作的输出包含以下列。version|timestamp|userId|userName|operation|operationParameters|job|notebook|clusterId|readVersion|isolationLevel|isBlindAppend|...
0037-00000004
问题描述 Bucket元数据索引库未构建完成。问题原因 您发起了DoMetaQuery或GetMetaQueryStatus请求，但是请求的目标Bucket元数据索引库未构建完成。问题示例 例如，你发起了DoMetaQuery请求，但是请求的Bucket（oss-example）元数据索引库未...
单点登录（SSO）常见问题
如果元数据文件未包含新旧证书公钥，需要手动修改元数据文件添加证书。在云SSO的单点登录配置中下载旧的元数据文件，在元数据文件中的 KeyDescriptor 的部分，复制 X509Certificate 原证书信息，粘贴到新的元数据文件中相同位置，然后保存...
单点登录（SSO）常见问题
如果元数据文件未包含新旧证书公钥，需要手动修改元数据文件添加证书。在RAM的SSO配置中下载旧的元数据文件，在元数据文件中的 KeyDescriptor 部分，复制 X509Certificate 原证书信息，粘贴到新的元数据文件中相同位置，然后保存。RAM的SSO...
set-meta（管理文件元数据）
设置或更新元数据 在以下未包含-update 选项的使用示例中，如果未指定 header:value#header:value.选项，则仅保留以 X-Oss-Meta-开头的自定义元数据，且不更改其Value值。对于HTTP Header信息，ossutil将进入交互模式并要求您确认是否继续...
GetObjectMeta
当Bucket未启用版本控制时，要获取文件的元数据信息，您必须有 oss:GetObject 权限。当Bucket已启用版本控制时，要获取文件指定版本（请求中携带了x-oss-version-id请求头）的元数据信息，您必须有 oss:GetObjectVersion 权限。具体操作，...
PutTimeseriesData
调用PutTimeseriesData接口写入时序数据。请求消息结构 message PutTimeseriesDataRequest { required string table_name=1;required TimeseriesRows rows_data=2;optional MetaUpdateMode meta_update_mode=3;} 名称 类型 是否必选 描述 ...
拷贝文件
如果未指定meta参数，目标文件与源文件的元数据相同，即拷贝源文件的元数据。meta:{ location:'hangzhou',year:2015,people:'mary',},});console.log(result);} catch(e){ console.log(e);} } copySmallObjecInSameBucket()同一Region下...
写入时序数据
如果未预先新建时间线元数据，当写入时序数据时，系统会自动提取该时间线的元数据信息并自动构建索引。说明 在表格存储的时序模型中采用一张二维的时序表来存储时序数据。每行代表一个时间线在某个时间点的数据，该行的主键部分为时间线...
时序模型介绍
时序数据由元数据和数据两部分组成，如果未预先新建元数据，则系统会根据写入的数据自动提取元数据。说明 表格存储还提供了时序Writer用于将时序数据写入时序表，时序Writer支持多表写入、写入状态统计、行级别回调和自定义配置功能。更多...
拷贝文件
如果未指定meta参数，目标文件与源文件的元数据相同，即拷贝源文件的元数据。meta:{/location:'hangzhou',/year:2015,/people:'mary'/}/}).then(r=>{ console.log(r.res.status)})})</script></body>不同Bucket间拷贝文件 以下代码用于将源...
管道传输（Pipeline）
不用Pipeline>value为:5000>操作用时：5844ms 使用Pipeline>value为:5000>操作用时：78ms 响应数据（Response）的处理方式 在Jedis中使用Pipeline时，对于响应数据（Response）的处理有两种方式，详情请参见以下代码示例。package pipeline...
项目级别Information Schema
元数据及作业历史数据保存在Information Schema空间下，如果需要对历史数据进行快照备份或获得超过14天的作业历史，您可以定期将Information Schema的数据备份到指定项目。获取Information Schema服务 自2024年03月01日开始，MaxCompute...
自定义OSS文件下载时的文件名
为了避免重新上传整个对象内容并减少数据覆盖的风险，推荐使用SDK中的 update_object_meta 接口而非 PutObject 接口来安全地更新对象的元数据。示例代码 更新文件的元数据中的 Content-Disposition 字段的Python示例代码如下：#-*-coding:...
拷贝文件
拷贝文件时，您需要确保源Bucket和目标Bucket均未设置合规保留策略，否则报错 The object you specified is immutable.拷贝文件时默认会覆盖同名文件，为防止文件被意外覆盖，您可以通过以下方式保护您的文件。开启版本控制功能 开启版本...
通过控制台使用时序模型
时序数据由元数据和数据两部分组成，如果未预先新建元数据，则系统会根据写入的数据自动提取元数据。在 时序表列表 页签，单击时序表名称后选择 数据管理 页签或在时序表 操作 列单击 数据管理。（可选）新建时间线。在 数据管理 页签，...
数据湖加速查询
基于阿里云数据湖构建（Data Lake Formation，DLF）和对象存储（Object Storage Service，OSS）推出的Hologres数据湖加速服务，提供了灵活的数据访问和分析能力以及高效的数据处理能力，显著加快了对OSS数据湖的查询和分析过程。...
使用流程
时序数据由元数据和数据两部分组成，如果未预先新建元数据，则系统会根据写入的数据自动提取元数据。5 查询时序数据 查询时序时，如果不确定要查询的时间线信息（例如度量名称、数据源信息），您可以指定多种条件检索时间线，然后再进行...
创建Hive数据源
通过创建Hive数据源能够实现Dataphin读取Hive的业务数据或向Hive写入数据。本文为您介绍如何创建Hive数据源。背景信息 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive用于转化...
变更持续交付模式
移除变更：通常用于某个变更未达到发布标准，不跟着本变更集一起发布的场景，可以移除某个变更。设置变更集成员：通常用于多人协同发布，可以给变更集设置成员，关闭变更集：当变更集下的所有变更都已经完成发布时，则可以关闭变更集，完成...
消息模板
数据服务 数据服务 包括 平均响应时间异常、调用次数异常、错误率异常。修改告警消息模板 在不同模块的页签下，单击 操作 列下的 图标，进入 编辑消息模板 对话框。参数 描述 当前使用模板 如上图①区域，为您展示当前告警原因的配置模板的...
审计日志
自定义数据源（支持新建离线数据源和实时数据源）AddCustomDataSource 创建实时自定义数据源。UpdateCustomDataSource 更新实时自定义数据源。DeleteCustomDataSource 删除实时自定义数据源。我的权限 ApplyPrivilege 申请权限。...
新旧版本使用指引
更新数据集 UpdateSet-更新媒体集的显示名称 GetDataset-查询数据集信息 GetSet-获取媒体集信息 ListDatasets-列出数据集 ListSets-获取媒体集列表 DeleteDataset-删除数据集 DeleteSet-删除媒体集 元数据索引 IndexFileMeta-文件元信息...
PolarDB MySQL版DDL操作指南
的各个版本常见的DDL操作的行为特征：是否锁表（允许并发DML）：非锁表的DDL（Online DDL）只在修改元数据时申请表互斥锁（持续时间一般不超过1秒），在表结构变更期间允许对目标表进行读写操作，提高了在生产环境中的响应速度和可用性。...
数据湖管理FAQ
元数据发现相关问题 为什么配置了元信息发现，并在“手动执行”之后，过了几天新的数据看不到了？OSS数据源配置数仓模式和自由模式的差异以及适用场景是什么？为什么Excel导出的CSV文件没有被识别建表？为什么一个目录下面是同样Schema的...
创建集群
元数据 支持以下方式存储和管理元数据：DLF统一元数据（推荐）：表示元数据存储在数据湖构建DLF中。重要 选择该方式时，需要开通数据湖构建DLF产品，您可以单击下方的 开通，前往DLF控制台操作。开通DLF后，系统会为您选择默认的 DLF数据...
创建Hadoop计算源
元数据库获取方式 参数 描述 数据库类型 根据集群中使用的元数据库类型，选择数据库。Dataphin支持选择 MySQL。支持 MySQL 的版本包括 MySQL 5.1.43、MYSQL 5.6/5.7 和 MySQL 8 版本。JDBC URL 填写目标数据库的JDBC连接地址。例如：MySQL...
云监控
有可能超过60%被占据，是因为元数据优先放入内存，如果元数据过多，加上数据缓存的30%，无计算时内存使用会超过60%。建议设置为“内存水位连续3次>=90%Warning（每次间隔5分钟）”类似的告警规则。设置为内存水位连续3次>=90%Warning（每次...
配置短信消息渠道
数据服务、数据质量、实时任务告警、离线任务告警、任务实例未生成、基线任务出错、基线任务变慢、基线预警、基线破线 文本框为固定消息内容，不可编辑。重要 消息内容仅为示意，若配置的消息模板内容有变更，仅做变量替换，依然按照配置的...
DataWorks On EMR使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
PutObject
如果请求头中的 Content-Length 值小于实际请求体中传输的数据大小，OSS仍将成功创建Object，但Object的大小只能等于 Content-Length 中定义的大小，其他数据将被丢弃。ETag 字符串 否 D41D8CD98F00B204E9800998ECF8*Object生成时会创建...
- 产品推荐
- 这些文档可能帮助您