写入
Timestream提供了数据点和元数据的写入接口。数据点写入 Timestream提供了同步和异步两种数据点写入方式。其中异步接口的底层是通过TableStoreWriter来写入，其写入吞吐能力更高，对延时不是特别敏感的业务建议使用异步接口。元数据写入 ...
元数据管理
创建元数据库 登录 数据湖管理控制台，选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库参数。选择所属数据目录。输入元数据库名称。（选填）输入元数据库描述。输入元数据库的位置。创建元数据表 创建完成元数据库后，...
ODPS-0121096
Reached maximum retry times because of OTSStorageTxnLockKeyFail(Inner exception:Transaction timeout because cannot acquire exclusive lock.)错误码描述 MaxCompute允许多个作业同时写入数据到单个表。当多个作业同时处于元数据提交...
管理工作空间
请选择工作空间关联的元数据目录ID，您也可以通过以下步骤新建一个数据目录。单击 创建数据目录，在弹出的对话框中输入 目录ID，然后单击 确定。在 DLF数据目录 下拉列表中，选择您新建的数据目录。说明 创建工作空间后，您还可以将已有的...
基础数据操作
创建时序表后，您可以通过PutTimeseriesData接口或者时序Writer工具写入时序数据，您还可以迁移 MySQL或 Kafka数据源的数据到表格存储时序表。时序数据写入到时序表后，您可以使用QueryTimeseriesMeta接口检索时间线以及使用...
产品架构
Follower和Observer将元数据写入请求路由到Leader节点，Leader更新完数据后，会通过BDB JE同步给Follower和Observer。必须有半数以上的Follower节点同步成功才算元数据写入成功。Leader从Follower中选出，进行选主需要实例中有半数以上的...
初始化
所有数据表的时间线元数据写入到同一个元数据表中，您通过TimestreamDBConfiguration配置元数据表的表名。伴随数据的写入，后台默认不断更新时间线的lastUpdateTime，您可以通过设置TimestreamDBConfiguration中的dumpMeta来控制是否需要...
DML操作常见问题
简而言之，同时写表元数据的作业太多或者元数据写入量太大（如大量分区写入）时，并发写入同一张表元数据的另一个作业可能会加锁超时导致报错。解决措施 您需要检查是否存在同时多次对表或表分区执行读写操作的情况，建议不要同时对一张表...
MaxCompute后付费消费突增排查
说明 如果需要同时对多个MaxCompute项目的元数据进行统计分析，您可以创建多个ODPS SQL节点，将这些MaxCompute项目的元数据写入到同一张数据备份表中。步骤四：通过费用中心分析高额消费项目和计费项 进入费用中心请参见 进入费用中心，在...
统计MaxCompute TOPN费用账号及耗时作业
说明 如果需要同时对多个MaxCompute项目的元数据进行统计分析，您可以创建多个ODPS SQL节点，将这些MaxCompute项目的元数据写入到同一张数据备份表中。步骤四：创建统计TOPN费用账号及耗时作业 TASKS_HISTORY视图中的settings会记录上层...
RDS表无法写入数据
问题描述 RDS表无法写入数据 解决方案 RDS实例锁定，锁定之后无法进行写入操作 常见锁定原因：1、实例过期锁定，建议及时续费 2、磁盘打满锁定，若主要是数据文件，可以考虑truncate/drop数据（注意数据备份，防止数据丢失），或者考虑扩容...
数据湖构建的审计事件
数据湖构建已与操作审计服务集成，您可以在操作审计中查询用户操作数据湖构建产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过...
CREATE STREAM
创建一张流表，可以不断记录随时间而发生的...使用元数据列设置数据写入的时间戳。CREATE STREAM MySTREAM2(`car_id` BIGINT,`car_position` STRING,`record_time` TIMESTAMP_LTZ(3)METADATA FROM 'timestamp');返回结果如下：1 row affected
资产全景及目录权限列表
本文为您介绍资产全景及目录的操作权限列表。符号说明 Y 表示该角色有此功能权限；N 表示该角色无此功能权限。...查看全景 Y N N N N N N N 目录 搜索元数据 Y Y Y Y Y Y Y Y 查看元数据详情 Y Y Y Y Y Y Y Y 收藏元数据 Y Y Y Y Y Y Y Y
资产全景及目录权限列表
本文为您介绍资产全景及目录的操作权限列表。符号说明 Y 表示该角色有此功能权限；N 表示该角色无此功能权限。...查看全景 Y N N N N N N N 目录 搜索元数据 Y Y Y Y Y Y Y Y 查看元数据详情 Y Y Y Y Y Y Y Y 收藏元数据 Y Y Y Y Y Y Y Y
参数配置
如果超过该时长，则数据无法恢复。alter_table_timeout_second 86400 Schema change超时时间，单位为s，默认1天。balance_load_disk_safe_threshold 0.5 仅对disk_and_tablet策略有效。如果所有BE的磁盘使用率低于50%，则认为磁盘使用均衡...
SmartData使用说明（EMR-3.22.0~3.25.1版本）
oss:/oss-bucket/oss-dir 说明 该配置也可以配置到OSS bucket下的具体目录，该命名空间即以该目录作为根目录来读写数据。jfs.namespaces.test.mode 表示test命名空间为块存储模式。block 说明 JindoFS支持block和cache两种存储模式。jfs....
资源包概述
资源包是群空间下从数据源到数据门户的元数据信息，本文为您介绍如何使用资源包进行资源的快速复制、分发。适用场景 企业版本管理。同一环境下，区分A空间和B空间。每个版本由A空间导入B空间，实现版本发布和隔离管理。不同环境下，区分开A...
Dataphin数据集成Oracle组件下拉表清单提示无法获取...
问题描述 Dataphin数据集成Oracle组件下拉表清单提示无法获取元数据。问题原因 数据源中绑定的账号没有数据库元数据的相关表权限，涉及的表如下：ALL_TABLES ALL_TAB_COMMENTS ALL_VIEWS ALL_TAB_COLUMNS ALL_COL_COMMENTS 解决方案 在...
管理时间线元数据
如果未预先新建时间线元数据，当写入时序数据时，系统会自动提取该时间线的元数据信息并自动构建索引。时间线元数据生成后，您可以根据所需场景管理时间线元数据。功能 描述 检索时间线 调用 QueryTimeseriesMeta 接口根据度量名称条件、...
配置说明
EMR Doctor的基本配置在安装过程中已设置，主要控制集群元数据和任务元数据的采集行为，通常情况下不需要修改和下发配置。本文为您介绍EMR Doctor的基本配置信息以及如何修改基本配置。重要 本文为您列出了EMR Doctor中可以修改的配置。...
在容器内获取元数据
本文介绍如何在容器内获取元数据，将ECI实例信息和容器Meta数据呈现给运行中的容器。方式一：通过MetaServer访问元数据 您可以使用以下方式获取ECI实例元数据。连接容器。具体操作，请参见 调试ECI实例。执行以下命令访问元数据的根目录。...
管理数据流动任务
本文介绍如何在文件存储控制台创建、管理CPFS数据流动任务及查看任务报告。前提条件 已创建CPFS Fileset。具体操作，请参见 创建Fileset。已创建数据流动。具体操作，请参见 创建数据流动。任务说明 任务类型 按任务对数据的操作，可分为...
数据流动概述
按需加载 CPFS文件系统与OSS Bucket建立数据流动后，当您访问CPFS目录或文件时会按需从OSS上加载需要的元数据或数据。例如，执行 ls 命令列出与OSS Bucket链接的目录时，会按需从OSS加载目录项的元数据，在访问文件时会按需从OSS加载文件的...
在容器内获取元数据
本文介绍如何在容器内获取元数据，将ECI Pod信息和容器Meta数据呈现给运行中的容器。方式一：通过MetaServer访问元数据 您可以使用以下方式获取ECI实例元数据。连接容器。具体操作，请参见 调试ECI实例。执行以下命令访问元数据的根目录。...
在容器内获取元数据
本文介绍如何在容器内获取元数据，将ECI Pod信息和容器Meta数据呈现给运行中的容器。方式一：通过MetaServer访问元数据 您可以使用以下方式获取ECI实例元数据。连接容器。具体操作，请参见 调试ECI实例。执行以下命令访问元数据的根目录。...
CloseMetaQuery
关闭元数据管理功能后，OSS会自动删除Bucket的元数据索引库，您将无法进行元数据索引。注意事项 要关闭Bucket的元数据管理功能，您必须有 oss:CloseMetaQuery 权限。具体操作，请参见 为RAM用户授权自定义的权限策略。无论Bucket是否已开启...
创建同步OSS
2）文件格式同步到OSS中的文件名称采用 ConnectorId 等有含义信息拼接而成，暂时不支持用户修改3）二级目录DataHub同步会根据数据写入DataHub的时间来生成二级目录，默认 Asia/Shanghai 时区，更多配置可参考SDK方式创建。创建同步任务 ...
通过元数据文件迁移上云
本文介绍如何在 云消息队列 Kafka 版 控制台创建迁移任务，将元数据迁移至 云消息队列 Kafka 版 已有实例。前提条件 下载JDK 8 购买并部署 云消息队列 Kafka 版 实例：购买并部署VPC实例 购买并部署公网/VPC实例 背景信息 Kafka集群元数据...
新建AnalyticDB For PostgreSQL计算源
在元仓初始化中，配置的用户需要具有Schema元数据权限、写入表和创建表的权限。新建离线单条管道时，有如下前置要求：如需创建分区，应在准备语句或一键建表语句中填写所需的分区信息。操作步骤 请参见 数仓规划入口，进入数仓规划页面。在...
元数据导入
本文介绍如何在 云消息队列 Kafka 版 控制台创建元数据导入任务，将元数据迁移至 云消息队列 Kafka 版 已有实例。前提条件 下载JDK 8 购买并部署云消息队列 Kafka 版实例：购买并部署VPC实例 购买并部署公网/VPC实例 说明 购买实例的规格可...
HDFS概述
基本概念 名称 描述 NameNode 用于管理文件系统的命名空间、维护文件系统的目录结构树以及元数据信息，记录写入的每个数据块（Block）与其归属文件的对应关系。此信息以命名空间镜像（FSImage）和编辑日志（EditsLog）两种形式持久化在本地...
DeleteStopGateway-删除已停止的DBGateway元数据
调用DeleteStopGateway接口，删除已停止的DBGateway元数据。接口说明 本接口用于删除 CreateCloudBenchTasks 接口创建的智能压测任务中已释放的 DBgateway 元数据。在使用 SDK 调用 DAS 服务时，需要将地域指定为 cn-shanghai。说明 当 ...
EMR-3.34.x版本说明
Delta Lake 修复基于已存在Delta表无法同步元数据至Hive Metastore的问题。修复Merge命令无法解析*的问题。修复基于Parquet格式的数据转换成Delta表，且创建表元数据时报错的问题。修复当没有待compact的文件时，执行Optimize命令异常的...
OSS数据源
元数据发现任务可以在单次运行中自动为OSS上面的数据文件创建和更新数据湖元数据（一张或多张表），具有自动探索文件数据字段及类型、自动映射目录和分区、自动感知新增列及分区、自动对文件进行分组建表的能力。OSS数据源配置模式 OSS数据...
GetMetaQueryStatus
取值范围如下：Ready：创建后准备中 元数据索引库正在准备中，您无法通过元数据索引库查询到数据。Stop：已暂停 Running：运行中 Retrying：创建失败后重试中 Failed：创建失败 Deleted：已删除 父节点：MetaQuery CreateTime 字符串 2021-...
OpenSearch同步数据原理
离线将带有元数据信息的数据写入到引擎（注：加入元数据后，数据可能会膨胀2-3倍），此时为保护引擎，写入量最大为10M/s 指标如下：阶段 相关限制 备注 源->离线主辅表一起的tps。不加trigger 1500 实时增量数据从离线写入引擎 10MB 加入...
API概览
元数据 API 标题 API概述 目录 目录 CreateCatalog 创建数据湖数据目录 创建数据湖数据目录。DeleteCatalog 删除数据湖数据目录 删除数据目录。UpdateCatalog 更新目录 更新数据目录内容。ListCatalogs 获取数据目录列表 分页查询，获取...
迁移自建Kafka集群至新实例
您可以将自建Kafka集群元数据导出，然后导入 云消息队列 Kafka 版 实例，云消息队列 Kafka 版 会根据成功导入的元数据在目标 云消息队列 Kafka 版 实例中创建对应的Topic和Group，实现自建Kafka集群元数据迁移上云。导出元数据 使用元数据...
OSS-HDFS数据源
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品，OSS-HDFS数据源为您提供读取和写入OSS-HDFS的双向通道，本文为您介绍DataWorks的OSS-HDFS数据同步的能力支持情况。使用限制 离线读 使用OSS-HDFS Reader时，请注意以下事项：由于...
- 产品推荐
- 这些文档可能帮助您