二级索引计量计费
操作场景 计费规则 通过PUT操作写入一行数据 非覆盖写场景（此行数据以前不存在）如果数据表的非主键列上建有索引，但是此行数据不包含索引列（即此行不会生成索引行），则只产生1个读CU。如果此行数据所在的列建有索引，并且可以根据此行...
Compaction（Beta）
当离线导入大量数据或大量执行 delete、update 操作后，可能会由于数据文件的碎片化导致读写性能下降，此时需要执行压缩（Compaction）操作。Compaction操作将多个数据文件合并成一个更大的数据文件，执行Compaction操作有助于重新组织数据...
图像分类训练（torch）
使用 读OSS数据-3 组件读取预测数据文件，即配置 读OSS数据 组件的 OSS数据路径 参数为存放预测数据文件的OSS路径。通过 通用图像预测 组件进行离线推理，需要配置以下关键参数，详情请参见 通用图像预测。模型类型：选择 torch_classifier...
数据导入常见问题
待导入数据文件中某一行按照指定的分隔符切分后，列数小于指定的列数。可能原因是分隔符不正确。actual column number is more than schema column number.待导入数据文件中某一行按照指定的分隔符切分后，列数大于指定的列数。the frac ...
Kafka数据源
offset Long timestamp Long headers String partition Long 离线写数据 DataWorks将数据写入Kafka时，支持写入JSON格式或text格式的数据，不同的数据同步方案往Kafka数据源中写入数据时，对数据的处理策略不一致，详情如下。重要 写入text...
Spark的数据写入至Hologres
本文为您介绍如何通过Spark读取或写入数据至Hologres的操作方法。背景信息 Spark是用于大规模数据处理的统一分析引擎，Hologres已经与Spark（社区版以及EMR Spark版）高效打通，快速助力企业搭建数据仓库。Hologres提供的Spark Connector，...
Stream Load
本文介绍如何通过Stream Load导入数据至 云数据库 SelectDB 版 实例中。背景信息 Stream Load 是属于同步接口的导入方式，用户通过发送HTTP请求将本地文件或数据流导入到 云数据库 SelectDB 版 实例中。Stream load执行并返回导入结果，...
新功能发布记录
通过外表导入至湖仓版 MongoDB数据导入 通过外表导入至湖仓版 通过外表导入OSS数据至湖仓版 表格存储（Tablestore）数据导入 MySQL外表支持指定字符集 创建RDS MySQ外表和自建MySQL外表时，支持通过 charset 属性指定MySQL字符集。...
Stream Load
如果原始表的src_c1列对应目标表dst_c1列，原始表的src_c2列对应目标表dst_c2列，原始表的src_c3列对应目标表dst_c3列，则写法为 columns:dst_c1,dst_c2,dst_c3。如果原始表的src_c1列对应目标表dst_c2列，原始表的src_c2列对应目标表dst_c...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
vfs
也就是所写入的数据会以附加的方式添加到文件的尾部 O_TRUNC 如果文件已经存在，则清空文件中的内容 O_EXCL 如果存在指定文件，返回出错 关闭文件 int aos_close(int fd);参数 fd：文件描述符 返回值 0：成功失败 读取文件内容 ssize_t aos...
大量数据导出方案
本文将通过示例，为您介绍导出MaxCompute SQL计算结果的方法。说明 本文中所有SDK部分仅以Java举例。概述 您可以通过以下方法导出SQL的运行结果：如果数据比较少，请使用 SQL Task 得到全部的查询结果。如果需要导出某个表或者分区，请使用...
常见问题
A：包含数据库表文件、索引文件、undo日志文件、Redo日志文件、binlog文件、slowlog文件及少量的系统文件，详情请参见 概览。Q：PolarDB 的存储包怎么用？A：购买的包年包月或按量付费的集群，均可使用存储包抵扣存储费用。例如您有3个存储...
行协议写入
本文介绍通过InfluxDB行协议将数据写入Lindorm时序引擎的方法和示例。背景信息 Lindorm时序引擎兼容InfluxDB的行协议（Line Protocol）格式。对于通过行协议发送数据的应用或设备，都可以将数据写入Lindorm时序引擎中。支持的数据类型 行...
导出至HDFS
方式三：INSERT OVERWRITE PARTITION 与 INSERT INTO PARTITION 使用方法相同，但使用 INSERT OVERWRITE PARTITION 时，会覆盖掉本次执行中涉及到的目标分区中之前已有的数据文件，对于没有新数据写入的分区，则不会清除其中的数据文件。...
实时消费Kafka数据
当您需要将Kafka数据写入 云原生数据仓库AnalyticDB PostgreSQL版，且不希望使用其他数据集成工具时，可以通过实时数据消费功能直接消费Kafka数据，减少实时处理组件依赖，提升写入吞吐。Apache Kafka是一个容错、低延迟、分布式的发布-...
INSERT
INSERT语句用于插入新的行数据至表中。本文为您介绍在交互式分析Hologres中如何使用INSERT插入数据。命令介绍 您可以插入一个或多个由表达式指定的行，以及插入来自一个查询的零行或多行数据至Hologres。语句如下。INSERT INTO<schema>.[(...
Hudi
同时该框架还支持自动管理及合并小文件，保持指定的文件大小，从而在处理数据插入和更新时，不会创建过多的小文件，引发查询端性能降低，避免手动监控和合并小文件的运维负担。详情请参见 Apache Hudi。类别 详情 支持类型 源表和结果表 ...
BLOB数据类型（邀测中）
BLOB（Binary Large Object）即二进制大对象，通常用于存储较大的二进制文件，例如音频、视频、图像等文件。Lindorm宽表SQL支持BLOB数据类型，使用时可以直接将Lindorm宽表中的一个非主键列的数据类型定义为BLOB类型。本文介绍如何使用...
OSS数据源
OSS数据源为您提供读取和写入OSS的双向通道，本文为您介绍DataWorks的OSS数据同步的能力支持情况。支持的字段类型与使用限制 离线读 OSS Reader实现了从OSS读取数据并转为数据集成协议的功能，OSS本身是无结构化数据存储。对于数据集成而言...
通过开源Kafka命令行工具访问消息引擎
Lindorm消息引擎完全兼容开源Kafka API，您可以通过开源Kafka命令行工具，实现基础的Topic或Group的信息查看与运维管理。本文介绍如何通过开源Kafka命令行工具访问消息引擎。前提条件 已安装Java环境，要求JDK为1.8及以上版本。已将客户端...
使用批量更新
方法是先将待更新的数据拼成一个Values表达式，然后按如下方式执行Update或Delete：update target_table set c2=t.c2 from(values(1,1),(2,2),(3,3),…(2000,2000))as t(c1,c2)where target_table.c1=t.c1 delete from target_table using...
通过PrestoDB使用Tablestore
写入数据 插入一行数据 以下示例用于在main_table中插入一行数据。insert into main_table values(10001,10001,true,100,'hangzhou');批量导入数据 重要 批量导入数据前，请确保已创建目标表，且目标表的表结构与源数据表的表结构保持一致...
Flume插件
数据同步失败重试间隔（单位：秒）datahub.dirtyDataContinue true 可选 遇到脏数据是否继续处理，为true时，会自动将脏数据以,分隔符写入脏数据文件，不影响后续数据的处理 datahub.dirtyDataFile DataHub-Flume-dirty-file 可选 脏数据...
数据库
数据库基本信息 pg_stat_database pg_stat_database 视图将显示集群中每一个数据库中的每一行数据库范围的统计信息。相关参数信息如下表所示：参数 类型 描述 datid oid 数据库OID。datname name 数据库名称。numbackends integer 当前连接...
导入与导出
如何解决导入MaxCompute数据时，出现“回滚此次写入，采用每次写入一行方式提交”报错？如何解决导入MaxCompute数据时，出现Query Exceeded Maximum Time Limit报错？如何解决导入MaxCompute数据时，出现cant submit job for job queue is ...
数据库
数据库基本信息 pg_stat_database pg_stat_database 视图将显示集群中每一个数据库中的每一行数据库范围的统计信息。相关参数信息如下表所示：参数 类型 描述 datid oid 数据库OID。datname name 数据库名称。numbackends integer 当前连接...
分析外部OSS上的数据
第一种方式：从OSS数据文件中获取列类型（推荐），如下所示：CREATE FOREIGN TABLE `test` FROM CONNECTION='OSS:/${oss_key}:${oss_key_secret}@${endpoint}/${bucket}/test.orc' COMMENT='columnar=1';您可以使用 SHOW create table ...
设置列索引的排序键
重复执行步骤3，直到合并文件有序排列，然后读取合并文件中的每一行记录，根据偏移值读取数据文件中对应的记录并追加到列存索引中。增量数据排序流程 增量数据的排序流程是渐进式的，不能保证数据完全有序。总体流程如下：将所有的数据块...
Hologres结果表
如何使用宽表Merge/局部更新功能 对于常见的多个流的数据写入至一张Hologres宽表的场景，具体使用方法如下：假设Hologres有一张宽表 WIDE_TABLE，有A、B、C、D、E几列，其中A字段是主键，Flink一个流包含数据A、B、C，另一个流包含数据A、D...
读写访问文件类问题
在ECS实例1中执行 ll 命令，查看已创建的文件，如下图所示：在ECS实例2中执行 ll 命令，查看已创建的文件，如下图所示：通过两台ECS实例查询可以看到，同一文件的属主用户名不一致。然后，分别执行 id 命令，查询admin用户信息。如下图所示...
OGG插件介绍
dirtyDataFile datahub_ogg_plugin.dirty 可选 脏数据文件 dirtyDataFileMaxSize 500 可选 脏数据文件最大size，单位：MB retryTimes-1 可选 重试次数,-1:无限重试 0:不重试 n:重试次数 retryInterval 3000 可选 重试间隔,单位：毫秒 ...
表删除，更新和合并
增加该值会提高并发度，但也会生成大量较小的数据文件。启用优化写入：对于分区表，meage可以生成比随机分区数量多得多的小文件。这是因为每个随机任务都可以在多个分区中写入多个文件，并可能成为性能瓶颈。您可以通过启用优化写入来优化...
使用限制
其他限制 协议服务为多客户端提供了统一名字空间的文件共享读写能力，但在多进程或多客户端并发写同一个文件的场景中（例如，并发写同一个日志文件），各进程分别维护了独立的文件描述符及写入位置等上下文信息，而NFSv3协议本身并没有提供...
导入OSS数据
您可以将OSS Bucket中的日志文件，通过数据导入方式导入到日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5 GB以内的OSS文件，压缩文件大小按照压缩后的大小计算。前提条件 已上传日志文件到OSS Bucket中。具体操作，请...
表实用程序命令
日志文件的默认保留期为30天，可通过使用ALTER TABLE SET TBLPROPERTIES SQL方法设置的delta.logRetentionPeriod属性进行配置。请参阅表属性。运行vacuum后，无法再按时间顺序查看在保留期之前创建的版本。SQL%sql VACUUM eventsTable-...
RestAPI（HTTP形式）数据源
且接口一次返回了1行数据（DATA是一个对象）：{"HEADER":{"BUSID":"bid1","RECID":"uuid","SENDER":"dc","RECEIVER":"pre","DTSEND":"202201250000"},"content":{"DATA":{"SERNR":"sernr2"} } } 如果需要将content.DATA中的一行数据抽取为...
配置ClickHouse输出组件
同步其他数据源的数据至ClickHouse数据源的场景中，完成源数据的信息配置后，需要配置ClickHouse输出组件写入数据的目标数据源。本文为您介绍如何配置ClickHouse输出组件。前提条件 在开始执行操作前，请确认您已完成ClickHouse数据源及...
基本概念
W 文件引擎 负责目录文件数据的管理和服务，并提供宽表、时序、搜索引擎底层共享存储的服务化访问能力，从而加速多模引擎底层数据文件的导入导出及计算分析效率，兼容开源HDFS标准接口。更多信息，请参见 文件引擎介绍。物理I/O 由文件系统...
列存索引技术架构介绍
在IMCI执行引擎中，每个Operator也使用迭代器函数来访问数据，但不同的是每次调用迭代器会返回一批数据，而不是一行，可以认为这是一个使用了向量化模式的火山模型。串行执行受制于单核计算效率、访存延时、IO延迟等限制，执行能力有限。而...
- 产品推荐
- 这些文档可能帮助您