UPSERT
与关系型数据库写入的区别 Lindorm的UPSERT语句写入数据的效果与传统关系型数据库的写入效果存在以下不同：传统关系型数据库 如果表定义了PRIMARY KEY，那么当连续两次写入相同PRIMARY KEY的数据时（使用INSERT语句且不带ON DUPLICATE KEY...
Compaction（Beta）
当离线导入大量数据或大量执行 delete、update 操作后，可能会由于数据文件的碎片化导致读写性能下降，此时需要执行压缩（Compaction）操作。Compaction操作将多个数据文件合并成一个更大的数据文件，执行Compaction操作有助于重新组织数据...
SmartData 3.1.x版本简介
文件透明压缩功能，支持对目录设置压缩策略，对目录下新写入的文件数据块进行压缩后存储到OSS后端存储上，对于一些高压缩比的数据，可以大幅节省存储空间以及读写数据量。支持写文件flush语义，调用flush接口后能够保证文件数据持久化到...
入门概述
本文介绍云数据库MongoDB实例从创建到连接使用的整体流程，指引您快速掌握...不同类型实例的创建方法如下：创建数据库和集合并写入数据（单节点实例）创建数据库和集合并写入数据（副本集实例）创建数据库和集合并写入数据（分片集群实例）
表
[222,2.0],[333,3.0],[444,4.0]]o.write_table('my_new_table',records,partition='pt=test',create_partition=True)#创建pt=test分区并写入数据 说明 每次调用 write_table()方法，MaxCompute都会在服务端生成一个文件。该操作耗时较长，...
导出至HDFS
说明 写入时，数据将在对应分区追加写入，每次写入会产生新的HDFS数据文件，历史数据不会被覆盖；写入的外表必须保持列个数的完整，不允许用户指定只写入一部分的列。全静态分区 语法如下。INSERT INTO<target_table>PARTITION(par1=val1,...
导出至OSS
写入时，数据将在对应分区追加写入，每次写入会产生新的OSS数据文件。写入的外表必须保持列个数的完整，不允许用户指定只写入一部分的列。全静态分区 语法 INSERT INTO table_name PARTITION(par1=val1,par2=val2,.)select_statement;示例 ...
读写访问文件类问题
当您访问文件系统中的文件时，文件系统中的文件会受到某些限制影响，导致文件操作错误、挂载点无响应或访问无响应等。您可以在本文中查找一些常见文件操作错误、文件属主、数据不同步或访问无响应的解决方案。交叉挂载兼容性问题 Linux挂载...
将OSS数据写入AnalyticDB for MySQL 3.0
您可以通过MySQL客户端、MySQL命令行工具连接DLA，或者直接在DMS for Data Lake Analytics中执行INSERT SELECT语句将OSS中的数据写入AnalyticDB for MySQL。注意事项 INSERT FROM SELECT通常为长时运行任务，建议通过异步执行方式。使用...
配置Hive输出组件
加载策略包括 覆盖数据 和 追加数据，适用场景说明如下：覆盖数据：写入的数据中有主键时新数据覆盖旧数据，无主键时追加数据。追加数据：写入的数据中有主键时忽略新数据，无主键时追加数据。字段分隔符 非必填项，填写字段之间分隔符。...
输出数据
将经过加工的数据执行落库操作，您可以选择输出数据至已有的目标数据库表中（每次写入会删除表中原数据，并插入新数据），也可以输出数据至新建的数据库表中，还可以输出数据至数据集中。前提条件 已完成数据加工的配置，请参见 数据加工。...
配置HDFS输出组件
加载策略包括覆盖数据和追加数据，适用场景说明如下：覆盖数据：覆盖数据策略下，先删除目标目录下的文件，再新增数据文件。追加数据：追加数据策略下，直接向目标目录新增数据文件。行分隔符 文件类型为Text可配置字段之间行分隔符。非必...
INSERT OVERWRITE SELECT
本文介绍 云原生数据仓库AnalyticDB MySQL版 表数据的高性能写入方式 INSERT OVERWRITE SELECT，包括应用场景、功能原理、注意事项、语法和异步写入应用。功能原理 INSERT OVERWRITE SELECT 会先清空分区中的旧数据，再将新数据批量写入到...
写入或更新调优指南
当您Hologres的表数据写入或更新的性能无法达到业务预期时，可根据本文提供的写入瓶颈判断方法分析其具体原因（上游数据读取较慢，或达到了Hologres的资源瓶颈等），从而选择合适的调优手段，帮助业务实现更高的数据写入和更新性能。...
文件
overwrite：表示覆盖文件，文件不存在则创建文件，如果文件存在则覆盖之前文件的内容。[string]data：待存入文件的内容，文件会存储在 WindVane 缓存文件路径/fileName，如果路径不存在，则自动创建路径。[string]fileName：文件名，如果...
访问NAS示例
前提条件 配置NAS文件系统 创建函数 创建写入NAS文件的函数 登录 函数计算控制台，在左侧导航栏，单击 服务及函数。在顶部菜单栏，选择地域，然后在 服务列表 页面，单击目标服务。在 函数管理 页面，单击目标函数名称。在函数详情页面，...
近实时增量导入
如上图所示：数据导入工具内部会集成MaxCompute数据通道服务Tunnel提供的SDK Client，支持分钟级高并发写入数据到Tunnel Server，由它把数据并发写入到每个Bucket的数据文件中。写入并发度可通过表属性 write.bucket.num 来配置，因此写入...
SDK示例
} 创建及写入文件 通过调用FileSystem实例的create方法获取写文件的输出流，然后对这个输出流进行写入。创建及写入文件代码样例如下。创建及写入文件*@param filePath*@param content*@throws IOException*/private void writeFile(final ...
基本概念
在整个生命周期内，除使用追加方式上传的Object可以通过继续追加上传写入数据外，使用其他方式上传的Object内容无法编辑，您可以通过重复上传同名的对象来覆盖之前的对象。对象的命名规范如下：使用UTF-8编码。长度必须在1~1023字符之间。...
配置FTP输出组件
覆盖数据：写入前清理目录下文件名冲突的文件，再新增数据文件进行写入。文件名冲突报错：目录下的文件名存在冲突的文件，则运行时直接报错。写入文件个数 支持单个文件或多个文件。单个文件：将写入目标端FTP的单个文件中。多个文件：选择...
配置FTP输出组件
覆盖数据：写入前清理目录下文件名冲突的文件，再新增数据文件进行写入。文件名冲突报错：目录下的文件名存在冲突的文件，则运行时直接报错。写入文件个数 支持单个文件或多个文件。单个文件：将写入目标端FTP的单个文件中。多个文件：选择...
配置OpenGauss输出组件
同步其他数据源的数据至OpenGauss数据源的场景中，完成源数据源的信息配置后，需要配置OpenGauss输出组件写入数据的目标数据源。本文为您介绍如何配置OpenGauss输出组件。前提条件 已创建OpenGauss数据源，如何创建，请参见 创建OpenGauss...
配置OpenGauss输出组件
同步其他数据源的数据至OpenGauss数据源的场景中，完成源数据源的信息配置后，需要配置OpenGauss输出组件写入数据的目标数据源。本文为您介绍如何配置OpenGauss输出组件。前提条件 已创建OpenGauss数据源，如何创建，请参见 创建OpenGauss...
写入数据
TSDB 只支持通过 HTTP API 方式进行数据写入，因此控制台不提供数据写入的功能页面。关于数据写入的指导说明，请参考《开发指南》中的以下章节：《SDK 参考》中的 写入数据；《HTTP API 参考》中的 写入数据。
配置TDH Inceptor输出组件
TDH Inceptor输出组件用于向TDH Inceptor数据源写入数据。同步其他数据源的数据至TDH Inceptor数据源的场景中，完成源数据源的信息配置后，需要配置TDH Inceptor输出组件写入数据的目标数据源。本文为您介绍如何配置TDH Inceptor输出组件。...
Tablestore
sql-创建数据库 CREATE DATABASE IF NOT EXISTS table_store;USE table_store;创建表 DROP TABLE IF EXISTS delta_order_source;CREATE TABLE delta_order_source USING tablestore-配置项信息链接tablestore，定义schema OPTIONS(endpoint...
JindoData版本说明
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。本文为您介绍JindoData各版本支持的功能。背景信息 JindoData是原阿里云EMR SmartData组件...
CREATE MATERIALIZED VIEW
本文介绍如何在 云数据库ClickHouse 中创建物化视图。创建物化视图 语法：CREATE MATERIALIZED VIEW[IF NOT EXISTS][db.]Materialized_name[TO[db.]name][ON CLUSTER cluster]ENGINE=engine_name()ORDER BY expr[POPULATE]AS SELECT.参数...
Java SDK快速入门
使用宽表模型时，您需要先创建数据表，然后写入数据到数据表以及读取数据表中的数据。具体代码示例请参见 宽表模型示例。使用时序模型时，您需要先创建时序表，然后写入数据到时序表以及读取时序表中的数据。具体代码示例请参见 时序模型...
表批读写
按时间顺序查看到以前的版本，必须保留日志文件和该版本的数据文件。案例 修复用户111表的意外删除问题：SQL%sql INSERT INTO my_table SELECT*FROM my_table TIMESTAMP AS OF date_sub(current_date(),1)WHERE userId=111 修复对表的意外...
创建数据流
本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB MySQL 3.0、其他来源MySQL SQL Server：RDS SQL Server、MyBase SQL Server、其他来源SQL ...
Flink数据导入
已在目标 AnalyticDB MySQL版 集群中创建数据库和数据表，用于保存需要写入的数据。数据库和数据表的创建方法，请参见 CREATE DATABASE 和 CREATE TABLE。说明 本文示例中创建的数据库名称为 tpch，建库语句如下：CREATE DATABASE IF NOT ...
功能特性
多盘条带化读写 创建数据库文件存储时支持开启条带化，提升读写带宽，突破ESSD云盘最大64TB的限制-DBFS管理 创建DBFS 创建一个按量付费的数据库文件存储 创建DBFS 挂载DBFS 将数据库文件存储挂载到ECS云服务器上使用，支持挂载给多台ECS...
查询结果不符合预期的常见原因
但是由于宽表引擎的特性比较多，例如数据版本号、时间戳、TTL过期等复杂特性，如果使用不当，则可能出现写入的数据无法覆盖、被过期删除等无法被查询到或查询不符合逾期的情况，常见原因如下：数据未正常写入或查询发起的时间在数据写入前 ...
更新表
使用UpdateTable接口更新指定表的最大版本数、预留读吞吐量、预留写吞吐量或者是否允许更新写入数据的设置。接口/*更新指定表的最大版本数、预留读吞吐量、预留写吞吐量或者是否允许更新的设置。updateTable(params,callback)示例 更新表的...
导入数据至维表
创建完成维表后，您可以在维表中直接写入数据，也可以导入电子表格、本地CSV文件和Excel文件的数据至维表，为后续数据分析做准备。前提条件 已创建完成一个维表，详情请参见 创建维表。操作步骤 在 维表 页面，单击 全部维表 下相应的 文件...
配置Hologres输出组件
加载策略包括覆盖和忽略，适用场景说明如下：覆盖：写入的数据中有主键时新数据覆盖旧数据，无主键时追加数据。忽略：写入的数据中有主键时忽略新数据，无主键时追加数据。分区 选择写入数据的分区。输入字段 展示从源表中读取的字段。输出...
文件网关的缓存有什么作用
本地客户端通过文件网关向OSS上传文件时，数据会先写入文件网关的缓存。当文件完全写入缓存并关闭后，文件网关会将缓存中的文件上传至OSS。如果在上传过程中有新的文件写入缓存，上传过程将会中断，等待文件完全写入缓存并关闭后，上传才会...
配置Impala输出组件
同步其他数据源的数据至Impala数据源的场景中，完成源数据源的信息配置后，需要配置Impala输出组件写入数据的目标数据源。本文为您介绍如何配置Impala输出组件。前提条件 已创建Impala数据源，如何创建，请参见 创建Impala数据源。进行...
OSS与ClickHouse间的数据导入与导出
执行以下命令，创建数据库product，并在product数据库中创建业务表orders。CREATE DATABASE IF NOT EXISTS product ON CLUSTER cluster_emr;CREATE TABLE IF NOT EXISTS product.orders ON CLUSTER cluster_emr(`uid` UInt32,`date` ...
- 产品推荐
- 这些文档可能帮助您