快速入门
4.1 数据写入 NoSQLDatabase 提供三种数据写入方式 方法 desc void set(JSONObject o,PutCallback callback)写入并覆盖 ref 下所有数据,相当于 delete+update void update(JSONObject o,PutCallback callback)向 ref 写入新数据,已有数据与...
Fluentd插件
Fluentd插件 产品介绍 该插件是基于Fluentd开发的输出插件，主要是将采集到的数据写入DataHub。该插件遵守Fluentd输出插件开发规范，安装方便，可以很方便地将采集得到的数据写到DataHub。产品安装 通过Ruby gem安装 注意：RubyGem源建议...
常见Latency（时延）事件的处理建议
数据写入量较大，或磁盘性能存在瓶颈。AofWriteActiveChild 写入AOF文件的耗时，写入过程中存在其他子进程也在向磁盘写数据等情况。写入AOF文件过程中，其他子进程也在向磁盘写数据。AofWritePendingFsync 写入AOF文件的耗时，写入过程中...
分区索引
在数据写入量较大的场景中可以很好地实现数据均衡。搜索索引默认按照Lindorm宽表的主键进行HASH分区，同时也支持自定义分区键。HASH分区的语法示例如下：创建搜索索引，默认按照Lindorm宽表的主键进行HASH分区，默认设置的分区数量为 搜索...
创建/刷新物化视图支持批量写入
数据写入：将上一步中扫描到的数据写入到一个新的物化视图或表中。PolarDB PostgreSQL版 对数据写入步骤引入了批量写入的优化。当需要写入的数据量较大时，不再每次扫描一个元组就立刻写入表或物化视图中，而是在内存中攒够一定数量的元组...
语法
语法 INSERT[INTO|OVERWRITE]table_name[(column[,.])]query INSERT INTO用于插入新数据，而INSERT OVERWRITE用于覆盖老数据，插入新数据，执行完成之后的效果是老数据全部被删除，表中的...示例 数据写入OSS 数据写入Table Store 数据写入RDS
批量或异步插入数据
异步插入数据 云数据库ClickHouse适合大批次的数据写入方式，这样可以节省计算周期和磁盘I/O，节省成本。在client端常用的写入方式为批量写入，如果想在ClickHouse Server侧支持批量写入，可以使用异步插入模式。启动异步写入方式需要启用 ...
创建/刷新物化视图支持批量写入
数据写入：将上一步中扫描到的数据写入到一个新的物化视图或表中。PolarDB PostgreSQL版（兼容Oracle）对数据写入步骤引入了批量写入的优化。当需要写入的数据量较大时，不再每次扫描一个元组就立刻写入表或物化视图中，而是在内存中攒够...
EMR-3.22.x版本说明
Delta 新增Delta，用户可使用Spark创建Delta datasource，以支持流式数据写入、事务性读写、数据校验和数据回溯等应用场景。详情请参见 Delta详细信息。支持使用DataFrame API从Delta读取数据或者写入数据到Delta。支持使用Stuctured ...
Spark的数据写入至Hologres
CREATE TEMPORARY VIEW hologresTable(c_custkey bigint,c_name string,c_address string,c_nationkey int,c_phone string,c_acctbal decimal(15,2),c_mktsegment string,c_comment string)USING hologres OPTIONS(jdbcurl"jdbc:postgresql...
数据操作
exist：表示只有此行存在时才会插入新数据，写入数据时会覆盖原有数据。not_exist：表示只有此行不存在时才会插入数据。关于条件更新的更多信息，请参见 条件更新。i,-input 否/temp/inputdata.json 通过JSON格式的配置文件插入数据。您也...
下载备份
把备份上传到您的OSS RDS备份存放于备份空间，不占用存储空间，如需在您的OSS上存放备份，您可以选择以下其中一种方式：符合条件的云盘实例可参见本文创建高级下载任务并在任务配置过程中，选择直接将下载的数据写入您的OSS中；其余云盘...
Serverless模式
迁移类型 文档 是否支持 数据写入 使用INSERT ON CONFLICT覆盖写入数据 支持 使用COPY ON CONFLICT覆盖导入数据 支持 基于Client SDK数据写入 支持 表级迁移 通过DataWorks导入数据 支持 通过DTS从云数据库同步数据 支持 通过DTS从自建数据...
DataStudio侧实时同步任务配置
实现将多张表数据写入到同一个表中，或统一将源端某固定前缀的库名或表名在写入目标库或表时更新为其他前缀。源表名和目标表名转换规则：源端表名支持通过正则表达式转换为目标端最终写入的表名。示例1：将源端doc_前缀的表数据，写入前缀...
CREATE TABLE
说明 主键包含的列过多，可能导致：数据写入时，AnalyticDB for MySQL 检查主键是否重复，将消耗更多的CPU和IO资源。主键索引将占用更多的磁盘空间。您可以使用 空间分析 功能，查看主键索引占用的磁盘空间。主键包含的列越多，BUILD任务会...
同步 OceanBase 数据库的数据至 Kafka
背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台，数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步，扩展消息处理能力，广泛应用于实时数据仓库搭建、数据查询和报表分流等业务场景。前提条件 数据...
下载备份
下载方法 云盘实例 您可以根据RDS实例版本及规格，按任意时间点或按指定备份集创建高级下载任务，并支持选择下载目标为URL或直接将数据写入您的OSS中，后续方便您进行数据分析以及离线归档。前提条件 RDS实例需满足以下条件：大版本：...
离线同步常见问题
日期时间类型数据写入文本时，如何保留毫秒或者指定自定义日期时间格式？具体插件报错原因及解决方案 添加MongoDB数据源时，使用root用户时报错 读取MongoDB时，如何在query参数中使用timestamp实现增量同步？MongoDB同步至数据目的端数据...
创建物化视图的跨机并行加速和批量写入
数据写入：将上一步中扫描到的数据写入到一个新的物化视图或表中。对上述两个步骤分别引入了ePQ并行扫描和批量数据写入的优化。当需要扫描或写入的数据量较大时，能够显著提升上述DDL语法的性能，缩短执行时间：ePQ并行扫描：通过ePQ功能，...
MySQL 5.6测试结果
实例规格：rds.mysql.t1.small、rds.mysql.s2.large、rds.mysql.m1.medium、rds.mysql.c1.xlarge、rds.mysql.c2.xlarge 实例规格族：通用型 实例系列：高可用系列 实例存储类型：本地盘 测试限制 由于 数据量、压测时长、参数配置 会大幅...
MySQL 5.7测试结果
实例规格：rds.mysql.t1.small、rds.mysql.s2.large、rds.mysql.m1.medium、rds.mysql.c1.xlarge、rds.mysql.c2.xlarge 实例规格族：通用型 实例系列：高可用系列 实例存储类型：本地盘 测试限制 由于 数据量、压测时长、参数配置 会大幅...
MySQL 8.0测试结果
实例规格：rds.mysql.t1.small、rds.mysql.s2.large、rds.mysql.m1.medium、rds.mysql.c1.xlarge、rds.mysql.c2.xlarge 实例规格族：通用型 实例系列：高可用系列 实例存储类型：本地盘 测试限制 由于 数据量、压测时长、参数配置 会大幅...
Flume插件
产品介绍 Flume-DataHub插件是基于Flume开发的DataHub数据订阅/发布插件，可以将采集到的数据写入DataHub，也可以从DataHub读取数据写入其他系统。该插件遵守Flume插件开发规范，安装方便，可以很方便的向DataHub发布/订阅数据。产品安装 ...
SmartData常见问题
通过JindoTable从MaxCompute拉取数据写入至JindoFS缓存模式，然后使用JindoFuse来加载训练。基于Hive数仓上的数据，JindoFS如何帮助机器学习训练？类似于MaxCompute数仓上的数据处理方式，方式详情请参见 基于MaxCompute数仓上的数据，...
如何支持超大事务
执行SQL语句数量 2048 每条语句携带的数据量 约256 KB～8 MB 数据修改总量 512 MB～16 GB 数据修改条数 2048 测试过程 测试中，每一条SQL语句形如：INSERT INTO `tb` VALUES(id,c)数据表中 c 列的数据类型为longblob，c 的大小从256 KB到8 ...
创建物化视图的跨机并行加速和批量写入
数据写入：将上一步中扫描到的数据写入到一个新的物化视图或表中。PolarDB PostgreSQL版 对上述两个步骤分别引入了ePQ并行扫描和批量数据写入的优化。当需要扫描或写入的数据量较大时，能够显著提升上述DDL语法的性能，缩短执行时间：ePQ...
数据存储冷热分层
使用方法 重要 迁移到冷表的过程中会有建立临时表并写入数据，以及将数据上传至OSS的过程，会存在一定的本地I/O和网络I/O，可能对实例中已经运行的查询产生一定的性能影响，使用时请注意对业务的影响。热表转为冷表后其占用的本地磁盘空间...
PyODPS常见问题
使用PyODPS向表写入数据的两种方式open_writer()和write_table()有什么区别？为什么DataWorks PyODPS节点上查出的数据量要少于本地运行的结果？DataFrame如何获得Count实际数字？使用PyODPS时，报错sourceIP is not in the white list，...
Python SDK常见问题
使用PyODPS向表写入数据的两种方式open_writer()和write_table()有什么区别？为什么DataWorks PyODPS节点上查出的数据量要少于本地运行的结果？DataFrame如何获得Count实际数字？使用PyODPS时，报错sourceIP is not in the white list，...
Kafka数据源
单表实时写 写入数据不支持去重，即如果任务重置位点或者Failover后再启动，会导致有重复数据写入。整库实时写 实时数据同步任务仅支持使用 独享数据集成资源组。对于源端同步表有主键的场景，同步时会使用主键值作为kafka记录的key，确保...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
目标端表对象存在记录时处理策略 处理策略包括 忽略 和 停止迁移：选择 忽略：当目标端表对象存在数据时，如果原数据与写入数据冲突，数据传输采用将冲突数据记录日志，保留原数据不变的策略进行数据写入。重要 选择 忽略，全量校验将使用 ...
基础术语
数据写入延迟 数据写入延迟是指同步到目标实例的最新数据在源数据库执行的时间戳与源实例当前时间戳的差值。同步延迟反映了目标实例跟源实例的数据时间差。当同步延迟为 0 时，表示源实例与目标实例数据完全一致。数据写入延迟仅在增量同步...
导入与导出
DTS同步链路规格默认为medium模式，源库的数据写入量过大时，若想达到规格同步性能上限，需要 升级实例配置。无主键表的主键选择可能会导致热点行更新，而热点行更新速度很慢，可以向 AnalyticDB MySQL 提工单解决该问题。当 AnalyticDB ...
分析外部OSS上的数据
执行如下命令，将数据写入OSS。CREATE EXTERNAL TABLE IF NOT EXISTS mc_oss_orc_external(vehicleId int,recordId int,patientId int,calls int,locationLatitute double,locationLongtitue double,recordTime string,direction string)...
写入会话信息
配置属性 写入会话信息操作属性由以下部分组成，逻辑流通用属性部分请参考 逻辑流操作通用属性：基础属性 示例 说明 属性名 用于设置写入本地存储的属性名。此处需要填入 CHAR 类型常量或变量表达式。设置属性值 用于设置写入本地存储的...
MaxCompute数据源
MaxCompute数据源作为数据中枢，为您提供读取和写入数据至MaxCompute的双向通道。使用限制 说明 DataWorks的MaxCompute数据源可使用 Tunnel Endpoint 地址访问相应MaxCompute项目的Tunnel服务，从而通过上传、下载等方式同步该项目的数据。...
使用NimoShake将Amazon DynamoDB迁移至阿里云
Executor 将整合后的数据写入到MongoDB，同时更新checkpoint位点。将Amazon DynamoDB迁移至阿里云 本步骤以Ubuntu系统为例，介绍如何使用NimoShake将Amazon Dynamo数据库迁移到阿里云数据库。在系统中执行如下命令下载NimoShake包，等待...
使用MongoShake实现MongoDB实例间的单向同步
支持的数据源 源数据库 目标数据库 ECS上的自建MongoDB数据库 ECS上的自建MongoDB数据库 本地自建的MongoDB数据库 本地自建的MongoDB数据库 阿里云MongoDB实例 阿里云MongoDB实例 第三方云MongoDB数据库 第三方云MongoDB数据库 注意事项 在...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
使用参考
注意 说明 事件监听根据监听的范围不同会产生一定的消耗，监听的范围越大，产生的消耗也越大监听事件触发时会返回 ref 下所有数据，请避免在会返回大量数据的 ref 上进行监听，如只关心变化事件，可使用 ref.orderByXXX().limitToFirst()等...
- 产品推荐
- 这些文档可能帮助您