创建物化视图的跨机并行加速和批量写入
数据写入：将上一步中扫描到的数据写入到一个新的物化视图或表中。PolarDB PostgreSQL版 对上述两个步骤分别引入了ePQ并行扫描和批量数据写入的优化。当需要扫描或写入的数据量较大时，能够显著提升上述DDL语法的性能，缩短执行时间：ePQ...
写数据表
写数据表组件将数据写入MaxCompute表。本文为您介绍写数据表的参数配置。前提条件 如果您需要写入分区表，则需要先创建待写入的分区表，再使用该组件写入数据，关于如何创建分区表，详情请参见 创建分区表。使用限制 支持的计算引擎为...
测试数据构建
工单参数信息中的 冲突处理 模式说明如下：遇到数据冲突则跳过：遇到主键、唯一键的数据写入冲突则跳过冲突记录，继续写入其他数据。遇到数据冲突则替换：遇到主键、唯一键的数据写入冲突则更新原记录的数据并继续写入其他数据。参数配置...
日志服务数据同步至Hologres
存在多种方式可以将日志服务SLS的数据写入至Hologres，本文以Flink、DataWorks数据集成为例，为您介绍如何将SLS数据实时写入至Hologres。前提条件 开通SLS服务并创建Project和Logstore，详情请参见 快速入门。开通Hologres服务并连接至开发...
一键实时同步至DataHub
数据写入 运行同步任务后，生成的离线同步任务将全量数据写入DataHub，待全量数据执行完成后，启动实时同步任务，将源端增量数据实时同步至目标端。数据写入格式如下：仅支持将数据写入DataHub Tuple类型的Topic中。关于DataHub TUPLE数据...
配置ClickHouse输出组件
解析方案 解析方案用于自定义数据写入至ClickHouse数据源前和数据写入至ClickHouse数据源后的一些特殊处理。解析方案 包括 填写准备语句 和 填写完成语句，适用场景说明如下：填写准备语句：导入前执行的SQL脚本。例如数据同步至ClickHouse...
HTTP API
TSDB For InfluxDB® HTTP路径（endpoint）路径 描述/ping 使用/ping 检查TSDB For InfluxDB®实例的状态和TSDB For InfluxDB®的版本/query 使用/query 查询数据和管理数据库、保留策略和用户/write 使用/write 将数据写入到一个已经存在...
配置Hologres输出组件
加载策略 向目标数据源（Hologres数据源）写入数据时，数据写入表中的策略。加载策略包括覆盖和忽略，适用场景说明如下：覆盖：写入的数据中有主键时新数据覆盖旧数据，无主键时追加数据。忽略：写入的数据中有主键时忽略新数据，无主键时...
Apache Nifi
使用如下SQL创建数据表，之后会将数据写入该表中。DROP TABLE IF EXISTS user_info;CREATE TABLE IF NOT EXISTS user_info(id int,first_name text,last_name text,email text);配置GetFile Processor 添加一个GetFile Processor。详情请...
创建同步OSS
2）文件格式同步到OSS中的文件名称采用 ConnectorId 等有含义信息拼接而成，暂时不支持用户修改3）二级目录DataHub同步会根据数据写入DataHub的时间来生成二级目录，默认 Asia/Shanghai 时区，更多配置可参考SDK方式创建。创建同步任务 ...
搜索索引介绍
数据写入的流程如下：数据写入至Lindorm宽表引擎，原始数据记录在宽表WAL中，写入结果返回客户端。数据同步服务LTS实时监听宽表WAL，筛选出宽表WAL中带有SearchIndex的表，并将筛选的数据写入至搜索引擎。搜索引擎收到数据后实时构建倒排...
导入数据
写入方式 选择文件的写入方式：INSERT：插入数据时数据库会检查主键（PrimaryKey），如果出现重复会报错。INSERT_IGNORE：如果表中已经存在相同的记录，则忽略当前新数据。REPLACE_INTO：如果表中已经有某行数据（根据主键或者唯一索引判断...
ECS实例操作系统内部（GuestOS）常见问题与修复方案
磁盘无法写入文件 随着业务的发展和应用数据增长，您可以在线扩容指定云盘的容量，包括系统盘和数据盘。具体操作，请参见 在线扩容云盘 或者 离线扩容云盘。Windows操作系统（GuestOS）常见问题与解决方案 无法正常登录 检查Windows网卡...
Kafka增量数据同步至MaxCompute
增量数据开始同步后，如果仍有时间戳小于等于起始时间的记录写入Kafka Topic的话，这些数据可能被漏读，所以当Kafka Topic中数据写入出现延迟或者时间戳乱序时，要注意对离线同步任务造成的数据漏读风险。Kafka侧参数同步结束策略原则上...
Kafka增量数据同步至MaxCompute
增量数据开始同步后，如果仍有时间戳小于等于起始时间的记录写入Kafka Topic的话，这些数据可能被漏读，所以当Kafka Topic中数据写入出现延迟或者时间戳乱序时，要注意对离线同步任务造成的数据漏读风险。Kafka侧参数同步结束策略原则上...
数据导入
写入方式 选择文件的写入方式：INSERT：插入数据时数据库会检查主键（PrimaryKey），如果出现重复会报错。INSERT_IGNORE：如果表中已经存在相同的记录，则忽略当前新数据。REPLACE_INTO：如果表中已经有某行数据（根据主键或者唯一索引判断...
配置AnalyticDB for PostgreSQL输出组件
解析方案 解析方案用于自定义数据写入至AnalyticDB for PostgreSQL数据源前和数据写入至AnalyticDB for PostgreSQL数据源后的一些特殊处理。解析方案 包括 填写准备语句 和 填写完成语句：填写准备语句：导入前执行的SQL脚本。例如，数据...
将Excel的数据导入数据库
写入方式 选择文件的写入方式：INSERT：插入数据时数据库会检查主键（PrimaryKey），如果出现重复会报错。INSERT_IGNORE：如果表中已经存在相同的记录，则忽略当前新数据；REPLACE_INTO：如果表中已经有某行数据（根据主键或者唯一索引判断...
实时数据消费概述
您可以通过API更灵活地控制数据写入和更新的过程。更多信息，请参见 高速数据导入API。实时数据源消费 Kafka数据集成是实时分析功能的另一个组件，它允许 AnalyticDB PostgreSQL版 数据库实时地从Kafka Topic中消费数据。为您提供了一个...
数据版本和生命周期
属性列数据的有效版本范围为[max{数据写入时间-有效版本偏差,数据写入时间-数据生命周期}，数据写入时间+有效版本偏差)。只有当属性列数据的版本号（单位为毫秒）除以1000换算为秒后在有效版本范围时，才能成功写入数据。例如当数据表的...
全量数据同步
stg_base_yhkh_demo_df 写入处理规则 支持数据写入前的清除或保留已有数据。写入前清理已有数据 在 字段映射 区域默认选择 同名映射。配置完成后，在 离线数据同步管理 页面左上角，单击 图标。在 离线数据同步 管理页面，选择新增的全量离...
使用写入高可用特性
当异步写入模式发生错误时，阿里云Elasticsearch支持临时将异步模式转换为同步模式，转换后，写入请求将直接由代理服务转发给Elasticsearch，而不会存储到消息队列中，以确保数据写入快速恢复。开启写入高可用 登录 阿里云Elasticsearch...
MySQL分库分表同步至Hologres（方案1.0）
将分表数据写入目标单表：将源表满足 t_order.*正则表达式的表数据写入到Hologres名为 t_order 的表中，所有满足 t_user.*正则表达式的表数据写入到Hologres名为 t_user 的表中。为表加上统一前缀：在目标名前统一加上 cdo_前缀。schema：...
通过Logstash导入数仓版
Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。AnalyticDB MySQL 完全兼容MySQL，您可以将Logstash Input插件支持的任一数据源中的数据写入 AnalyticDB MySQL。...
INTO子句
语法 SELECT_clause INTO<measurement_name>FROM_clause[WHERE_clause][GROUP_BY_clause]语法描述 INTO 子句支持多种指定measurement的格式：INTO将数据写入到一个指定的measurement。如果您使用CLI写入数据，那么写入数据的measurement...
如何高效地写入数据
基于JDBC开发高效数据写入的应用 对于使用JDBC进行应用开发的场景，为了达到高效数据写入的目的，推荐使用JDBC中的 PreparedStatement 实现INSERT语句的批量写入。具体步骤如下：使用JDBC创建 Connection 对象。通过JDBC建立连接的方法，...
PostLogStoreLogs
日志数据写入时有两种模式：负载均衡模式（LoadBalance）：自动根据Logstore下所有可写的Shard进行负载均衡写入。该方法写入可用性较高，适合不保证顺序的数据消费场景。Key路由Shard模式（KeyHash）：在URL参数中增加Key字段，用来判断...
Beam概述（公测）
在数据写入时，会根据数据写入方式，自动选择合适的存储方式。当您使用 INSERT INTO VALUES 等流式实时方式写入数据时，会写入行存Detla部分，以达到持平行存Heap表的实时写入性能。高吞吐批量导入 当您使用 COPY 或 INSERT INTO SELECT 等...
表删除，更新和合并
在这个部分：写入Delta表时的重复数据删除 缓慢将数据（SCD）类型2操作更改为Delta表 将更改数据写入Delta表 使用Upsert 从流式处理查询foreachBatch 写入Delta表时的重复数据删除 一个常见的ETL用例是通过将日志附加到表中来将日志收集到...
配置AnalyticDB for PostgreSQL输出组件
解析方案 解析方案用于自定义数据写入至AnalyticDB for PostgreSQL数据源前和数据写入至AnalyticDB for PostgreSQL数据源后的一些特殊处理。解析方案 包括 填写准备语句 和 填写完成语句：填写准备语句：导入前执行的SQL脚本。例如，数据...
同步时源库为PolarDB MySQL版的注意事项及限制
在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行在线DDL变更，可能引起目标库数据丢失。若目标库的DDL写入失败，DTS任务会继续运行，您需要在任务...
命令行界面介绍
数据写入TSDB For InfluxDB®使用行协议（Line Protocol），该协议遵循以下格式：[,<tag-key>=<tag-value>.]<field-key>=[,<field2-key>=<field2-value>.][unix-nano-timestamp]以下是符合格式的数据写入TSDB For InfluxDB®的示例：cpu,...
多值数据写入
本文介绍多值数据写入的写入模式及其响应内容。时序多值模型 多值的模型是针对数据源建模，我们每一行数据针对的是一个数据源，它的被测量的多个指标在同一行上，所以每一个数据源，数据的来源在每一个时间点上都有一行，这就是多值的模型...
MySQL分库分表同步至Hologres（方案2.0）
将分表数据写入目标单表：将源表满足 t_order.*正则表达式的表数据写入到Hologres名为 t_order 的表中，所有满足 t_user.*正则表达式的表数据写入到Hologres名为 t_user 的表中。为表加上统一前缀：在目标名前统一加上 cdo_前缀。schema：...
HTTP API 概览
TSDB 实例支持通过 HTTP 协议进行数据写入和查询等操作。TSDB 提供了一个基于 HTTP 的应用程序编程接口，以便与外部系统集成。几乎所有 TSDB 的特性都可以通过 API 来访问，比如查询时间序列数据、管理元数据和存储数据点。TSDB 的 ...
业务切换流程
此类情况通常约定在执行数据迁移任务之前将业务中断并停止新的数据写入源数据库，所以请直接跳转至步骤 5 继续操作。将业务暂时中断，禁止新的数据写入源数据库。登录源数据库，根据数据库类型选择下述命令查看会话信息，确保没有新的会话...
业务切换流程
此类情况通常约定在执行数据迁移任务之前将业务中断并停止新的数据写入源数据库，所以请直接跳转至步骤 5 继续操作。将业务暂时中断，禁止新的数据写入源数据库。登录源数据库，根据数据库类型选择下述命令查看会话信息，确保没有新的会话...
同步时源库为PolarDB-X 2.0的注意事项及限制
在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行在线DDL变更，可能引起目标库数据丢失。若目标库的DDL写入失败，DTS任务会继续运行，您需要在任务...
INSERT OVERWRITE SELECT
INSERT OVERWRITE SELECT 常见的应用场景如下：分区级数据写入。数据初始化（全量写入）。大批量数据写入操作，不建议用于少量数据的写入。注意事项 请勿同时通过 INSERT OVERWRITE SELECT 和实时写入方式（INSERT INTO、REPLACE INTO、...
写入数据
TSDB Client 提供了以下四种类型的 Callback 接口：BatchPutCallback，即数据写入的 极简模式。对应的API调用形式为 POST/api/put BatchPutSummaryCallback，即数据写入的 统计模式。对应的API调用形式为 POST/api/put?summary=true ...
- 产品推荐
- 这些文档可能帮助您