配置同步任务
加载策略包括覆盖数据、追加数据、文件名冲突报错，适用场景说明如下：覆盖数据：覆盖数据策略下，先删除目标目录下的文件，再新增数据文件。追加数据：追加数据策略下，直接向目标目录新增数据文件。文件名冲突报错：若目录下有重复的文件...
配置GoldenDB输出组件
同步其他数据源的数据至GoldenDB数据源的场景中，完成源数据源的信息配置后，需要配置GoldenDB输出组件写入数据的目标数据源。本文为您介绍如何配置GoldenDB输出组件。前提条件 已创建GoldenDB数据源，如何创建，请参见 创建GoldenDB数据源...
配置GoldenDB输出组件
同步其他数据源的数据至GoldenDB数据源的场景中，完成源数据源的信息配置后，需要配置GoldenDB输出组件写入数据的目标数据源。本文为您介绍如何配置GoldenDB输出组件。前提条件 已创建GoldenDB数据源，如何创建，请参见 创建GoldenDB数据源...
配置Hologres输出组件
加载策略包括覆盖和忽略，适用场景说明如下：覆盖：写入的数据中有主键时新数据覆盖旧数据，无主键时追加数据。忽略：写入的数据中有主键时忽略新数据，无主键时追加数据。分区 选择写入数据的分区。输入字段 展示从源表中读取的字段。输出...
用量查询
本文介绍如何查询用户体验监控的写入数据量。入口一 登录 ARMS控制台。在左侧导航栏选择 用户体验监控>用量统计。在 用量统计 页面右侧设置需要查询的时间段。您可以在 快捷筛选 区域过滤需要查询的应用或数据类型。在用量记录列表，您可以...
配置Impala输出组件
同步其他数据源的数据至Impala数据源的场景中，完成源数据源的信息配置后，需要配置Impala输出组件写入数据的目标数据源。本文为您介绍如何配置Impala输出组件。前提条件 已创建Impala数据源，如何创建，请参见 创建Impala数据源。进行...
Flume插件
产品介绍 Flume-DataHub插件是基于Flume开发的DataHub数据订阅/发布插件，可以将采集到的数据写入DataHub，也可以从DataHub读取数据写入其他系统。该插件遵守Flume插件开发规范，安装方便，可以很方便的向DataHub发布/订阅数据。产品安装 ...
Schema约束
Schema约束策略决定了数据写入时是否校验表是否存在、表结构是否一致、字段的数据类型是否一致。不同的数据写入方式，支持的Schema约束策略不同。本文介绍Lindorm时序引擎Schema约束的概念和使用。Lindorm时序模型的Schema Lindorm时序引擎...
FS-文件系统
本文介绍FS-文件系统的使用方法及示例。硬件平台 产品型号 是否支持 硬件类型 固件版本号 HaaS600Kit 是 开发板 4.0.1 HaaS510 是 DTU 4.0.1 HaaS520 是 DTU 4.0.1 HaaS530 是 DTU 4.0.1 HaaS531 是 DTU 4.0.1 HaaS632-LT32V 是 蜂窝模组 4...
UPSERT
本文介绍更新时空数据表的语法。语法 upsert_statement:=UPSERT[hint_clause]INTO table_name '('columns|_l_ts_')' VALUES '(' values ')'[ON DUPLICATE KEY update_column=update_value|IGNORE]?columns:=column_name,columns values:=...
配置ArgoDB输出组件
配置ArgoDB输出组件，可以将外部数据库中读取的数据写入到ArgoDB，或从大数据平台对接的存储系统中将数据复制推送至ArgoDB，进行数据整合和再加工。本文为您介绍如何配置ArgoDB输出组件。使用限制 ArgoDB输出组件支持写入文件格式为orc、...
配置TiDB输出组件
同步其他数据源的数据至TiDB数据源的场景中，完成源数据源的信息配置后，需要配置TiDB输出组件写入数据的目标数据源。本文为您介绍如何配置TiDB输出组件。前提条件 已创建TiDB数据源，如何创建，请参见 创建TiDB数据源。进行TiDB输出组件...
配置TiDB输出组件
同步其他数据源的数据至TiDB数据源的场景中，完成源数据源的信息配置后，需要配置TiDB输出组件写入数据的目标数据源。本文为您介绍如何配置TiDB输出组件。前提条件 已创建TiDB数据源，如何创建，请参见 创建TiDB数据源。进行TiDB输出组件...
时序引擎版本说明
3.4.26 发布日期 类型 说明 2023年03年14日 新特性 数据文件支持时间窗口整理。新增降采样算子irate。Lindorm ML：支持以SQL函数嵌套方式，结合时序非降采样算子进行异常检测。时序预测支持历史协变量。功能优化 修复在PrepareStatement...
INSERT INTO
本文介绍如何用INSERT INTO 语句向 云数据库 ClickHouse 数据表中插入数据。基本语法 INSERT INTO 语句基本格式如下：INSERT INTO[db.]table[(c1,c2,c3)]VALUES(v11,v12,v13),(v21,v22,v23),.对于存在于表结构中但不存在于插入列表中的列，...
使用OSS控制台上传数据文件
对象存储OSS控制台支持上传大小不超过5 GB的文件，如果您需要导入图数据库GDB实例的数据文件不超过5 GB，您可以将数据文件上传至对象存储OSS的Bucket中，然后从Bucket中将数据文件导入至图数据库GDB实例。本文介绍将数据文件上传至对象存储...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
计费说明
重要 ARMS面向新用户支持按写入可观测数据计费方案。对于已开通产品的用户，请通过控制台计费变更向导进行计费变更，如有疑问，请加入钉钉群咨询（群号：37120013838）。计费项 可观测监控 Prometheus 版 新版计费方式为按照写入的可观测...
计费说明
重要 ARMS面向新用户支持按写入可观测数据计费方案。对于已开通产品的用户，请通过控制台计费变更向导进行计费变更，如有疑问，请加入钉钉群咨询（群号：37120013838）。计费项 可观测监控 Prometheus 版 新版计费方式为按照写入的可观测...
FAQ
我们列出了可用于更改field数据类型的方法：将数据写入一个不同的field 最简单的解决方法就是将具有新数据类型的数据写入到同一个序列中的不同field。使用shard系统 在一个shard里面，field value的数据类型不能不一样，但是在不同的shard...
表设计
这个表设计有很明显的热点问题，每次数据写入都是在表的末尾追加数据，而数据是按照分区键的范围进行分区的，也就是每次数据写入都会写入最后一个分区，而无法把写入负载平衡到多台机器上。这种情况下，单分区的写入能力就是整个表的写入...
离线批量写入数据
表格存储提供了BulkImport接口用于在大数据场景下批量写入数据到数据表。当要写入数据到数据表时，您需要指定完整主键以及要增删改的属性列。前提条件 已初始化OTSClient。具体操作，请参见 初始化OTSClient。已创建数据表。具体操作，请...
通过整库迁移配置集成任务
数据源创建，请参见 数据集成支持的数据源。TDH Inceptor、ArgoDB目标数据源类型。需要配置存储格式。TDH Inceptor：支持 PARQUET、ORC、TEXTFILE 存储格式。ArgoDB：支持 PARQUET、ORC、TEXTFILE、HOLODESK 存储格式。Hive目标数据源类型...
局部事务
为数据表开启局部事务后，使用局部事务功能，您可以创建数据范围在一个分区键值内的局部事务并对局部事务中的数据进行读写操作。通过使用局部事务您可以实现单行或多行读写的原子操作。目前局部事务功能处于邀测中，默认关闭。如果需要使用...
通过整库迁移配置集成任务
数据源创建，请参见 通过整库迁移配置集成任务。AnalyticDB for PostgreSQL目标数据源类型。支持设置 冲突解决策略，包括 冲突时报错 和 冲突时覆盖。重要 冲突解决策略仅在PostgreSQL内核版本高于4.3时的Copy模式下有效，内核低于4.3或...
插入或覆写数据（INSERT INTO|INSERT OVERWRITE）
MaxCompute支持通过 insert into 或 insert overwrite 操作向目标表或静态分区中插入、覆写数据。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行（odpscmd）连接 使用DataWorks连接 MaxCompute ...
专业术语
在创建数据库的时候，TSDB For InfluxDB®会自动创建名为 autogen 的RP。相关术语：duration，measurement，series，shard duration，tag set。schema（模式）描述了数据在TSDB For InfluxDB®中是如何组织的。TSDB For InfluxDB® schema...
配置同步任务
配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。配置流程说明 同步任务的配置流程如下图。来源表和目标表均支持多种数据源。数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、...
使用Java SDK写入数据时报错The count of attribute ...
问题现象 使用 表格存储 Java SDK写入数据到数据表时出现如下报错：The count of attribute columns exceeds the maximum:128 可能原因 写入数据到 表格存储 数据表时，一行最多支持写入1024列。在使用TableStoreWriter的过程中，客户端会...
离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
同步数据
分析型数据库MySQL版支持多种数据加载方式，包括但不限于：通过阿里云数据传输服务DTS将MySQL/DRDS中的数据导入分析型数据库MySQL版，其中MySQL可为RDS for MySQL、其他云厂商或线上IDC的自建MySQL以及ECS自建MySQL。详细操作步骤请参见 ...
数据写入时序表后是否可以立即查询到？
数据写入时序表后，根据使用的数据查询方式不同，查询延迟有区别。当通过 GetTimeseriesData 接口进行查询时，您可以立即查询到写入的数据。当通过SQL使用时序表的绑定关系进行查询时，对于已有时间线，您可以立即查询到写入的数据。如果是...
常见Latency（时延）事件的处理建议
AofWriteActiveChild 写入AOF文件的耗时，写入过程中存在其他子进程也在向磁盘写数据等情况。写入AOF文件过程中，其他子进程也在向磁盘写数据。AofWritePendingFsync 写入AOF文件的耗时，写入过程中存在后台进程正在执行fsync。写入AOF文件...
常见Latency（时延）事件的处理建议
AofWriteActiveChild 写入AOF文件的耗时，写入过程中存在其他子进程也在向磁盘写数据等情况。写入AOF文件过程中，其他子进程也在向磁盘写数据。AofWritePendingFsync 写入AOF文件的耗时，写入过程中存在后台进程正在执行fsync。写入AOF文件...
行协议教程
TSDB For InfluxDB®的行协议（Line Protocol）是一种基于文本的格式，用于将数据点写入数据库。数据点必须符合行协议格式，TSDB For InfluxDB®才能成功解析和写入数据点。语法 行协议中，一行数据表示TSDB For InfluxDB®中的一个数据点...
AnalyticDB for MySQL 2.0数据源
创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据源，操作流程请参见 创建并管理数据源。单表离线同步任务配置指导 操作流程请参见 通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。脚本模式...
Serverless模式
迁移类型 文档 是否支持 数据写入 使用INSERT ON CONFLICT覆盖写入数据 支持 使用COPY ON CONFLICT覆盖导入数据 支持 基于Client SDK数据写入 支持 表级迁移 通过DataWorks导入数据 支持 通过DTS从云数据库同步数据 支持 通过DTS从自建数据...
表设计最佳实践
使用MaxCompute Tunnel SDK上传数据时，如果创建了Session却没有上传数据，而是直接Commit，则会产生大量空目录（在服务侧等同于小文件）。使用MaxCompute客户端执行Tunnel命令上传时，将本地大文件切分过小会导致上传后产生大量小文件。...
动态列
云原生多模数据库 Lindorm 宽表引擎支持动态列功能，即创建表时未显式指定的列，在实际业务中动态写入数据并执行查询。本文介绍如何通过Lindorm SQL实现动态列能力的开启、写入以及查询。背景信息 传统关系型数据库表的Schema必须预先定义...
按写入数据量计费
按写入数据量计费，写入数据后享受30天免费存储权益，除写入数据费用外，仅在数据存储超过30天及外网读取时产生额外费用。特性 说明 计费说明 按量付费，即后付费，是指您购买的资源按照实际用量结算，在每个结算周期生成账单并从账户中...
- 产品推荐
- 这些文档可能帮助您