管理健康报告
平均写文件大小 总写入数据大小除以写入文件总数，用以表示每个文件的平均写入数据量。平均写文件耗时 文件写入总耗时除以文件总数，反映了每次文件写入操作的平均所需时间。Top导入热表分析 按表粒度对导入任务数量进行排序并选取Top 20的...
调优集群性能
INSERT INTO SELECT 短时间内大量数据写入，当后台Build任务堆积时会导致实时数据增多，此时查询如果涉及实时数据的话，数据库需要扫描大量实时数据（因为实时数据没有索引），最终导致CPU使用率增高。Build Build任务会对数据进行构建索引...
限制描述
50 Topic限制 每个Project内能创建的Topic数量限制，如有特殊请求请联系管理员 500 Topic Lifecycle限制 每个Topic中数据保存的最大时长，单位是天[1,7]单次batch写入条数 每次batch写入数据最大条数限制 10000条 命名规范 名词 描述 长度...
RDS外部表
当您需要向RDS外部表写入大量数据时，采用并行多进程写入方式，会小概率出现某个写入进程数据重写情况，导致数据重复。MaxCompute里建的RDS外部表，其中DECIMAL数据类型默认小数18位，不能修改，只能建成 decimal(38,18)。如果小数位数比较...
数据读写
类别 限制项 说明 备注 Project 写入流量 原始数据写入流量最大为100GB/min。超过限制时，返回状态码403，提示Inflow Quota Exceed。如果您有更大的使用需求，请提 工单 申请。写入次数 写入次数最大为600000次/min。超过限制时，返回状态...
产品优势
高性能&低成本 超大规模数据写入实时可见，确保数据的强一致性。支持秒级甚至毫秒级对海量数据进行查询和计算，复杂SQL查询速度相比传统的关系型数据库快10倍。支持计算资源按需在线扩缩容、分时弹性和按需弹性等功能；同时支持 冷热数据...
基本概念
EIU EIU，全称为Elastic IO Unit，中文名称为弹性IO资源，是 AnalyticDB for MySQL 弹性模式集群版（新版）的存储节点，负责数据存储，还提供数据写入、数据查找和数据扫描等能力。一组EIU，也就是一个存储节点组，其中包含三个存储节点。...
Tablestore外部表
说明 将MaxCompute中的数据写入OTS时一次不能超过4MB，否则需要用户剔除掉超大数据再写入。此时可能会产生报错。ODPS-0010000:System internal error-Output to TableStore failed with exception:TableStore BatchWrite request id XXXXX ...
MySQL分库分表同步至Hologres（方案1.0）
将分表数据写入目标单表：将源表满足 t_order.*正则表达式的表数据写入到Hologres名为 t_order 的表中，所有满足 t_user.*正则表达式的表数据写入到Hologres名为 t_user 的表中。为表加上统一前缀：在目标名前统一加上 cdo_前缀。schema：...
数据同步概述
实时数仓Hologres是一款兼容PostgreSQL 11协议的实时数仓，与大数据生态无缝连接，支持高并发地实时写入，数据写入即可查，同时也支持离线数据的加速查询、实时数据和离线数据联邦分析，助力快速搭建企业级实时数仓。Hologres数据同步说明 ...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
将数据写入OSS
实现示例如下：示例：通过内置文本数据解析器将数据写入OSS-非分区路径 示例：通过内置文本数据解析器将数据写入OSS-分区路径 示例：通过内置文本数据解析器将数据以压缩方式写入OSS 示例：通过内置开源数据解析器将数据写入OSS 通过自定义...
命令行界面介绍
数据写入TSDB For InfluxDB®使用行协议（Line Protocol），该协议遵循以下格式：[,<tag-key>=<tag-value>.]<field-key>=[,<field2-key>=<field2-value>.][unix-nano-timestamp]以下是符合格式的数据写入TSDB For InfluxDB®的示例：cpu,...
使用Kafka（离线与实时）
通过 使用本地客户端（odpscmd）连接 或其他可以运行MaxCompute SQL的工具，执行如下命令，查询数据写入结果。set odps.sql.allow.fullscan=true;select*from table_text;返回结果如下：#这里由于我们odps-sink-connector.json配置文件中的...
查询数据
IGNORE_INC 数据写入流量非常大时，为保证检索响应时间，您可以选择不查询部分实时数据（一般指数据写入时间小于24小时的数据）。IGNORE_INC=true PREFER_INDEX 在同一个向量列上定义多个索引时，您可以使用 PREFER_INDEX 参数建议系统采用...
使用Flink写入时序引擎
说明 实时计算Flink版默认不具备访问公网的能力，如需通过公网将数据写入时序引擎，请参见 Flink全托管集群如何访问公网。已开通时序引擎。Lindorm时序引擎为3.4.7及以上版本，如何查看或升级时序引擎版本，请参见 时序引擎版本说明 和 ...
使用Flink（流式数据传输-新版）
当前MaxCompute为您提供了新版的Flink Connector插件，新版插件支持将Flink数据写入至MaxCompute的普通表和Transaction Table2.0类型表，提高了Flink数据写入MaxCompute的便捷性。本文为您介绍新版Flink Connector写入MaxCompute的能力支持...
快照原理
快照2：包含数据块A1（数据块A修改为A1）、B1（数据块B修改为B1）、C（数据块C无变化）和D（新增数据块），其中数据块C来源于快照1。快照3：包含数据块A1（数据块A1无变化）、B1（数据块B1无变化）、C1（数据块C修改为C1）、D（数据块D无...
写入本地存储
本文介绍逻辑流中写入本地存储操作的主要使用方法。简介 写入本地存储操作可用于在当前逻辑流执行环境中写入浏览器本地存储。环境限制 写入本地存储操作仅用于 Web 场景下（PC、H5）前端逻辑流环境。配置属性 写入本地存储操作属性由以下...
存储层弹性
AnalyticDB MySQL 的存储节点除了进行数据存储，还提供数据写入、数据查找和数据扫描等能力。如果读写性能出现瓶颈需要到控制台手动扩容弹性IO资源。弹性IO资源（Elastic IO Unit，简称EIU）是弹性模式集群版（新版）衡量实例存储性能的...
写入时序数据
putts-k '["cpu","localhost",["region=hangzhou","os=ubuntu"]]'-field '[{"c":"fieldname","v":"fieldvalue"},{"c":"bool_field","v":true},{"c":"double_field","v":1.1},{"c":"int_value","v":10,"isint":true}]'-time ...
采集-IoT/嵌入式日志
配置如下：C Producer配置 ARM（树莓派）缓存：10 MB 聚合时间：3秒（聚合时间、聚合数据包大小、聚合日志数任一满足即打包发送）聚合数据包大小：1 MB 聚合日志数：1000 发送线程：1 自定义tag：5 X86 缓存：10MB 聚合时间：3秒（聚合时间...
版本说明
V2.6.12 2021年4月9日 设计优化 添加数据写入的审计日志（由于会对写入性能有影响，只接受提交工单开启，且仅支持后台运维查询）V2.6.11 2021年4月2日 新特性 api/mquery 和 api/query/mlast 增加 roffset 与 rlimit 查询接口,其语义与原有...
E-MapReduce本地盘实例大规模数据集测试
本文介绍如何使用阿里云E-MapReduce搭建本地盘机型集群节点，并进行大数据基准性能测试。应用范围 需要使用阿里云E-MapReduce+本地盘进行大数据业务前进行性能测试的用户。需要将线下自建大数据集群迁移到阿里云云上E-MapReduce+本地盘进行...
ECS实例说明
大数据型 使用本地SATA盘作存储数据，存储性价比高，是大数据量（TB级别的数据量）场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点；Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...
Logstash数据写入问题排查方案
在使用阿里云Logstash将数据写入阿里云Elasticsearch（output指定为阿里云Elasticsearch）时，您可能会遇到网络不通、管道配置错误、负载高、管道正常启动但无数据写入目标端以及服务正常但缺少数据等问题，此时您可以参考本文的排查方案...
写入数据
TSDB 只支持通过 HTTP API 方式进行数据写入，因此控制台不提供数据写入的功能页面。关于数据写入的指导说明，请参考《开发指南》中的以下章节：《SDK 参考》中的 写入数据；《HTTP API 参考》中的 写入数据。
Tunnel命令
当您需要在本地环境与MaxCompute之间传输大量的数据时，MaxCompute提供Tunnel功能支持上传下载数据，使用Tunnel命令可以实现批量或增量数据的高效上传、下载，以提高数据传输效率和可靠性。本文为您介绍Tunnel上传下载命令的详细说明。...
Tunnel命令
当您需要在本地环境与MaxCompute之间传输大量的数据时，MaxCompute提供Tunnel功能支持上传下载数据，使用Tunnel命令可以实现批量或增量数据的高效上传、下载，以提高数据传输效率和可靠性。本文为您介绍Tunnel上传下载命令的详细说明。...
常见问题
数据写入与查询 如何处理insert into select XXX内存超限报错？如何查询CPU使用量和内存使用量？如何处理查询时内存超出限制？如何处理查询报并发超限？在数据停止写入时，同一个查询语句每次查询的结果不一致，应该如何处理？为什么有时看...
创建数据表
使用本地二级索引时，表格存储以同步方式将数据表中被索引的列和主键列的数据自动同步到索引表中，当数据写入数据表后，即可从索引表中查询到数据。示例 创建数据表（不带索引）创建一个含有2个主键列，预留读/写吞吐量为(0,0)的数据表。...
常见Latency（时延）事件的处理建议
数据写入量较大，或磁盘性能存在瓶颈。AofWriteActiveChild 写入AOF文件的耗时，写入过程中存在其他子进程也在向磁盘写数据等情况。写入AOF文件过程中，其他子进程也在向磁盘写数据。AofWritePendingFsync 写入AOF文件的耗时，写入过程中...
常见问题
DTS同步链路规格默认为medium模式，源库的数据写入量过大时，若想达到规格同步性能上线，需要 升级实例配置。无主键表的主键选择可能会导致热点行更新，而热点行更新速度很慢，可以向ADB提工单解决该问题。当ADB集群的写入性能已达到瓶颈，...
从RDS MySQL同步至Tablestore
脏数据处理策略 选择数据写入错误时的处理策略：跳过 阻塞 数据写入模式 行更新：使用PutRowChange会做行级别更新。行覆盖：使用UpdateRowChange会做行级别覆盖。批量写入方式 批量写入调用接口。BulkImportRequest：离线写入。...
创建数据表
使用本地二级索引时，表格存储以同步方式将数据表中被索引的列和主键列的数据自动同步到索引表中，当数据写入数据表后，即可从索引表中查询到数据。示例 创建数据表时不带索引 以下示例用于创建一个有2个主键列的数据表。该数据表中的数据...
创建数据表
使用本地二级索引时，表格存储以同步方式将数据表中被索引的列和主键列的数据自动同步到索引表中，当数据写入数据表后，即可从索引表中查询到数据。indexUpdateMode：索引更新模式。可选值包括IUM_ASYNC_INDEX和IUM_SYNC_INDEX。当不设置...
快速入门
4.1 数据写入 NoSQLDatabase 提供三种数据写入方式 方法 desc void set(JSONObject o,PutCallback callback)写入并覆盖 ref 下所有数据,相当于 delete+update void update(JSONObject o,PutCallback callback)向 ref 写入新数据,已有数据与...
Fluentd插件
Fluentd插件 产品介绍 该插件是基于Fluentd开发的输出插件，主要是将采集到的数据写入DataHub。该插件遵守Fluentd输出插件开发规范，安装方便，可以很方便地将采集得到的数据写到DataHub。产品安装 通过Ruby gem安装 注意：RubyGem源建议...
常见Latency（时延）事件的处理建议
数据写入量较大，或磁盘性能存在瓶颈。AofWriteActiveChild 写入AOF文件的耗时，写入过程中存在其他子进程也在向磁盘写数据等情况。写入AOF文件过程中，其他子进程也在向磁盘写数据。AofWritePendingFsync 写入AOF文件的耗时，写入过程中...
分区索引
在数据写入量较大的场景中可以很好地实现数据均衡。搜索索引默认按照Lindorm宽表的主键进行HASH分区，同时也支持自定义分区键。HASH分区的语法示例如下：创建搜索索引，默认按照Lindorm宽表的主键进行HASH分区，默认设置的分区数量为 搜索...
- 产品推荐
- 这些文档可能帮助您