限制描述
每个新产生的shard在一定时间内不允许进行Merge/Split操作 5s QPS限制 每个Shard写入QPS限制（非Record/s，Batch写入同一Shard仅计算为1次）2000 Throughput限制 每个Shard写入每秒吞吐限制 5MB/s Project限制 每个云账号能够创建的Project...
MySQL 5.7测试结果
场景一：内存命中型 规格 单表数据量 表数量 最大连接数 IOPS Sysbench线程数 Sysbench读取（单位：次）SysBench写入（单位：次）1核1 GB（rds.mysql.t1.small）25000 32 300 600 8 539252 154072 2核4 GB（rds.mysql.s2.large）25000 32 ...
MySQL 5.6测试结果
场景一：内存命中型 规格 单表数据量 表数量 最大连接数 IOPS Sysbench线程数 Sysbench读取（单位：次）SysBench写入（单位：次）1核1 GB（rds.mysql.t1.small）25000 32 300 600 8 450394 128684 2核4 GB（rds.mysql.s2.large）25000 32 ...
MySQL 8.0测试结果
场景一：内存命中型 规格 单表数据量 表数量 最大连接数 IOPS Sysbench线程数 Sysbench读取（单位：次）SysBench写入（单位：次）1核1 GB（rds.mysql.t1.small）25000 32 300 600 8 432922 123692 2核4 GB（rds.mysql.s2.large）25000 32 ...
数据写入、更新、点查场景压测最佳实践
Hologres是兼容PostgreSQL协议的一站式实时数仓引擎，支持海量数据实时写入、实时更新、实时分析，既支持PB级数据多维分析（OLAP）与即席分析（Ad Hoc），又支持高并发低延迟的在线数据服务（Serving）。本文为您介绍Hologres在数据写入、...
Parameters参数说明
在调用ModifyDtsJobConfig接口修改DTS任务参数时，您可以根据需求配置Parameters参数。参数说明 Parameters的数据类型为字符串String，传入格式为JSON，需要配置如下参数：module 参数对应的模块，取值为：03：同步或迁移任务的 全量迁移 ...
Modbus调试工具
各数据类型寄存器个数说明 数据类型 暂用寄存器个数 描述 int16 1 16位有符号整型 uint16 1 16位无符号整型 int32 2 32位有符号整型 uint32 2 32位无符号整型 int64 4 64位有符号整型 uint64 4 64位无符号整型 float 2 单精度浮点型（32位...
TableOptions
表的参数值，包括TimeToLive，最大版本数等。...目的主要是为了禁止写入与预期较大的数据，比如设置deviation_cell_version_in_sec为1000，当前timestamp如果为10000，那么允许写入的timestamp范围为[10000-1000,10000+1000]。
查看本地日志
调用日志接口写的日志会先写入到本地应用的沙盒文件中，触发日志上报逻辑后，再上传到日志服务器。本地日志格式 10.1.60&10.1.68 版本 写入本地的日志在沙盒的 Library>atrack>logs 文件夹下。该文件夹仅存放还未上报的日志，已经上报的...
性能测试
测试环境 本次性能测试中需要准备以下测试数据库，具体配置如下表：数据库 配置说明 云原生多模数据库 Lindorm Ganos引擎（即Ganos时空服务）宽表引擎的节点规格和数量：3节点16核 32 GB（独享规格）。存储类型：性能型云存储。开源GeoMesa...
API 属性说明
应用以及 mPaas 移动应用：表示 API 发布后支持 web 浏览器、H5 容器、小程序、JS、业务系统的调用，同时也支持 mPaaS 移动客户端（iOS、Android）的调用。OperationType 是 针对 mPaaS 移动应用设置的 API 服务标识，用于定位要访问的资源...
如何支持超大事务
以本测试场景为例，如果事务的每条语句都是INSERT语句，那么每个分片的数据写入量不应超过2 GB，事务总的数据写入量不能超过：分片数量×2 GB，例如8分片的情况下，写入总量在16 GB时也会触发这个报错。但是，上述讨论并不意味着只要您的...
实时消费Kafka数据
当您需要将Kafka数据写入 云原生数据仓库AnalyticDB PostgreSQL版，且不希望使用其他数据集成工具时，可以通过实时数据消费功能直接消费Kafka数据，减少实时处理组件依赖，提升写入吞吐。Apache Kafka是一个容错、低延迟、分布式的发布-...
OpenSearch数据源
DataWorks数据集成支持使用OpenSearch Writer将数据写至OpenSearch，本文为您介绍DataWorks的OpenSearch数据离线写入能力。支持的版本 V2版本请参见 请求结构。V3版本使用二方包，依赖pom为：...
配置说明
tablestore.test.columns.whitelist.name=A,B#tablestore.test.columns.whitelist.type=string,integer#以下为写入Tablestore相关的配置。指定写入模式，可选值包括put和update，默认值为put。put表示覆盖写。update表示更新写。insert....
稳定性说明与使用限制
Schema变更 如果投递过程中在MaxCompute表中添加了新列，则新列只会被写入新分区，不会被写入旧分区以及当前分区。处理脏数据 错误项 是否计入失败条数 说明 分区错误 是 常见场景为分区不合法或分区列不存在。该条数据不会写入MaxCompute...
MaxCompute投递（新版）
Schema变更 如果投递过程中在MaxCompute表中添加了新列，则新列只会被写入新分区，不会被写入旧分区以及当前分区。处理脏数据 错误项 是否计入失败条数 说明 分区错误 是 常见场景为分区不合法或分区列不存在。该条数据不会写入MaxCompute...
使用Flume写入JindoFS
通过支持Flush接口，虽然不能让数据立刻可见，但是可以确保数据暂存在云端，当写入程序发生Crash时，您可以通过调用SDK或命令行，恢复程序在Crash之前已经写入JindoFS Cache模式或OSS的数据。使用Flume写入JindoFS Block模式 您需要配置...
写入测试结果
本章节介绍写入测试的结果对比。本测试是在发挥数据最佳性能，并在没有任何查询的情况下测得的结果。在不同时间线规模的业务场景，或同时存在查询的场景下，写入性能可能会下降，建议在使用前结合自己的业务场景进行测试评估，本测试结果仅...
查询日志
重要 目前6.7版本实例已不再支持开启写入高可用特性，仅存量已开启写入高可用特性的实例可在控制台查看异步写入日志。操作步骤 登录 阿里云Elasticsearch控制台。在左侧导航栏，单击 Elasticsearch实例。进入目标实例。在顶部菜单栏处，...
OSS数据源
OSS数据源为您提供读取和写入OSS的双向通道，本文为您介绍DataWorks的OSS数据同步的能力支持情况。支持的字段类型与使用限制 离线读 OSS Reader实现了从OSS读取数据并转为数据集成协议的功能，OSS本身是无结构化数据存储。对于数据集成而言...
Table Group设置最佳实践
负载分离 已有的Table Group容纳的表数量很多，且大多数表需要同时写入，导致实例的负载很高，而即将创建的新表又需要较高的查询和写入吞吐，这时多个Table Group可以实现写入和查询一定程度上的独立，不受其他表写入查询影响（更准确的...
快速使用ClickHouse
`ConnectTiming` Int32,`ResponseStartTiming` Int32,`ResponseEndTiming` Int32,`FetchTiming` Int32,`RedirectTiming` Int32,`DOMInteractiveTiming` Int32,`DOMContentLoadedTiming` Int32,`DOMCompleteTiming` Int32,`...
实例规格概述
实例规格 默认计算节点数 默认Shard数（适用于V0.10.31及以上版本）最大总连接数（适用于V0.10.25及以上版本）最大总连接数（适用于V2.2及以上版本）Superuser预留总连接数（适用于V1.1及以上版本）32Core 2 20 256（128*2）512（256*2）10...
创建同步Hologres
添加ip白名单操作详情见：ip白名单 附：使用DataHub同步Hologres需要在数据库添加的IP白名单 Region 经典网白名单 华东1（杭州）10.127.226.0/24 10.32.103.0/24 10.32.104.0/24 10.32.175.0/24 10.32.177.0/24 10.32.94.0/24 10.32.95.0/...
实时UV精确去重（Flink+Hologres）
背景信息 Hologres与Flink有着强大的融合优化，支持Flink数据高通量实时写入，写入即可见，支持Flink SQL维表关联，以及作为CDC Source事件驱动开发。因此实时UV去重主要通过Flink和Hologres来实现，场景架构图如下图所示。Flink实时订阅...
时序模型限制
分析存储数据生命周期-1（数据永不过期）或者大于等于2592000秒（即30天）的int32正整数，单位为秒（s）。度量名称（measurement name）度量名称为UTF-8字符串，不能出现不可见字符（包括空格）和#，长度为1~128个字节。数据源（data ...
OSS-HDFS数据源
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品，OSS-HDFS数据源为您提供读取和写入OSS-HDFS的双向通道，本文为您介绍DataWorks的OSS-HDFS数据同步的能力支持情况。使用限制 离线读 使用OSS-HDFS Reader时，请注意以下事项：由于...
写入数据
表格存储提供了PutRow和UpdateRow接口用于写入单行数据以及BatchWriteRow接口用于批量写入数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。前提条件 已初始化Client，详情请参见 初始化。已创建数据表...
共享弹性存储系列介绍
适用场景 日志分析场景 具有写入吞吐量高、数据存储量大的特点，使用日志增强版共享弹性存储实例能成倍提升写入性能，降低了一倍的存储成本。高并发查询场景 对稳定性要求高，当高峰流量远高于低峰时，会有弹性扩缩副本的需求。使用日志...
从MySQL导入数据
CREATE TABLE default.clickhouse_test_table ON CLUSTER default(v1 Int32,v2 Nullable(Int32),v3 Nullable(Float32))ENGINE=MergeTree ORDER BY v1;说明 云数据库ClickHouse 表的结构类型需与RDS MySQL表对应。具体映射关系，请参见 数据...
配置DataWorks平台GDB Writer
{label名}{源字段} 写入边类型时必选 none dstIdTransRule 当写入边类型时，表示终点主键ID的转换规则：枚举值 none 表示映射的值不进行转换，保持主键源字段，此时可以不填写dstLabel。枚举值 labelPrefix 表示将映射的值转换为 {label名}...
HDFS数据源
HDFS是一个分布式文件系统，为您提供读取和写入HDFS双向通道的功能，本文为您介绍DataWorks的HDFS数据同步的能力支持情况。支持的版本 目前不支持阿里云文件存储HDFS版。使用限制 离线读 使用HDFS Reader时，请注意以下事项：由于连通默认...
创建 API 分组
API 分组将网关上的 API 按照业务需求进行分组管理。同一分组下的 API 共享一个域名地址。您可以通过以下任一方式创建 API 分组：在分组列表中创建 API 分组 登录 API 网关控制台。在左侧导航栏单击 API 发布>API 分组，进入分组列表。单击...
导入API网关的扩展Swagger定义
Swagger 是一种用于描述API定义的规范，被广泛应用于定义和描述后端应用服务的API。现在，API网关支持导入Swagger 2.0的文件来创建API，您可以参考ImportSwagger，或在控制台上进行操作，入口见下图：API网关的Swagger扩展基于Swagger 2.0...
HTTP API 入门
步骤五：创建应用 在左侧导航栏单击 API 订阅>应用管理 页，单击列表右上方的 创建应用。在 创建应用 窗口，选择 应用类型 为 应用。输入 应用名称，用于识别应用。本例使用 hello。单击 确定。应用添加完成后，订阅者需在应用详情页，获取...
创建 API
目前支持的类型为 应用，表示 API 发布后支持 Web 浏览器、H5 容器、小程序、JS、业务系统的调用。请求路径：必填，针对应用设置的请求资源的 URL，通过请求路径可以定位到要请求的资源。支持英文字母、数字、下划线（_）、连接符（-），...
使用限制
限制项 限制描述 使用API网关服务的用户限制 用户需实名认证 用户创建API分组数量限制-每个账号下，每个Region的API分组（含绑定域名和未绑定域名的分组）的总数上限200个；每个账号下，每个Region默认最多创建5个未绑定域名的API分组，...
创建数据模型
API 网关支持将 API 服务的请求与响应参数定义成数据模型。继而在创建 API 时，可以直接引用数据模型的配置参数，提高参数设置效率。本文介绍如何快速创建 API 参数数据模型。操作步骤 进入 API 网关控制台页面，在左侧导航栏中选择 API ...
HTTP 转 SOFARPC 入门
步骤五：创建应用 在左侧导航栏单击 API 订阅>应用管理 页，单击列表右上方的 创建应用。在 创建应用 窗口，选择 应用类型 为 应用。输入 应用名称，用于识别应用。本例使用 hello。单击 确定。应用添加完成后，订阅者需在应用详情页，获取...
- 产品推荐
- 这些文档可能帮助您