数据导出指令
在压测场景中，可以导出某个业务会话中的数据（如Cookie、出参或通过数据指令定义的参数）供其他业务会话使用，做到导出数据在全局共享。本文以导出API的出参为例，说明数据导出指令的使用方法。背景信息 若某业务场景中有业务会话如下：...
数据导出指令
在压测场景中，可以导出某个串联链路中的数据（如Cookie、出参或通过数据指令定义的参数）供其他串联链路使用，做到导出数据在全局共享。本文以导出API的出参为例，说明数据导出指令的使用方法。背景信息 若某业务场景中有串联链路如下：...
指令
指令包含数据指令、数据导出、条件跳转、思考时间、集合点等。指令列表 PTS支持的指令功能及对应功能说明详见下表。指令 说明 数据配置指令 使用数据配置节点功能，可以根据实际需求指定全局文件参数中的某个参数为基准列，充分利用参数...
指令概述
指令包含数据指令、数据导出、条件跳转、思考时间、集合点等。指令列表 PTS支持的指令功能及对应功能说明详见下表。指令 说明 数据配置指令 使用数据配置节点功能，可以根据实际需求指定全局文件参数中的某个参数为基准列，充分利用参数...
参数
数据指令—自定义参数 业务会话 通过数据指令定义的自定义参数，可以对普通参数或出参参数进行二次定义。更多信息，请参见 数据指令。数据配置—自定义参数 业务会话 通过数据配置定义的自定义参数，可以对全局参数或者文件参数进行二次...
参数概述
数据指令—自定义参数 串联链路 通过数据指令定义的自定义参数，可以对普通参数或出参参数进行二次定义。更多信息，请参见 数据指令。数据配置—自定义参数 串联链路 通过数据配置定义的自定义参数，可以对全局参数或者文件参数进行二次...
消除数据重分布
许多查询在执行中需要进行数据交换,比如redistribution和broadcast。数据交换所导致的费用在整个查询执行时间中所占比例比较可观，同时也消耗网络资源。所以应该尽量减少和避免数据交换。首先分析数据库系统的查询模式，确定系统中成本最高...
数据指令
数据指令功能在API后使用，用于二次定义数据导出参数、前置压测API的出参参数等，供该业务会话中的后续压测API使用。本文以前置API出参的二次加工为例介绍如何添加数据指令。背景信息 一个业务会话中可以添加一个或多个数据指令。数据指令...
数据指令
数据指令功能在API后使用，用于二次定义数据导出参数、前置压测API的出参参数等，供该串联链路中的后续压测API使用。本文以前置API出参的二次加工为例介绍如何添加数据指令。背景信息 一个串联链路中可以添加一个或多个数据指令。数据指令...
产品简介
首先，Data Exchange提供了一个集中的数据交换平台，使用户能够浏览和订阅各种数据产品。这些数据产品涵盖了多个行业及领域，包括智能汽车、金融等。用户可以根据自己的需求浏览各种数据集，并选择订阅感兴趣的数据产品。其次，Data ...
敏感数据保护
敏感数据的数据集成加解密 如果在数据上云、数据交换等场景，需要对传输中的数据进行加解密保护，则可以使用Dataphin的集成加解密能力，对集成的数据进行加解密保护。加密后的数据只有拥有密钥权限的用户才能够进行查看，从而更好地保护...
敏感数据保护
敏感数据的数据集成加解密 如果在数据上云、数据交换等场景，需要对传输中的数据进行加解密保护，则可以使用Dataphin的集成加解密能力，对集成的数据进行加解密保护。加密后的数据只有拥有密钥权限的用户才能够进行查看，从而更好地保护...
HTTP API 概览
默认数据交换是通过 JSON。所有返回的结果都使用标准的 HTTP 响应代码，并使用特定的格式返回错误。下表列出了 TSDB 提供的与数据读写和管理相关的所有 API。关于如何使用每个 API 的具体说明，请点击描述中提供的链接查看相应文档。API ...
地图数据格式
GeoJSON是基于JavaScript对象表示法的地理空间信息数据交换格式，详情请参见 地理空间数据格式 GeoJSON。您可以通过GeoJSON在线编辑工具 DataV.GeoAtlas，获取或编辑GeoJSON格式的地理数据。您可以使用GeoJSON行政区划边界提取小工具 DataV...
地图数据格式
GeoJSON是基于JavaScript对象表示法的地理空间信息数据交换格式，详情请参见 地理空间数据格式 GeoJSON。您可以通过GeoJSON在线编辑工具 DataV.GeoAtlas，获取或编辑GeoJSON格式的地理数据。您可以使用GeoJSON行政区划边界提取小工具 DataV...
数据治理
数据地图 为什么数据地图数据总览页存储量和存储趋势图相差较大？数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游？哪些类型的Hive表支持在数据地图中预览？数据保护伞 数据保护伞为什么有时候查询脱敏有...
什么是云原生多模数据库Lindorm
开放兼容 兼容SQL、HBase/Cassandra/S3、TSDB、HDFS、Solr、Kafka等 多种标准接口，支持与Hadoop、Spark、Flink、Kafka等系统无缝打通，并提供简单易用的数据交换、处理、订阅等能力。多模介绍 Lindorm支持宽表、时序、对象、文件、队列、...
Lindorm for Cassandra应用实践
开放数据生态：提供简单易用的数据交换、处理、订阅等能力，能够高度兼容MySQL、Spark、Flink、Kafka等系统。开源Cassandra挑战 开源Cassandra是基于Amazon DynamoDB和Google Bigtable设计的一款分布式NoSQL数据库，具备无中心、一致性可调...
图扑案例
如图3所示，阿里 云原生多模数据库 Lindorm 在云端单实例融合了宽表、索引、时序等多种数据引擎能力，通过阿里云DTS/DMS或第三方开源数据交换/ETL软件（如Apache nifi、Sqoop等）打通多引擎数据交互通道，根据应用场景业务来适配数据。...
常见问题
离线同步常见问题 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步传输数据时，脏数据超出限制，是否所有数据都...
产品整体介绍
技术架构 以下为 AnalyticDB PostgreSQL版 的架构图，主要包含Master Node和Compute Node两大组件，中间通过Interconnect进行互联通信和数据交换传输。Master Node和Compute Node提供多副本保障服务高可用和数据高可靠，同时均支持通过...
内存型
为了提高线程的并行度，IO线程和Worker线程之间采用无锁队列和管道进行数据交换。说明 对于通用的类型，例如：String、List、Set、Hash、Zset、Hyperloglog、Geo以及扩展结构都有很好的加速效果。对于Pub、Sub、Blocking系列API，由于其...
内存型
为了提高线程的并行度，IO线程和Worker线程之间采用无锁队列和管道进行数据交换。说明 对于通用的类型，例如：String、List、Set、Hash、Zset、Hyperloglog、Geo以及扩展结构都有很好的加速效果。对于Pub、Sub、Blocking系列API，由于其...
常见问题
Q：数据什么时候进入冷存储？A：Lindorm通过 compaction 机制异步将冷数据从热存储归档至冷存储，系统触发时间默认为冷热分界线的一半，最小为1天，最大为 major compaction 周期的一半，major compaction 周期默认为20天。例如，冷热分界...
常见问题
为什么数据同步的价格要高于数据迁移的价格？因为数据同步具有更多的高级特性，例如支持在线调整同步对象、支持配置MySQL数据库之间的双向数据同步；且数据同步基于内网传输，可以保证更低的网络延时。账户欠费有什么影响？账户欠费的影响...
云数据库Redis实例间单向数据迁移
为什么数据量不一致？若源库中的某些Key使用了过期（Expire）策略，由于可能存在Key已过期但未被及时删除的情况，所以目标库中的Key数量可能会比源库少。对于List列表，由于DTS在调用 PSYNC 或 SYNC 传输数据时，不会对目标端已有的数据...
数据服务
为什么数据服务无法连接ECS自建的数据库？是否必须开通API网关？如何配置数据源？数据服务是否支持MaxCompute（ODPS）数据源？向导模式生成API与脚本模式有何功能差异？数据服务中的API分组的作用是什么，与API网关中的分组有什么关联？...
离线同步并发和限流之间的关系
问题三：为什么数据同步任务运行速率有时候相较限速阈值有较大差距？同步速率：数据同步速率和任务期望最大并发数是比较强相关的参数，两者结合在一起可以保护数据来源和数据去向端的读写压力，以避免数据同步任务对数据源带来较大压力，...
常见问题
业务测试评估 硬件资源有什么要求？软件配置有什么要求？数据模型和表定义 生产环境下的副本数应该设置为多少？如何分区？如何分桶？如何设计排序键？如何合理的选择数据类型？数据导入常见问题 业务调优 购买常见问题 EMR StarRocks支持...
压力预估图
根据压测场景中是否使用数据导出指令，对两种情况分别说明：未使用数据导出指令时，全部串联链路同时发起压测，压测量级是全场景压测量级之和。若使用了数据导出指令，被导出数据的串联链路需要先进行压测，完成数据量级（登录用户量级）的...
使用Cookie模拟登录场景
PTS的数据导出功能可用于在一个业务会话内或者全场景内共享返回的Cookie等场景。本文将介绍如何使用导出Cookie模拟登录场景。背景信息 PTS支持在业务会话共享Cookie和在场景内共享Cookie：串联链路内共享：若想在一个业务会话内传递（共享...
创建PolarDB-X 1.0数据订阅任务
由于 PolarDB-X 1.0 支持分库分表，源 PolarDB-X 1.0 的某一DDL指令会在所有分表上执行对应的DDL操作，并且每个订阅子任务的进度并不一致，因此DTS的订阅数据可能陆续包含多条此DDL操作，如您多次消费此类DDL操作，可能会导致订阅客户端...
数据配置指令
数据配置功能可以对文件参数进行二次定义、数据轮询一次等相关设置。本文介绍如何使用数据配置指令。背景信息 数据配置指令功能如下：自定义参数：二次定义全局参数，包括全局自定义参数和全局文件参数。文件参数设置：根据实际需求指定...
数据配置指令
数据配置功能可以对文件参数进行二次定义、数据轮询一次等相关设置。本文介绍如何使用数据配置指令。背景信息 数据配置指令功能如下：自定义参数：二次定义全局参数，包括全局自定义参数和全局文件参数。文件参数设置：根据实际需求指定...
SPL概述
本文介绍 日志服务 SPL语言的基本信息，包括工作原理、语法、指令表达式等。工作原理 日志服务SPL支持在实时消费、扫描查询和Logtail采集三个日志服务场景中使用，工作原理如下图：关于SPL在各个场景中的功能定义，请参见 SPL在不同场景的...
管理蓝图资源
指令 调用指令系统，触发对应的效果（指令系统会统一控制执行时机），蓝图中对对象、组件、数据进行指令控制的节点，包括但不限于组件、对象实例和数据。组件 蓝图中关于组件控制的节点，包括但不限于获取组件、获取属性、设置组件激活和...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
交换分区
当 ALTER TABLE…EXCHANGE PARTITION 命令执行完成时，原来位于 target_partition 中的数据将交换至 source_table 中，原来位于 source_table 中的数据将交换至 target_partition 中。ALTER TABLE…EXCHANGE PARTITION 命令可以交换LIST、...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
数据库代理常见问题
目录 什么是数据库代理？通用型代理和独享型代理有什么区别？数据库代理是否占用主实例的QPS或者TPS？数据库代理地址和常规地址是否是一个地址？开通数据库代理后，实例原来的地址和只读实例的地址是否会被收回？数据库代理的内网网络类型...
- 产品推荐
- 这些文档可能帮助您