外部表概述
但这两种方法都有不足之处：第一种方法需要在MaxCompute系统外部做一次中转，如果OSS数据量太大，还需要考虑如何并发来加速，无法充分利用MaxCompute的大规模计算能力。第二种方法通常需要申请UDF网络访问权限，还需要开发者自己控制作业...
数据分析概述
功能概述 SQL查询 SQL查询是使用标准的SQL语句，来查询和分析存储在MaxCompute中的大数据，详情请参见 SQL查询。您可以通过编写SQL语句，对有查询权限的数据源进行快速的数据查询与分析操作，详情请参见 功能概览。DataWorks SQL查询提供了...
RDS MySQL只读实例同步延迟原因与处理
主实例的TPS（Transaction Per Second）过高 由于只读实例与主实例之前的同步采用的是单线程同步，若主实例并发多线程写入数据，在主实例TPS过高的情况下容易出现只读实例的数据延迟，可以通过观察只读实例的TPS与主实例的TPS性能数据来...
rds_dbsync迁移或同步MySQL数据到AnalyticDB ...
rds_dbsync为开源的数据同步迁移工具，支持多线程导入（每个工作线程负责导入一部分数据库表），可同时连接源端和目的端数据库，从源端MySQL库中查询要导出的数据，然后通过COPY命令导入目的端，其mysql2pgsql功能支持不落地的把MySQL中的...
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
RDS MySQL只读实例同步延迟原因与处理
主实例的TPS（Transaction Per Second）过高 由于只读实例与主实例之前的同步采用的是单线程同步，若主实例并发多线程写入数据，在主实例TPS过高的情况下容易出现只读实例的数据延迟，可以通过观察只读实例的TPS与主实例的TPS性能数据来...
岭回归预测
组件多线程线程个数 组件多线程的线程个数，默认为1。执行调优 节点个数 与 单个节点内存大小 参数配对使用。取值为[1,9999]的正整数。单个节点内存大小，单位M 取值范围为1024 MB~64*1024 MB。通过代码方式配置组件 您可以将以下代码复制...
Tair小版本发布日志
存储介质 特性 内存（DRAM）型 超高性能：采用多线程模型，读写性能达到同规格云数据库Redis社区版（简称 Redis社区版）实例的3倍，更多信息请参见 内存型（兼容Redis 5.0）性能白皮书 与 内存型（兼容Redis 6.0）性能白皮书。提供丰富的自...
Lasso回归预测
组件多线程线程个数 组件多线程的线程个数，默认为1。执行调优 节点个数 与 单个节点内存大小 参数配对使用。取值为[1,9999]的正整数。单个节点内存大小，单位M 取值范围为1024 MB~64*1024 MB。通过代码方式配置组件 您可以将以下代码复制...
功能发布记录（2024年）
所有DataWorks用户 数据治理中心概述 数据治理中心新增物化视图功能 当您在面对大数据计算任务频繁且存在大量相似子查询场景时，DataWorks支持自动化治理，智能推荐物化视图，为您提供了一种智能化、自动化的解决方案。当您启用此功能时，...
数据质量入门
数据质量帮助您及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，阻断脏数据向下游蔓延。避免任务产出问题数据，影响正常使用和业务决策。本文示例配置表数据质量监控规则，保障产出的表数据...
如何处理Tair集群数据倾斜
使用 Tair 的QueryCache特性，缓存热点数据，更多信息请参见 优化大Key与热Key。高消耗命令 不同的命令具有不同的复杂度，高复杂度的命令会消耗大量性能资源，例如 HGETALL 命令的复杂度为O(n)，该命令会随着您存储的Field越多，消耗越大。...
如何处理Redis集群数据倾斜
使用 Tair 的QueryCache特性，缓存热点数据，更多信息请参见 优化大Key与热Key。高消耗命令 不同的命令具有不同的复杂度，高复杂度的命令会消耗大量性能资源，例如 HGETALL 命令的复杂度为O(n)，该命令会随着您存储的Field越多，消耗越大。...
数据库性能
数据管理DMS整合了数据库自治服务DAS的部分功能，可以帮助您掌握数据库实例的性能状况，快速、精准、有效地优化数据库服务。前提条件 如果您的数据库的管控模式为自由操作或稳定变更，并且您拥有实例的登录权限，当您登录目标实例后您将...
深度解析PolarDB数据库并行查询技术
例如，对一个数据量很小的表，可能只是几行，如果也对它进行并行读取的话，并行执行所需要的多线程构建再加上线程间的数据同步等所需要的代价可能远大于所得到的收益，总体来说，并行执行会需要更多的资源和时间，这就得不偿失了。...
产品优势
相比自建Redis数据库、云数据库Redis版以及其他内存数据库，云原生内存数据库Tair 在数据安全、运维、高可用、内核优化等方面都有一定的优势。Tair与自建Redis对比 对比项 云原生内存数据库Tair版 自建Redis 安全防护 事前防护：VPC网络...
DataWorks数据集成
对于数据导出，请登录 AnalyticDB PostgreSQL版 的管理控制台进行IP 白名单设置，详情请参见 添加白名单 数据导入 源端的数据源需要在DataWorks管理控制台进行添加，数据源添加的详细步骤请参考 配置AnalyticDB for PostgreSQL数据源 配置...
什么是云数据库Redis版
内存型：采用多线程模型，集成阿里巴巴Tair的部分特性，支持多种Tair数据结构，对于部分特殊业务有很高的适用性。持久内存型：基于持久内存技术，为您提供大容量、兼容Redis的内存数据库产品。数据持久化不依赖传统磁盘，保证每个操作持久...
云数据库Redis版与自建Redis的对比
内核优化 Tair（Redis企业版）提供多线程的 增强性能实例，性能为同规格标准版实例的3倍。Tair（Redis企业版）提供 磁盘型 和 持久内存型 实例，支持大容量存储和命令级别持久化。6.0以上版本支持多IO线程以增强性能，性能至多提升2倍，且...
数据保护伞入门
数据保护伞 是一款数据安全管理产品，提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文示例使用内置规则对 xc_dpe_e2_dev 项目的 phone 数据脱敏，并...
使用Stage和Task详情分析查询
表数据读取耗时是一个多机多线程的累加值，不能直接和查询耗时比较。与累计耗时比较时，可以判断一个Stage的计算量是否消耗在数据扫描上。表数据读取量 当某个Stage的算子树中有表扫描节点（TableScan）时，表示该Stage的所有表扫描节点从...
数据传输服务（上传）场景与工具
本文为您介绍如何将数据上传至MaxCompute或从MaxCompute下载数据，包括服务...如果上传数据速度太慢，可以考虑使用多线程上传方式。更多Tunnel Endpoint信息，请参见 Endpoint。相关文档 关于数据传输服务详情介绍，请参见 数据传输服务概述。
规格查询导航
内存型（读写分离架构）：采用多线程模型的读写分离实例，由一个主从架构的主数据节点、一个或多个只读副本组成的Redis实例，性能约为同规社区版实例的3倍。内存容量上限可达64 GB，支持约1,440,000 QPS。内存型（集群架构）：采用多线程...
在工作空间创建数据源或注册集群
工作空间创建完成后，您需要先将您的数据库或数据仓库，通过创建数据源的方式添加至DataWorks工作空间，或将您的集群注册至DataWorks工作空间，以便进行数据同步、数据分析与开发、数据调度等操作。本文主要以使用正式开发环境为例，为您...
透明数据加密TDE测试报告
测试工具 sysbench是一个跨平台且支持多线程的模块化基准开源测试工具，用于评估系统在运行高负载数据库时的性能。sysbench的更多信息及使用方法，请参见 sysbench文档。测试指标 每秒执行事务数TPS（Transactions Per Second）：数据库每...
导出数据
更多信息，请参见 SQL窗口-关系型数据库。具有目标数据库的查询、导出等权限。更多信息，请参见 管理访问控制权限。导出表结构 登录 数据管理DMS 5.0。在页面左侧的 数据库实例 列表区域，找到目标数据库。左键双击数据库名称，进入SQL ...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
Tunnel命令常见问题
多线程上传数据时，报错ODPS-0110061，如何解决？使用Tunnel Upload命令行上传CSV文件时，如何跳过第一行表头上传其他数据？使用Tunnel Upload命令行上传CSV文件时，为什么导入成功后原文本中有很大一部分内容莫名消失？如何在Shell脚本...
swing推荐
组件多线程线程个数 组件多线程的线程个数，默认为1。执行调优 节点个数 节点个数，与参数 单个节点内存大小 配对使用，正整数。范围为[1,9999]。单个节点内存大小，单位M 单个节点内存大小，单位MB，正整数。范围[1024,64*1024]。方式二：...
变更配置
Redis企业版性能增强型：即Redis企业版的性能增强型实例，采用多线程模型，性能约为同规格社区版实例的3倍，同时提供多种增强型数据结构模块（modules）简化开发，详情请参见 性能增强型。分片规格 即实例的分片规格，标准版实例仅包含一个...
TairVector性能白皮书
python run.py-local-runs 3-algorithm tairvector-hnsw-dataset sift-128-euclidean-batch#多线程测试Mnist数据集（FLAT索引）。python run.py-local-runs 3-algorithm tairvector-flat-dataset mnist-784-euclidean-batch 您也可以通过...
概述
PolarDB 集群备份和恢复功能均采用多线程并行处理，并通过其他技术创新，预计10分钟内（开启热备集群后恢复时间将加倍）即可完成从备份集（快照）恢复到一个新的集群。具体耗时与数据库的数据量大小等因素有关。说明 一级备份默认开启，...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
ActionTrail日志清洗
日志数据格式复杂，不利于直接分析 ActionTrail中保存的是JSON格式的数据，一行内有多条数据，数据以一个Array的形式保存，例如[{"eventId":"event0".},{"eventId":"event1".}]。理论上可以分析上述格式的JSON数据，但非常不便，需要先把每...
全密态数据库性能测试报告
20230830 不涉及 测试工具（sysbench）sysbench是一个跨平台且支持多线程的模块化基准开源测试工具，用于评估系统在运行高负载的数据库时相关核心参数的性能表现。sysbench的更多信息及使用方法，请参见 sysbench文档。测试指标 每秒执行...
Tair助力厦门真有趣游戏业务从容应对流量洪峰
内核优势助力业务高速访问：云数据库 Redis 版 实例采用与原生Redis相同的单线程模型，而 Tair 内存型采用多线程模型，由IO线程、Worker线程和辅助线程共同完成数据处理，单节点性能为 云数据库 Redis 版 实例的3倍左右。无感扩缩容实现...
产品优势
物联网平台无缝对接，生态丰富 开源产品，与云产品集成能力弱 存储成本 数据压缩 时序领域专用压缩，压缩率高 通用压缩，压缩率低 稳定性 数据读取 读写线程池分离，易于管理连接，读写稳定 读写耦合，容易造成连接数耗尽，读写失败概率大 ...
X-Engine简介
因为目标是面向大规模的海量数据存储，提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次...
Tair（Redis企业版）简介
存储介质 特性 内存（DRAM）型 超高性能：采用多线程模型，读写性能达到同规格云数据库Redis社区版（简称 Redis社区版）实例的3倍，更多信息请参见 内存型（兼容Redis 5.0）性能白皮书 与 内存型（兼容Redis 6.0）性能白皮书。提供丰富的自...
快速入门
PWRITER：多线程写入。连接Lindorm Ganos，定义Schema，创建时空索引表。指定线程数，每个线程随机生成指定范围内的n个AIS点，写入已创建的表中。需通过JSON文件指定参数。JSON文件可参照示例write_template.json。Reader：查询接口，对...
- 产品推荐
- 这些文档可能帮助您