使用paiio读写MaxCompute表数据
分布式读取时，系统根据 slice_count 将表均分为多个分片，读取 slice_id 对应的分片。slice_id 为默认值0时，如果 slice_count 取值为1，则表示读取整张表。如果 slice_count 大于1，则表示读取第0个分片。slice_count 否 INT 1 在分布式...
TableRecordDataset
您可以使用TableRecordDataset接口按照行读取MaxComepute表数据并构建数据流。TensorFlow社区推荐在1.2及以上版本，使用Dataset接口代替线程和队列构建数据流。通过多个Dataset接口的组合变换生成计算数据，可以简化数据输入代码。警告 ...
通过向导模式配置离线同步任务
背景信息 数据集成离线同步，为您提供数据读取（Reader）和写入插件（Writer）实现数据的读取与写入，您可通过向导模式和脚本模式配置离线同步任务，实现源端单表同步至目标端单表、源端分库分表同步至目标端单表两类数据同步场景。...
数据库
blks_hit bigint 磁盘块被发现已经在缓冲区中的次数，这样不需要一次读取（这只包括 PolarDB PostgreSQL版 缓冲区中的命中，而不包括在操作系统文件系统缓冲区中的命中）。tup_returned bigint 数据库中被查询返回的行数。tup_fetched ...
数据库
blks_hit bigint 磁盘块被发现已经在缓冲区中的次数，这样不需要一次读取（这只包括 PolarDB PostgreSQL版（兼容Oracle）缓冲区中的命中，而不包括在操作系统文件系统缓冲区中的命中）。tup_returned bigint 数据库中被查询返回的行数。tup...
强一致分布式事务
本文详细介绍了什么是强一致分布式事务及如何实现。ACID分布式事务 PolarDB-X 原生支持分布式事务，并保证事务的ACID性质。原子性（Atomicity）一致性（Consistency）隔离性（Isolation）持久性（Durability）PolarDB-X 通过引入中心授时...
使用Stage和Task详情分析查询
AnalyticDB for MySQL 在前端接入节点接收到查询请求后，会将查询切分成多个Stage，在存储节点（Worker节点）和子任务执行节点（Executor节点）分布式进行数据的读取和计算。部分Stage可以并行执行，但部分Stage之间存在依赖关系，只能串行...
开启CNFS NAS计算端分布式缓存
CNFS文件存储计算端分布式缓存可提供多链接访问、元数据缓存、分布式数据缓存等加速能力，并提供端侧性能监控、QoS能力。本文介绍如何在ACK集群中开启CNFS NAS计算端分布式缓存，并通过分布式缓存功能加速读取数据。索引 前提条件 分布式...
开启CNFS NAS计算端分布式缓存
CNFS文件存储计算端分布式缓存可提供多链接访问、元数据缓存、分布式数据缓存等加速能力，并提供端侧性能监控、QoS能力。本文介绍如何在ACK集群中开启CNFS NAS计算端分布式缓存，并通过分布式缓存功能加速读取数据。索引 前提条件 分布式...
索引表加载策略
remote：与file_patterns匹配的索引文件是否从远端分布式存储系统中读取，true/false。只有need_read_remote_index设置为true时，remote才会起作用，need_read_remote_index设置为false时，remote会强制设置为false。deploy：与file_...
索引表加载策略
remote：与file_patterns匹配的索引文件是否从远端分布式存储系统中读取，true/false。只有need_read_remote_index设置为true时，remote才会起作用，need_read_remote_index设置为false时，remote会强制设置为false。deploy：与file_...
HDFS数据源
HDFS是一个分布式文件系统，为您提供读取和写入HDFS双向通道的功能，本文为您介绍DataWorks的HDFS数据同步的能力支持情况。支持的版本 目前不支持阿里云文件存储HDFS版。使用限制 离线读 使用HDFS Reader时，请注意以下事项：由于连通默认...
PAI-TF数据IO方式介绍
oss:GetObject 获取文件或文件夹对象 oss:ListObjects 查询文件列表信息 oss:DeleteObjects 删除对象 TensorFlow读取OSS数据的方法：低效的IO方式 本地执行TensorFlow代码和分布式云端执行TensorFlow的区别：本地读取数据：Server端直接从...
概述
PolarDB-X 列存索引，基于分布式事务的Binlog日志实时同步，实现行转列（M:N）的异构转换，同时可以定义列存索引特有的分布式分区键、排序键等，结合分布式的并行技术，提供列存查询的线性扩展能力。同时行存和列存存储介质相互隔离，存储...
查看监控报表
Table数量分布 各数据库的表数量分布情况。Tablet最大Compaction评分 每个BE节点上最高的Compaction评分。Compaction评分用于衡量一个表分区是否需要执行Compaction操作，通常在离线情况下，该值应低于100。然而，当出现大量导入任务时，该...
WorkQueue
在大规模分布式异步训练中，您可以使用WorkQueue进行弹性数据切分，以缓解长尾效应，从而降低模型训练所需的时间。本文介绍WorkQueue的调用格式、参数及其提供的方法。同时，以文件数据源和MaxCompute表数据源为例，介绍实现数据切分的经典...
表设计
假设数据分布不均匀，会出现以下问题：数据写入和读取能力受限于单个分区的能力，或者是单机能力，存在明显瓶颈。在某些数据处理场景下，热点或者数据分布不均会导致明显的长尾效应，拖慢整体速度。某个数据系统或者模块往往仅仅是整个业务...
使用Java SDK操作Istio资源
public class GateWayExample { public static void main(String[]args)throws IOException {/读取Kube Config连接配置文件。String kubeconfigContents=null;FileReader reader=new FileReader("{path to kube config file}");将{}内容...
分布式训练加速TorchAcc概述
PAI-TorchAcc（Torch Accelerator）是基于PyTorch的训练加速框架，通过GraphCapture技术将PyTorch动态图转换为静态执行图，然后进一步基于计算图完成分布式优化、计算优化，从而提高PyTorch模型训练的效率，使其更加易于使用。技术简介 ...
离线同步并发和限流之间的关系
在产品中配置位置如图所示：文件类型（OSS、FTP、HDFS、S3）数据读取，主要基于文件粒度并发读取，待读取的文件数量少于任务配置并发数。上面任务期望最大并发数：即是任务配置的并发数，由于数据集成资源组或者任务本身特性等原因，任务...
Tablestore数据源
表格存储Tablestore是构建在阿里云飞天分布式系统之上的NoSQL数据存储服务，Tablestore数据源为您提供读取和写入Tablestore双向通道的功能，本文为您介绍DataWorks的Tablestore数据同步的能力支持情况。使用限制 Tablestore Reader和Writer...
Query Profile介绍
Exchange Operator Sink 指标 说明 PartType 数据分布模式，包括UNPARTITIONED、RANDOM、HASH_PARTITIONED和BUCKET_SHUFFLE_HASH_PARTITIONED。BytesSent 发送的数据大小。OverallThroughput 吞吐速率。NetworkTime 数据包传输时间（不包括...
JAR作业开发
try(BufferedReader reader=new BufferedReader(new FileReader("/flink/usrlib/yourFile"))){/read file and process.} 部署作业并配置 附加依赖文件，详情请参见 部署JAR作业。方式二 在JAR作业中通过OSSClient直接读取OSS上的配置文件。...
算子级别诊断结果
如果分布字段的值分布不均匀，那么数据存储在各个节点上时也会不均匀，最终导致数据读取时，各个节点在读取数据时存在时间上的长尾，影响最终的查询效果。建议 通过选择合适的分布字段来减少表扫描数据量的倾斜。优化方法，请参见 分布字段...
EFC加速NAS或CPFS文件访问
Fluid是一个开源的Kubernetes原生的分布式数据集编排和加速引擎，主要服务于云原生场景下的数据密集型应用。Fluid支持管理和调度EFCRuntime，实现数据集的可见性、弹性伸缩和数据访问加速等能力。本文介绍如何使用Fluid EFCRuntime加速NAS ...
事务与Read/Write Concern
MongoDB 4.2版本支持了分布式事务（分片事务），可以跨多个分片执行多个集合的不同文档事务操作。在MongoDB中，对于对单个文档的操作，系统始终保证其原子性。由于MongoDB文档结构的灵活性，业务侧总是可以使用嵌入式文档和数组结构来构造...
基础术语
发起方 initiator 分布式事务的发起方负责启动分布式事务，通过调用参与者的服务，将参与者纳入到分布式事务当中，并决定整个分布式事务是提交还是回滚。一个分布式事务有且只能有一个发起方。参与者 participant 参与者提供分支事务服务。...
概述
分布式事务 DTX（Distributed Transaction-eXtended）是蚂蚁集团自主研发的金融级分布式事务中间件，用来保障在大规模分布式环境下业务活动的最终一致性。在蚂蚁集团内部被广泛地应用于交易、转账、红包等核心资金链路，服务于亿级用户的...
读写分离
设置读写分离后，主 RDS 实例读取过程是强读，即实时强一致读，而只读实例上的数据是从主实例上异步复制的，存在毫秒级的延迟，因此只读 RDS 实例读取过程是弱读，属于非强一致性读。在金融级业务场景下，当需要实时、强一致读时，可以通过...
功能特性
分布式事务（Distributed Transaction-eXtended，简称 DTX）是蚂蚁集团自主研发的金融级分布式事务中间件，支持跨数据库、跨服务以及混合的方式处理分布式应用，具备多种接入模式和金融级配套功能，本文将主要介绍分布式事务的功能特性。...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。说明 组成表的基本单位为行，行由主键和属性列组成。其中主键是必须的，且每一行的主键列的名称和类型相同；属性不是必须的，且每一行的属性...
概述
SOFAStack 提供了一套用于快速构建金融级分布式架构的中间件，是在严苛的金融场景里锤炼出来的最佳实践。要使用 SOFA 中间件，例如微服务或消息队列，推荐使用 SOFABoot 框架进行开发。SOFABoot SOFABoot 是蚂蚁科技基于 Spring Boot 自研...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
应用场景
分布式事务可应用在多个涉及数据库操作的领域，尤其在金融领域可以做到全场景的覆盖与落地验证，包括：支付与转账、账务：对于吞吐量有很高的要求 金融与理财：往往涉及的金额较大，所以对于产品的稳定性要求非常高 保险与监管报送：参与方...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
EDAS Nacos读取不到微服务配置怎么办？
解决方案 查看应用的微服务配置文件是否读取成功。进入终端，在 diamond 或 nacos 目录下，执行以下命令，查看是否配置微服务配置文件。find/-name"${Data ID}"预期结果：ECS应用：K8s应用：根据查询结果，继续执行以下操作步骤。未读取到...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
读取数据
表格存储 提供了单行读取、批量读取、范围读取、迭代读取和并行读取的查询方式用于读取数据表中数据。数据写入到数据表后，您可以选择所需数据查询方式进行数据读取。如果需要了解 表格存储 各场景的应用案例，请参见 快速玩转Tablestore...
功能特性
数据访问代理兼容 MySQL 协议和语法，支持分库分表、平滑扩容、服务升降配、透明读写分离和分布式事务等特性，具备分布式数据库全生命周期的运维管控能力。分库分表 支持 RDS、OceanBase、MySQL 的分库分表。在创建分布式数据库后，只需...
技术原理
分布式线性扩展 PolarDB-X将数据表以水平分区的方式，分布在多个存储节点（DN）中。数据分区方式由分区函数决定，PolarDB-X支持哈希（Hash）、范围（Range）等常用的分区函数。以下图为例，shop库中的orders表根据每行数据的ID属性的哈希，...
- 产品推荐
- 这些文档可能帮助您