基本概念
本文为您介绍资产质量中的数据对象、质量规则、强规则和弱规则等基本概念。概念 描述 质量规则 数据对象进行质量校验时的规则，质量规则可以覆盖到字段。例如，如果您需要关注某个表中的行数变化及主键是否重复，则您可以将行数变化和主键...
表分布定义
AnalyticDB PostgreSQL 支持节点裁剪功能，对于按分布键的简单查询（包括UPDATE和DELETE等语句），支持按节点的分布键进行数据节点裁剪。例如products表的分布键为prod_id列，以下查询语句只会被发送到满足 prod_id=101 的计算节点上执行，...
实现网页跳转
将左侧 图层节点 页签下的按钮节点和 逻辑节点 栏内的 导航 节点和 串行数据处理 节点拖至蓝图画布中。连接组件。配置串行数据处理节点处理方法。return { id:'datav-hello' } 单击 导航 节点，打开右侧 配置面板，在面板的 链接地址 内，...
LogHub（SLS）实时ETL同步至Hologres
在 数据输出预览 对话框中指定好 开始时间 和 采样条数，单击 开始采集 按钮，可以对指定的Logstore进行数据采样，预览Logstore中的数据，为后续数据处理节点的数据预览和可视化配置提供输入。输出字段配置。根据采样的结果提炼出字段...
企业版产品系列
数据可靠性和一致性 数据库存储节点的数据采用多副本形式，确保数据的可靠性，并通过Parallel-Raft协议保证数据的一致性。产品架构 集群版 的架构图如下：支持的内核版本 集群版 目前支持 PolarDB MySQL版 5.6、5.7和8.0三个内核版本。适用...
数据开发：开发者
说明 目前DataWorks的节点分为数据同步类型节点与计算类型节点两大类，实际开发过程中，您通常需要先通过离线同步任务将业务数据库中的数据同步至数仓中，再通过DataWorks计算节点对数仓中的表数据进行清洗加工。创建节点。您可通过如下两...
概述
孪生体与物理设备之间是解耦关系，您可使用数据映射功能，将物理设备的原始数据映射到孪生体的业务模型中，即孪生节点的物模型属性上。本文介绍配置数据映射的相关概念。使用说明 数据映射由以下3部分组成：配置项 说明 数据源类型 数据源...
什么是蓝图编辑器
本文为您介绍DataV蓝图编辑器的概念、优势和与节点编程的区别。概念 蓝图编辑器一般称为Visual Programming或者Flow Based Programming，即通过可视化连线的方式，定义图层与图层之间的交互行为。优势 蓝图编辑器区别于之前的节点编程，...
使用慢日志排查超时问题
数据节点慢日志 数据节点慢日志中统计的命令执行时间仅包含命令在数据节点中的执行时间，不包含数据节点与代理或客户端的通信时间以及命令在单线程队列上的排队延迟等。数据节点慢日志的保留时间为72小时，无数量限制。由于 Redis 性能出色...
基本概念
本文为您介绍DataWorks中，工作空间、业务流程、解决方案、组件、任务、实例、业务日期、定时时间、提交、脚本开发、资源、函数和输出名称等基本概念。工作空间 工作空间 是DataWorks管理任务、成员，分配角色和权限的基本单元。工作空间...
配置离线数据集成节点
本文介绍配置离线数据集成节点的方法。应用场景 离线集成节点主要用于数据迁移、数据传输等场景。功能特性 不限制来源表和目标表数据库类型。支持字段映射，包含修改源表和目标表字段的命名和类型映射。可配置并发迁移数据。支持通过WHERE...
概述
数据组织 ZooKeeper的数据组织方式与标准文件系统类似，组织成类似文件树的结构，在ZooKeeper中使用znode（ZooKeeper node）来描述文件，与标准文件系统不同的是，znode并不区分目录或者文件的概念，每个znode都可以存储数据。ZooKeeper...
节点池概述
自定义节点池kubelet配置 修改节点池中节点的Kubelet配置，新Kubelet配置也将应用于节点池新增的节点。节点自动伸缩 弹性伸缩可以根据业务负载和策略，按需弹出普通实例、GPU实例、竞价付费实例，支持多可用区、多实例规格、多种伸缩模式，...
基本概念
概念 说明 集群 集群是带有灵骏优化套件的高性能的异构加速计算节点的集合，集群中的各节点间通过800 Gbps高速低延迟RDMA网络进行互联通信。用户可以使用原生的物理集群服务，也可以在原生服务基础上结合阿里云提供的其他云产品一起使用...
快速入门
因此请避免在PyODPS任务中写入数据量较大的Python处理代码。在DataWorks上编写代码并进行调试效率较低，为提升运行效率，建议本地安装IDEA进行代码开发。新建业务流程。进入 数据开发 页面，右键单击 业务流程，选择 新建业务流程。新建...
为什么高可用系统会触发主备切换
节点所在的机器下线：云数据库MongoDB实例中节点所在的机器出现异常，为了避免影响业务将机器进行下线处理，则会触发高可用切换，对节点进行切换操作（例如将Primary节点和Secondary节点进行互换），保障实例的高可用性。主备切换的影响 将...
分布式线性扩展
以下图为例，shop库中的orders表根据每行数据的ID属性进行哈希，被分区水平切分成orders_00～orders_11共计12个分区，均匀分布在4个数据节点上。PolarDB-X 的分布式SQL层将会自动完成查询路由、结果合并等。扩容迁移 随着业务的增长，数据...
错误码
常见 PolarDB-X 数据节点连接失败的原因如下：后端数据节点连接数已满 计算节点到数据节点的连接超时 数据节点拒绝连接 如果排除后端数据节点问题后仍然出现该错误，请联系技术支持。PXC-4103 ERR_ATOM_CONNECTION_POOL_FULL 描述：PolarDB...
权限管理与规范化数据开发
在DataWorks依赖配置中，上游节点的输出作为下游节点的输入，形成节点依赖关系。平台支持通过自动解析快速设置节点依赖，关于调度依赖详情可参考文档 调度依赖配置指引。了解相关概念后，您可进行数据开发与生产的操作步骤。以管理员权限...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
存储监控
本文将介绍如何在 存储监控 页查看 PolarDB-X 1.0 实例中存储节点的各项性能监控数据。存储监控指标表 监控项 监控指标 参数 说明 资源监控 CPU和内存 MySQL_MemCpuUsage 实例存储节点的CPU使用率和内存使用率。磁盘空间 MySQL_...
什么是PolarDB MySQL标准版
PolarDB MySQL版 的标准版采用计算与存储分离的架构，数据库代理和计算节点分别采用独立的ECS进行部署，共享存储层使用ESSD云盘，极大的降低了用户使用 PolarDB 的成本。说明 上述产品架构为一写多读的多节点架构。如果您购买标准版时选择...
基本概念
逻辑模型：反映的是系统分析设计人员对数据存储的观点，是对概念数据模型进一步的分解和细化；数据资源平台中可通过手动、DDL语句、EXCEL导入、云计算资源扫描的方式来实现逻辑模型创建。物理模型：是对真实数据库的描述；数据资源平台中...
添加待流转的数据源
使用说明 启动数据流转的数据目的时，需要关联已添加的数据源，实现流转指定孪生节点的属性变更Topic数据到数据目的。Topic格式：/sys/uid/${uid}/digitaltwin/${dtInstanceId}/${nodeId}/property/update。具体数据格式说明，请参见 数据...
Kafka单表实时入湖OSS（HUDI）
在弹出对话框中指定好 开始时间 和 采样条数 后，单击 开始采集 按钮，可以对指定的Kafka Topic进行数据采样，同时您可以预览Topic中的数据，为后续数据处理节点的数据预览和可视化配置提供输入。编辑数据处理节点。单击 图标可以增加数据...
基本概念
本文介绍阿里云Elasticsearch服务使用过程中遇到的常用名词的基本概念和简要描述。集群（cluster）一个Elasticsearch集群由一个或多个Elasticsearch节点组成，所有节点共同存储数据。每个集群都应有一个唯一的集群名（ClusterName），同一...
查询慢日志
数据节点慢日志 数据节点慢日志中统计的命令执行时间仅包含命令在数据节点中的执行时间，不包含数据节点与代理或客户端的通信时间以及命令在单线程队列上的排队延迟等。数据节点慢日志的保留时间为72小时，无数量限制。由于 Tair 性能出色...
运行及排错
本文为您介绍如何实现节点的运行、运维，并通过查看日志进行排错。背景信息 在 设置周期和依赖 的操作中，您配置了每周二凌晨2点执行离线同步节点。提交节点后，需要到第2天才能看到调度系统自动执行的结果。DataWorks为您提供测试运行、补...
查询慢日志
数据节点慢日志 数据节点慢日志中统计的命令执行时间仅包含命令在数据节点中的执行时间，不包含数据节点与代理或客户端的通信时间以及命令在单线程队列上的排队延迟等。数据节点慢日志的保留时间为72小时，无数量限制。由于 Redis 性能出色...
使用do-while节点实现复杂的数据分析
本文示例：原始数据 在电商行业中，由于每天的订单量可能很大，因此在DataWorks中已创建了一个按天（下单时间的年月日）分区的订单表。即：每天创建的订单放在同一个分区，分区字段值为下单时间的年月日缩写。例如：分区 20220901 中存放...
什么是PolarDB PostgreSQL企业版
秒级快速备份 不论多大的数据量，全库备份只需30秒，而且备份过程不会对数据库加锁，对应用程序几乎无影响，全天24小时均可进行备份。PolarDB定价 详情请参见 规格与定价 和 购买PolarDB集群。如何使用PolarDB 您可以通过以下方式管理 ...
关系网络
type：设置节点的类型，可以在配置面板的 标签类别名 中配置。数据中的type值为 group1 的节点，其样式使用 标签类别名 为 group1 的配置。links 设置连接线，包含以下字段：source：设置连接线的源节点，取值为源节点的name值。target：...
技术面临的挑战与革新
在分布式数据库中，同样也可以采用这种模式，将事务集中在一个节点处理，而这限制了事务处理的扩展能力，系统能处理的事务操作的数据范围受限于单个节点所能访问的数据范围，事务处理能力也受限于单个节点的处理能力。
克隆集群
时间估算方法：备份恢复时间=备份集数据量÷100 MB/秒÷节点组个数 您可以在 集群列表 页的 数仓版（3.0）页签下，确认源集群当前拥有的 节点组个数：示例 例如，源集群中存在1个节点组，且备份集中有1 TB的数据，那么当通过 备份集 将该...
新零售：杭州数云信息技术有限公司
PolarDB 采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍杭州...
基础概念
PKey-SKey-Value表 简称KKV表（如下图3所示），通常用来存储属性图中的关系实例（如图1中的好友关系），其中PKey（primary key）存储一条边的源节点ID（上图中节点U1），SKey（secondary key）存储一条边的目标节点ID（比如上图中节点U2/U3...
扫描并发控制
背景信息 AnalyticDB for MySQL 在执行查询时，需要从数据源扫描数据，扫描任务会被调度到存储节点或计算节点上执行，节点的扫描任务并发数过大，可能会造成以下问题：内表的扫描任务并发数过大会导致存储节点IO争抢严重，CPU和内存使用率...
缓冲区管理
主节点Buffer Pool中的数据页，根据是否包含未来数据（即只读节点的回放位点之后新产生的数据），可以分为两类：可以写入存储的数据页和不能写入存储的数据页。该判断依赖以下两个位点：Buffer最近一次修改对应的LSN，即Buffer Latest LSN...
产品系列概述
一主多从架构适用于有大量流量高峰读请求和数据智能分析需求的大中型企业的生产数据库场景，如互联网新零售行业、汽车制造行业、教育行业、企业大型ERP系统等。MySQL 8.0 MySQL 5.7 高可用版 一主一备的高可用架构和七个只读节点，购买时...
关系网络
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
- 产品推荐
- 这些文档可能帮助您