如何处理Tair集群数据倾斜
您可以在 性能监控 的 数据节点 页面中查看各数据分片节点的对应指标，通常情况下，若某数据分片节点（最高）的性能指标高出其他数据分片节点（最低）20%及以上时，可认为已产生数据倾斜，差值越大，数据倾斜程度越严重。下图介绍两个典型...
如何处理Redis集群数据倾斜
您可以在 性能监控 的 数据节点 页面中查看各数据分片节点的对应指标，通常情况下，若某数据分片节点（最高）的性能指标高出其他数据分片节点（最低）20%及以上时，可认为已产生数据倾斜，差值越大，数据倾斜程度越严重。下图介绍两个典型...
通过DataWorks实现邮件外发最佳实践
背景信息 DataWorks中的PyODPS节点和Python脚本有所区别，PyODPS节点主要用于和MaxCompute交互进行数据分析处理。DataWorks暂不支持自定义发送邮件功能，您可以通过PyODPS节点结合独享资源组的方式，实现从MaxCompute读取数据进行邮件外发...
一键MaxCompute Merge任务节点问题排查方案
其过程如下图所示（分区表为例）：离线任务节点 一键实时同步到MaxCompute流程执行完成后，数据集成会在DataStudio中生成离线任务节点，如图所示，主要有三个节点：checkStreamXDone：检查增量消费位点，确认前一天的增量分区数据是否已经...
GetNodeCode
调用GetNodeCode接口获取节点的代码。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
节点运行ECS机器上的脚本
通过DataWorks节点运行ECS机器上脚本的方案仅建议在数据迁移场景下使用，不建议在日常生产中使用。功能概述 本文提供了PyODPS、EMR Shell两类节点登录ECS的案例，具体如下：方式一：PyODPS节点通过用户名和密码登录ECS 方式二：PyODPS节点...
ListNodesByBaseline
调用ListNodesByBaseline获取基线中的节点。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
GetNode
常用的代码及其对应的文件类型包括6（Shell）、10（ODPS SQL）、11（ODPS MR）、23（数据集成）、24（ODPS Script）、99（虚拟节点）、221（PyODPS 2）、225（ODPS Spark）、227（EMR Hive）、228（EMR Spark）、229（EMR Spark SQL）、230...
UpdateNodeOwner
调用UpdateNodeOwner接口修改目标节点的负责人。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
GetFileTypeStatistic
常用的类型如下：6（Shell）、10（ODPS SQL）、11（ODPS MR）、23（数据集成）、24（ODPS Script）、99（虚拟节点）、221（PyODPS 2）、225（ODPS Spark）、227（EMR Hive）、228（EMR Spark）、229（EMR Spark SQL）、230（EMR MR）、239...
添加与管理物理数据节点
您可以通过数据访问代理控制台管理物理数据节点（RDS 或 OceanBase）。添加节点 在数据访问代理控制台，您可以添加已购买的物理数据节点（RDS 或 OceanBase）进行管理，具体操作参见 添加物理数据节点。导入节点 数据访问代理不仅支持只能...
EMR Kafka ECS磁盘事件处理
本文为您介绍如何修复EMR Kafka集群Broker节点的ECS实例存在的磁盘事件。背景信息 当您收到提示本地磁盘硬件异常风险的邮件时，需要进行Kafka服务磁盘修复操作。此时，您可以在ECS的控制台，查看修复磁盘事件流程。事件处理概述 EMR Kafka ...
扩缩容
数据节点数量 支持增加或减少数据节点数量。如果需要减少数据节点数量，请先确保变更后的数量大于等于使用中的数据节点数量。示例：当前实例有10个数据节点，有6个数据节点正在使用中，则最少可以减少为6个数据节点。数据节点规格 目前仅...
ListNodeInputOrOutput
调用ListNodeInputOrOutput接口，查询当前节点的输入输出信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
创建CDH MR节点
在DataWorks任务开发中，您可以通过创建CDH MR（MapReduce）节点处理超大规模的数据集。本文为您介绍如何在DataWorks中创建并使用CDH MR节点。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同...
相关的云服务
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
任务运行成功没有数据
没有依赖产出该上游表数据的节点任务。有依赖产出表的节点，但是依赖的节点产生的表分区不是想要的，那就说明依赖的周期不对，可以在周期实例参数配置及日志详情里面查看一天的实例上下游参数替换情况。请重新设置节点依赖关系 查看上下游...
新建补数据任务
指定终点：将补起点到终点链路上所有的节点数据。起点默认为当前节点，不支持修改。终点支持选择多个终点节点。说明 如果所选的终点节点非起点的下游节点，则只对起点和终点两个孤立节点进行补数据。逻辑表任务终点只支持选择到全表（全部...
新建补数据任务
指定终点：将补起点到终点链路上所有的节点数据。起点默认为当前节点，不支持修改。终点支持选择多个终点节点。说明 如果所选的终点节点非起点的下游节点，则只对起点和终点两个孤立节点进行补数据。终点可以通过搜索 id/节点名称 进行搜索...
RunCycleDagNodes
ExcludeNodeIds String 否 1234,123465 无需补数据的节点ID列表，在这个列表中的节点会生成空跑实例，空跑实例被调度后会直接运行成功，不会执行脚本内容。BizBeginTime String 否 00:00:00 任务的开始时间。仅小时调度任务需要设置该参数...
LogHub（SLS）实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或单击 手工构造数据 按钮自定义输入数据，再单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点对输入数据处理异常，或产生脏数据时，也会反馈出异常信息，能够...
输入节点
本文介绍输入节点的节点属性和运行属性的配置参数说明。说明 若场景任务中，计算节点已指定了上游物理表，则流程中可以没有输入节点。节点属性 输入节点关键参数说明如下：参数 说明 节点名称 节点的名称，支持用户自定义。节点标识 节点的...
输入节点
本文介绍输入节点的节点属性和运行属性的配置参数说明。说明 若场景任务中，计算节点已指定了上游物理表，则流程中可以没有输入节点。节点属性 输入节点关键参数说明如下：参数 说明 节点名称 节点的名称，支持用户自定义。节点标识 节点的...
场景2：依赖上一周期的结果时，如何配置调度依赖
如果您需要查看下游节点对当前节点数据的清洗结果是否符合预期，可以对下游节点产出的结果表配置数据质量规则。本节点 节点依赖关系：跨周期自依赖（依赖当前节点的上一周期），即本次节点是否运行取决于上一周期本节点是否运行成功。业务...
集成组件库开发说明
轮流分发：上游节点的数据根据下游节点数量进行轮流分发，且所有下游节点的数据之和等于上游节点的数据。输出组件 数据来源集成的目标数据。您可根据您的业务需求，选择对应的输出组件并拖动到左侧的管道画布用于数据的输出。各输出组件...
集成组件库开发说明
轮流分发：上游节点的数据根据下游节点数量进行轮流分发，且所有下游节点的数据之和等于上游节点的数据。输出组件 数据来源集成的目标数据。您可根据您的业务需求，选择对应的输出组件并拖动到左侧的管道画布用于数据的输出。各输出组件...
查看并管理已提交实例
DAG图展示每个业务日期下补数据节点及其依赖节点间的关系。Dataphin支持跨项目节点的运维管理。对跨项目的补数据实例节点进行运维操作时，需要具备实例所在项目的查看及操作权限。说明 查看DAG图时，实例对象列表将展示实例对象的名称和...
查看并管理已提交实例
DAG图展示每个业务日期下补数据节点及其依赖节点间的关系。Dataphin支持跨项目节点的运维管理。对跨项目的补数据实例节点进行运维操作时，需要具备实例所在项目的查看及操作权限。说明 查看DAG图时，实例对象列表将展示实例对象的名称和...
手动执行主备切换
切换影响 执行切换的数据节点将出现秒级的连接闪断，同时，为避免主备切换引起潜在的数据丢失风险（例如主备节点数据同步延迟引起数据不一致）、DNS缓存引起的数据双写，该数据节点还会出现30秒内的只读状态。实例处于 切换中 状态时，您将...
手动执行主备切换
切换影响 执行切换的数据节点将出现秒级的连接闪断，同时，为避免主备切换引起潜在的数据丢失风险（例如主备节点数据同步延迟引起数据不一致）、DNS缓存引起的数据双写，该数据节点还会出现30秒内的只读状态。实例处于 切换中 状态时，您将...
查看并管理已生成实例
已生成实例是对周期任务发起立即运行补数据...DAG图用于展示每个业务日期下补数据节点及其依赖节点间的关系。补数据DAG节点支持的操作与周期实例支持的操作相同，详情请参见：脚本实例DAG节点支持的操作。明细及汇总表实例DAG节点支持的操作。
查看并管理已生成实例
已生成实例是对周期任务发起立即运行补数据...DAG图用于展示每个业务日期下补数据节点及其依赖节点间的关系。补数据DAG节点支持的操作与周期实例支持的操作相同，详情请参见：脚本实例DAG节点支持的操作。明细及汇总表实例DAG节点支持的操作。
Kafka单表实时入湖OSS（HUDI）
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
终端节点服务监控项
本文为您列举终端节点服务的监控项，包括终端节点服务实例、终端节点服务资源、终端节点服务连接的终端节点实例，三类监控项的监控指标和指标含义等相关说明。终端节点服务实例 Metric 监控指标 指标含义 单位 聚合统计方法 ...
概述
全局一致性 PolarDB-X 是一款分布式数据库，数据存放在多个数据节点（DN）上，当分布式事务存在的情况下，恢复后的实例需要保证多个数据节点间的数据一致性。下图通过转账测试给出了全局一致性的示例：PolarDB-X 中存放了一张用户的账户...
流程图
当单击流程图上的节点时，会触发数据请求，抛出回调值，动态加载不同的数据。默认抛出数据中的 id、width、height、title、content 和 status 值，具体配置请参见 如何配置数字翻牌器组件的回调ID。当双击节点时 选中 启用，开启组件交互...
查询节点实例的容器状态详情
调用ListFlowNodeInstanceContainerStatus接口，查询节点实例的容器状态详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选...
终端节点监控项
bit/s 平均值 VpcEndpointInPps 终端节点流入数据包速率 从VPC网络访问终端节点的数据包速率。packet/s 平均值 VpcEndpointOutPps 终端节点流出数据包速率 从终端节点访问VPC网络的数据包速率。packet/s 平均值 VpcEndpointInDropBps 终端...
主从节点数据为什么不强一致？
云数据库Redis版 的主节点（Master）默认会自动将数据更新复制到其关联的从节点（Replica），但由于Redis采用异步复制技术，从节点的数据更新可能会滞后于其主节点，或在某时刻存在一定程度的数据不一致。详细原因如下：主节点的I/O写入量...
MongoDB只读节点简介
为了扩展主从节点的读请求能力，云数据库MongoDB提供具备独立连接地址的只读节点，适合独立系统直连访问，以减轻大量读请求给主从节点造成的压力。在有大量读请求的应用场景下，数据库的主从节点可能难以承受读取压力，甚至对业务造成影响...
- 产品推荐
- 这些文档可能帮助您