解读实例诊断报告
说明 当某些Key的Hash Tag设置相同时，这些Key会被存储在同一数据节点中。如果大量的Key设置相同的Hash Tags将会导致数据集中在某个节点。实时Top Key统计 离线全量Key分析 TOP 10 节点慢请求 展示发生慢请求次数排名前十的数据节点，并...
解读实例诊断报告
说明 当某些Key的Hash Tag设置相同时，这些Key会被存储在同一数据节点中。如果大量的Key设置相同的Hash Tags将会导致数据集中在某个节点。离线全量Key分析 实时Top Key统计 TOP 10 节点慢请求 展示发生慢请求次数排名前十的数据节点，并...
实例指标
0表示异常）requestPoolWaitTime 数据节点查询请求在查询池中的等待时间 SEARCHER-RT-BUILD（数据节点-数据处理）指标项 含义 addQps 数据节点中API推送add doc的qps deleteQPS 数据节点中API推送delete doc的qps buildQps 数据节点中实时...
加工数据
本文将为您介绍如何通过DataWorks中的EMR Hive节点加工采集的日志数据。前提条件 开始本实验前，请首先完成 采集数据 中的操作。创建函数 上传资源 下载 ip2region-emr.jar。在 数据开发 页面打开WorkShop业务流程，右键单击 EMR，选择 ...
数据节点管理
数据节点规格不一致时，_recycle资源池不支持直接增删节点。在弹框中选择需要增加的数据节点个数，单击 提交。释放数据节点 在实例控制台上单击 数据节点管理。在数据节点列表中选择需要释放的节点，单击右侧的 释放节点。如果需要同时释放...
扩缩容
表之间数据存储和查询共享数据节点资源（CPU、内存、磁盘）：上图中展示的就是两张向量表，一个是4分片，一个是1分片，4分片的会根据产出的索引进行均分数据到每个分片中，而1分片的向量表则会形成广播表在每个数据节点中存储一份完整的向...
PyODPS节点实现结巴中文分词
在PyODPS 3节点中运行下方示例代码，对上传至 jieba_test 表中的测试数据进行分词，并回显分词结果表的前十行数据。def test(input_var):import jieba result=jieba.cut(input_var,cut_all=False)return"/".join(result)#odps.stage.mapper...
创建并使用PAI Studio节点
本文以心脏病预测案例实验为例，为您介绍如何加载机器学习实验至DataWorks的机器学习节点中。创建机器学习实验的详情请参见 心脏病预测。操作步骤 进入数据开发页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与...
ListNodesByBaseline
调用ListNodesByBaseline获取基线中的节点。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
配置数据计算和数据过滤
如需使用数据计算节点中的新增字段，继续生产新数据，可继续参照上述步骤，配置多个表达式。单击数据解析工作台右上角的 保存，完成数据计算节点的配置。配置数据过滤 您可以配置数据过滤，进一步筛选输出的字段。进入数据解析工作台。在...
配置 SCQL 项目
您可以根据业务需求对项目中的节点、数据和成员进行配置，只有成功配置项目后，才可以进入项目开发阶段。本文介绍在管理控制台中，配置 SCQL 项目的操作步骤。前提条件 在配置 SCQL 项目前，请确认您已经完成了以下操作：确认已安装、部署...
配置 PSI 项目
您可以根据业务需求对项目中的节点、数据和成员进行配置，只有成功配置项目后，才可以进入项目开发阶段。本文介绍在管理控制台中，配置 PSI 项目的操作步骤。前提条件 在配置 PSI 项目前，请确认您已经完成了以下操作：确认已安装、部署...
配置 FL 项目
您可以根据业务需求对项目中的节点、数据和成员进行配置，只有成功配置项目后，才可以进入项目开发阶段。本文介绍在管理控制台中，配置 FL 项目的操作步骤。前提条件 在配置 FL 项目前，请确认您已经完成了以下操作：确认已安装、部署节点...
数仓开发任务流
配置DTS数据迁移节点 配置离线数据集成节点 数据开发 显示任务流中的数据开发节点：除数据集成节点之外的其他节点。数据开发节点，试运行和发布后的调度功能相同。任务类型介绍 配置DTS位点检查节点 表 数仓表可被其任务流引用并操作，您...
配置 MPC 项目
您可以根据业务需求对项目中的节点、数据和成员进行配置，只有成功配置项目后，才可以进入项目开发阶段。本文介绍在管理控制台中，配置 MPC 项目的操作步骤。前提条件 在配置 MPC 项目前，请确认您已经完成了以下操作：确认已安装、部署...
场景2：依赖上一周期的结果时，如何配置调度依赖
如果您需要查看下游节点对当前节点数据的清洗结果是否符合预期，可以对下游节点产出的结果表配置数据质量规则。本节点 节点依赖关系：跨周期自依赖（依赖当前节点的上一周期），即本次节点是否运行取决于上一周期本节点是否运行成功。业务...
流程图
本文介绍流程图全量选择时各配置项的含义。图表样式 流程图是以节点和线的形式表现事物之间关系的组件，支持自定义节点和连接线的样式，能够以节点和线的形式在可视...再根据需要在蓝图编辑器配置页面的数据处理节点中更改对应样式的字段值。
流程图
再根据需要在蓝图编辑器配置页面的数据处理节点中更改对应样式的字段值。显示 显示组件，参考数据示例如下。return{"animationType":"","animationDuration":1000,"animationEasing":"linear"} 隐藏 隐藏组件，参考数据示例如下。return{...
网络运维场景
图数据库GDB可以轻松的对IT、网络运营的海量数据进行建模，将原始关系型数据库中结构化数据转换图数据库中的节点和边，不仅能减少DBA的数据建模工作量，又能够提升查询效率。解决传统解决方案中数据量超过一定量级时不能使用数据库和使用...
两表差集
差集的结果为左侧输入节点的所有数据中，差集条件 字段的值不在右侧输入节点的记录集合，示意图如下所示。示例如下所示，假设两个输入节点分别为A和B，设置差集条件为"A.ID-B.ID"，则差集运算结果如下图右侧所示。输出字段 配置当前节点...
两表交集
两个来源节点的原始数据中满足这些映射关系的数据即为二者的交集，如下示意图所示。示例如下所示，假设两个输入节点分别为A和B，设置交集条件为A.ID=B.USER_ID，交集运算结果如下图右侧所示。输出字段 配置当前节点输出到下游节点的字段...
配置仪表盘推送节点
将该节点与任务流中输出数据的节点进行连接。左键双击该节点，在配置节点页面，选择目标 仪表盘集合 和 仪表盘。设置任务流的 责任人 及配置任务的 调度周期。具体操作，请参见 概述。单击页面左上方的 试运行。责任人或相关人员等待接收...
查看物理数据节点
物理数据节点列表 进入数据访问代理控制台，单击左侧导航栏上的 运维>物理数据节点 后，可在右侧的物理数据节点页面查看当前系统中所有的物理数据节点。物理数据节点详情 单击指定的数据节点 ID，进入该数据节点的详情页面，可以看到该节点...
任务配置
数据导入 数据导入节点的构建流程如下：将系统节点列表中的“数据导入”节点拖拽至画布。配置节点属性。其中，关键参数说明如下：任务名称：自定义。说明：该节点任务（或所在工作流）每执行一次，系统会使用“任务名称（该节点）-日期...
节点分组
在 节点分组 页面，单击需要配置数据出口的节点分组 操作 列的 数据流转。在弹出的 数据流转设置 对话框，配置数据流转信息。说明 首次配置时，请先根据页面提示，单击 授权，完成对数据出口资源的访问权限授权。参数 说明 数据出口 数据...
查看逻辑表的引用场景
前提条件 逻辑表已经被场景中的公共节点引用，具体操作，请参见 添加MaxCompute_SQL类型的公共节点 和 新建开发场景并部署运行。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择...
查看逻辑表的引用场景
前提条件 逻辑表已经被场景中的公共节点引用，具体操作，请参见 添加MaxCompute_SQL类型的公共节点 和 新建开发场景并部署运行。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标...
配置SQL赋值节点
SQL赋值节点可以将SELECT语句读取的数据赋值给该节点的输出变量，输出变量可以在下一节点中作为输入变量被使用。本文介绍配置SQL赋值节点的方法。背景信息 SQL赋值节点赋予任务流获取表中数据作为下游节点的变量的能力。变量在任务节点中的...
概述
下图通过转账测试给出了全局一致性的示例：PolarDB-X 中存放了一张用户的账户余额表，该表的数据分布在两个数据节点中，总的账户金额是200元。业务持续地使用分布式事务在不同的账号间进行转账。某一时刻（2021-07-25 16:14:20），账户B向...
删除或变更节点输出的影响
若业务调整，导致节点不再产出表A数据时，您需确认表A数据从哪个节点产出，并且为下游节点B重新配置产出表A数据的节点依赖。示例：上游产出表变更，导致下游依赖丢失 示例 Node_A 产出表A数据，下游节点 Node_B 需对表A的数据进行加工，...
创建并配置发布环境
说明 标准模式工作空间中的节点，在数据开发界面提交后将自动进入任务发布界面。目前标准模式的任务发布，仍需使用 任务发布 功能，发布中心 暂不支持标准模式工作空间开发环境到生产环境的发布。配置发布环境 在发布中心界面，您可以根据...
内存型
当某个节点储存了热度较高的数据并面临大并发量的请求时，该节点中其它数据的读写可能受到影响，形成性能瓶颈。能更好地应对热读写，降低维护成本。读写分离架构 有较高的读性能，在读多写少的场景表现良好，但不适用于大并发写入的场景。...
主备切换
但在切换过程中，会出现以下情况：执行切换的数据节点将出现秒级的连接闪断，可能还会出现30秒内的只读状态。在实例处于 切换中 状态时，将无法执行实例级别的操作（例如变更配置、迁移可用区等）。当实例完成主备切换后，实例状态会显示为...
主备切换
但在切换过程中，会出现以下情况：执行切换的数据节点将出现秒级的连接闪断，可能还会出现30秒内的只读状态。在实例处于 切换中 状态时，将无法执行实例级别的操作（例如变更配置、迁移可用区等）。当实例完成主备切换后，实例状态会显示为...
获取提交代理节点列表
调用ListFlowClusterAllHosts接口，查询给定集群可以在项目设置中设置到白名单中的主机列表，目前支持Master和Gateway节点。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动...
算子
AnalyticDB for MySQL 中的一个算子负责完成一个基本的数据处理逻辑，合理地组合算子、优化算子的顺序和执行方式，可以提升数据的处理效率。本文介绍 AnalyticDB for MySQL 中的常用算子及算子所对应的属性。背景信息 AnalyticDB MySQL版 ...
产品系列概述
大中型企业的生产数据库。互联网、物联网、零售电商、物流、游戏等行业的数据库。集群系列 一主多备的高可用架构，支持自动故障切换。备节点可访问，提升读能力。可增加更多备节点进一步扩展读能力。大中型企业的生产数据库。互联网新零售...
调优集群性能
节点掉线个数增多 当 云原生数据仓库 AnalyticDB MySQL 版 集群内部的节点无法提供服务时，会存在节点掉线的情况，节点掉线对于集群的稳定运行有较大的危害，会导致查询和写入变慢，也会导致查询报错。节点掉线时，您可以分析CPU使用率是否...
开发PyODPS 2任务
请避免在PyODPS节点中写入过多的数据处理代码。详情请参见 高效使用PyODPS最佳实践。如果您发现有 Got killed 报错，即表明内存使用超限，进程被中止。因此，请尽量避免本地的数据操作。通过PyODPS发起的SQL和DataFrame任务（除to_pandas外...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
- 产品推荐
- 这些文档可能帮助您