开发PyODPS 3任务
示例 以下以一个简单示例为您介绍PyODPS节点的使用：准备数据集，创建 pyodps_iris 示例表，具体操作请参见 Dataframe数据处理。创建DataFrame，详情请参见 从MaxCompute表创建DataFrame。在PyODPS节点中输入以下代码并运行。from odps.df ...
使用参考
NoSQLDatabase 表示一个数据库的实例,用于对数据库进行设置和操作,以及获取数据节点引用(NodeReference）所有数据操作需要通过数据节点的引用进行。Summary Constructor Description NoSQLDatabase(Context context,String accessKey,...
增加或删除节点
增加节点的过程中，对数据库无任何影响。删除只读节点时，该节点上的连接会发生闪断，其他节点不受影响。建议您在业务低谷期执行删除节点操作，并确保应用具备自动重连机制。如果您的应用连接的是集群地址，PolarDB 可自动屏蔽删除的节点，...
版本及存储引擎
Write Concern 默认Majority级别 从MongoDB 5.0开始，Write Concern 默认级别为majority，仅当写入操作被应用到Primary节点（主节点）且被持久化到大多数副本节点的日志中的时候，才会提交并返回成功，“开箱即用”地提供了更强的数据可靠...
什么是数据库代理
对于只读模式的集群地址由于一个应用连接只会与后端数据库中的一个计算节点建立连接，所以应用能够使用的最大连接数为该只读集群地址下所有只读节点的最大连接数之和。对于读写模式的集群地址可以通过 事务级连接池 功能来增加应用的最大...
使用Stage和Task详情分析查询
根据当前Stage算子计划树中的聚合节点（Aggregation）或Join节点的属性，对应到具体的SQL语句，判断分区字段或者Join条件字段中是否存在某些字段组合。例如：a.id=b.id 中存在id字段，而 a.id=b.id and a.age=b.age 中存在id和age字段。...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
新增数据表
已将目标数据表上传到目标节点的服务器中，目标节点为步骤 1 安装、部署和授权的节点。说明 如果上传的是 CSV 文件，则 CSV 文件的首行需要有表头，即列名称。您可以将类似以下两个 CSV 文件上传到训练节点服务器的~/nueva/agent/data/...
数据分布策略
AnalyticDB PostgreSQL版 支持三种数据在节点间的分布方式，分别是哈希（HASH）分布、随机（RANDOMLY）分布、复制（REPLICATED）分布。...创建了一个复制（Replicated）分布的表，每个 Segment 数据节点都存储有一个全量的表数据。
配置学区地图单选框交互
在连线中添加两个 串行数据处理 节点，分别命名为 小学 和 初中。具体操作方法请参见 配置蓝图编辑器。按照以下说明继续添加其他连线和 串行数据处理 节点。将 小学 的 串行数据处理 节点分别与 民办小学 的 显示 和 隐藏 动作连线。在每条...
配置学区地图单选框交互
在连线中添加两个 串行数据处理 节点，分别命名为 小学 和 初中。具体操作方法请参见 配置蓝图编辑器。按照以下说明继续添加其他连线和 串行数据处理 节点。将 小学 的 串行数据处理 节点分别与 民办小学 的 显示 和 隐藏 动作连线。在每条...
主从节点数据为什么不强一致？
云数据库Redis版 的主节点（Master）默认会自动将数据更新复制到其关联的从节点（Replica），但由于Redis采用异步复制技术，从节点的数据更新可能会滞后于其主节点，或在某时刻存在一定程度的数据不一致。详细原因如下：主节点的I/O写入量...
升级数据库代理规格
升级方案如下：标准配置：企业通用版 vCPU的数量为集群中数据库节点总核数的1/6，企业独享版 vCPU的数量为集群中数据库节点总核数的1/4，向上取整。标准配置*2：vCPU的数量是标准配置的2倍。标准配置*4：vCPU的数量是标准配置的4倍。单击 ...
数据建模
通过连线，将 预测-1 节点的 模型结果输入 端口和 预测数据输入 端口分别作为 逻辑回归二分类-1 节点的 逻辑回归模型 端口和 拆分-1 节点的 输出表2 端口的下游节点。单击画布中的 预测-1 节点，在右侧 字段设置 页签，特征列 默认全选，将...
配置依赖上一周期（跨周期依赖）
发布任务 配置入口 进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 调度依赖>上一周期 区域配置节点的依赖关系。依赖形式 依赖上一周期支持的依赖形式如下表所示。依赖形式 节点依赖关系 业务场景 依赖上一周期：本节点（自...
ES实例节点配置说明
数据节点对CPU、内存和IO要求较高，在优化集群性能时需要监控数据节点的状态。当资源不足时，建议在集群中添加新的数据节点。说明 如果实例中有专有主节点，数据节点只作为数据节点。如果实例中没有专有主节点，则数据节点既作为数据节点，...
实例指标
rerankLatency 数据节点上精排所需要时间 matchCount 数据节点匹配结果数，准确值 matchDocSize 数据节点第一阶段返回的 matchDoc 实际数量 seekCount 数据节点查询总count数，准确值 seekDocCount 数据节点上seek doc 数 phase1EmptyQps ...
配置学区地图区域热力层交互
将 top3 的 串行数据处理 节点分别与 第五步 中所有的 name、average 和 count 节点的 导入数据接口 动作连线。部分连线结果如下。在上一步的九条连线中各添加一个 串行数据处理 节点，分别命名为 1-name、1-count、1-average、2-name、2-...
配置学区地图区域热力层交互
将 top3 的 串行数据处理 节点分别与 第五步 中所有的 name、average 和 count 节点的 导入数据接口 动作连线。部分连线结果如下。在上一步的九条连线中各添加一个 串行数据处理 节点，分别命名为 1-name、1-count、1-average、2-name、2-...
高可用版
支持版本 MySQL 8.0 MySQL 5.7 MySQL 5.6 拓扑图 优势 高可用性 高可用版实例有一个备节点，主节点的数据会通过半同步或异步复制方式同步到备节点，当主节点出现故障无法访问时，会自动切换到备节点。说明 当只读节点故障时，只读节点的备...
数据节点问题
常见数据节点问题列表：在数据访问代理中使用 RDS 或 OceanBase 的节点 ID 如何查找 RDS 或 OceanBase 的节点 ID 在数据访问代理中使用 RDS 或 OceanBase 的节点 ID 在添加物理数据节点时，需要通过数据节点 ID 来定位指定的数据节点，如下...
任务编排
步骤四：连接节点并配置调度信息 在任务流中的画布中，单击 迁移数据节点 上的圆点并拉出连接线，连接至 清除历史数据节点。说明 通过连接线设置任务执行的先后顺序。本示例中，先执行 迁移数据节点，再执行 清除历史数据节点。单击任务流...
配置目标节点
完成数据解析的处理配置后，您可根据处理节点的输出字段，完成Topic解析任务最终的输出配置。本文介绍配置目标节点的具体操作。前提条件 已配置源节点，具体操作，请参见 配置源节点。背景信息 数据解析功能说明，请参见 使用说明。数据...
常见问题
造成服务不稳定的情况可能有很多，最常见的情况是znode数量过大或者snapshot过大，由于ZooKeeper将所有的znode维护在内存中，并且需要在节点间进行数据同步，因此过大的znode数量或者容量会对服务稳定性造成影响。ZooKeeper的定位是一个...
SQL
如下图配置create_table节点、insert_data节点的运行顺序，即先创建表然后插入数据。查询类SQL任务 以Hive数据源为例，演示如何创建一个查询类的SQL任务。该示例查询了上述示例中创建的hive_table表中的数据。SQL任务节点设置中，数据源...
使用慢日志排查超时问题
慢日志类型 说明 相关参数 数据节点慢日志 数据节点慢日志中统计的命令执行时间仅包含命令在数据节点中的执行时间，不包含数据节点与代理或客户端的通信时间以及命令在单线程队列上的排队延迟等。数据节点慢日志的保留时间为72小时，无数量...
加工数据
右键单击DAG图中的 start 节点，选择 补数据>当前节点及下游节点。选中需要补数据的任务，并 选择业务日期。单击 确定。在 补数据实例 页面，单击 刷新，直至SQL任务都运行成功即可。后续步骤 现在，您已经学习了如何创建SQL任务、如何处理...
MongoDB只读节点简介
为了扩展主从节点的读请求能力，云数据库MongoDB提供具备独立连接地址的只读节点，适合独立系统直连访问，以减轻大量读请求给主从节点造成的压力。在有大量读请求的应用场景下，数据库的主从节点可能难以承受读取压力，甚至对业务造成影响...
创建CDH MR节点
在DataWorks任务开发中，您可以通过创建CDH MR（MapReduce）节点处理超大规模的数据集。本文为您介绍如何在DataWorks中创建并使用CDH MR节点。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同...
多表连接
警告 对数据量比较大的数据表进行笛卡尔连接（不带连接条件的交叉连接），会因数据膨胀造成结果数据量巨大，影响节点的执行耗时，并占用较多的存储空间。连接条件 连接条件指定了两张数据表之间使用哪些字段进行连接，当数据表中某条数据...
高可用系列
拓扑图 优势 高可用性 高可用系列实例有一个备节点，根据所选 参数模板 的不同，主节点的数据会通过 半同步 或 异步 的方式同步到备节点，当主节点出现故障无法访问时，会自动切换到备节点。高可用系列实例的主备节点可以部署在同一地域里...
添加物理数据节点
VPC ID：必填，如果当前物理数据节点处于专有网络中，则需要指定其 VPC ID，需要从其对应产品的控制台中实例详细信息中获取。单击 确定，即可完成节点添加。设置白名单 如果被添加的物理数据节点（即 RDS 或 OceanBase 实例）开启了白名单...
架构信息查询导航
云原生内存数据库Tair ...文档适用性说明 产品架构与系列类型（如内存型）均为不同的概念，上述表中涉及的文档适用于各产品架构与系列类型。例如只要架构是标准架构，都可以在 标准架构 中查看其架构相关介绍，集群架构和读写分离架构同理。
新建解决方案
将工作组中已沉淀的数据标准、数据模型、数据加工场景、数据服务API配置、云计算资源配置等数据资产，进行版本化的解决方案创建及实例化，便于完成数据治理工作环境的初始化、跨平台的资产发布及迁移。本文介绍如何通过全新创建和根据已有...
新建开发环境场景并运行
说明 在搭建节点流程的过程中，如果上游节点和下游节点需要连线（即上游节点的输出数据要作为下游节点的输入数据），则要求上游节点的输出数据与下游节点的输入数据的数据格式和云计算资源类型必须一致，任意结构（星号（*））和为空的除外...
新建开发环境场景并运行
说明 在搭建节点流程的过程中，如果上游节点和下游节点需要连线（即上游节点的输出数据要作为下游节点的输入数据），则要求上游节点的输出数据与下游节点的输入数据的数据格式和云计算资源类型必须一致，任意结构（星号（*））和为空的除外...
数据库代理常见问题
数据库代理本身并没有最大连接数的限制，连接数的限制还是由数据库中计算节点的规格决定。使用数据库代理地址连接时报超时错误怎么办？建议您将 wait_timeout 参数调大后再次尝试连接。如何调整实例参数，请参见 设置实例参数。数据库代理...
如何处理Tair集群数据倾斜
您可以在 性能监控 的 数据节点 页面中查看各数据分片节点的对应指标，通常情况下，若某数据分片节点（最高）的性能指标高出其他数据分片节点（最低）20%及以上时，可认为已产生数据倾斜，差值越大，数据倾斜程度越严重。下图介绍两个典型...
基本概念
本文为您介绍资产质量中的数据对象、质量规则、强规则和弱规则等基本概念。概念 描述 质量规则 数据对象进行质量校验时的规则，质量规则可以覆盖到字段。例如，如果您需要关注某个表中的行数变化及主键是否重复，则您可以将行数变化和主键...
如何处理Redis集群数据倾斜
您可以在 性能监控 的 数据节点 页面中查看各数据分片节点的对应指标，通常情况下，若某数据分片节点（最高）的性能指标高出其他数据分片节点（最低）20%及以上时，可认为已产生数据倾斜，差值越大，数据倾斜程度越严重。下图介绍两个典型...
- 产品推荐
- 这些文档可能帮助您