基础管理FAQ
本文介绍创建或删除NAS文件系统、添加或删除挂载点等的常见问题。每个账号可以创建多少个文件系统、文件系统有什么限制？每个账号在单个地域内最多支持创建20个通用型NAS文件系统和200个极速型NAS文件系统。单个文件系统容量上限：通用容量...
代码多副本功能
在NUMA架构（尤其是ARM实例）中，不同NUMA节点具有各自的本地内存，当一个NUMA节点上的程序或进程需要访问其他NUMA节点的代码段时，就会引入额外的延迟和性能开销。通过代码多副本功能，可以将远程节点的代码段复制到本地节点，避免了跨...
最佳实践：文件管理OpenAPI基础实践
在调用 UpdateFile 更新已有的文件节点时，填写的参数必须和该节点原本的文件配置不同。例如源节点的某参数值为A，则需要变更为B后再提交。如果仍填写A，会报invalid异常。提交节点。public void submitFile()throws ClientException{ ...
功能特性
EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源...
如何使用DataV-WS服务
根据演示机器的IP地址，在演示机器的蓝图编辑器内添加一个 WebSocket 节点，并变更 WebSocket 节点的 socket服务地址 为：ws:/机器IP地址:8181，即可完成多个同网段数据看板的互相通信功能。说明 跨屏演示请参见 实现跨屏联动。配置模型...
FE参数配置
cache_enable_partition_mode 默认值：true 是否可以动态配置：true 是否为Master FE节点独有的配置项：false 说明：如果设置为true，FE将从BE cache中获取数据，该选项适用于部分分区的实时更新。cache_enable_sql_mode 默认值：true 是否...
通过缓存优化性能
每当需要从远程位置获取文件时，数据都会自动缓存。然后在本地的连续读取上述数据，从而显著提高读取速度。说明 详细内容可参考Databricks官网文章：通过缓存优化性能 Delta缓存支持读取DBFS、HDFS、azureblob存储、azuredatalake存储Gen1...
FTP文件传输服务加速
创建linux用户ftpdemo adduser ftpdemo#修改用户ftpdemo的密码 passwd ftpdemo#创建一个供FTP服务使用的文件目录 mkdir/var/ftp/demo#ftpdemo用户拥有此目录 chown-R ftpdemo:ftpdemo/var/ftp/demo 配置vsftpd。vim/etc/vsftpd/vsftpd.conf...
使用参考
NodeReference 数据节点的引用,用于对数据节点进行操作,以及监听本节点数据的变更。注意 说明 ref 自身不包含任何数据,只代表数据库中 JSON 结构某一位置的一个引用。Summary Returns Public Methods NodeReference copy()复制一个当前节点...
存储空间分析
数仓版（3.0）预留模式集群与 弹性模式集群版（新版）集群、湖仓版（3.0）集群查看的 总数据量 指标不同，预留模式集群不支持冷热数据分离，因此仅能在 总数据量 指标中查看 总数据量、平均节点数据量 和 最大节点数据量 指标。弹性模式...
HDFS概述
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景...
通用数据结构
ClientNodeConfiguration 协调节点配置信息。参数名称 类型 示例值 描述 diskType String cloud_efficiency 协调节点存储类型，仅支持cloud_efficiency（高效云盘）。amount Long 3 协调节点数量。spec String elasticsearch.sn2ne.large ...
扩缩容
数据节点数量 支持增加或减少数据节点数量。如果需要减少数据节点数量，请先确保变更后的数量大于等于使用中的数据节点数量。示例：当前实例有10个数据节点，有6个数据节点正在使用中，则最少可以减少为6个数据节点。数据节点规格 目前仅...
功能特性
数据源配置管理 您可以在产品中添加多种不同类型的数据源配置，每个数据来源配置代表一个核对系统在后续核对工作中可以用来读取数据的数据来源配置，当前支持如下类型的数据源配置：OSS：OSS 文件系统的读取配置，需要您输入访问信息，...
数据节点管理
数据节点规格不一致时，_recycle资源池不支持直接增删节点。在弹框中选择需要增加的数据节点个数，单击 提交。释放数据节点 在实例控制台上单击 数据节点管理。在数据节点列表中选择需要释放的节点，单击右侧的 释放节点。如果需要同时释放...
ES实例节点配置说明
数据节点 数据节点是存储索引数据的节点，主要对文档进行增删改查、聚合等操作。数据节点对CPU、内存和IO要求较高，在优化集群性能时需要监控数据节点的状态。当资源不足时，建议在集群中添加新的数据节点。说明 如果实例中有专有主节点，...
使用MongoDB工具将自建数据库迁移至单节点实例
步骤二：将数据迁移至阿里云 获取阿里云MongoDB实例Primary节点的连接地址。登录 MongoDB管理控制台。在页面左上角，选择实例所属的地域。在左侧导航栏，单击 副本集实例列表。找到目标实例，单击实例ID。在左侧导航栏，单击 数据库连接，...
多表合并
计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 Spark 是 使用说明 来源节点 多表合并算子必须指定2个或者2个以上的 来源节点（又称为输入节点，每个来源节点可视为一张表），以求取这些来源节点数据合并的...
使用列索引加速ETL
开启该功能后，您可以在RW节点上使用列存索引，RW节点的SQL语句中的 SELECT 请求会发送至只读列存节点并使用列存索引功能进行加速查询，读取数据后，PolarDB 会通过内部网络将数据传回RW节点并写入目标表。技术原理 前提条件 集群版本需...
场景2：依赖上一周期的结果时，如何配置调度依赖
如果您需要查看下游节点对当前节点数据的清洗结果是否符合预期，可以对下游节点产出的结果表配置数据质量规则。本节点 节点依赖关系：跨周期自依赖（依赖当前节点的上一周期），即本次节点是否运行取决于上一周期本节点是否运行成功。业务...
GetFile
调用GetFile获取文件的详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 GetFile 要执行的...
基本概念
通用容量型NAS 通用容量型NAS是通用型NAS的一个细分类型，适用于数据库备份、日志存储、Windows用户目录、Linux home目录等成本敏感性且对时延响应要求不高的文件共享业务。通用容量型NAS使用容量支持自动扩容，最大存储容量为10 PiB。通用...
快速入门
PyODPS节点获取本地处理的数据量不能超过50 MB，节点运行时占用的内存不能超过1 GB，否则节点任务会被系统中止。因此请避免在PyODPS任务中写入数据量较大的Python处理代码。在DataWorks上编写代码并进行调试效率较低，为提升运行效率，建议...
数仓开发任务流
配置DTS数据迁移节点 配置离线数据集成节点 数据开发 显示任务流中的数据开发节点：除数据集成节点之外的其他节点。数据开发节点，试运行和发布后的调度功能相同。任务类型介绍 配置DTS位点检查节点 表 数仓表可被其任务流引用并操作，您...
API概览
ListAdvanceConfigDir 获取高级配置目录下文件列表 获取高级配置目录下文件列表。ListAdvanceConfigs 获取高级配置列表 获取高级配置列表。数据源配置 数据源配置 CreateDataSource 创建数据源 创建数据源。DeleteDataSource 删除数据源 ...
Linux系统挂载SMB协议文件系统
由于Linux系统对SMB协议的兼容程度较低，建议仅在需要跨操作系统共享数据的情况下使用Linux系统挂载SMB协议文件系统。本文主要介绍如何将SMB协议文件系统挂载至云服务器ECS（Linux）上并执行读写操作。前提条件 在创建SMB协议文件系统的...
事务拆分
对于事务拆分基础服务，如果一致性级别不是 最终一致性，只有只读节点与主节点数据同步成功后，事务中第一次写请求前的读请求才会发送到只读节点，否则依旧发送到主节点。关于一致性级别的具体信息，请参见 PolarDB PostgreSQL版一致性级别...
事务拆分
对于事务拆分基础服务，如果一致性级别不是 最终一致性，只有只读节点与主节点数据同步成功后，事务中第一次写请求前的读请求才会发送到只读节点，否则依旧发送到主节点。关于一致性级别的具体信息，请参见 一致性级别。开启事务拆分 登录 ...
API概览
GetImportFileUrl 获取文件上传地址 获取Nacos配置导入时获取文件的上传地址。ImportNacosConfig 导入Nacos配置 使用配置文件导入Nacos配置。Nacos服务 Nacos服务 ListNamingTrack 获取Nacos注册中心推送轨迹 获取Nacos注册中心的轨迹数据...
配置数据质量监控
表的行数非0校验（强规则）主键唯一性校验（弱规则）3、规则关联调度节点 数据质量通过关联调度的方式及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，即通过关联调度节点触发数据质量校验规则执行。...
云监控控制台查看监控
说明 inode是Linux系统中来标识文件或目录的。网络吞吐流入速率 集群各节点每秒的网络流入数据量。单位：bps。网络吞吐流出速率 集群各节点每秒的网络流出数据量。单位：bps。ClickHouse datapart个数 ClickHouse集群中数据分片的个数。...
手动执行主备切换
切换影响 执行切换的数据节点将出现秒级的连接闪断，同时，为避免主备切换引起潜在的数据丢失风险（例如主备节点数据同步延迟引起数据不一致）、DNS缓存引起的数据双写，该数据节点还会出现30秒内的只读状态。实例处于 切换中 状态时，您将...
手动执行主备切换
切换影响 执行切换的数据节点将出现秒级的连接闪断，同时，为避免主备切换引起潜在的数据丢失风险（例如主备节点数据同步延迟引起数据不一致）、DNS缓存引起的数据双写，该数据节点还会出现30秒内的只读状态。实例处于 切换中 状态时，您将...
释放Mongos节点或Shard节点
Shard节点数据量、Balancing Window和Jumbo Chunk等因素会影响释放节点的实际耗时。说明 关于Balancing Window和Jumbo Chunk的更多信息，请参见 Balancing Window 和 Jumbo Chunk。请确保剩余的Shard节点有足够的存储空间。Shard节点在释放...
配置数据质量监控
表的行数非0校验（强规则）主键唯一性校验（弱规则）3、规则关联调度节点 数据质量通过关联调度的方式及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，即通过关联调度节点触发数据质量校验规则执行。...
任务运行失败
可能原因：FTP数据源配置有误，FTP Check节点未获取到FTP数据源的信息。解决方案：您可以进入 数据源管理 页面，检查所使用的数据源配置是否正确。进入 数据源管理 页面的操作，详情请参见 创建与管理数据源。如果没有可用的数据源，则您...
主备切换
当实例触发主备切换后，实例会自动完成完整的切换流程：将备节点提升为主节点，同时会创建新的备节点，进行主备节点数据同步。您无需进行任何操作。说明 双可用区实例在主备切换后，主节点位于备可用区、备节点位于主可用区，此时可能产生...
主备切换
当实例触发主备切换后，实例会自动完成完整的切换流程：将备节点提升为主节点，同时会创建新的备节点，进行主备节点数据同步。您无需进行任何操作。说明 双可用区实例在主备切换后，主节点位于备可用区、备节点位于主可用区，此时可能产生...
读写分离架构
承担读请求的处理，特点如下：只读节点采取链式复制架构，当只读节点数越多，靠近链路末端的只读节点数据延迟越大。提供1个、3个、5个只读节点配置。备节点（Replica node）无冷备节点，任一只读节点均可作为备节点。当主节点发生异常时，...
读写分离版
承担读请求的处理，特点如下：只读节点采取链式复制架构，当只读节点数越多，靠近链路末端的只读节点数据延迟越大。提供1个、3个、5个只读节点配置。备节点（Replica node）无冷备节点，任一只读节点均可作为备节点。当主节点发生异常时，...
- 产品推荐
- 这些文档可能帮助您