YARN资源配置
组件名 配置文件 配置项 生效范围 备注 ResourceManager yarn-env.sh YARN_RESOURCEMANAGER_HEAPSIZE 集群 最小1024，如果小作业较多则需要继续调大该参数值，调整后需要重启ResourceManager组件生效。NodeManager yarn-env.sh YARN_...
通过Data Explorer构建查询和分析语句
所有值 为一个字段设置了多个查询值时，会出现此逻辑连接符。对应于and运算符。任意值 为一个字段设置了多个查询值时，会出现此逻辑连接符。对应于or运算符。运算符 查询功能支持如下运算符。更多信息，请参见 运算符。针对全文查询，提供...
常见错误码及排查方法
解法【示例2】：在目标端数据库侧修复问题（比如提高 MAX_CONNECTION_ERRORS 的值）后，重启任务。DTS-10015 无法连接到Redis。DTS-10015:unreachable redis network.JedisConnectionException:Could not get a resource from the ...
DRM 常见问题
更多依赖级别，说明如下：依赖等级 依赖描述 NONE 无依赖，启动期不加载服务端值。启动此级别后，客户端仅会接收服务端在运行期间产生的配置推送。ASYNC 异步更新，启动期异步加载服务端值，不关注加载结果。WEAK 弱依赖，启动期同步加载...
时序引擎版本说明
修复/api/mquery接口查询多值降采样错误。修复历史文件的存储容量没有达到最大上限时无法迁移至冷存储的问题。修复查询操作可能出现的栈溢出问题。修复string类型的field会导致compaction异常的问题。3.4.4 2021年12月14日 新特性 SQL支持...
使用异常
尤其是在调试阶段，消费端不可避免会多次重启，一旦多个消费进程同时存在（进程未退出），那么相当于进入集群的消费模式，多个消费实例会共同分担消费消息。消费端以为没有收到的消息，其实是被另一个消费端接收了。您可以到消息队列控制台...
添加限流规则
参数关系：配置多个参数条件之间的逻辑关系。可选值为 AND（与）和 OR（或）。选择 Web 页面 时，配置以下参数：URI：需要限流的请求 URI，不包含域名和参数部分。参数关系：配置多个参数条件之间的逻辑关系。可选值为 AND（与）和 OR（或...
匹配条件说明
匹配字段 适用的逻辑符 字段描述 URI 等于、不等于 等于多值之一、不等于任一值 包含、不包含 包含多值之一、不包含任一值 长度等于、长度大于、长度小于 前缀匹配、后缀匹配 正则匹配、正则不匹配 请求的统一资源标识符URI（Uniform ...
参数调优建议
buffer_pool_instances 适用版本：8.0、5.7、5.6、5.5 修改完后是否需要重启：是 作用：将innodb_buffer_pool_size大于1 GB的内存缓冲池拆分成多个实例进行维护，每个实例都有自己的锁、信号量、物理块（Buffer chunks）以及逻辑链表，各...
常见报错
该语句执行完后，需要在配置文件中修改 server_id 值，否则重启后修改的 server_id 值会失效。重新执行预检查。源库binlog存在性检查失败 报错场景：自建MySQL数据库启动备份计划，显示源库binlog存在性检查失败。解决方法：进入MySQL命令...
常见问题
您还可以修改参数 yarn.scheduler.capacity.<queue-path>.ordering-policy.fair.enable-size-based-weight，该参数默认值false，表示按used资源值从小到大排序，参数值为true时表示按照used或demand计算值从小到大排序。开启队列内抢占。...
Sequence Engine
Sequence Engine介绍 在持久化数据库系统中，无论是单节点中的业务主键，还是分布式系统中的全局唯一值，亦或是多系统中的幂等控制，单调递增的唯一值是常见的需求。不同的数据库系统有不同的实现方法，例如MySQL提供的AUTO_INCREMENT，...
Postgres CDC（公测中）
Postgres CDC可用于依次读取PostgreSQL数据库全量快照数据和变更数据，保证不多读一条也不少读一条数据。即使发生故障，也能采用Exactly Once方式处理。本文为您介绍如何使用Postgres CDC连接器。背景信息 Postgres CDC连接器支持的信息...
配置自动调优
动态参数更新下业务中断时间较之作业整体重启缩小30%-98%，具体依赖于作业状态和逻辑，目前仅支持并发的修改。详情请参见 动态更新作业参数。如果您使用了DataStream作业或SQL自定义的连接器，请确认作业代码中未配置作业并发度，否则智能...
常见问题
允许用户通过配置定义的逻辑集群是为了将多台机器形成一个ClickHouse集群，并且通过逻辑集群的配置，划分机器与机器之间的关系（shard、replica），同时也方便用户为不同的业务划分不同的逻辑集群。EMR ClickHouse默认配置了一个包含集群中...
作业调试
您可以使用作业调试功能模拟作业运行、检查输出结果，验证SELECT或INSERT业务逻辑的正确性，提升开发效率，降低数据质量风险。本文为您介绍如何进行Flink SQL作业调试。背景信息 您可以在Flink开发控制台使用作业调试功能本地验证作业逻辑...
性能监控指标
当平均负载持续大于 5.0*CPU 逻辑核数，表明系统已出现严重问题，长时间未响应，或者接近死机。除了关注平均负载值本身，也应关注平均负载的变化趋势，这包含两层含义。一是 load1、load5、load15 之间的变化趋势；二是历史的变化趋势。当 ...
版本特性
优化引擎升级/重启时的校验逻辑，支持引擎无损变更，提升引擎升级/重启时的稳定性。优化获取来源IP的逻辑，提升获取来源IP的准确性。优化集群限流能力，支持更多限流功能，提升引擎稳定性。优化请求参数的校验逻辑，明确参数错误的内容。...
ALB Ingress Controller
2023年08月 版本号 变更时间 变更内容 变更影响 v2.10.0-aliyun.1 2023年08月15日 新增支持为Ingress和ALBConfig添加hash值，以保证ALB Ingress Controller重启时不会出现预期外的变更。优化异常事件透出。优化使用保留字段场景下的调和...
消息发送重试和流控机制
服务端节点处于重启或下线等状态造成连接失败。服务端运行慢造成请求超时。服务端返回失败错误码 系统逻辑错误：因运行逻辑不正确造成的错误。系统流控错误：因容量超限造成的流控错误。说明 对于事务消息，只会进行 透明重试（transparent...
2022年
2022年12月 V1.1.28 内核小版本 类别 名称 描述 相关文档 发布时间 新增 部分参数默认值调整 自数据库内核小版本V1.1.28（PostgreSQL 11）和V14.5.1.1（PostgreSQL 14）起，PolarDB PostgreSQL版 调整了部分参数的默认值，仅针对新建集群...
FE参数配置
Workers是阻塞性的业务逻辑，往往有较多的数据库操作，需要的线程数量较多，具体数量随应用程序的QPS和IO事件占比而定。QPS越高，需要的线程数量越多，IO占比越高，等待的线程数越多，需要的总线程数也越多。Workers线程池默认不做设置，...
2022年
部分参数默认值调整说明 hypopg插件 hypopg插件用于帮助您检查某类索引是否有助于一个或者多个查询。hypopg pg_bigm插件 pg_bigm插件提供了全文本搜索能力，允许创建一个二元语法（2-gram）的GIN索引来加速搜索过程。pg_bigm hll插件 hll...
设置Logtail启动参数
Logtail的部分逻辑依赖于系统时间的递增，建议在每次机器时间调整后重启Logtail。enable_log_time_auto_adjust":true accept_multi_config Boolean 是否允许多个Logtail配置采集同一个文件。默认值：false，表示不允许。默认情况下，一个...
功能更新动态（2023年）
支持配置探查数据范围、探查频率（仅自动探查需要配置）、探查字段范围、探查场景（空值统计、字段值分布、唯一值统计，受数据类型限制）及探查结果查看权限。支持预览生成的探查SQL。支持查看探查记录及对应的探查日志，可一键快速终止...
错误码字典
场景在一层逻辑节点下最多嵌套一层判断节点，检查是否存在逻辑节点嵌套错误。10199 scene width illegal action中场景个数非法。检查action中场景个数是否超出了100的限制。10200 scene empty 没有这个场景。确认场景是否存在，场景创建后...
文档更新动态（2023年）
更新说明 新建公共日历 全局变量支持选择多个代码审核人。更新说明 新建全局变量 支持根据指定的来源财务日历创建财务统计周期。更新说明 新建统计周期 数据开发-规范建模 支持创建无指标汇总逻辑表。业务限定支持根据不同业务日期区间配置...
扩容分区和文件系统（Linux）
Disk label type 值为 dos 表示MBR分区，值为 gpt 表示GPT分区。说明 不同操作系统的显示略有不同。如果没有 Disk label type 字段，可通过 System 字段判断。System 值为 Linux 表示MBR分区，值为 GPT 表示GPT分区。较低版本的fdisk可能不...
AND
计算逻辑原理 对多个字段值取逻辑与。使用流程说明 组件拖入画布后，将输入端口与其他组件的输出端口连接，将输出端口与其他组件的输入端口连接，从IN端口选择N个字段进行取与操作。参数说明 AND算法组件的 IN1/IN2/IN3/IN4端口-输入参数 ...
OR
计算逻辑原理 对多个字段值取逻辑或。使用流程说明 组件拖入画布后，将输入端口与其他组件的输出端口连接，将输出端口与其他组件的输入端口连接，从IN端口选择N个字段进行取或操作。参数说明 OR算法组件的 IN1/IN2/IN3/IN4端口-输入参数 ...
H5数据选择框
直观来讲，数据选择框组件需要接受一组数据来驱动下拉选项，因此您需要为您的数据选择框组件绑定一组数据库实体或一条返回值为List的逻辑流，或一个一对多或多对多形式的数据上下文。数据选择框动态选项的内容将完全取决于数据选择框组件所...
匹配条件说明
等于、不等于、等于多值之一、不等于任一值 包含、不包含、包含多值之一、不包含任一值 长度等于、长度大于、长度小于 前缀匹配、后缀匹配 正则匹配、正则不匹配 重要 使用该逻辑符的自定义规则为高级规则。高级规则与基础规则的计费标准...
数据选择框
直观来讲，数据选择框组件需要接受一组数据来驱动下拉选项，因此您需要为您的数据选择框组件绑定一组数据库实体或一条返回值为List的逻辑流，或一个一对多或多对多形式的数据上下文。数据选择框动态选项的内容将完全取决于数据选择框组件所...
修改预约重启时间
在 计划内运维事件 列表中，在 云服务器 页签下，找到已经设置了重启计划的ECS实例，在 操作 列，单击 预约重启。在 预约重启时间 页面，选择 预约日期 和 预约时间。说明 预约重启时间不能超过 最晚可预约时间。其中，最晚可预约时间 比 ...
重启节点
PolarDB 提供了重启节点功能，您可以在控制台上手动重启节点解决数据库连接和性能问题。注意事项 重启只读节点之后新建的读写分离连接会转发请求到该只读节点。重启只读节点之前建立的读写分离连接不会转发请求到重启后的只读节点，您可以...
重启节点
PolarDB 提供了重启节点功能，您可以在控制台上手动重启节点解决数据库连接和性能问题。注意事项 重启只读节点之后新建的读写分离连接会转发请求到该只读节点。重启只读节点之前建立的读写分离连接不会转发请求到重启后的只读节点，您可以...
步骤二：配置空气净化和告警服务
您可在业务逻辑编辑器中拖拽功能节点到画布，配置节点名称、数据源、参数等，以可视化的方式开发业务服务。本示例介绍了业务逻辑开发的过程。前提条件 步骤一：在项目中创建空气检测和净化的产品。操作步骤 在项目下创建待开发的业务服务...
设置逻辑表质量规则
通过设置逻辑表质量规则并运行质量检测计划后，您可以查看逻辑表质量检查结果，方便用户掌握当前逻辑表的质量状况，您可以通过可视化方式与自定义SQL方式制定表级与字段级质量规则。本文以可视化方式为例介绍如何设置逻辑表表规则和字段...
设置逻辑表质量规则
通过设置逻辑表质量规则并运行质量检测计划后，您可以查看逻辑表质量检查结果，方便用户掌握当前逻辑表的质量状况，您可以通过可视化方式与自定义SQL方式制定表级与字段级质量规则。本文以可视化方式为例介绍如何设置逻辑表表规则和字段...
Spark服务异常排查及处理
根据实际的业务情况，您可能需要多次调试 spark_thrift_daemon_memory 的参数值，直至业务正常运行。您也可以尝试在Spark服务配置页面的 spark-thriftserver.conf 页签，减少 spark.driver.maxResultSize 的参数值，以减少单个SparkSQL的...
- 产品推荐
- 这些文档可能帮助您