同步时源库为Db2 for LUW的注意事项及限制
全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。在DTS同步期间，若有除DTS外的数据写入目标库，则会导致源库与目标库数据不一致。您可以在DTS同步结束后，使用...
数据加工（新版）概述
调度机制 对每一个加工任务，加工服务的调度器会启动一个或多个运行实例，并发执行数据处理，每个运行实例扮演一个消费者角色消费1个或者多个源Logstore的Shard。调度器根据运行实例资源消耗、以及处理进度决定运行实例数目，实现弹性并发...
常见问题
则可联系产品团队或提工单 建议在任务执行过程中适当添加日志信息，便于任务出错时定位原因 问：如何提高大量任务并发执行效率？答：基因分析平台将为单个task准备机器资源、拉取docker镜像等，因此高并发时同步准备机器资源或拉取docker...
ACID语义
操作并发冲突说明 当作业并发运行且写入相同目标表时，可能出现冲突。产生冲突时，先结束的作业会执行成功，后结束的作业可能会因冲突而报错。下表为作业并发提交场景下，对同一个非分区表或分区的并发操作先后结束的冲突说明。作业类型 ...
使用Stage和Task详情分析查询
子任务并发度 每个Task在单机内是多线程并发执行的，同时执行计算任务的线程数就是子任务的并发度。详细的计算方法，请参见 Task耗时与并发度计算示例。执行节点 Task实际执行的内部节点IP地址。如果多个查询都在相同的节点出现长尾现象，...
历史慢Query
Hologres从V0.10开始支持慢Query的查询与分析，帮助您对系统中...查看甘特图 HoloWeb支持甘特图分析功能，您可单击Query列表右上角的 甘特图，在弹出的对话框中查看同一时间Query的并发执行情况，帮助您更好地分析并发场景下的性能瓶颈问题。
GroupInvokeFlow-批量运行工作流
调用成功后，并不代表所有请求并发执行，逻辑编排会自动根据请求情况确定单次执行的开始执行时间。该 API 每次调用认为是一次执行分组（Group），假设共需要执行工作流 1000 次，每 100 次为一个分组，那么就需要调用 10 次该 API，同时...
同步时源库为PolarDB MySQL版的注意事项及限制
全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。对于表级别的数据同步，请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致...
SET
说明 SQL语句中使用Limit，会限制Limit作用的Worker单并发运行。因此在设置该配置项的时候，SQL语句中应避免使用Limit。单位MB，默认值为256 MB。odps.stage.reducer.num 修改每个Reduce阶段的Worker数量。说明 SQL语句中使用Limit，会限制...
监控指标
单实例多请求数 并发请求数（FunctionConcurrentRequests）个 在调用函数时，函数执行实例中并发执行的请求个数。按1分钟或1小时粒度统计求和。说明 如果不开启单实例多请求，则默认单实例并发执行单请求。如需展示该指标，请开启实例级别...
同步时源库为MongoDB的注意事项及限制
全量初始化会并发执行INSERT操作，导致目标数据库的集合产生碎片，因此全量初始化完成后目标实例的集合空间比源实例的集合空间大。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的...
安装C++ SDK
复制protoc到可执行程序目录(cd到解压目录bin中后执行)mv protoc/usr/local/bin#把include目录的内容复制到可执行程序目录(cd到解压目录include中后执行)cp-r google/usr/local/include 进入项目文件夹，执行 make 命令编译。重要 请您根据...
变更规格操作
如果当前资源组使用率过高，需要并发执行的任务数较大，当前资源组不能满足实际需求，您可以针对该资源组进行升配；若当前资源组规格较大超过业务实际需要，您可以针对该资源组进行降配，以节省资源费用。本文为您介绍如何对资源组进行规格...
将Spring Task迁移至SAE Job
各个节点独立运行，存在单点风险，无分布式协调机制，需要考虑禁止并发执行。随着定时任务规模增多，无统一视角对其进行任务进度的追踪和管控，难以维护。功能过于简单，没有超时、重试和阻塞等任务高级特性。可观测能力差，问题排查定位...
SQL限流（rds_ccl）
语法二：SELECT rds_add_ccl_rule_with_query_id(1,-待限流的SQL语句的query_id 1,-仅限制主实例 3,-最多允许3条此类SQL并发执行 2,-最多允许2个此类SQL等待 true,-规则立即生效 ''-SQL语句的文本，本示例不填写 'limit constant select',-...
SQL限流（rds_ccl）
语法二：SELECT rds_add_ccl_rule_with_query_id(1,-待限流的SQL语句的query_id 1,-仅限制主实例 3,-最多允许3条此类SQL并发执行 2,-最多允许2个此类SQL等待 true,-规则立即生效 ''-SQL语句的文本，本示例不填写 'limit constant select',-...
迁移时源库为MongoDB的注意事项及限制
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的集合产生碎片，因此全量迁移完成后目标数据库的集合存储空间会比源实例的集合存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND...
监控指标常见问题
并发执行DDL时会锁表，导致互相抢锁，从而出现等锁，导致运行时间较长。解决方法：可以通过如下命令查看是否有DDL正在执行中，并Kill掉对应的DDL，释放锁。SELECT datname:text,usename,query,pid:text,state FROM pg_stat_activity WHERE ...
DataWorks资源组概述
推荐指数★选择指引 时效性要求：在数据集成任务高并发执行且无法错峰运行的情况下，企业需要独享的计算资源来保障数据快速、稳定地传输，此时您可选择使用独享数据集成资源组。访问内网环境的需求：独享数据集成资源组拥有公网访问能力，...
独享调度资源组
在任务高并发执行且无法错峰运行的情况下，需要专有的计算资源来保障任务定时被调度运行时，建议您选择使用DataWorks的独享调度资源组。本文为您概要介绍独享调度资源组。适用场景 对任务时效性要求高，避免公共资源组资源争抢导致任务延时...
工作原理
调度和执行场景 一个作业可生成一个或多个实例，无论是正常被调度还是您触发异常实例重试的情况，同时只有一个实例处于运行中，不存在多个实例并发执行的情况。主要的调度与执行场景如下表所示。场景 说明 场景一：从当前时间开始执行时序...
参数说明
因为在一个数据库会话中，一个时刻只有一个这样的操作可以被执行，并且一个数据库安装通常不会有太多这样的操作并发执行，把这个数值设置得比work_mem大很多是安全的。更大的设置可以改进清理和恢复数据库转储的性能。注意当自动清理运行时...
创建同步任务
开启：分布式执行模式可以将您的任务切片分散到多台执行节点上并发执行，进而做到同步速度随执行集群规模做水平扩展，突破单机执行瓶颈。未开启：配置的并发数据仅仅是单机上的进程并发，无法利用多机联合计算。如果您对于同步性能有比较...
工作原理
调度和执行场景 一个作业可生成一个或多个实例，无论是正常被调度还是您触发异常实例重试的情况，同时只有一个实例处于运行中，不存在多个实例并发执行的情况。主要的调度与执行场景如下表所示。场景 说明 场景一：从当前时间开始执行下探...
并行DDL
可以查看DN上并发执行的物理DDL情况。逻辑执行DDL并行控制 对于逻辑执行的DDL，通过下面的参数可以控制数据回填的并发度及资源限制，同时可以通过 show ddl status 观察逻辑执行进度。针对添加GSI，repartition，OMC三类DDL的并行度控制...
自动设置用户网卡DNS
步骤二：制作自定义镜像 完成步骤一的操作您已通过脚本创建了任务计划程序，通过运行任务计划程序成功设置了一台云电脑的网卡DNS，此时可以通过该云电脑创建自定义镜像，那么该镜像就包含了任务计划程序；或者也可以在本地电脑制作一个包含...
创建手动任务
您可在需要运行手动任务时，单击 运维中心>手动任务运维，进入 手动任务 页面，找到该目标手动任务并对其执行运行操作，支持运行整个业务流程与业务流程下部分节点、并指定运行时间。流程参数赋值：若手动业务流程存在流程参数，您可在每次...
使用Environment Modules管理软件包
在使用某个软件时，通常采用不同的编译设置得到不同版本的可执行程序和链接库，或者需要修改、切换不同版本的环境变量。由于程序在编译时会调用不同类型编译器或第三方库，程序之间还存在着依赖关系。导致当执行某个特定版本的程序时，修改...
内存型
Tair 内存型（简称内存型）适合并发量大、读写热点多，对性能要求超过 Redis社区版 实例的场景。相比 Redis社区版，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 立即购买云原生版实例（推荐），具体操作请参见 创建...
查看作业性能
您可以查看运行中作业的性能，包括Job Manager与运行Task Managers的CPU、内存和线程的使用情况，这可以协助您定位代码问题，例如作业代码是否存在问题、个别类是否初始化比较慢、个别类是否占用资源比较多等问题。本文为您介绍如何查看...
工作原理
调度与执行场景 一个任务可生成多个实例，无论是正常被调度还是您触发异常实例重试的情况，同时只有一个实例处于运行中，不存在多个实例并发执行的情况。主要的调度与执行场景如下：场景一：实例延迟执行 无论实例是否延迟执行，实例的调度...
动态 SQL
因此，通过使用动态 SQL，执行的 SQL 可在程序运行时发生更改。此外，动态 SQL 是唯一可从 SPL 程序中执行数据定义命令（如CREATE TABLE）的唯一方式。但是，请注意，动态 SQL 的运行时性能将比静态 SQL 慢。EXECUTE IMMEDIATE 命令用于...
通过脚本模式配置离线同步任务
分布式执行模式可以将您的任务切片分散到多台执行节点上并发执行，进而做到同步速度随执行集群规模做水平扩展，突破单机执行瓶颈。null：不开启分布式处理能力。配置的并发数据仅仅是单机上的进程并发，无法利用多机联合计算。重要 如果独...
通过向导模式配置离线同步任务
开启：分布式执行模式可以将您的任务切片分散到多台执行节点上并发执行，进而做到同步速度随执行集群规模做水平扩展，突破单机执行瓶颈。未开启：配置的并发数据仅仅是单机上的进程并发，无法利用多机联合计算。如果您对于同步性能有比较...
MySQL整库实时同步至MaxCompute
表bucket数量决定了表数据存储划分为多少个Bucket，包括查询，写入，数据合并等操作都可以按照Bucket粒度并发执行，但Bucket数量太多会导致小文件增加，因此要按需设置，详情可参考 表操作 和 数据存储分桶。默认自动创建的Delta Table的...
使用数据传输迁移数据
data_copy_concurrency 用于设置系统中并发执行的数据迁移复制任务的最大并发数。alter system set data_copy_concurrency=200;增量同步 在 选择迁移类型 页面，选中 增量同步，才会显示下述参数。参数 描述 写入并发配置 该参数用于配置...
透视分析：按研发链路
任务运行并发数趋势：查看所选工作空间当前任务运行并发的变化趋势，支持查看调度任务并发总数，离线同步任务并发总数及各类型资源组在具体时间点的并发变化趋势。时间区间只支持选择一天的数据，您可以选择7天中任意一天。数据同步：查看...
事务隔离
最严格的是可序列化，在标准中用了一整段来定义它，其中说到一组可序列化事务的任意并发执行被保证效果和以某种顺序一个一个执行这些事务一样。其他三种级别使用并发事务之间交互产生的现象来定义，每一个级别中都要求必须不出现一种现象。...
Statement Concurrency Control
RUNNING 此规则下正在并发执行的线程数。WAITTING 此规则下正在等待执行的线程数。flush_ccl_rule 如果您直接操作了表concurrency_control修改规则，规则不能立即生效，您需要让规则重新生效。命令如下：dbms_ccl.flush_ccl_rule();示例：...
Statement Concurrency Control
RUNNING 此规则下正在并发执行的线程数。WAITTING 此规则下正在等待执行的线程数。flush_ccl_rule 如果您直接操作了表concurrency_control修改规则，规则不能立即生效，您需要让规则重新生效。命令如下：dbms_ccl.flush_ccl_rule();示例：...
- 产品推荐
- 这些文档可能帮助您