文档更新动态（2023年）
支持配置数据探查任务的并发运行数、单个探查任务的运行超时的时间和探查记录保留时间。资产目录功能优化：专题详情支持编辑态和查看态两种模式。物理表支持按照数据板块和主题域筛选。资产详情页面新增查看其他资产的搜索入口。分区表预览...
数据源管理
通过控制数据源执行质量规则的并发度，对数据源进行保护，防止影响正常的业务。本文为您介绍如何设置数据源执行质量规则的并发度。前提条件 已创建数据源，详情请参见 Dataphin支持的数据源。操作步骤 在Dataphin首页，单击顶部菜单栏中的 ...
应用级别的数据完整性检查
如果一个事务写数据并且一个并发事务尝试读相同的数据（不管是在写之前还是之后），它不能看到其他事务的工作。读取事务看起来是第一个执行的，不管哪个是第一个启动或者哪个是第一个提交。如果就到此为止，则没有问题，但是如果读取者也...
如何通过合并请求进行数据分发
本文以 通用标题 组件请求数据，分发给 数字翻牌器 和 多行文本 组件，完成数据更新为例，介绍如何通过合并请求进行数据分发。效果展示 使用场景 多个组件的数据可以通过API或SQL数据源等一次获取，再进行数据分发，减少数据请求次数。操作...
pull_log_dump
调用CLI命令并发下载大量日志数据到本地文件。请求语法 aliyunlog log pull_log_dump-project_name=<value>-logstore_name=<value>-from_time=<value>-to_time=<value>-file_path=[-batch_size=][-compress=][-encodings=][-shard_list=][-...
ComputeSplits
调用ComputeSplits接口获取当前ParallelScan单个请求的最大并发数，用于使用多元索引并发导出数据时的并发度规划。请求消息结构 message ComputeSplitsRequest { optional string table_name=1;optional SearchIndexSplitsOptions search_...
通过元信息发现功能查询并分析OSS数据
本文档将以通过DLA的元信息发现功能查询并分析OSS数据为例，帮助您快速掌握DLA的基本使用流程。前提条件 已注册阿里云账号并完成实名认证。说明 如果您还没有创建阿里云账号，系统会在您开通云原生数据湖分析服务时提示您注册账号。操作...
接口详情
接口详情页面主要展示该应用所有接口的QPS、异常请求、RT、并发等数据。前提条件 已 创建应用。已 开通MSE微服务治理。说明 使用 MSE 时会产生单独费用。MSE 的计费说明，请参见 计费概述 和【产品变更】SAE集成的MSE微服务治理功能商用...
数据删除
本文介绍清库、按照点Label或边Label、点ID或边ID并发删除数据的基本操作。清库 用户有清库需求，请参见 清除实例数据。警告 该操作是清除实例的全部数据，操作前请务必确认，如果您只是想删除部分数据，请参考下文的删除脚本部分。删除...
产品概述
PolarDB-X 1.0 将数据拆分到多个MySQL存储，使每个MySQL承担合适的并发、数据存储和计算负载，各个MySQL处于稳定状态。在 PolarDB-X 1.0 层面DB-X计算层面实现分布式逻辑，最终得到一个具有稳定可靠、高度扩展性的分布式关系型数据库系统。...
ETL工具支持概览
如果数据量较大，需要并发导入，则建议您先通过数据集成服务把数据从其他数据源导入到OSS，再通过OSS外部表导入 AnalyticDB PostgreSQL版。Pentaho Kettle 数据集成软件：开源的ETL工具。支持将数据先通过Kettle导入到本地磁盘，再通过COPY...
扫描并发控制
背景信息 AnalyticDB for MySQL 在执行查询时，需要从数据源扫描数据，扫描任务会被调度到存储节点或计算节点上执行，节点的扫描任务并发数过大，可能会造成以下问题：内表的扫描任务并发数过大会导致存储节点IO争抢严重，CPU和内存使用率...
资源组说明
数据同步资源占用2c4g，支持4个任务并发，数据同步速率参考值3M/秒，日均任务数量参考值50个。说明 实际任务执行数量取决于网络速率、数据库读写速度、数据量大小、任务调度周期等。通用任务执行资源占比1c2g，支持10个SQL任务并发，日均...
数据加工
并发单元数据负载 数据加工任务单个并发单元的数据负载，由其所运行的源数据Logstore Shard中存储数据量所决定。如果写入源数据Logstore的数据在其Shard间分布不均衡，会使得数据加工任务运行时出现热点并发单元，导致部分Shard处理延迟。...
使用限制
并发单元数据负载 数据加工任务单个并发单元的数据负载，由其所运行的源数据Logstore Shard中存储数据量所决定。如果写入源数据Logstore的数据在其Shard间分布不均衡，会使得数据加工任务运行时出现热点并发单元，导致部分Shard处理延迟。...
资源组说明
数据同步资源占用2c4g，支持4个任务并发，数据同步速率参考值3M/秒，日均任务数量参考值50个。说明 实际任务执行数量取决于网络速率、数据库读写速度、数据量大小、任务调度周期等。通用任务执行资源占比1c2g，支持10个SQL任务并发，日均...
概述
云原生数据仓库AnalyticDB MySQL是云端托管的PB级高并发实时数据仓库，专注于服务OLAP领域。采用关系模型进行数据存储，可以使用SQL进行自由灵活的计算分析，无需预先建模。利用云端的无缝伸缩能力，AnalyticDB MySQL在处理百亿条甚至更多...
东软案例
目前，东软在物联网、互联网等新场景下面临的IT系统运维主要问题与挑战有：多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本...
配置离线数据集成节点
可配置并发迁移数据。支持通过WHERE语句，对迁移数据进行预过滤。支持前置及后置SQL语句，在导入数据前后实现数据处理。使用限制 系统在计算数据量过大且缺失主键的表时，会导致内存溢出或内存耗尽（OOM）。周期调度节点最近一次运行成功后...
PolarDB auto_inc场景性能优化之路
在数据库的使用场景中，最常见的是并发插入数据或并发导入数据场景。在该场景中并不指定自增ID，而是由数据库自动生成自增ID并插入到数据库中。因此，此类场景也称之为auto_inc场景下的数据插入。典型的业务场景如：游戏行业开服过程中大批...
创建StarRocks数据源
背景信息 StarRocks是一款高性能分析数据库，支持实时、多维和高度并发的数据分析。StarRocks具有高度可扩展性、可用性且易于维护。它在OLAP场景提供多种支持，例如实时分析、即席查询、数据湖分析等。更多详情可参考 StarRocks官网。权限...
创建StarRocks数据源
背景信息 StarRocks是一款高性能分析数据库，支持实时、多维和高度并发的数据分析。StarRocks具有高度可扩展性、可用性且易于维护。它在OLAP场景提供多种支持，例如实时分析、即席查询、数据湖分析等。更多详情可参考 StarRocks官网。权限...
创建数据库
参数 说明 限制并发量 指对应数据库并发请求执行的上限量，默认不限制，您也可以使用高权限账号登录数据库后，使用 ALTER DATABASE<数据库名>CONNECTION LIMIT<并发量>;命令修改。表空间 指数据库所属的表空间，默认为 pg_default，表空间...
DB2数据源
数据同步系统会启动并发任务进行数据同步，以提高数据同步的效能：推荐 splitPk 用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。目前 splitPk 仅支持整型数据切分，不支持浮点、字符串和日期等...
周期任务补数据
可通过一个补数据实例同时覆盖更新本事件事实逻辑表所有选定日期（区间范围内）的数据，相比普通多实例并发补数据，可以节约计算资源，大幅减少补数据时间。并发运行组数 并发运行组数用于控制同时有多少个补数据进程在运行。您可以选择...
周期任务补数据
可通过一个补数据实例同时覆盖更新本事件事实逻辑表所有选定日期（区间范围内）的数据，相比普通多实例并发补数据，可以节约计算资源，大幅减少补数据时间。并发运行组数 并发运行组数用于控制同时有多少个补数据进程在运行。您可以选择...
准备数据
切分键 读取数据时，根据配置的字段进行数据分片，实现并发读取，可以提升数据同步效率。此处可以不填。选择数据去向。参数 描述 数据源 选择 ODPS，然后选择MaxCompute数据源名称。表 选择ODPS数据源中的表 trend_data。分区信息 输入要...
简介
应用场景举例 互联网出行 适应于互联网出行高并发轨迹数据写入、历史轨迹存储、订单轨迹查询、时空范围查询等场景；向上可以支撑互联网出行涉及到运力的调度、拼车、供需预测、热力图等业务。传感网与实时GIS 在环保、气象、水利、航海航空...
设置列索引的排序键
imci_parallel_build_use_parallel_load 并行构建有序列存数据时是否并发读取数据文件。取值如下：ON（默认）：并行构建有序列存数据时并发读取数据文件。说明 并发读取数据文件时，不保证数据完全有序。OFF：并行构建有序列存数据时顺序...
管理数仓规划待发布对象
不支持并发的数据源包括SAP Table和HDFS、Hive、Impala、Kudu、Kafka以及其他支持Kerberos的数据源类型。设置数据源替换规则 来源环境和目标环境的属性配置一般都不同，因此在发布前，您可使用数据源替换规则功能设置替换规则，将数据源的...
管理数仓规划待发布对象
不支持并发的数据源包括SAP Table和HDFS、Hive、Impala、Kudu、Kafka以及其他支持Kerberos的数据源类型。设置数据源替换规则 来源环境和目标环境的属性配置一般都不同，因此在发布前，您可使用数据源替换规则功能设置替换规则，将数据源的...
基于AnalyticDB构建企业数仓
参数 描述 任务期望最大并发数 数据同步任务内，可以从源并行读取或并行写入数据存储端的最大线程数。向导模式通过界面化配置并发数，指定任务所使用的并行度。同步速率 设置同步速率可以保护读取端数据库，以避免抽取速度过大，给源库造成...
配置同步任务
并发数 启动并发抽取数据的任务的并发数。出错限制 指数据同步过程中，出错的记录数超过多少条则任务中止。默认为0条，即不允许出错。配置同步任务的调度参数，详情请参见 调度配置。保存、提交和发布同步任务：单击页面上方的 图标，保存...
计算设置概述
设置Dataphin实例的计算引擎为MaxCompute AnalyticDB for PostgreSQL 专注于OLAP领域的分析型数据库，是云端托管的PB级高并发实时数据仓库，具备海量数据计算无缝伸缩能力 设置Dataphin实例的计算引擎AnalyticDB for PostgreSQL E-...
使用数据传输迁移数据
您可以通过数据迁移功能实时迁移其他数据源的数据至 OceanBase 数据库，以及迁移 OceanBase 数据库的数据至其他数据源。本文以迁移 MySQL 数据库的数据至 OceanBase 数据库为例，介绍如何使用数据传输迁移数据。前提条件 在迁移数据之前，...
配置并管理实时同步任务
目标端写入并发数 数据同步任务内，可以从来源表并行读取或写入数据至目标端的最大线程数。最大并发数为32。请根据您的资源组大小和目标端实际规模合理设置。单击 完成配置。提交并发布实时同步任务 单击工具栏中的 图标，保存节点。单击...
配置并管理实时同步任务
目标端写入并发数 数据同步任务内，可以从来源表并行读取或写入数据至目标端的最大线程数。最大并发数为32。请根据您的资源组大小和目标端实际规模合理设置。单击 完成配置。提交并发布实时同步任务 单击工具栏中的 图标，保存节点。单击...
配置并管理实时同步任务
目标端写入并发数 数据同步任务内，可以从来源表并行读取或写入数据至目标端的最大线程数。最大并发数为32。请根据您的资源组大小和目标端实际规模合理设置。单击 完成配置。提交并发布实时同步任务 提交并发布节点任务。单击工具栏中的 ...
迁移服务（MMA）
数据搬迁任务最大并发量 数据迁移并发数。配置完成后，单击 新增。在 数据源管理 页签，单击数据源列表 操作 列中的 更新元数据。更新元数据将获取当前Hive数据源中的数据库信息。如果数据量较大，可能需要几分钟才能完成更新。创建迁移...
LOCK
这将阻止并发的数据更改并且确保该表的后续读操作会看到已提交数据的一个稳定视图，因为 SHARE 锁模式与写入者所要求的 ROW EXCLUSIVE 锁有冲突，并且你的 LOCK TABLE name IN SHARE MODE 语句将等待，直到任何并发持有 ROW EXCLUSIVE 模式...
- 产品推荐
- 这些文档可能帮助您