迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
对于无主键且包含 LOB 类型字段的表，反向增量会出现数据质量问题。数据源标识和用户账号等，在数据传输系统内全局唯一。Oracle 数据库的增量日志解析最大支持 5T/天。Oracle 数据库 11G 及之前版本不支持创建超过 30 个字节的数据库对象。...
确认表血缘
导致下游取数出现问题 若当前节点 Job_B 代码中配置了依赖A表的数据，但未将产出A表数据的节点 Job_A 作为当前节点依赖的上游，则可能会出现A表数据未产出，当前节点便开始执行，最终导致 Job_B 节点产出的表数据出现问题。虽然 Job_A 的...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移项目，您可以通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。同时，数据传输支持将...
通过脚本模式配置离线同步任务
说明 脏数据认定标准：脏数据是对业务没有意义，格式非法或者同步过程中出现问题的数据。单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS或Flink、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据...
使用RDS MySQL转移大规模工作流
为解决此问题，您可以将工作流的状态信息存储在外部SQL数据库中，以突破1 MB的限制。本文介绍如何使用阿里云 RDS MySQL 存储工作流的状态信息以支持大规模工作流的运行。前提条件 已创建工作流 已通过kubectl工具连接工作流集群 已创建RDS ...
SDK概述
解决添加OSS数据源时部分hadoop命令不可用问题。解决“java.text.ParseException:Unparseable date”问题。优化emr-core支持本地调试运行。兼容老版本的产生的“_$folder$”文件，解释成目录，不再当作普通文件处理。Hadoop和Spark读写OSS...
离线同步数据质量排查
本文将为您列举一些常见数据质量方面的场景，方便您排查是否存在符合的场景，根据对应解决方案解决数据同步质量问题。背景信息 讲述数据集成数据同步的原理机制，理解数据同步的过程，进而对数据同步的执行效果有判断能力，判断数据同步...
WATERMARK语句
语法 SELECT watermark(projectItem,durationSpec)as watermarkItem,projectItem[,projectItem]*FROM tableExpression WATERMARK主要是为了解决数据流场景中常见的数据延迟问题。Spark在Aggregate和Join计算过程中，计算引擎会维护中间...
数据保护机制
解决措施 为了防止出现TOCTOU问题，对于用户申请导出的表，建议项目所有者确保没有任何其他用户能对该表执行更新（Update）操作或重建同名表操作（Drop+CreateTable）。在上述示例中，为防止出现TOCTOU问题，建议项目所有者在第一步中创建...
聚合支付：Ping+
Mycat前期人力成高、后期需要部署维护，问题解决成本高、时间长。PolarDB-X 商务成本相对可接受，产品化能力丰富，运维便捷，最后选型阿里云 PolarDB-X。解决方案 Ping+业务早期均构建于RDS MySQL之上，数据体量从2016年1个亿至2017年5个亿...
网络访问与安全设置
本文介绍如何进行流数据服务Confluent集群的网络访问与安全设置。网络访问类型 流数据服务Confluent集群提供阿里云VPC访问和公网访问方式。阿里云VPC访问 VPC访问是指您在流数据服务Confluent集群所在网络VPC内或者其它VPC访问和使用流数据...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
本文为您介绍如何使用数据传输迁移 RDS PostgreSQL 实例 的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输...
企迈云商
DAS通过 7*24小时异常检测，自动检测到实例出现异常，并触发根因分析，定位异常的请求，从而确定导致问题的异常SQL，从根本上解决数据库性能问题。DAS在找到异常根因SQL后3分钟内自动限流，帮助业务恢复正常，全程自动操作，无需人工介入，...
异地双活切流
此过程中，业务系统中依赖的MSHA-SDK会开启数据库禁写控制，以此进行单元保护，避免更新规则推送到业务系统的时间不一致、机器时钟不一致，导致各机器规则生效时间不一致出现的数据脏写问题。各层切流。同时进行接入层和数据层切流。接入层...
会话管理
当数据库出现性能问题或异常操作时，通常需要结合数据库的会话信息，快速定位和解决数据库的问题。数据库自治服务DAS（Database Autonomy Service）的实例会话功能，支持实时查看目标实例的活跃会话、异常会话、会话访问来源和SQL语句等...
金融大数据
架构优势：提供了结构化与非结构化数据的融合方案 满足了同时存在离线、在线、流数据的业务场景 解决了大数据平台的集成问题 为大数据平台的开发与管理提供了高效方案 金融风险控制方案 金融风险控制解决方案通过大数据画像、机器学习、...
Binlog日志服务
库级别 按照数据库的名字计算Hash值并进行分发，即对应同一个库的binlog数据，会始终按序路由给同一个binlog数据流，适用于单个 PolarDB-X 实例上数据库比较多的场景，如果事务不涉及跨库操作，该策略下不仅可以具备多流能力，还可以保证...
自动SQL限流
SQL限流是限制数据库上执行SQL的并发度，通过限制问题SQL的并发度后，保障数据库正常响应业务请求，保障大部分的业务正常运转，即通过小部分业务受损，保障大部分业务正常运行。背景信息 随着技术的发展，尤其是云数据库的普及，数据库系统...
清林云
解决方案 使用阿里云 函数计算 承载业务API层、常用应用和自定义应用，使用Tablestore作为后端数据库，再加上 Serverless工作流，作为所有自动化流的底层实现，分析类业务接入下游的数据库，日志统一接入日志服务，打通了整个链路，使得...
清林云
解决方案 使用阿里云 函数计算 承载业务API层、常用应用和自定义应用，使用Tablestore作为后端数据库，再加上 Serverless工作流，作为所有自动化流的底层实现，分析类业务接入下游的数据库，日志统一接入日志服务，打通了整个链路，使得...
实例会话
当数据库出现性能问题或异常操作时，通常需要结合数据库的会话信息，快速定位和解决数据库的问题。数据库自治服务DAS（Database Autonomy Service）的实例会话功能，支持实时查看目标实例的会话信息，并提供会话运维操作，例如结束会话、10...
数据资产定级
一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景。标记为Ax。资产等级标记包含毁灭性质为A1、全局性质为A2、局部性质为A3、一般性质为A4、未知性质为Ax。重要程度为A1>A2>A3>A4>...
GxP欧盟附录11标准合规包
对于关键系统，应提供最新的系统描述，详细说明物理和逻辑安排、数据流和与其他系统或进程的接口、任何硬件和软件先决条件以及安全措施。运行中的ECS实例无待修复漏洞 ECS实例在云安全中心无指定类型和指定等级的待修复漏洞，视为“合规”...
慢日志分析
数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过阈值的SQL语句，并提供相应的治理方案，帮助您快速定位并解决数据库性能问题，提高系统的稳定性和可靠性。前提条件 数据库引擎为RDS ...
数据资产定级
一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景。标记为Ax。资产等级标记包含毁灭性质为A1、全局性质为A2、局部性质为A3、一般性质为A4、未知性质为Ax。重要程度为A1>A2>A3>A4>...
慢日志
数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过阈值的SQL语句，并提供相应的治理方案，帮助您快速定位并解决数据库性能问题，提高系统的稳定性和可靠性。前提条件 数据库引擎为：...
慢日志
数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过阈值的SQL语句，并提供相应的治理方案，帮助您快速定位并解决数据库性能问题，提高系统的稳定性和可靠性。前提条件 数据库引擎为 ...
常见问题
本文档根据实践，介绍了本案例中比较常见的两个问题及解决方法。流计算中注册 RDS数据存储 失败。可能原因：您的RDS数据库与流计算项目不在同一区域。解决方法：需要手动将流计算服务的白名单添加到RDS白名单中，详情请参见 数据存储白名单...
发布日志
V2.5.5@2021-12-06 解决断网重连后稳定性的问题。V2.5.4@2021-12-02 新增支持G.711音频编码格式。V2.5.3@2021-09-23 优化首帧耗时。新增支持三百人大方会议能力。修复突发低带宽收敛过程中语音优先失效问题。完善埋点日志。新增支持动态...
数据资产等级定义
一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景。标记为Ax。这些性质的重要性依次降低，即重要程度为A1>A2>A3>A4>Ax。如果一份数据出现在多个应用场景汇总，则根据其最重要程度...
流式数据通道概述
支持自动创建分区：解决数据同步服务并发创建分区导致的并发抢锁问题。支持增量数据异步聚合（Merge）：提升数据存储效率。MaxCompute流式数据通道服务可以解决流式服务使用批量数据通道写入数据引发的各种问题，优势如下：更优化的数据...
数据导入常见问题
本文汇总了StarRocks数据导入的常见问题。通用问题 如何选择导入方式？影响导入性能的因素都有哪些？报错“close index channel failed“或“too many tablet versions”，该如何处理？报错“Label Already Exists”，该如何处理？报错...
如何基于LSM-tree架构实现一写多读
基于LSM-tree引擎实现一写多读面临着与B+tree引擎不一样的技术挑战，首先是存储引擎日志不一样，LSM-tree引擎是双日志流，需要解决双日志流的物理复制问题；其次是数据组织方式不一样，LSM-tree引擎采用分层存储，追加写入新数据，需要解决...
发布数据流
完成数据流的配置或变更后，您需要通过发布操作将最新的数据流发布，有效避免部分变更未经确认被直接发布。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。可选：...
V5.1.x系列实例版本说明
解决DISTINCT在部分跨库JOIN场景下会出现报错的问题。修复分库分表情况下聚合函数查询带LIMIT时返回结果不正确的问题。解决BigDecimal类型在类型转换过程会消耗大量CPU的问题。修复SHOW FULL STATS连接数不准确的问题。修复SHOW FULL STATS...
慢日志分析
数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过阈值的SQL语句，并提供相应的治理方案，帮助您快速定位并解决数据库性能问题，提高系统的稳定性和可靠性。前提条件 数据库引擎为：...
数据流运维
您可以在数据流运维中心查看数据流的发布状态、发布详情、运行记录等。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。单击画布右上方 前往运维。在数据流运维...
DataWorks V2.0
当离线MaxCompute数据发生变化时，数据质量会对数据进行校验并阻塞生产链路，避免问题数据污染扩散。同时，数据质量提供了历史校验结果的管理，以便您对数据质量分析和定级。数据服务（新增）数据服务 提供了快速将数据表生成数据API的能力...
MongoDB数据源
在并发大于1的情况下，同步任务配置的集合中所有_id 字段类型必须一致（例如，_id 字段都为string类型或者ObjectId类型），否则会出现部分数据无法同步的问题。说明 并发大于1时，任务拆分会使用_id 字段进行划分，因而在此场景下_id 字段...
- 产品推荐
- 这些文档可能帮助您