数据资产等级定义
一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景。标记为Ax。这些性质的重要性依次降低，即重要程度为A1>A2>A3>A4>Ax。如果一份数据出现在多个应用场景汇总，则根据其最重要程度...
数据资产定级
一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景。标记为Ax。资产等级标记包含毁灭性质为A1、全局性质为A2、局部性质为A3、一般性质为A4、未知性质为Ax。重要程度为A1>A2>A3>A4>...
2023年
ListJobInfos-查看作业列表 2023-12-04 新增SKEWJOIN HINT 新说明 当两张表Join存在热点，导致出现长尾问题时，您可以通过取出热点key，将数据分为热点数据和非热点数据两部分处理，最后合并的方式，提高Join效率。SkewJoin Hint可以通过...
跨阿里云账号迁移RDS实例
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
应用场景
本节主要介绍 OceanBase 数据库的主要应用场景。交易支付透明拆分 交易支付是蚂蚁集团最核心的一个业务，最初...由于 OceanBase 数据库的原生分布式数据库特点，可以完美地解决传统数据库的单点性能瓶颈问题，而且还可以节省扩容带来的成本。
DML操作常见问题
问题类别 常见问题 插入或更新数据 执行INSERT操作过程中出现错误，会损坏原有数据吗？执行INSERT INTO或INSERT OVERWRITE操作时，提示Table xxx has n columns，but query has m columns，如何解决？执行INSERT INTO或INSERT OVERWRITE...
常见问题
本文汇总了StarRocks使用时的常见问题。业务测试评估 硬件资源有什么要求？软件配置有什么要求？数据模型和表定义 生产环境下的副本数应该设置为多少？如何分区？如何分桶？如何设计排序键？如何合理的选择数据类型？数据导入常见问题 业务...
ODC 常见问题
解决方案 将导入文件由 GBK 转码至 UTF8 后，再导入，乱码问题解决。数据导出导入问题 Q：导入或导出数据失败时，任务汇总信息中抛出异常：javax.crypto.BadPaddingException:Given final block not properly padded 时该如何处理？A：看到...
日志节点发布说明
发布日期：2023-09-22 版本号：polarx-cdc-kernel-2.3.0_4755313 类别 说明 优化 优化Binlog数量较多时show binary logs语句的查询效率，并解决出现的卡慢问题。修复 修复对JSON数据类型进行数据整形时缓冲区溢出的问题。修复CDC升级过程中...
从Amazon Aurora PostgreSQL迁移至阿里云
源库、目标库出现其他问题后的重试时间 在迁移任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
IO加速
当您需要应对数据库磁盘IO性能瓶颈时，云数据库RDS PostgreSQL的通用云盘IO加速功能为您提供了一个高效的解决方案。本文档将详细介绍该技术的优势、适用场景和工作原理，帮助您在面临大规模或频繁数据读写需求时显著提升数据库性能。背景 ...
版本发布说明
优化存储过程的创建和删除流程，避免出现元数据残留问题。降低REPLACE/UPSERT语句在包含GSI或UGSI的表上执行时的CPU消耗。缺陷修复 修复包含clustered index的表在创建local索引时，部分旧的执行计划没有清理的问题。修复在DRDS模式数据库...
行业趋势与背景
PolarDB-X 2.0 2018年开始，我们逐渐触碰到了计算层的能力边界，比如无法提供RR隔离级别的事务能力、计算下推受限于SQL表达能力、数据查询的传输效率低下、多副本的线性一致性不可控等，这些问题像一个无法穿透的屏障，但我们能看到屏障的...
连接保持
通常的解决办法是重启应用程序或保证应用程序具备重连机制，但由于开发周期等原因，在开发设计应用程序的前期可能并未考虑到该问题，导致出现大量的非预期行为甚至应用程序的服务不可用。因此 PolarDB 新增支持连接保持功能，避免由于一些...
XYZ栅格，为什么出现了蓝色的地球
栅格数据中是否存在透明的瓦片，如果存在透明瓦片则可能会出现蓝色的地球，解决这个问题可以尝试新增一个栅格数据源并在Tab中拖动到后面，或者新增一个可被浏览器访问的静态图片地址作为新增XYZ数据源的地址。栅格数据源是否只在指定城市...
常见问题
本文汇总了使用冷热分离功能时的常见问题。Q：数据什么时候进入冷存储？A：Lindorm通过 compaction 机制异步将冷数据从热存储归档至冷存储，系统触发时间默认为冷热分界线的一半，最小为1天，最大为 major compaction 周期的一半，major ...
DB2数据源
DB2数据源作为数据中枢，为您提供读取和写入DB2数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DB2数据同步的能力支持情况。支持的版本 DB2 Reader和DB2 Writer使用的DB2驱动版本为 IBM Data Server Driver ...
常见问题
本文介绍在使用图数据库GDB过程中的常见问题。产品介绍 问：什么是图数据库GDB？答：GDB是Graph Database的简写。GDB是一种支持Property Graph图模型、用于处理高度连接数据查询与存储的实时、可靠的在线数据库服务。它支持Apache ...
常见错误码及排查方法
解法2：在数据库层面解决表的上限值问题。解决后重启任务。说明 针对MySQL数据库，表的上限值设置，可参考 B.3.2.10 The table is full。DTS-30011:put 2048 records error,currentRunningSQL:insert ignore into`xxx`.`yyy`(.:{id:...
PolarDB PostgreSQL版间的迁移
源库、目标库出现其他问题后的重试时间 在同步任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
企业版和标准版功能对比
支持 支持 全密态 PolarDB MySQL版 提供全密态数据库功能，数据在用户侧加密后传入数据库管理系统，数据明文对于数据库服务端不可见，实现了端到端的全程加密的数据强安全性。支持 支持 连接管理 连接池 PolarDB 支持会话级连接池和事务级...
DQL操作常见问题
解决措施 确认出现数据条数增加是否是因为table2的数据导致。命令示例如下。此处增加 limit 10 是考虑到如果table2中的数据条数很多，会刷屏。如果只是确认问题，验证前几条数据即可。select id,count()as cnt from table2 group by id ...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
升级到2.0版本还意味着您可以与PostgreSQL社区保持同步，提供更多的资源和支持，帮助您解决问题并学习数据库的最佳实践。强烈建议您升级到 PolarDB PostgreSQL版（兼容Oracle）2.0版本，充分利用其优势。迁移评估 在您考虑进行系统迁移之前...
文档修订记录
任务调度属性配置概述 2023年2月更新记录 时间 特性 类别 描述 产品文档 2023.2.28 新增功能 数据治理中心 DataWorks支持您根据业务需要，将 治理工作台>治理项问题 页面待解决的治理项问题以通知的形式，通过系统提示、邮件、钉钉群消息等...
产品概述
通过云原生架构、软硬件一体化、共享分布式存储的设计，主节点和只读节点使用物理复制、RDMA网络低时延，能够快速同步数据，彻底解决了主从异步复制所带来的备库数据非强一致的问题，使得整个数据库集群在应对任何单点故障时，都可以保证...
Spark
本文汇总了使用 AnalyticDB MySQL Spark的常见问题及解决方案。常见问题概览 如何查看Spark应用信息？如何解决提交Spark应用时，出现User%s do not have right permission[*]to resource[*]报错？如何解决运行Spark应用时，出现No space ...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
实时同步常见问题
写端延迟大 目标数据库性能、负载等问题 当数据库负载较高时，单一的调整同步任务并发并不能解决问题，您需要联系数据库管理员寻求相关帮助。读写端延迟大 使用公网同步，网络问题导致同步任务延迟。公网同步无法保障实时同步时效性，建议...
多主集群（库表）商业化
简介 随着 PolarDB MySQL版 客户的不断增加，大规模头部客户不断涌入，部分头部客户业务体量规模庞大，使得目前 PolarDB MySQL版 的单写（一写多读）架构在特定场景下，写性能出现瓶颈。PolarDB MySQL版 全新推出多主集群（库表），实现从...
基于Delta lake的一站式数据湖构建与分析实战
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
将数据写入OSS
实现示例如下：示例：通过内置文本数据解析器将数据写入OSS-非分区路径 示例：通过内置文本数据解析器将数据写入OSS-分区路径 示例：通过内置文本数据解析器将数据以压缩方式写入OSS 示例：通过内置开源数据解析器将数据写入OSS 通过自定义...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
OceanBase（MySQL模式）迁移至RDS MySQL
数据传输服务DTS（Data Transmission Service）支持将OceanBase数据库迁移至 RDS MySQL 实例，帮助您解决数据库运维的烦恼。前提条件 源OceanBase数据库需为社区版，且为4.X 版本。已创建存储空间须大于源OceanBase数据库的目标 RDS MySQL ...
PostgreSQL数据源
PostgreSQL数据源为您提供读取和写入PostgreSQL双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的PostgreSQL数据同步能力支持情况。支持的版本 目前仅支持配置PostgreSQL数据源为PostgreSQL...
SQL Server数据源
SQL Server数据源为您提供读取和写入SQL Server双向通道的功能，本文为您介绍DataWorks的SQL Server数据同步的能力支持情况。支持的版本 SQL Server Reader使用驱动版本是com.microsoft.sqlserver sqljdbc4 4.0，驱动能力具体请参见 官网...
调优集群性能
INSERT INTO SELECT 短时间内大量数据写入，当后台Build任务堆积时会导致实时数据增多，此时查询如果涉及实时数据的话，数据库需要扫描大量实时数据（因为实时数据没有索引），最终导致CPU使用率增高。Build Build任务会对数据进行构建索引...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
调度依赖配置指引
DataWorks通过节点的运行状态识别到上游表的最新数据已产生，下游节点再去取数），避免下游节点取数据时，上游表数据还未正常产出，导致下游节点取数出现问题。注意事项 节点依赖关系配置后，默认在任务调度运行时，下游节点运行条件之一为...
- 产品推荐
- 这些文档可能帮助您