待迁移的表需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别,且需进行编辑(如表列名映射),则单次迁移任务仅支持迁移至多1000张表。当超出数量限制,任务提交后会显示请求报错,...
待迁移的表需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别,且需进行编辑(如表列名映射),则单次迁移任务仅支持迁移至多1000张表。当超出数量限制,任务提交后会显示请求报错,...
待迁移的表需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别,且需进行编辑(如表列名映射),则单次迁移任务仅支持迁移至多1000张表。当超出数量限制,任务提交后会显示请求报错,...
A:样本数据加载时有可能会出现加载失败的情况,您重新执行加载样本数据操作即可。Q:我怎么判断样本数据集有没有加载成功?A:目前控制台暂时无法查看样本数据集加载状态,您可以登录数据库执行 SELECT count(*)FROM lineitem;语句查询...
如为增量迁移任务,DTS要求源数据库的数据日志保存24小时以上,如为全量迁移和增量迁移任务,DTS要求源数据库的数据日志至少保留7天以上(您可在全量迁移完成后将数据日志保存时间设置为24小时以上),否则DTS可能因无法获取数据日志而导致...
数据库代理升级期间,会将新的会话连接至新规格的数据库代理,持续24小时后,依然连接原规格数据库代理的会话会出现闪断。建议您在业务低谷期执行升级操作,并确保应用具备重连机制。查看性能监控信息 进入数据库代理性能监控页面。登录 ...
分类分级模板 当开启敏感数据保护时,才会出现分类分级模板的配置项。可通过给实例绑定分类分级模板,识别实例中库表的字段是否符合模板内的识别规则,若符合,则给字段打上分类分级的标签,保护敏感等级高的字段。详细信息,请参见 管理...
云原生数据仓库AnalyticDB MySQL 2.0 云原生数据仓库AnalyticDB MySQL 3.0 云原生数据仓库AnalyticDB PostgreSQL Elasticsearch Tablestore PolarDB-X 2.0 Oracle PostgreSQL MySQL间的同步 MySQL同步至PolarDB MySQL版 MySQL同步至云原生...
如果迁移的源数据库类型为自建Oracle,您需要在配置具体的迁移任务前,参考本文的注意事项及限制,以保障数据迁移任务的正常运行。源库为Oracle的迁移方案概览 根据如下迁移方案,查看迁移任务的注意事项及限制:自建Oracle迁移至PolarDB ...
如果迁移的源数据库类型为MongoDB,如自建MongoDB、云数据库MongoDB,您需要在配置具体的迁移任务前,参考本文的注意事项及限制,以保障数据迁移任务的正常运行。源库为MongoDB的迁移方案概览 根据如下迁移方案,查看迁移任务的注意事项及...
数据迁移任务可以帮助您快速地实现各种数据源之间的数据迁移,适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文以 RDS MySQL 迁移至 RDS MySQL 为例为您介绍配置数据迁移任务的流程。前提条件 已创建DTS专属...
如为增量同步任务,DTS要求源数据库的数据日志保存24小时以上,如为全量同步和增量同步任务,DTS要求源数据库的数据日志至少保留7天以上(您可在全量同步完成后将数据日志保存时间设置为24小时以上),否则DTS可能因无法获取数据日志而导致...
待同步的表需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。如同步对象为表级别,且需进行编辑(如表列名映射),单次同步任务的表数量超过5000时,建议您拆分待同步的表,分批配置多个任务,或者配置整...
源实例为PolarDB MySQL版的同步方案概览 根据如下同步方案,查看同步任务的注意事项及限制:说明 DTS默认同步到目标数据库中时会取消外键约束,因此源数据库的级联、删除等操作不会同步到如下目标数据库:MySQL(RDS MySQL、自建MySQL)...
受服务构架限制,MaxCompute Tunnel服务在以下几种场景中会出现偶发的请求延迟问题(单次上传、下载10MB数据耗时从秒级增长到分钟级)。共享Tunnel服务资源用满(CPU/网络带宽)持续时间:几分钟~几小时。受服务架构限制无法避免,有强保障...
源库为PolarDB-X的同步方案概览 根据如下同步方案,查看同步任务的注意事项及限制:说明 DTS默认同步到目标数据库中时会取消外键约束,因此源数据库的级联、删除等操作不会同步到如下目标数据库:MySQL(RDS MySQL、自建MySQL)PolarDB ...
数据同步功能帮助您实现数据源之间的数据实时同步,适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文以 RDS MySQL 同步至 RDS MySQL 为例为您介绍在DTS专属集群中配置数据同步任务...
数据源白名单访问控制 当使用数据分析操作MaxCompute表数据时,如果MaxCompute项目空间开启了白名单访问控制,数据分析的相关服务(例如,费用计算、数据下载、维表使用、数据上传等)可能会出现报错。为保证DataWorks数据分析服务能顺利...
纯缓存应用 单副本集群版的分片服务器由单节点组成,分片服务器某节点出现故障时,系统会重新拉起一个Redis进程(没有数据),当节点故障业务自动切换完成后,数据将会丢失,有可能流量被冲击到后端数据库,需要做好应用程序的预热保护机制...
待迁移的表需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别,且需进行编辑(如表列名映射),则单次迁移任务仅支持迁移至多1000张表。当超出数量限制,任务提交后会显示请求报错,...
如果同步的源数据库类型为MongoDB,如自建MongoDB、云数据库MongoDB,您需要在配置具体的同步任务前,参考本文的注意事项及限制,以保障数据同步任务的正常运行。源库为MongoDB的同步方案概览 根据如下同步方案,查看同步任务的注意事项及...
如果源库中待迁移的表没有主键或唯一约束,且所有字段没有唯一性,可能会导致目标数据库中出现重复数据。一个数据迁移任务只能对一个数据库进行数据迁移,如果有多个数据库需要迁移,则需要为每个数据库创建数据迁移任务。为保障迁移任务的...
开启安全访问代理 接入达梦数据库 新增 全面直接接入达梦数据库(DM),包括数据导入、数据查询、数据变更、数据导出、数据服务与数据可视化等功能。支持的数据库类型与功能 数据类目 新增 对表进行分类,便于管理人员、开发人员及运维人员...
如果源库中待迁移的表没有主键或唯一约束,且所有字段没有唯一性,可能会导致目标数据库中出现重复数据。全量初始化过程中,并发INSERT会导致目标实例的表碎片,全量初始化完成后,目标实例的表空间比源实例的表空间大。费用说明 同步类型 ...
如果源库中待迁移的表没有主键或唯一约束,且所有字段没有唯一性,可能会导致目标数据库中出现重复数据。全量初始化过程中,并发INSERT会导致目标实例的表碎片,全量初始化完成后,目标实例的表空间比源实例的表空间大。目标库为RDS MySQL ...
本文介绍敏感数据扫描和识别的常见问题及解决方法。数据扫描会影响我的数据库性能吗?DSC支持扫描的数据源有哪些?数据源授权完成后需要多长时间完成扫描?DSC对于非结构化数据源(OSS)的扫描机制是怎样的?是否支持对已扫描过的OSS文件...
栅格数据中是否存在透明的瓦片,如果存在透明瓦片则可能会出现蓝色的地球,解决这个问题可以尝试新增一个栅格数据源并在Tab中拖动到后面,或者新增一个可被浏览器访问的静态图片地址作为新增XYZ数据源的地址。栅格数据源是否只在指定城市...
局部性质:数据直接或间接用于某些业务线的运营、报告等,如果出现问题会给业务线造成一定的影响或造成工作效率降低。标记为A3。一般性质:数据主要用于日常数据分析,出现问题带来的影响极小。标记为A4。未知性质:无法明确数据的应用场景...
如果您在使用RDS PostgreSQL数据库代理过程中存在疑问或遇到问题,可以参考本文查看解决方案。什么是数据库代理?数据库代理是位于数据库服务端和应用服务端之间的网络代理服务,用于转发应用服务端访问数据库时的所有请求,提供读写分离、...
局部性质:数据直接或间接用于某些业务线的运营、报告等,如果出现问题会给业务线造成一定的影响或造成工作效率降低。标记为A3。一般性质:数据主要用于日常数据分析,出现问题带来的影响极小。标记为A4。未知性质:无法明确数据的应用场景...
一般性质:数据主要用于日常数据分析,出现问题带来的影响极小。标记为A4。未知性质:无法明确数据的应用场景。标记为Ax。这些性质的重要性依次降低,即重要程度为A1>A2>A3>A4>Ax。如果一份数据出现在多个应用场景汇总,则根据其最重要程度...
避免上游节点产出的数据非当前节点所依赖的数据,导致下游节点出现数据质量问题。说明 若任务发布流程中存在流程管控,建议在任务发布后,进入生产运维中心的周期任务界面,查看任务调度依赖及相关属性,若发现任务不符合预期,请确认任务...
附录:关系型数据库切分键配置 推荐 splitPk 用户使用表主键,因为表主键通常情况下比较均匀,因此切分出来的分片也不容易出现数据热点。splitPk 仅支持切分整型数据,不支持切分字符串、浮点和日期等其他类型数据。如果配置 splitPk 切分...
强制重跑 在某些特殊情况下,例如发现源端数据被污染、数据链路出现问题等,您可以单击 操作 列 更多>强制重跑 强制对源端所有表进行全增量初始化操作,将源端数据重新迁移到目标表中,以快速恢复数据。说明 仅Hologres和MaxCompute支持...
但是这种拆分方式按照卖家ID拆分,相同的卖家数据会分布到相同的分区,这就会导致大卖家所在的分区数据异常的大,数据倾斜严重,大卖家的数据都在一个分区(例如下图中的P5),会导致这个分区出现严重的写入热点。PolarDB-X 是如何有效的...
Hive库冷热数据分布Top信息会展示如下:库极冷数据量分布Top 库冷数据量分布Top 库温数据量分布Top 库热数据量分布Top 说明 冷数据是长时间不访问的数据,推荐放到冷备存储,例如OSS冷备等。冷热数据分布可以帮助您了解集群使用情况,有...
当主节点出现故障,自研的HA系统会自动进行主从切换,保证业务平稳运行。数据可靠 默认开启数据持久化功能,数据全部落盘。支持数据备份功能,用户可以针对备份集回滚实例或者克隆实例,有效地解决数据误操作等问题。同时,在支持容灾的...
默认情况下,当日志服务采集到的记录出现内容错误,或者因为类型不兼容等原因,无法正确转换为TSDB数据点时,数据导出任务会将对应的数据点字段设置为默认值(数值类型为0,字符串类型为空串,布尔类型为false).数据导出过程并不会因为运行...
例如,CPU、内存、网络等互相影响,可能会导致离线任务变慢或实时任务延迟等问题,甚至在资源不足的极端情况下,可能会出现任务被OOM KILLER杀掉等问题。执行同步任务 进入 数据集成>同步任务 界面,找到已创建的同步方案。单击操作列的 ...
慢日志问题极大地影响数据库的稳定性,当数据库出现负载高、性能抖动等问题时,数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS(Database Autonomy Service)支持慢日志分析功能,会统计并分析数据库中执行时间超过...