时序引擎版本说明
功能优化 修复TSQL条件中出现BOOLEAN数据类型的数据时可能出现异常的问题。3.4.17（稳定版本）发布日期 类型 说明 2022年06月17日 新特性 支持设置写入的最大时间（即当前时间和偏移时间），超过偏移时间后写入的数据会被丢掉。功能优化 ...
发现并处理大Key和热Key
使用阿里云的Tair服务避开失效数据的清理工作 若HASH Key过多，存在大量的成员失效需要被清理的问题，又由于大量Key与大量失效数据叠加，无法通过定时任务对无效数据进行及时地清理，您可以通过阿里云Tair服务高效地解决此类问题。...
发现并处理Redis的大Key和热Key
若HASH Key过多，存在大量的成员失效需要被清理的问题，又由于大量Key与大量失效数据叠加，无法通过定时任务对无效数据进行及时地清理，您可以通过阿里云Tair服务高效地解决此类问题。Tair是云数据库Redis的企业版，它具备Redis所有特性...
实时同步任务延迟解决方案
此时将无法通过数据集成任务设置解决延迟问题，需要从Kafka、DataHub和Loghub系统的上游数据生产侧解决数据写入倾斜问题后，延迟问题才能恢复。您可以通过在上述任务 运行详情 中切换到 运行信息 页签，查看不同Reader线程总字节数统计，...
数据质量风险监控
ts(bigint)值为用户时间戳，目的是避免ODS层出现重复的数据。规则模板 选择 重复值个数、固定值。比较方式 选择 等于。期望值 设置为0。监控空值数据。单击 添加监控规则。输入配置参数。参数 描述 规则名称 请输入规则名称。您可以自定义...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
数据质量风险监控
ts(bigint)值为用户时间戳，目的是避免ODS层出现重复的数据。规则模板 选择 重复值个数、固定值。比较方式 选择 等于。期望值 设置为0。监控空值数据。单击 添加监控规则。输入配置参数。参数 描述 规则名称 请输入规则名称。您可以自定义...
汇联易实战：RDS通用云盘助力突破性能瓶颈
区别于业界其他云盘，通用云盘通过PaaS与IaaS层技术的深度整合，创新地采用了三层存储体系：缓存层（High Performance Disk）、数据层（ESSD云盘）和冷存层（OSS对象存储）。此结构使得热数据能够高效存储在缓存层，提高I/O速率，而温数据...
行业趋势与背景
PolarDB-X 2.0 2018年开始，我们逐渐触碰到了计算层的能力边界，比如无法提供RR隔离级别的事务能力、计算下推受限于SQL表达能力、数据查询的传输效率低下、多副本的线性一致性不可控等，这些问题像一个无法穿透的屏障，但我们能看到屏障的...
运行失败
可以尝试使用MaxCompute的SQL UDF过滤出doc表和query表中的问题数据。多类目情况下，某个类目doc数目为0，query数目不为0导致的jni调用异常 报错信息 解决方法 这种情况被认为是用户输入问题，在设计时发现这样的情况时通过报错终止来提示...
X-Engine简介
X-Engine使用了 LSM-Tree 作为分层存储的架构基础，并进行了重新设计：热数据层和数据更新使用内存存储，通过内存数据库技术（Lock-Free index structure/append only）提高事务处理的性能。流水线事务处理机制，把事务处理的几个阶段并行...
RDS术语
基于阿里云分布式文件系统和SSD盘高性能存储，RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼。更多信息，请参见 云数据库RDS简介。Redis ...
RDS术语
基于阿里云分布式文件系统和SSD盘高性能存储，RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼。更多信息，请参见 云数据库RDS简介。Redis ...
源为PolarDB-X的功能规范和约束说明
概览 业务设计规范 数据库架构规范 运维变更规范 数据质量风险声明 业务开发的数据质量工作 业务设计规范 表都需要有主键，否则可能会造成数据不一致（造成目标库有重复数据）。因为 PolarDB分布式版 的GSI全局二级索引（Global Secondary ...
源为PolarDB-X的功能规范和约束说明
概览 业务设计规范 数据库架构规范 运维变更规范 数据质量风险声明 业务开发的数据质量工作 业务设计规范 表都需要有主键，否则可能会造成数据不一致（造成目标库有重复数据）。因为 PolarDB分布式版 的GSI全局二级索引（Global Secondary ...
RDS术语
基于阿里云分布式文件系统和SSD盘高性能存储，RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼。更多信息，请参见 云数据库RDS简介。Redis ...
企业版和标准版功能对比
自治服务开启后，DAS会在数据库出现异常时，自动进行根因分析，给出优化或止损建议，并自动进行优化或止损操作（需经您授权后才会开启优化操作）。支持 支持 会话管理 PolarDB MySQL版 的一键诊断融合了DAS部分功能，您可以通过其中的会话...
RDS术语
基于阿里云分布式文件系统和SSD盘高性能存储，RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼。更多信息，请参见 云数据库RDS简介。Redis ...
RDS术语
基于阿里云分布式文件系统和SSD盘高性能存储，RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼。更多信息，请参见 云数据库RDS简介。Redis ...
他云/自建数据库录入
RegisterInstance-录入新的数据库实例 常见问题 Q：已将DMS IP地址添加至Azure SQL数据库白名单，但是在DMS控制台进行新增数据库实例操作时，仍然出现如下图的报错信息，该如何解决？A：请您在配置 新增实例 信息时，在数据库账号一栏中填...
云数据库录入
A：可根据如下操作步骤解决此问题：登录 数据管理DMS 5.0。在DMS首页左侧的 数据库实例>未登录实例 列表中，找到并右键单击目标Redis实例，单击 编辑实例。在 高级信息 区域 开启SSL。开启后，单击 测试连接。待测试成功后，单击 保存。...
表引擎
UserID─┬─PageViews─┬─Duration─┬─Sign─┐│4324182021466249494│6│185│1│└─┴─┴─┴─┘VersionedCollapsingMergeTree 为了解决CollapsingMergeTree表引擎乱序写入导致无法正常折叠（删除）问题，云数据库ClickHouse ...
云数据库录入
A：可根据如下操作步骤解决此问题：登录 数据管理DMS 5.0。在DMS首页左侧的 数据库实例>未登录实例 列表中，找到并右键单击目标Redis实例，单击 编辑实例。在 高级信息 区域 开启SSL。开启后，单击 测试连接。待测试成功后，单击 保存。...
文档修订记录
任务调度属性配置概述 2023年2月更新记录 时间 特性 类别 描述 产品文档 2023.2.28 新增功能 数据治理中心 DataWorks支持您根据业务需要，将 治理工作台>治理项问题 页面待解决的治理项问题以通知的形式，通过系统提示、邮件、钉钉群消息等...
RDS MySQL或自建MySQL逻辑备份
数据库备份DBS 可满足MySQL数据库的异地备份、长期归档、单表恢复等需求。本文介绍如何使用DBS实现 RDS MySQL 或自建MySQL数据库的自动备份。功能概述 功能 说明 增量备份 支持增量备份，采用增量日志流技术，实时获取Binlog进行增量备份。...
RDS MySQL助力MySQL 5.7升级8.0
经常升级失败并且难以分析失败原因 尽管社区提供了相应的检查工具和帮助文档，以帮助用户进行升级前的检查和问题解决。然而在实际操作中经常会遇到升级失败的情况，出现各种各样的错误，并且很难从日志信息中逐一分析升级失败的原因。升级...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
本文为您介绍如何使用数据传输迁移 RDS PostgreSQL 实例 的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输...
时空引擎版本发布记录
修复 ST_BuildPyramid 函数，解决超大数据构建矢量金字塔时的内存占用问题。4.8 新特性 增强 ST_Union 函数，支持按内存使用量分批次执行，避免大数据量造成OOM。新增 ST_SetValue 函数，支持指定像素位置设置像素值。栅格数据支持对HDFS...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级网格分解成高层级...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版（兼容Oracle）时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级...
公告
2022年06月10日-Dataphin更名通知 为了更好地帮助广大客户解决数据资产建设问题，显著提升数据治理水平，Dataphin将进一步加强资产治理方向的投入，正式更名为“智能数据建设与治理Dataphin”，希望能够更好的助力企业构建质量可靠、消费...
云数据库RDS简介
RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，帮助您解决数据库运维的烦恼。安全稳定可靠 历经考验：已支撑数十万用户的业务稳定运行，且经过双十一高并发、大数据量...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
01新建模型目录
与明细数据层相比，维度数据层有着相同的数据粒度，但是具有更小的数据量、更快的查询速度。操作步骤 登录 数据资源平台控制台。在页面左上角选择>协同。在顶部菜单栏，单击 图标，选择工作组。在左侧导航栏，单击 图标，选择 数据模型设计...
概述
这就导致了不同系统之间会进行数据迁移，同一份数据可能在不同源之间冗余，进而出现数据不一致的问题，以及特征难管理、模型难升级等困境。除此之外，数据工程师、算法工程师和开发工程师的人力成本也是当前数据驱动的智能决策应用难以大...
数据管理DMS的数据追踪功能无法追踪到数据
本文解释数据管理DMS的数据追踪功能无法追踪到数据的原因及解决方案。问题描述 数据管理DMS的数据追踪功能无法追踪到数据。问题原因 数据追踪的筛选条件可能选择错误。解决方案 请参考下列步骤进行排查：请检查时间和区域的选择是否正确。...
技术面临的挑战与革新
在部分存储节点出现热点数据、资源紧张时，PolarDB会自动迁移部分数据到其他节点。采用独有的Parallel-Raft技术，每份数据会有三个副本，每次IO都保证至少有两个副本落盘，保障了RPO。由于是共享存储架构，节点间状态接近于完全同步，当...
按时间戳冷热分离
可以在查询条件中添加热数据时间范围，避免出现此类问题。示例如下：/您需要设置_l_ts_min_(当前时间-冷热分界线),_l_ts_max_(当前时间),注意时间单位统一 SELECT/*+_l_hot_only_(true),_l_ts_min_(1000),_l_ts_max_(2001)*/*FROM test ...
DataWorks V2.0
当离线MaxCompute数据发生变化时，数据质量会对数据进行校验并阻塞生产链路，避免问题数据污染扩散。同时，数据质量提供了历史校验结果的管理，以便您对数据质量分析和定级。数据服务（新增）数据服务 提供了快速将数据表生成数据API的能力...
数仓分层
CDM层又细分为维度层（DIM）、明细数据层（DWD）和汇总数据层（DWS），采用维度模型方法作为理论基础，可以定义维度模型主键与事实模型中外键关系，减少数据冗余，也提高明细数据表的易用性。在汇总数据层同样可以关联复用统计粒度中的维度...
- 产品推荐
- 这些文档可能帮助您