同步Redis后出现数据不一致
如下图：可能原因 单靠 info keyspace 的 expires 来判断数据是否一致会出现偏差。其统计信息的统计值不是精确值，有一定的误差。info keyspace 的输出结果中：keys 表示所有keys的数据量。expires 表示带有过期keys的数据量，包含未过期和...
自动故障转移和读写分离
使用PostgreSQL的libpq或JDBC，您可以通过简单的配置实现自动故障转移（failover）和读写...如果需要判断数据源类型，您可以结合pg_is_in_recovery()函数，判断连接的数据库是主实例数据库的还是只读实例数据库，最终实现读写分离和故障转移。
Bloom过滤器索引
创建布隆过滤器索引 CREATE BLOOMFILTER INDEX ON TABLE table_name FOR COLUMNS(col_name OPTIONS(fpp=0.1,numItems=50000000))fpp：假阳性概率，假阳性概率越低，过滤越准确，但索引文件越大（使用更多的位来判断数据是否存在于文件中）...
备份恢复
恢复功能 数据可恢复性是判断数据库运维可靠性的关键指标。RDS提供如下两种 恢复 功能：按备份集恢复：您可以将指定备份集的数据恢复到一个临时实例或克隆实例上。您可以在临时实例或克隆实例上检查自己的数据是否完好。按时间点恢复：您...
备份恢复
恢复功能 数据可恢复性是判断数据库运维可靠性的关键指标。RDS提供如下两种 恢复 功能：按备份集恢复：您可以将指定备份集的数据恢复到一个临时实例或克隆实例上。您可以在临时实例或克隆实例上检查自己的数据是否完好。按时间点恢复：您...
备份恢复
恢复功能 数据可恢复性是判断数据库运维可靠性的关键指标。RDS提供如下两种 恢复 功能：按备份集恢复：您可以将指定备份集的数据恢复到一个临时实例或克隆实例上。您可以在临时实例或克隆实例上检查自己的数据是否完好。按时间点恢复：您...
备份恢复
恢复功能 数据可恢复性是判断数据库运维可靠性的关键指标。RDS提供如下两种 恢复 功能：按备份集恢复：您可以将指定备份集的数据恢复到一个临时实例或克隆实例上。您可以在临时实例或克隆实例上检查自己的数据是否完好。按时间点恢复：您...
备份恢复
恢复功能 数据可恢复性是判断数据库运维可靠性的关键指标。RDS提供如下两种 恢复 功能：按备份集恢复：您可以将指定备份集的数据恢复到一个临时实例或克隆实例上。您可以在临时实例或克隆实例上检查自己的数据是否完好。按时间点恢复：您...
备份恢复
恢复功能 数据可恢复性是判断数据库运维可靠性的关键指标。MongoDB提供如下恢复功能：按备份点将备份数据恢复至新建实例：从实例中的某个备份点来创建新的实例，新建的实例中的数据将恢复至选择的备份点，可用于数据恢复或数据验证场景。按...
实时同步任务延迟解决方案
用于帮助您判断数据同步延迟的瓶颈方，当数据同步发生延迟时，指标数据较大的一般为瓶颈方。确认造成延迟问题的系统是否有异常 当确认了延迟瓶颈是在同步任务的读端还是写端后，可在上述任务 运行详情 中切换至 日志 页签，使用 Error/...
可视分析创作间和传统BI软件差异比较
上传数据一键触发可视分析：实现数据挖掘，根据数据特征、可视化效果等智能生成带有见解的“数据卡片”，用户可以直观的根据图文判断数据价值，并且通过图文进一步挖掘特征。预定义的报告 需要行业数据经验专家，搭建数据报表 分析过程需要...
如何快速定位及解决数据库问题
数据库问题快速处置 在通过上述方法判断数据库存在瓶颈之后，推荐依次使用以下方法进行快速恢复。方法一：KILL所有语句 如果Processlist中显示堆积了很多SQL，建议立即KILL掉所有正在执行的语句，PolarDB-X 提供了如下指令进行这个操作：...
流表
重要 当使用窗口函数时，系统需要通过时间属性来判断数据属于哪个窗口，此时时间属性必须为事件时间或处理时间。创建流表 指定摄取时间 您可以在建表语句中通过 METADATA FROM 语句，使数据写入时携带摄取时间。CREATE STREAM MyStream(`...
冷热分离
在用户的访问方式上和访问普通表没有任何差异，在查询的过程中，用户只需配置查询的Hint或者TimeRange，系统会根据条件自动地判断数据应该在热数据区还是冷数据区。原理介绍 用户在表上配置数据冷热时间分界点后，HBase增强版会依赖用户...
合规&认证
用户应对业务数据来源、内容及处理数据的合法性负责，请谨慎判断数据来源、内容及处理数据的合法性，依法获得处理此类数据所需的个人同意或政府部门许可、备案或评估。因用户业务数据的来源、内容及对用户业务数据的处理活动违反法律法规、...
DAS企业版介绍
在 DAS控制台 的 版本管理 页面，您可以通过目标数据库实例所在页签，判断数据库实例使用的DAS企业版版本。支持的数据库和地域 企业版各个版本支持的数据库和地域，详情请参见 产品系列说明。计费 详情请参见 产品计费。产品优势 开启DAS...
离线同步数据质量排查
背景信息 讲述数据集成数据同步的原理机制，理解数据同步的过程，进而对数据同步的执行效果有判断能力，判断数据同步效果具体包括：数据同步的数据量、目标端数据实际数量等。同步原理 DataWorks数据集成的同步任务在执行时称之为一个Job，...
常见问题
在 DAS控制台 的 版本管理 页面，您可以通过目标数据库实例所在页签，判断数据库实例使用的DAS企业版版本。开通不同版本的企业版，SQL洞察和审计功能、数据的存储模式和相应计费也会有所不同。对比项 DAS企业版 V3 DAS企业版 V2 DAS企业版 ...
文档修订记录
创建数据脱敏场景 2023.11.20 新增功能 数据开发 用于检查MaxCompute分区表是否已可用（即目标分区存在或已判断分区数据写入完成）。当下游任务需依赖该MaxCompute分区表时，您可使用Check节点先检查分区数据是否可用，避免操作的数据有误...
定义敏感数据
全新定义敏感数据 您需要根据业务场景特性，判断哪些数据属于敏感数据，哪些数据属于普通数据，对于敏感数据，在库表结构中将数据类型定义为对应的敏感数据类型。以如下数据表为例：CREATE TABLE example(account integer,-账户号码，对应...
定义敏感数据
全新定义敏感数据 您需要根据业务场景特性，判断哪些数据属于敏感数据，哪些数据属于普通数据，对于敏感数据，在库表结构中将数据类型定义为对应的敏感数据类型。以如下数据表为例：CREATE TABLE example(account integer,-账户号码，对应...
引擎简介
数据ETL入库 对实时数据进行过滤、增强、转化等操作并写入数据库。流引擎与宽表引擎、时序引擎共享存储，无需手动关联元数据。实时报表 对实时数据在窗口内执行聚合计算。事件驱动 通过数据订阅获取宽表引擎或时序引擎中的变更数据，并对...
质量规则模板类型
本文为您介绍数据质量对象的模板类型。数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是...稳定性 实时统计值检测 实时数据为指标值或可统计数据时，用于判断数据是否正确 可选择和固定值或者历史进行对比。
质量规则模板类型
本文为您介绍数据质量对象的模板类型。数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是...稳定性 实时统计值检测 实时数据为指标值或可统计数据时，用于判断数据是否正确 可选择和固定值或者历史进行对比。
管理样本数据集
Q：我怎么判断样本数据集有没有加载成功？A：目前控制台暂时无法查看样本数据集加载状态，您可以登录数据库执行 SELECT count(*)FROM lineitem;语句查询样本数据的行数，完整的样本数据约为599万条。Q：样本数据加载好了，我该怎么测试？A...
数据扫描和识别
如果只通过字段值无法判断数据是否敏感，DSC 会结合数据源列中的字段名称和对应的数值来综合判断。首次扫描：完成授权后，DSC 会扫描整个数据库或数据项目中所有的表。增量扫描：当有新增数据库或数据项目表时，DSC 会对新增表进行扫描；...
常见问题
数据安全中心扫描数据源中的字段名称、字段值综合判断该数据是否为敏感数据，只通过字段值无法判断数据是否敏感。例如：年龄数据。敏感数据识别是如何实现的？敏感数据识别是在完成数据资产授权后，采用内置的检测规则在RDS或OSS数据库中...
管理内置数据集
Q：如何判断内置数据集是否加载成功？A：在 作业开发>SQL开发 页面可查看加载进度。当 加载内置数据集 前出现 并为置灰状态，且 库表 页签下可以查看到ADB_SampleData_TPCH数据库及相关的表，则为加载成功。Q：提示加载失败或者长时间加载...
2020年
ST_Intersects 2020年9月 新增ST_Contains函数，用于判断栅格数据与栅格数据，栅格数据与几何数据是否是包含关系。ST_Contains 2020年9月 新增ST_Within函数，用于判断网格数据与网格数据，网格数据与几何数据是否是被包含关系。ST_Within ...
2020年
ST_Intersects 新增ST_Contains函数，用于判断栅格数据与栅格数据，栅格数据与几何数据是否是包含关系。ST_Contains 新增ST_Within函数，用于判断网格数据与网格数据，网格数据与几何数据是否是被包含关系。ST_Within 矢量数据类型快速显示...
时空引擎版本发布记录
修复由于栅格数据带有 NAN 和 INF 等数据，在导入和统计值会出错的问题。4.3 新特性 ST_PixelAsPolygon：将栅格像素转换为Polygon对象。ST_PixelAsPolygons：将栅格像素转换为Polygon对象集合。ST_PixelAsPoint：将栅格像素转换为基于点...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级网格分解成高层级...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版（兼容Oracle）时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级...
查看监控信息
在进行数据库日常维护或处理数据库故障时，查看数据库相关的性能指标是必不可少的步骤。RDS MySQL的标准监控提供了丰富的性能监控指标，以及强大的诊断能力，能够及时发现数据库的异常并提供相应的治理方案。并且提供了常见数据库问题场景...
功能发布记录（2023年）
所有DataWorks用户 风险识别规则 2023-11 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发（DataStudio）新增Check节点 DataWorks的Check节点可检查MaxCompute分区表是否已可用（即目标分区存在或已判断分区数据写入完成...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA...具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志数据分析与应用。
X-Engine简介
因为目标是面向大规模的海量数据存储，提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次...
需求分析
ods_raw_log_d 网站访问日志明细表数：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至...
需求分析
ods_raw_log_d 网站访问日志明细表：dwd_log_info_di 用户网站访问信息宽表：dws_user_info_all_di 用户画像数据：ads_user_info_1d 根据规范设计数据流：本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
- 产品推荐
- 这些文档可能帮助您