管理问题数据
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
梯度提升决策树
参数说明 IN端口-输入参数 参数名 参数描述 输入数据类型 数据源类型 特征变量 配置模型特征列 整数或浮点数 说明 若存在非数值数据，则会抛出异常。CSV组件。IGateOffline组件。平台上其他数据处理组件。按照平台组件开发的自定义组件。...
数据库代理发布记录
本文主要介绍了 PolarDB MySQL版 数据库代理的版本更新记录。关于版本或者主动运维升级的相关问题，可加钉钉群咨询，群号：51685000218。版本管理机制 当前 PolarDB MySQL版 数据库代理有两个版本管理机制：新购版本：用户新购买的实例的...
概览
智能阈值报警是针对云监控中的云资源实例的监控指标推出的智能报警功能，它自动适配并拟合监控指标的历史数据，展示报警阈值边界，发现监控指标突增或突降的异常行为，为您业务的稳定性提供保障。什么是智能阈值 智能阈值基于机器学习算法...
数据服务概述
数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin 常见数据应用问题 一般从需求提出到需求交付分为：需求提出-需求...
人工神经网络
是 整数或浮点数 说明 若存在非数值数据，则会抛出异常。CSV组件。IGateOffline组件。平台上其他数据处理组件。按照平台组件开发的自定义组件。目标变量 配置模型目标变量。是 分类：整数或浮点数或字符 回归：整数或浮点数 说明 若存在非...
预测函数
将预测值与实际值进行比较，检测数据中的异常。语法 SELECT HOLT_WINTERS[_WITH-FIT]((),,)[INTO_clause]FROM_clause[WHERE_clause]GROUP_BY_clause[ORDER_BY_clause][LIMIT_clause][OFFSET_clause][SLIMIT_clause][SOFFSET_clause]语法...
数据集成概述
脏数据 脏数据是对于业务没有意义，格式非法或者同步过程中出现异常的数据。单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT类型的目标列...
如何恢复数据到其它数据库实例
数据库备份DBS 支持恢复已有备份数据到源备份数据库实例上，同时也支持恢复到其它已有数据库实例上，包括RDS实例、ECS上的自建数据库等，可用于误操作后恢复以及分析历史数据等场景。本文以恢复到已有RDS实例为例介绍恢复操作。前提条件 已...
配置备份计划
数据库所在位置 待备份数据库实例的所在位置，支持类型如下：RDS实例 有公网IP:Port的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能网关接入的自建数据库 PolarDB 无公网IP:Port的自建数据库(通过数据库网关DG接入)说明 本示例为...
敏感数据审计
数据管理DMS提供的敏感数据审计功能，记录了敏感数据在DMS中的使用情况，可以解决敏感数据异常使用和数据泄露的溯源问题。功能介绍 审计覆盖的功能模块：SQL窗口中的查询与变更、数据结果集导出、数据库导出和普通数据变更。功能入口：安全...
确认表血缘
任务配置上下游节点依赖前，您需先确认当前节点的表血缘关系（例如，表数据间的血缘关系、表产出的分区数据），基于血缘关系配置节点的调度依赖。本文为您介绍如何确认表血缘，以及未基于表血缘配置节点依赖的影响。背景信息 确认表血缘，...
什么是数据库自治服务DAS
数据库是所有企业业务的基座，企业内的研发、测试、运营和运维人员每天都需要对数据库进行操作或者查询，但是使用数据库的人员对数据库的了解程度参差不齐，所以数据库的稳定性不断受到如下问题的挑战。视频简介 数据库运维和管理的挑战 ...
概念解释
Validation Loss Validation Loss代表针对验证集学习的拟合程度，曲线一般呈现先下降后上升趋势，Loss越小，表示验证数据拟合程度越高，优秀的模型效果往往出现Validation Loss的最小值节点，此时拟合程度最佳，训练效果最好。Validation ...
数据订阅SDK容灾
为了简化用户使用SDK的复杂度，DTS实现了SDK容...当主SDK异常或是出现网络连接异常时，DTS会自动failover漂移到备SDK上，同时使用最后消费的时间点启动备SDK。主SDK每消费一条数据，会向DTS控制系统汇报一个ACK，即向控制系统汇报消费时间点。
2023年
本文介绍2023年 云原生数据仓库AnalyticDB PostgreSQL版 存储弹性模式的内核功能发布记录。您可以在 云原生数据仓库AnalyticDB PostgreSQL版 控制台将实例升级至最新发布的小版本。升级小版本的具体操作，请参见 版本升级。2023年12月 V6.3...
时序引擎版本说明
功能优化 修复TSQL条件中出现BOOLEAN数据类型的数据时可能出现异常的问题。3.4.17（稳定版本）发布日期 类型 说明 2022年06月17日 新特性 支持设置写入的最大时间（即当前时间和偏移时间），超过偏移时间后写入的数据会被丢掉。功能优化 ...
同步Redis后出现数据不一致
本文介绍判断或排查同步Redis出现数据不一致的方法。问题描述 使用数据传输服务（DTS）同步Redis后，出现了源端和目标端数据不一致的现象。问题示例 使用数据传输服务（DTS）同步完Redis后，使用Redis的 info keyspace 命令查看源端和目标...
调优集群性能
当您发现监控指标存在异常时，可以参考本文排查出现异常的原因。查看集群监控指标的方法，请参见 查看监控信息。集群资源指标 CPU使用率指标 云原生数据仓库 AnalyticDB MySQL 版 的CPU使用率会展示各节点的CPU最大使用率和CPU平均使用率。...
MariaDB逻辑备份
如果备份计划出现异常或报错，建议您及时排查问题并修复。具体操作，请参见 如何修复异常DBS备份计划。若按照文中修复建议仍未解决您的问题，请到DBS客户咨询群（钉钉群号：35585947）进行咨询。相关操作 备份完成后，您可以查看备份计划或...
为什么要升级到MongoDB的新版本
就算节点出现异常，MongoDB 也会自动恢复之前中断的迁移过程。您不再需要主动执行 cleanupOrphaned 命令来清理孤立文档。您依然可以执行该命令来确认后台线程是否已经成功完成了相关库表内孤立文档的删除。更多信息，请参见 ...
校验迁移后的Redis数据
使用场景 如果Redis迁移的过程出现异常，源端与目的端Redis的数据将会不一致。使用redis-full-check进行校验能够找出异常数据，为数据对齐提供可靠依据。redis-full-check是阿里云自研的Redis数据校验工具，能够提取源端和目的端的数据进行...
运维中心概述
数据集成、数据开发模块开发的任务提交或发布后，将进入开发环境或生产环境的运维中心。运维中心为您提供运维概览、任务运维、实例运维、监控管理、系统配置5大功能模块，您可针对提交的任务和生成的实例进行多方位的运维管理。应用场景 ...
功能特性
集群启停 重启集群 当云数据库 SelectDB 版集群出现异常情况，无法提供服务时，您可以重启该集群。重启集群 删除集群 当业务不再需要该集群时，您可以删除该集群。删除集群 监控告警 功能集 功能 功能描述 参考文档 监控告警 监控告警 云...
什么是数据校验
数据校验是数据传输服务DTS（Data Transmission Service）提供的用于监控源库与目标库数据差异的功能，支持在不停服的情况下对源库和目标库进行校验，帮助您及时发现数据和结构不一致的问题。优势 全量校验、增量校验和结构校验均支持在...
什么是数据校验
数据校验是数据传输服务DTS（Data Transmission Service）提供的用于监控源库与目标库数据差异的功能，支持在不停服的情况下对源库和目标库进行校验，帮助您及时发现数据和结构不一致的问题。优势 全量校验、增量校验和结构校验均支持在...
RDS MySQL或自建MySQL逻辑备份
如果备份计划出现异常或报错，建议您及时排查问题并修复。具体操作，请参见 如何修复异常DBS备份计划。若按照文中修复建议仍未解决您的问题，请到DBS客户咨询群（钉钉群号：35585947）进行咨询。相关操作 备份完成后，您可以查看备份计划或...
SmartData数据读取异常修复公告
历史版本的SmartData（3.0.x～3.5.x）服务存在已知缺陷可能会造成缓存数据出现损坏，导致读取数据内容发生异常。本文为您介绍缺陷影响，缺陷方案以及缺陷修复流程。缺陷影响 缺陷影响的组件：打开SmartData数据缓存功能的所有组件。重要 ...
创建全域数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置全域数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员...
PolarDB代理配置与流量异常
PolarDB 集群支持读写分离方式接入业务，但在实际业务场景中，经常出现节点上流量负载不均，可能导致单节点承担大量的流量从而被拖垮，最终造成整个集群雪崩。本文主要描述 PolarDB 代理的配置方法以及流量不均时如何定位处理。数据库代理...
创建全域数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置全域数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员...
DB2数据源
DB2数据源作为数据中枢，为您提供读取和写入DB2数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DB2数据同步的能力支持情况。支持的版本 DB2 Reader和DB2 Writer使用的DB2驱动版本为 IBM Data Server Driver ...
运维中心概述
数据集成、数据开发模块开发的任务提交或发布后，将进入开发环境或生产环境的运维中心。运维中心为您提供运维概览、任务运维、实例运维、监控管理、系统配置5大功能模块，您可针对提交的任务和生成的实例进行多方位的运维管理。应用场景 ...
配置并管理实时同步任务
当在 设置目标Topic 页面未勾选 支持源表无主键同步，则无主键的表同步时会出现异常，您需要在同步任务中删除无主键的表或者选择单击 图标自定义主键才能继续执行同步任务。选择Topic建立方式 支持 自动建Topic 和 使用已有Topic：当 Topic...
PolarDB MySQL版逻辑备份
如果备份计划出现异常或报错，建议您及时排查问题并修复。具体操作，请参见 如何修复异常DBS备份计划。若按照文中修复建议仍未解决您的问题，请到DBS客户咨询群（钉钉群号：35585947）进行咨询。相关操作 备份完成后，您可以查看备份计划或...
一键实时同步至Kafka
当在 设置目标Topic 页面未勾选 支持源表无主键同步，则无主键的表同步时会出现异常，您需要在同步任务中删除无主键的表或者选择单击 图标自定义主键才能继续执行同步任务。选择Topic建立方式 支持 自动建Topic 和 使用已有Topic：当 Topic...
SQL Server逻辑备份
如果备份计划出现异常或报错，建议您及时排查问题并修复。具体操作，请参见 如何修复异常DBS备份计划。若按照文中修复建议仍未解决您的问题，请到DBS客户咨询群（钉钉群号：35585947）进行咨询。相关操作 备份完成后，您可以查看备份计划或...
敏感数据溯源
DataWorks的数据溯源功能，支持通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务，并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则，详情请参见 配置...
资产质量概述
资产质量基于Dataphin平台，为数据的开发及使用提供全套的数据质量解决方案。数据质量的功能包括质量规则配置、质量监控、调度配置、智能报警、校验治理等。前提条件 已购买资产质量增值服务，详情请参见 开通Dataphin。背景信息 面对各行...
资产质量概述
资产质量基于Dataphin平台，为数据的开发及使用提供全套的数据质量解决方案。数据质量的功能包括质量规则配置、质量监控、调度配置、智能报警、校验治理等。前提条件 已购买资产质量增值服务并且当前租户已开通资产质量模块。背景信息 面对...
- 产品推荐
- 这些文档可能帮助您