什么是ETL
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字...
ETL工具支持概览
支持的ETL工具见下，可以同时参见更详细的同步方案列表 数据迁移及同步方案综述：数据传输服务（DTS）：阿里云...支持简单的数据转换。支持通过解析Binlog，准实时地从MySQL同步数据到 AnalyticDB PostgreSQL版。其他支持Greenplum的ETL工具。
消息模板
数据质量 数据质量 包括 字段规则异常、自定义规则异常、数据源规则异常、指标规则异常、表规则异常。数据服务 数据服务 包括 平均响应时间异常、调用次数异常、错误率异常。修改告警消息模板 在不同模块的页签下，单击 操作 列下的 图标，...
产品优势
提升稳定性 DAS提供丰富的数据库性能监控和告警功能，可以快速发现和定位数据库异常，提升数据库的稳定性。运维和管理一站化，无需多平台间切换，显著减少误操作概率。持续可用 DAS基于机器学习和专家经验实现数据库自感知、自修复、自优化...
转换函数
但是，CLOB可以通过隐式数据转换作为参数传入。语法 TO_SINGLE_BYTE(char)参数 参数 说明 char char的数据类型可以是CHAR、VARCHAR2、NCHAR或NVARCHAR2。返回类型 返回的值与 char 的数据类型相同。示例 SELECT to_single_byte('123$test')...
事件告警
数据库自治服务DAS（Database Autonomy Service）为RDS PostgreSQL提供事件 告警 功能，...开启事件告警功能后，如果检测到异常事件，DAS将会根据您设置的方式进行通知（例如手机短信），帮助您及时发现数据库异常变化。详情请参见 配置告警。
深度检测
功能说明 您可以通过深度检测功能，检测数据库实例如下指标是否异常：数据库空间使用情况 阻塞死锁数量 慢SQL数据 平均活跃会话 数据库日志增长方式 操作步骤 登录 DAS控制台。在左侧导航栏中，单击 实例监控。找到目标实例，单击实例ID，...
集成与开发概览
通过可视化拖拉拽操作、SQL语句（100%兼容Flink）两种方式配置流式加工任务，实现流式数据的抽取、数据转换和加工、数据装载能力，适用于日志、在线数据实时加工处理、实时统计报表等各类实时数据开发场景。数据开发 任务编排。更多信息，...
实例会话
当数据库出现性能问题或异常操作时，通常需要结合数据库的会话信息，快速定位和解决数据库的问题。通过实例会话功能，您可以实时查看目标实例会话的客户端信息，所执行的命令和已连接的时长等信息，并可以根据业务需求终止异常会话。前提...
处理CPU使用率高问题
操作视频 异常检测 异常检测：基于机器学习和细粒度的监控数据，DAS实现7 X 24小时的异常检测，相比基于阈值的告警方式，能够更为及时地发现数据库异常变化，并给出优化或止损建议。自治服务 DAS基于机器学习和专家经验，针对日常运维中...
查看异常告警
异常事件类型 异常事件可分为以下类型：流转异常：数据在流转过程中出现的异常情况。例如：异常地理位置下载敏感数据。行为异常：非正常的数据操作行为。例如：登录密码连续错误、登录使用终端异常等。自定义异常：根据您自定义的检测模型...
什么是数据传输服务DTS
数据订阅功能特性 数据加工 实现流式数据的抽取、数据转换和加工、数据装载。丰富企业实时数据处理和计算场景，赋能企业数字化转型。什么是ETL 数据校验 为数据迁移或同步任务配置数据校验功能，监控源库与目标库数据的差异，以便及时发现...
配置告警规则
安全审计（新版）功能默认开启所有的内置数据库审计规则和异常检测模型，如果无需使用某些内置数据库审计规则和异常检测模型，您可以关闭对应规则和模型。并且该功能支持根据访问的库、表、字段、访问源、实例等不同维度自定义检测模型，使...
2024年
StarRocks Connector 2024-03-22 新增FROM_CHARSET 新说明 MaxCompute FROM_CHARSET支持将指定编码格式的二进制数据转换为UTF-8格式的字符串，以便后续进行计算时使用。FROM_CHARSET 2024-03-21 新增MaxCompute TIMESTAMP_NTZ数据类型介绍 ...
将MySQL数据迁移到Redis
关系型数据库中库表结构的数据无法直接传入以键值结构保存数据的Redis数据库，迁移前需要将源端数据转换为特定的结构。这篇最佳实践以MySQL向Redis整表迁移为例，介绍如何通过原生工具进行简单高效地迁移。MySQL的表数据将通过Redis ...
性能异常检测
通过机器学习和智能算法，支持数据库实例核心指标的异常检测和预测，并自动联动一键诊断模块，帮助您直接定位异常根因。前提条件 数据库实例需要满足以下条件：当前仅支持 RDS MySQL。数据库实例已接入DAS，并且接入状态显示为 接入正常，...
功能特性
数据库自治 功能集 功能 功能描述 参考文档 监控告警 7 x 24小时异常检测 基于机器学习和细粒度的监控数据，实现7 x 24小时异常检测，全天侯监控数据库异常变化。异常检测 性能趋势 提供了丰富的性能监控指标并支持自定义图表；能够展示...
慢日志分析
慢日志问题极大地影响数据库的稳定性，当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过...
慢日志
慢日志问题极大地影响数据库的稳定性，当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过...
解决方案
数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产，经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式，灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据，确保...
慢日志
慢日志问题极大地影响数据库的稳定性，当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过...
XML 类型
在使用文本模式向服务器传递查询以及向客户端传递查询结果（在普通模式）时，PostgreSQL 将所有在客户端和服务器之间传递的字符数据转换为目标端的字符编码。这也包括了表示 XML 值的串，正如上面的例子所述。这也通常意味着由于字符数据会...
SQL 条件过滤数据
SQL 条件过滤数据使用的列请勿执行 DDL 变更，否则可能导致数据迁移或数据同步异常。操作步骤 将数据迁移或数据同步项目配置至 选择迁移对象 或 选择同步对象 步骤。详情请参见相应类型的 数据迁移 或 数据同步 项目文档。选择迁移对象后，...
功能简介
数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产，经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式，灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据，确保...
自定义检测模型
数据安全中心DSC（Data Security Center）的自定义检测模型功能支持用户根据业务需求和安全策略来创建特定的数据检测和告警规则，帮助用户实现数据库活动精细化监控、风险预警，从而保障数据资产不受威胁。本文介绍如何创建自定义检测模型...
DropDatabase
Message String No such database:bd001 如果删除数据库异常，则返回异常信息。RequestId String 9BEAC206-0795-4DE3-B1FD-964BEF432B23 本次请求的RequestId。Success Boolean false 本次请求是否成功。示例 请求示例 http(s):/[Endpoint]...
慢日志分析
慢日志问题极大地影响数据库的稳定性，当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过...
统计类算法参数调优
数据点增多后误报减少 数据点较少时，算法不稳定，可能会误报很多异常。当数据点相对较多后，误报才会减少，检测结果趋于正常。优化方法：增大 warmupCount 参数的值。例如 warmupCount=100，表示算法在处理前100个数据点时，只会将其用于...
推送记录
数据服务 包括 平均响应时间异常、调用次数异常、错误率异常 和 Offline百分比异常。实时计算 包括 业务延迟过高、TPS超过范围、失败超过配置比例、数据滞留超过配置 和 反压持续时间超过配置。不同的计算引擎，支持的告警类型不同。租户内...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
推送记录
数据服务 包括 平均响应时间异常、调用次数异常、错误率异常 和 Offline百分比异常。实时计算 包括 业务延迟过高、TPS超过范围、失败超过配置比例、数据滞留超过配置 和 反压持续时间超过配置。不同的计算引擎，支持的告警类型不同。租户内...
如何对JSON类型进行高效分析
数据转换（Transformation）：对抽取的数据进行转换，使其符合数据仓库的数据模型和规范。包括数据清洗、数据整合、数据转换、数据增强和数据聚合等操作。数据加载（Loading）：将经过转换的数据加载到数据仓库中，包括维度表和事实表。...
敏感数据保护概览
如果您有对敏感数据进行管控和脱敏的需求，可以使用 数据管理DMS 的敏感数据保护功能对数据库进行扫描，识别、脱敏和管理敏感数据。背景信息 通过敏感数据保护功能，可帮助企业及时有效地发现与识别敏感数据资产，避免敏感数据滥用，有效...
发现和处理异常告警
异常事件类型 异常事件可分为以下类型：流转异常：数据在流转过程中出现的异常情况。例如：下载非常用Bucket内敏感文件、初次下载敏感数据等。行为异常：非正常的数据操作行为。例如：登录密码连续错误、短时间内大量删除数据等。自定义...
接入DAS的实例状态概览
您可以将阿里云数据库或自建数据库实例接入...监控异常 DAS数据库网关（DBGateway）出现异常，详情请参见 DBGateway常见问题。连接正常 目标实例已正确连接至DAS控制台，您可以使用集群管理、实例监控和告警服务等功能，详情请参见 产品功能。
配置数据质量规则去噪
当任务触发质量规则校验时，您可以使用去噪管理功能，对当前工作空间内，数据质量规则校验异常的数据不触发报警，且不阻塞任务运行（任务不会因为数据质量校验不通过而失败退出）。前提条件 已创建数据质量校验规则，详情请参见 配置规则：...
DescribeEventDetail-查询异常事件详情
调用本接口查询单个异常事件详情，包括异常事件发生时间、异常描述及处理状态等。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API...
工作原理
日志服务智能异常分析App提供模型训练和实时巡检功能，支持对日志、指标等数据进行自动化、智能化、自适应地模型训练和异常巡检。本文介绍智能巡检的背景信息、工作原理、功能特性、基本概念、调度与执行场景和使用建议。背景信息 基于时间...
行为模型学习配置
智能分析是指数据库审计系统可以学习用户的数据库操作习惯，通过对用户操作所涉及的IP、客户端操作工具等信息进行统计分析，实现对异常行为的告警，可以帮助您发现数据库异常行为。本文介绍了在云盾数据库审计系统中，如何添加行为模型学习...
管理过滤器
数据源和过滤器报错 数据源报错：在组件数据面板添加完数据过滤器后，如果将当前数据源切换成其他类型的数据源，会在数据面板展示下面两个错误，提示用户数据源配置有问题。重要 当数据源异常的时候，即使是有返回的数据内容，添加在数据...
- 产品推荐
- 这些文档可能帮助您