数据库
数据库基本信息 pg_stat_database pg_stat_database 视图将显示集群中每一个数据库中的每一行数据库范围的统计信息。相关参数信息如下表所示：参数 类型 描述 datid oid 数据库OID。datname name 数据库名称。numbackends integer 当前连接...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
数据质量概述
数据质量帮助您第一时间感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，有效阻断脏数据向下游蔓延。避免任务产出不符合预期的问题数据，影响正常使用和业务决策。同时也能显著降低问题处理的...
功能发布记录（2023年）
2023-12 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发（DataStudio）绑定数据源 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）...
文档更新动态（2024年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 数据引入-离线集成-离线单条管道-...
功能更新动态（2024年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 新建Amazon S3数据源 离线集成 新增集成任务...
通过HTTP API写入数据
通过HTTP API发送 POST 请求到/write 路径是数据写入TSDB For InfluxDB®的主要方式。假设已经成功创建好数据库 mydb，现在我们来探索如何通过HTTP API将数据写入 mydb。单点写入 下面的例子展示了如何将一个数据点写入mydb数据库。其中，...
选择使用低基数列作为分区键
在云数据库ClickHouse企业版中，当您向没有使用分区键的表发送一个插入语句（插入许多行）时，插入该表所有的行数据将会在存储中写入一个新的Part（即数据片段）。然而，当您向云数据库ClickHouse企业版中有分区键的表发送一个插入语句时，...
功能特性
主集群通过向备集群发送事务日志的方式来实现数据同步，从而确保生产集群能够在遇到数据损坏、灾难等情况下仍然可以快速恢复业务。当 OceanBase 数据库的生产集群出现计划内或者计划外的不可用情况时，主备库可以通过将某一个备集群的角色...
分片集群实例连接说明
ConnectionstringURI SRV高可用连接地址 重要 推荐生产环境的应用程序通过ConnectionStringURI连接数据库，客户端自动将请求发送到Mongos组件的多个节点上，实现负载均衡。Mongos组件的某个节点出现故障时，客户端能自动进行故障切换，将...
实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、...
配置邮箱告警通知
数据安全中心DSC（Data Security Center）支持向指定邮箱实时发送异常审计告警和风险告警通知，以便于您及时处理异常问题，保障业务的正常运行。本文介绍如何配置邮箱告警通知。操作步骤 登录 数据安全中心控制台。在左侧导航栏，单击 系统...
事务拆分
例如，某些数据库客户端驱动（例如JDBC）默认将请求封装在事务中，因此应用的请求都会被发送到主节点，导致主节点压力大，而只读节点几乎没有压力，如下图所示。为了解决上述问题，PolarDB提供了事务拆分功能，旨在保证业务中读写一致性的...
事务拆分
例如，某些数据库客户端驱动（例如JDBC）默认将请求封装在事务中，因此应用的请求都会被发送到主节点，导致主节点压力大，而只读节点几乎没有压力，如下图所示。为了解决上述问题，PolarDB提供了事务拆分功能，旨在保证业务中读写一致性的...
负载均衡
例如，某些数据库客户端驱动（如JDBC）默认将请求封装在事务中，因此应用的请求都会被发送到主节点，导致主节点压力大，而只读节点几乎没有压力，如下图所示：为了解决上述问题，PolarDB 在读已提交（Read Committed）的事务隔离级别下提供...
设置告警
数据传输支持对数据迁移和数据同步项目进行监控项的配置。项目创建完成后，您可以对单个项目设置告警监控，也可以选择多个项目进行批量操作。本文以数据迁移项目为例，为您介绍如何设置告警监控。背景信息 告警监控功能是数据传输重要的运...
修改告警
数据传输支持修改已启动告警监控功能的数据迁移和数据同步项目的告警监控设置。本文以数据迁移项目为例，为您介绍如何修改告警监控。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据迁移。如果您需要设置数据同步...
功能特性
数据安全中心 功能集 功能 功能描述 参考文档 数据分类分级 数据资产接入 支持自动发现并接入阿里云上的数据资产。支持通过一键连接或账密连接方式连接数据库，一键接入支持：RDS、PolarDB、PolarDB-X（原DRDS）、Redis、OSS、TableStore、...
批量操作数据迁移项目
本文为您介绍如何使用数据传输对数据迁移项目进行批量操作。背景信息 数据传输支持在 迁移项目列表 页面，对数据迁移项目进行批量操作。不同状态的数据迁移项目支持不同的批量操作。数据迁移项目的状态 支持的批量操作 未配置 无 未启动 ...
Trino概述
支持丰富的数据源：Hive Cassandra Kafka MongoDB MySQL PostgreSQL SQL Server Redis Redshift 本地文件 支持高级数据结构，具体如下：数组和Map数据 JSON数据 GIS数据 颜色数据 功能扩展能力强，提供了多种扩展机制：扩展数据连接器 ...
Presto概述
支持高级数据结构，具体如下：数组和Map数据 JSON数据 GIS（Geographic Information System）数据 颜色数据 功能扩展能力强，提供了多种扩展机制：扩展数据连接器 自定义数据类型 自定义SQL函数 流水线：基于Pipeline处理模型数据在处理...
批量创建质量规则
表级详情配置 您可查看所选数据表校验信息，也可以修改规则名称、质量分权重（仅Dataphin数据表和全域数据表支持），同时，您可以单击 操作 列下的 图标编辑该表的规则配置和校验配置，也可以删除该数据表。单击 添加规则，完成配置。批量...
批量创建质量规则
表级详情配置 您可查看所选数据表校验信息，也可以修改规则名称、质量分权重（仅Dataphin数据表和全域数据表支持），同时，您可以单击 操作 列下的 图标编辑该表的规则配置和校验配置，也可以删除该数据表。单击 添加规则，完成配置。批量...
设置常用的MongoDB监控报警规则
云数据库MongoDB提供实例状态监控及报警功能。本文将介绍设置磁盘空间使用率、IOPS使用率、连接数使用率、CPU使用率等常用的监控项目。背景信息 随着数据量及业务的发展，MongoDB实例的性能资源使用率可能会逐步提升，直至被消耗殆尽。某些...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
实例监控
计算节点发送物理SQL到存储节点，计算节点返回数据到应用，均会产生网络输出流量。引擎监控 逻辑QPS lqps PolarDB-X 1.0 实例每秒处理的SQL语句数目的总和。物理QPS pqps PolarDB-X 1.0 计算节点每秒发送到存储节点的SQL操作数总和。逻辑RT...
报表中心
报表中心功能支持使用多种报表类型展示数据库审计的分析结果。支持的报表类型包括塞班斯报表、综合分析报告、性能分析报表等，您可以根据业务需要使用对应的报表。本文介绍支持的报表类型，以及如何通过报表中心查看、订阅、导出报表和管理...
配置监控报告模板
报告模板管理页面支持动态配置报告模板，数据质量根据您配置的报告模板定时生成并发送报告。前提条件 您需要购买DataWorks企业版及以上版本，才可以使用报告模板管理功能。新增报告模板 登录 DataWorks控制台，单击左侧导航栏的 数据建模与...
数据库代理常见问题
如果您在使用RDS MySQL数据库代理过程中存在疑问或遇到问题，可以参考本文查看解决方案。目录 什么是数据库代理？通用型代理和独享型代理有什么区别？数据库代理是否占用主实例的QPS或者TPS？数据库代理地址和常规地址是否是一个地址？开通...
PostgreSQL数据源
PostgreSQL数据源为您提供读取和写入PostgreSQL双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的PostgreSQL数据同步能力支持情况。支持的版本 目前仅支持配置PostgreSQL数据源为PostgreSQL...
数据库代理常见问题
如果您在使用RDS PostgreSQL数据库代理过程中存在疑问或遇到问题，可以参考本文查看解决方案。什么是数据库代理？数据库代理是位于数据库服务端和应用服务端之间的网络代理服务，用于转发应用服务端访问数据库时的所有请求，提供读写分离、...
事务拆分
功能说明 默认情况下，RDS PostgreSQL的数据库代理会将事务内的所有请求都发送到主实例以保障事务的读写一致性。但是某些框架会将所有请求封装到非自动提交的事务中，导致主实例负载过大，而只读实例几乎没有压力。为了解决上述问题，您...
只读节点Online Promote
发送SIGUSR2信号给Polar Worker辅助进程，通知其停止对于部分LogIndex数据的解析，因为这部分LogIndex数据只对于正常运行期间的Replica节点有用处。发送SIGUSR2信号给LogIndex BGW（Background Ground Worker）后台回放进程，通知其处理...
只读节点Online Promote
背景信息 PolarDB PostgreSQL版（兼容Oracle）是基于共享存储的一写多读架构，与传统数据库的主备架构有以下不同：Standby节点：是传统数据库的备库节点，有独立的存储，与主库节点之间通过传输完整的WAL日志来同步数据。只读节点：Replica...
管道传输（Pipeline）
} } 在输入了正确的云数据库Redis版实例访问地址和密码之后，运行以上Java程序，输出结果如下：方法1-Pipeline发送请求 Pipeline发送请求 Pipeline发送请求 Pipeline发送请求 Pipeline发送请求 发送请求完成，开始接收响应 Pipeline接收...
配置消息通知
DataWorks支持您根据业务需要，将 治理工作台>治理项问题 页面待解决的治理项问题以通知的形式，通过系统提示、邮件、钉钉群消息等发送给指定人员，方便及时查看并处理。本文为您介绍如何创建定期通知。使用限制 仅租户管理员或拥有 ...
数据治理
任务开发上线之后，数据正在稳定生产中，您需要对对应的业务表通过可视化查看、自动的数据质量监控、敏感数据管理等多种不同方式进行治理，而以下这些模块就可以很好的帮助您对数据进行治理。可视化元数据管理 数据地图可以可视化的查看表...
什么是数据库审计
数据库审计服务是一款专业、主动、实时监控数据库安全的审计产品，可用于审计阿里云原生数据库和自建数据库。数据库审计服务将数据库监控、审计技术与公共云环境相结合，针对数据库SQL注入、风险操作等数据库风险行为进行记录与告警，形成...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
管理报警
如果资源的监控指标达到报警条件，云监控自动发送报警通知，帮助您及时得知异群的异常情况，并快速处理。本文为您介绍如何在EMR控制台创建和查看报警规则。背景信息 报警功能由云监控服务提供。如果您需要管理报警规则或获取更多监控和报警...
- 产品推荐
- 这些文档可能帮助您