数据库运维
本文介绍在Window系统上如何运维数据库。前提条件 已在本地主机安装支持SSH隧道的数据库运维工具，例如DBeaver、DbVisualizer、Navicat Premium、Navicat For MySQL等。已获取堡垒机运维地址。您可以在堡垒机 概览 页面的 堡垒机实例信息 ...
跨境SaaS:深圳市易仓科技有限公司
在数据库架构演进过程中，也遇到诸多痛点：痛点1:单实例海量表，运维管理困难，数据库稳定性挑战大 痛点2:多租户共享一个数据库实例，数据量大，资源抢占 痛点3:租户版本升降、合并、打散时，租户数据迁移效率低 痛点4:传统主从数据库架构...
功能特性
优势如下：数据库运维场景：支持RDS、自建数据库以及三方数据库的运维授权管控，包含MySQL、SQL Server、PostgreSQL、Oracle。混合运维场景：通过网络域代理模式实现、线下IDC、其它云以及跨账号下资产的统一运维管控。高业务稳定保障：...
数据迁移
DataWorks 为MaxCompute提供一站式的数据集成、数据开发、数据管理和数据运维等功能。其中：数据集成 为您提供稳定高效和弹性伸缩的数据同步平台。最佳实践合集 MaxCompute跨项目数据迁移：同一地域的MaxCompute跨项目数据迁移，详情请参见...
执行补数据并查看补数据实例（新版）
步骤一：新建补数据任务 在补数据页面单击 新建补数据任务，根据业务需求配置补数据任务。配置基础信息。平台自动生成默认格式的补数据名称，您可按需修改。选择要补数据的任务。您可通过 手动选择、按链路、按工作空间、指定任务及所有...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
数据库运维
堡垒机 支持对MySQL、SQL Server、PostgreSQL类型的RDS和MySQL、PostgreSQL、PostgreSQL（兼容Oracle）的PolarDB以及MySQL、SQL Server、PostgreSQL、Oracle类型的自建数据库进行运维和审计，同时运维人员可开启SSH隧道，使用运维令牌进行...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
Slowly Changing Dimension
在数据仓库中存储和管理当前和历史的数据，就需要考虑如何处理缓慢变化维，因此SCD被认为是跟踪维度变化的关键ETL任务之一。根据处理维度新值的方式，SCD被分为以下三种类型。类型 描述 直接覆盖（Type 1）直接覆盖原值，不保留历史记录。...
什么是MaxCompute
可通过DataWorks实现一站式数据开发分析治理，同时也支持其他多种数据开发分析场景：数据湖 数据集成 数据治理 三方引擎的数据开发 数据可视化分析 TopConsole（管理控制台）提供MaxCompoute项目管理、Quota管理、租户管理等基础配置管理...
性能优化与诊断简介
DAS是一种基于机器学习和专家经验的云服务，实现数据库自感知、自修复、自优化、自运维和自安全，帮助您简化数据库运维任务，有效保障数据库服务的稳定、安全及高效。功能介绍 RDS PostgreSQL的自治服务主要包含如下功能：自治中心 查看...
场景2：依赖上一周期的结果时，如何配置调度依赖
业务场景：本次（本周期）节点的运行，依赖下游节点上一周期对本节点上一周期结果表（即本节点输出表）的数据清洗结果是否成功。如果您需要查看下游节点对当前节点数据的清洗结果是否符合预期，可以对下游节点产出的结果表配置数据质量规则...
常见问题
云数据库 SelectDB 版 原生构建在云上，即开即用，通过可视化管控平台界面和OpenAPI可以一键式或自动化完成部署、运维操作，大幅增强运维效率。云数据库 SelectDB 版 与数据管理服务DMS原生搭配，提供可视化、易用的SQL查询编辑器，减少...
DataX同步数据
DataX是异构数据源离线同步的工具，支持多种异构数据源之间高效的数据同步。Dataphin系统内嵌了DataX组件，支持通过构建Shell任务调用DataX，实现数据同步。本教程以RDS MySQL数据库为例，为您介绍基于Dataphin如何调用DataX同步数据。前提...
DataX同步数据
DataX是异构数据源离线同步的工具，支持多种异构数据源之间高效的数据同步。Dataphin系统内嵌了DataX组件，支持通过构建Shell任务调用DataX，实现数据同步。本教程以RDS MySQL数据库为例，为您介绍基于Dataphin如何调用DataX同步数据。前提...
性能优化与诊断简介
DAS是一种基于机器学习和专家经验的云服务，实现数据库自感知、自修复、自优化、自运维和自安全，帮助您简化数据库运维任务，有效保障数据库服务的稳定、安全及高效。使用限制 该功能当前支持地域包括：华东1（杭州）、华东2（上海）、华北...
离线数仓构建流程概述
步骤一：开发维度逻辑表 步骤二：开发事实逻辑表 步骤三：开发原子指标 步骤四：开发业务限定 步骤五：开发指标 运维补数据 对任务进行数据回刷，包括管道任务、维度逻辑表、事实逻辑表以及指标。步骤七：运维补数据 验证数据 您可以通过...
离线数仓构建流程概述
步骤一：开发维度逻辑表 步骤二：开发事实逻辑表 步骤三：开发原子指标 步骤四：开发业务限定 步骤五：开发指标 运维补数据 对任务进行数据回刷，包括管道任务、维度逻辑表、事实逻辑表以及指标。步骤七：运维补数据 验证数据 您可以通过...
创建维表
流数据分析没有专门为维表设计的DDL语法，只在标准的CREATE TABLE语法基础上增加一行PERIOD FOR SYSTEM_TIME的声明。该声明定义了维表的变化周期，即表明维表是一张会变化的表。关系型数据库（RDS）目前仅支持MySQL数据存储类型，数据库中...
快照概述
数据库文件系统快照基于云盘快照，它是一种便捷高效的数据容灾手段，用于对文件系统的数据进行备份。什么是数据库文件系统快照 数据库文件系统快照是某...执行重要操作前创建一份快照，常见的重要运维操作包括升级文件系统或业务数据迁移等。
数仓分层
这一层的主要职责是将基础数据同步、存储到MaxCompute。数据公共层（CDM，Common Dimensions Model）：存放明细事实数据、维表数据及公共指标汇总数据。其中，明细事实数据、维表数据一般根据ODS层数据加工生成。公共指标汇总数据一般根据...
产品概述
产品介绍 DataV是一款数据可视化应用搭建产品，让数据可视、价值可见。DataV数据可视化应用搭建平台以丰富的图表组件和二三维时空地理组件为特色，搭配强大的低代码可视化搭建编排能力，可以高效、低成本地完成可视化大屏、PC数据看板、...
性能优化与诊断简介
DAS是一种基于机器学习和专家经验的云服务，实现数据库自感知、自修复、自优化、自运维和自安全，帮助您简化数据库运维任务，有效保障数据库服务的稳定、安全及高效。功能介绍 RDS MySQL的自治服务主要包含如下功能：一键诊断 诊断实例，并...
云数据库Redis
类别 详情 支持类型 维表和结果表 支持模式 流模式 数据格式 String 特有监控指标 维表：无 结果表：numBytesOut numRecordsOutPerSecond numBytesOutPerSecond currentSendTime 说明 指标含义详情，请参见 监控指标说明。API 种类 SQL ...
功能更新动态（2024年）
项目角色管理 成员管理 一键转交负责人优化，支持转交数据表负责人、任务的运维负责人和监控负责人。查看并管理已生成实例 查看并管理明细及汇总表实例 查看并管理基线实例 新建普通维度逻辑表 数据源管理 新增Amazon S3、TDengine数据源。...
数据降维
主成分分析（PCA）：设法将原来变量重新组合成一组新的相互无关的几个综合变量，同时根据实际需要从中可以取出几个较少的综合变量尽可能多地反映原来变量的信息的统计方法叫做主成分分析或称主分量分析，是数学上处理降维的一种方法。...
产品优势
支持企业级管理组件，降低运维复杂度和运维能力要求 更专业的数据安全和治理，满足数据合规要求 提供完整一套基于元数据的安全和治理技术 简化多用户的数据访问和分析，对数据访问进行授权、跟踪和审核 符合法规要求，以减少安全原因导致的...
主成分分析
在一些项目中，拿到的数据往往存在很多特征，在大数据集上进行复杂的分析和挖掘需要很长的时间，有一些特征对于结果没有意义，数据降维产生更小但保持数据完整性的新数据集，在降维后的数据集上进行分析和挖掘将更有效率。计算逻辑原理 主...
快速入门
MySQL快速入门 SQL Server快速入门 PostgreSQL快速入门 MariaDB快速入门 数据库引擎 以下是对四种数据库引擎的介绍：云数据库RDS MySQL MySQL是全球受欢迎的开源数据库之一，作为开源软件组合LAMP（Linux+Apache+MySQL+Perl/PHP/Python）中...
文档更新动态（2024年）
更新说明 项目角色管理 成员管理 一键转交负责人优化，支持转交数据表负责人、任务的运维负责人和监控负责人。更新说明 查看并管理已生成实例 查看并管理明细及汇总表实例 查看并管理基线实例 新建普通维度逻辑表 管理中心-数据源管理 新增...
EMR Kafka磁盘故障运维
当检测或定位到磁盘故障时，可以考虑如下运维策略：Broker迁移：将Broker迁移到新的ECS实例，适合单个Broker只有一块数据盘的场景，详情请参见 Broker迁移方式。节点间分区迁移：将故障磁盘中的分区副本迁移到其他Broker，详情请参见 节点...
搜索和查看会话
数据库审计：可查看通过堡垒机运维数据库的SQL语句及执行结果。日志备份：可通过堡垒机管理运维日志。更多信息，请参见 日志备份。配置搜索条件，然后单击 搜索。您可以根据会话中运维的主机IP、会话的用户名、会话ID等搜索项配置搜索条件...
功能特性
这包括一系列数据类型，如应用程序信息、网络配置、服务、文件系统数据、Windows特定数据和实例细节等。配置清单概述 创建配置清单 处理配置清单数据 在创建了配置清单之后，您可以用聚合查看存量清单数据的汇总情况。比如，您对100台实例...
配置清单概述
这包括一系列数据类型，如应用程序信息、网络配置、服务、文件系统数据、Windows特定数据和实例细节等。指导如何在OOS控制台中设置和访问这些配置，并提供了收集数据的节点选择方法，包括全部实例、单个实例选择、实例标签筛选或资源组筛选...
通过运维中心管理任务流与任务流实例
控制任务流中执行的SQL数量 使用监控与保障功能，可限制多个任务流中的同一个数据库在同一时间执行SQL的数量，保护数据库的稳定性、安全性和可靠性。进入任务编排运维中心。单击 监控与保障，在并发配置页签下，单击 新增。配置 资源类型、...
运维中心概述
当节点运行后（运维中心中通过测试实例，补数据实例，周期实例的运行及重跑操作产出表数据），会触发该数据质量规则校验，您可以设置规则的强弱来控制节点是否失败退出，从而避免脏数据影响扩大，同时，您也可以通过订阅规则来第一时间接收...
使用场景相关问题
目前堡垒机支持运维Linux、Windows上的主机资产和MySQL、SQL Server、PostgreSQL类型的数据库资产，对于阿里云ECS和RDS数据库资产支持一键导入，对于线下IDC资产或异构云资产支持批量导入。更多信息，请参见 运维概述。堡垒机数据传输及...
设置可维护时间段
实例维护当天，为保障整个维护过程的稳定性，实例会在所设置的可运维时间前一段时间，进入实例维护中的状态，当实例处于该状态时，数据库本身正常的数据访问不会受到任何影响，但控制台上涉及该实例的变更类的功能均暂无法使用（如变更配置...
数据集成侧同步任务能力说明
数据集成侧同步任务配置相关能力 支持的能力 说明 刷新表映射 单击 刷新源端与目标端表映射 按钮后，下方表格会显示刷新后的结果。如上图所示，hudi_b.tb_order_1 为已有表，hudi_b.tb_order_2 和 hudi_b.tb_order_3 为自动建表。查看或...
数据库运维操作视频演示教程
本视频主要介绍如何通过堡垒机对数据库资产（如MySQL、SQL Server、PostgreSQL、Oracle）进行运维管控，包括数据库资产导入、授权管控、运维访问演示以及数据库运维会话审计等。
- 产品推荐
- 这些文档可能帮助您