大数据数据管理系统通用-大数据数据管理系统通用文档介绍内容-阿里云

数据质量管理流程

本文为您介绍数据质量管理概念、数据管理流程。数据质量管理是通过划分数据资产等级和分析元数据的应用链路，对不同资产等级的数据采取相对应的质量管理方式。数据质量管理流程图如下。数据管理流程说明如下：分析业务场景，根据应用的影响...

权限管理

通过实例管理功能管理数据库、表权限数据Owner、管理员、DBA管理权限登录 数据管理DMS 5.0。在顶部菜单栏中，选择数据资产>实例管理。说明若您使用的是极简模式的控制台，请单击控制台左上角的图标，选择全部功能>数据资产>实例管理...

平台安全诊断

您可以参考 管理数据源权限进行配置。生产与开发数据源隔离说明标准模式工作空间下支持同一个数据源区分生产、开发环境，避免生产数据源中的数据从开发环境泄露。您可以根据数据源开发和生产环境隔离进行评估与修改数据源。DataWorks...

MongoDB 7.0

迁移数据功能独享型云盘版通用型云盘版功能影响及建议使用DTS迁移副本集架构的自建MongoDB数据库上云 config数据库属于系统内部数据库，如无特殊需求，请勿迁移该库。DTS在执行全量数据迁移时将占用源库和目标库一定的资源，可能会...

MongoDB 6.0

迁移数据功能独享型云盘版通用型云盘版功能影响及建议使用DTS迁移副本集架构的自建MongoDB数据库上云 config数据库属于系统内部数据库，如无特殊需求，请勿迁移该库。DTS在执行全量数据迁移时将占用源库和目标库一定的资源，可能会...

基本概念

DLA Ganos Raster DLA Ganos Raster是DLA Ganos针对栅格数据管理和处理的时空数据引擎及配套工具集，它允许用户使用阿里云Lindorm（HBase）存储、索引、查询、分析和传输栅格数据及其相关元数据。栅格数据以数据分块（Tile或Block）的形式...

资产大盘

数据管理DMS 的资产大盘功能支持T+1离线汇总当前 DMS 租户下的所有实例、数据库、表数据，并图形化展示数据资产的引擎、环境、地域、来源、类目的分布占比及数量趋势。本文介绍如何使用DMS的资产大盘。注意事项 DMS 资产大盘的表分布占比 ...

MongoDB 5.0

迁移数据功能独享型云盘版通用型云盘版功能影响及建议使用DTS迁移副本集架构的自建MongoDB数据库上云 config数据库属于系统内部数据库，如无特殊需求，请勿迁移该库。DTS在执行全量数据迁移时将占用源库和目标库一定的资源，可能会...

核心概念

当数据的业务含义存在较大差异时，您可以创建不同的数据板块，独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目，所以...

概述

元数据管理数据湖元数据管理包括元数据库和元数据表两层结构构成。数据源用户从数据源抽取数据到注册的数据湖位置，数据湖构建支持多种形式的数据源，目前RDS MySQL已对外开放。参数描述连接名称数据湖构建中惟一的名称连接类型目前...

新建数据字典

数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...

新建数据字典

数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...

通过DMS管理MongoDB数据库

数据管理DMS是一种集数据管理、结构管理、研发流程、用户管理、权限管理、访问安全于一体的数据管理服务。其支持管理MySQL、SQL Server等关系型数据库，及MongoDB、Redis等NoSQL数据库。通过DMS连接MongoDB实例，可以更安全便捷地管理...

概述

增大151.7%3.02GB AVRO Hadoop生态格式的数据，数据由大部分遗留系统产生。增大8.3%1.3GB RCFile Hadoop生态格式的数据，数据由大部分遗留系统产生。减少2.5%1.17GB Parquet Hadoop生态格式的数据。数据采用高性能的列存储格式，提升数据...

DB2数据源

创建数据源在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据源，操作流程请参见创建与管理数据源。单表离线同步任务配置指导操作流程请参见通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。脚本模式...

公告

2023年04月25日-Dataphin新版本发布 Dataphin于2023年04月25日发布V3.9版本，此次更新包含了多项重要功能的优化和改进，以更好地满足用户对数据管理和分析的需求。相比历史版本：新增支持Hologres计算引擎。新增支持OpenGauss数据源、SAP ...

数据治理中心概述

量化评估：健康分健康分是依据数据资产在数据生产、数据流通及数据管理中的用户行为、数据特性、任务性质等元数据，使用数据处理及机器学习等技术，对各类型数据进行综合处理和评估，通过个人、工作空间维度客观呈现数据资产状态的综合...

概述

如何打破部门或业务领域之间的信息孤岛是企业数据管理的一大难题。数据标准整合，统一灵活对接同一数据不同描述，企业数据管理难、内容重复、结果不准确。如何制定统一的数据标准又不打破原有的系统架构，实现灵活对接上下游业务，是标准...

概览

集群管理系统的概览页面提供了云原生多模数据库 Lindorm 实例宽表引擎中所有表的详细信息，包括表的大小、分片情况、数据预览、表结构、限流信息等。本文介绍如何通过集群管理系统管理宽表。前提条件已登录目标实例的集群管理系统，具体...

应用场景

使用StarRocks统一管理数据湖和数据仓库，将高并发和实时性要求很高的业务放在StarRocks中分析，也可以使用StarRocks外表查询功能进行数据湖上的分析。典型场景的解决方案 OLAP通用场景解决方案业务背景：该方案适用于多种业务场景，包括...

功能更新动态（2022年之前）

华北2（北京）、华东1（杭州）计费说明 2021年08月24日华南1（深圳）2021年08月26日华东2（上海）系统将依据您选择的数据处理单元规格分配不同的默认调度资源，选购的规格越高，分配的调度资源越多，可以支持的任务并发数越大，研发效率...

查询备份数据

操作步骤登录 数据管理DMS 5.0。登录目标实例。在首页左侧数据库实例区域的搜索框中，输入目标实例名称、地址或数据库名称。单击实例名称下的图标。在登录实例对话框中，输入数据库账号和数据库密码。单击确认。系统自动跳转至SQL ...

文档更新动态（2022年）

新增说明新建和管理标准集、新建和管理数据标准、新建和管理落标映射规则、新建和管理标准代码（码表）、新建和管理词根、新建和管理标准集目录 2022年10月25日资产安全脱敏算法、密钥管理、生产安全模式优化支持底层脱敏和仅展示脱敏...

数据管理DMS中服务器监控数据的采集频率

本文对数据管理控制台中服务器监控数据刷新频率进行说明。通过“登录服务器”，进入到服务器管理界面，“实时监控”显示的数据，是每隔5秒左右获取一次数据，如下图。关闭、退出服务器管理界面，会自动停止“实时监控”数据的采集。数据...

采集数据

本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...