创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
图表管理
创建图表 登录 数据管理DMS 5.0。在控制台首页顶部菜单栏中，选择 集成与开发（DTS）>数据应用>数据可视化（老）。在左侧图标中选择并单击 图表。在图表管理页，单击 图标。选择目标数据集。单击页面右上角的 保存。修改图表 登录 数据管理...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
数据同步方案概览
数据同步功能帮助您实现...源为自建MongoDB或云数据库MongoDB的同步方案 源为自建Redis或云数据库Tair/Redis的同步方案 源为MariaDB的同步方案 源为Db2 for LUW的同步方案 源为Db2 for i（AS/400）的同步方案 源为数据管理DMS逻辑库的同步方案
基本概念
单个Shard是由三节点的副本集组成，保证单个分片的高可用性，用户可以根据自己的应用性能及存储要求，购买多个Shard来扩展读写性能及存储空间，实现一个分布式数据库系统。ConfigServer 配置服务器，存储所有数据库元信息（路由、分片）的...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
数据管理策略
JindoFS块存储模式对文件数据管理提供了高级策略，以满足不同情形下的存储需求，主要包括存储策略（Storage Policy）和压缩策略（Compression Policy）。本文详细介绍相关策略及其使用方式。使用限制 存储策略和压缩策略都是针对目录设置的...
数据管理策略
JindoFS块存储模式对文件数据管理提供了高级策略，以满足不同情形下的存储需求，主要包括存储策略（Storage Policy）和压缩策略（Compression Policy）。本文详细介绍相关策略及其使用方式。使用限制 存储策略和压缩策略都是针对目录设置的...
数据管理策略
JindoFS块存储模式对文件数据管理提供了高级策略，以满足不同情形下的存储需求，主要包括存储策略（Storage Policy）和压缩策略（Compression Policy）。本文详细介绍相关策略及其使用方式。使用限制 存储策略和压缩策略都是针对目录设置的...
数据管理策略
JindoFS块存储模式对文件数据管理提供了高级策略，以满足不同情形下的存储需求，主要包括存储策略（Storage Policy）和压缩策略（Compression Policy）。本文详细介绍相关策略及其使用方式。使用限制 存储策略和压缩策略都是针对目录设置的...
数据管理策略
JindoFS块存储模式对文件数据管理提供了高级策略，以满足不同情形下的存储需求，主要包括存储策略（Storage Policy）和压缩策略（Compression Policy）。本文详细介绍相关策略及其使用方式。使用限制 存储策略和压缩策略都是针对目录设置的...
数据管理策略
JindoFS块存储模式对文件数据管理提供了高级策略，以满足不同情形下的存储需求，主要包括存储策略（Storage Policy）和压缩策略（Compression Policy）。本文详细介绍相关策略及其使用方式。使用限制 存储策略和压缩策略都是针对目录设置的...
数据管理策略
JindoFS块存储模式对文件数据管理提供了高级策略，以满足不同情形下的存储需求，主要包括存储策略（Storage Policy）和压缩策略（Compression Policy）。本文详细介绍相关策略及其使用方式。使用限制 存储策略和压缩策略都是针对目录设置的...
新零售：特步
基于 PolarDB-X+RDS的分布式数据库解决方案提升了客户业务系统数据读写的扩展能力和数据存储的扩展能力，系统具备100 TB数据存储的能力、10万TPS、百万QPS的支撑能力，可以支撑业务扩展至当前业务量的5~10倍。PolarDB-X 的平滑扩容和弹性...
管理数据库
RDS MariaDB支持通过控制台、SQL命令、API接口管理数据库，包括创建、删除数据库。背景信息 概念 实例：实例是虚拟化的数据库服务器。您可以在一个实例中创建和管理多个数据库。数据库：数据库是以一定方式储存在一起、能与多个用户共享、...
使用场景
包含但不限于如下场景：数据迁移与同步 使用DMS任务编排配置和管理数据迁移或数据同步任务，将数据从一个数据源迁移到另一个数据源，或实现同数据源、不同数据源之间的数据实时同步。数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务...
统一服务
代理服务管理：将空间数据管理中的各类型空间数据发布成行业标准的空间服务API，支持各类型空间数据的汇聚接入、地图化浏览、空间计算、服务代理。API的生命周期管理：API支持数据服务API、三方API、数据上报API、空间服务API 和数据更新...
功能简介
代理服务管理：将空间数据管理中的各类型空间数据发布成行业标准的空间服务API，支持各类型空间数据的汇聚接入、地图化浏览、空间计算、服务代理。API的生命周期管理：API支持数据服务API、三方API、数据上报API、数据更新API、空间服务API...
数据源概述
详情请参见：管理数据源权限。若要对数据源下某张表进行数据流出与写入控制。您可以选择使用审批中心自定义数据集成审批策略功能。支持管理员按源端、目的端数据源的组合来定义需要被审批的数据集成任务。详情请参见：数据集成审批策略。...
API概览
本产品（数据管理/2018-11-01）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，可通过...
功能特性
基于此，DataHub新上线的订阅服务提供了服务端保存用户消费点位的功能，用户只需要通过简单的几步配置，然后在自己的应用逻辑里添 创建订阅 删除订阅 查看订阅 数据流消息管理 数据流消息管理 对Project、Topic、shard、group的管理与操作...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
背景信息 通常，企业构建和应用数据湖需要经历数据入湖、数据湖存储与管理、数据探索与分析过程。MaxCompute基于阿里云DLF（Data Lake Formation）、RDS（Relational Database Service）或Flink、OSS（Object Storage Service）产品提供了...
C100售后支持相关问题
购买数据库审计实例后，您可以通过以下操作配置数据库审计服务：启用数据库审计实例 配置数据库审计实例 登录数据库审计系统 管理数据库资产 安装Agent 如果您想配置审计规则和告警通知，更多信息，请参见 C100快速入门。如何将跨地域、跨...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
DataWorks快速入门指引
DataWorks基于MaxCompute、Hologres、EMR、...60分钟 零售电商数据建模 DataWorks、MaxCompute 以电商场景为例，进行数据建模、分析。60分钟 DataWorks模块使用说明 为您汇总DataWorks核心子模块，便于您了解各个子模块的主要功能。15分钟
新建账号
用户角色 该用户角色为全局角色，包括系统管理员、数据源管理员、安全管理员、质量管理员、跨租户发布使用人、数据标准管理员和标签业务员。添加的成员需要授予全局角色，则 此处选择相应的角色，单个用户支持配置多个角色，详细说明如下：...
添加Dataphin成员
用户角色 该用户角色为全局角色，包括系统管理员、数据源管理员、安全管理员、质量管理员、跨租户发布使用人、数据标准管理员和标签业务员。添加的成员需要授予全局角色，则 此处选择相应的角色，单个用户支持配置多个角色，详细说明如下：...
数据标准概述
Dataphin支持创建并管理数据标准，以保障数据的标准化生产与管理，节约数据应用和处理的成本。背景信息 数据标准目标是为 业务、技术 和 管理 提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。...
数据标准概述
Dataphin支持创建并管理数据标准，以保障数据的标准化生产与管理，节约数据应用和处理的成本。背景信息 数据标准目标是为 业务、技术 和 管理 提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。...
系统管理
本文为您介绍如何在系统管理中配置SQL查询、数据上传任务所使用的资源组。使用限制 仅支持阿里云主账号访问系统管理页面。系统管理中的配置仅在本租户的当前地域生效，并且您需确保SQL查询、数据上传任务使用的数据源和资源组网络连通。...
什么是备份数据量
常见概念 在数据库备份DBS业务场景下，含有常见以下几个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量等。概念 说明 数据库磁盘空间 数据库磁盘空间由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲...
发布包总览概述
更多信息，请参见 管理数据架构待发布对象。研发：您可以对研发对象执行发布、查看版本详情、下载建表文件操作。更多信息，请参见 管理编码研发待发布对象。标签架构：您可以对标签架构对象执行发布、查看详情操作。更多信息，请参见 管理...
发布包总览概述
更多信息，请参见 管理数据架构待发布对象。研发：您可以对研发对象执行发布、查看版本详情、下载建表文件操作。更多信息，请参见 管理编码研发待发布对象。标签架构：您可以对标签架构对象执行发布、查看详情操作。更多信息，请参见 管理...
产品优势
HBase Shell 黑屏工具 数据查询 集群管理系统内支持图形化SQL交互查询，请参见 数据查询，也支持使用开源工具HBase Shell/CQLsh。HBase Shell CQLsh 生态体系 数据搬迁 支持与HBase/Cassandra各个版本之间的在线、跨版本、自动化、高效搬迁...
文档更新动态（2023年）
更新说明 新建和管理数据标准 新建和管理落标映射规则 已映射关系管理 无效映射关系管理 查看落标评估明细 资产质量功能优化 支持按照全局、项目、个人视角进行查看质量规则、校验记录、治理工作台、整改流程，并支持按照个人的权限控制...
数据资产管理
公开资产 在左侧导航栏，选择 系统资产管理>数据表管理。在 数据表资产管理 页面，找到目标表 dws_ren_kh_demo_di，单击 操作 列的 修改目录。重要 没有修改目录的数据表或者API资产不能被公开。在 修改目录 面板，单击 添加所属目录，选择...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
多租户管理使用说明
在系统租户下管理数据库 创建数据库 连接数据库，在系统租户下创建数据库。示例如下：CREATE database 'db1@tenant_1';删除数据库 连接数据库，在系统租户下删除数据库。示例如下：DROP database 'db1@tenant_1';在普通租户下管理数据库 ...
方案背景
订单系统存在于各行各业，例如电商订单、银行流水、运营商话费账单等，是一个非常广泛、通用的系统。随着互联网的发展以及各企业对数据的重视，需要存储和持久化的订单量越来越大。这些为订单系统管理带来了新挑战。需求场景 某电商平台A，...
系统管理
在该页面，您可进行如下功能的管控：建表策略管理 代码生成策略管理 发布策略管理 建表策略管理 配置并开启建表策略 在 建表策略管理 页签，您可通过可视化方式配置数据开发（DataStudio）建表的相关限制策略，步骤如下图。策略说明如下：...
- 产品推荐
- 这些文档可能帮助您