数据中心网络架构设计-数据中心网络架构设计文档介绍内容-阿里云

查询慢日志

代理慢日志代理慢日志中统计的命令执行时间从代理向数据节点发出请求开始，到代理从数据节点收到相应的回复为止，包含了命令在数据节点中的执行时间、数据在网络中的传输时间以及命令的排队延迟等。代理慢日志的保留时间为72小时，无数量...

技术架构选型

在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。...

管控模式

结构变更 结构设计 N N Y 结构同步 Y Y Y 影子表同步 Y Y Y DDL无锁变更 N Y Y 数据变更普通数据变更 N Y Y DML无锁变更 N Y Y 历史数据清理 N Y Y 可编程对象 Y Y Y 数据导入 Y Y Y 变更前风险识别 N Y Y 变更后风险管控 N Y Y 数据库...

统一服务

在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...

技术架构选型

在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。...

Kafka单表实时入湖OSS（HUDI）

在数据输出预览窗口，您可以根据需要修改输入数据，或者单击手工构造数据按钮自定义输入数据，然后单击预览按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...

什么是数据管理DMS

DMS提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，致力于帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。视频介绍功能特性详情信息，请参见功能概览。为什么选择数据管理DMS 全域数据...

高效数据治理实施指南

DataWorks数据治理中心可协助数据治理团队建立数据治理框架、优化治理过程、提升治理效率，从而实现治理目标的高效突破。本文通过治理负责人的实操过程，为您介绍如何通过数据治理计划能力，高效设定和达成数据治理目标。背景信息在多人...

Oracle同步至Tablestore

本实践以Oracle作为来源数据源，以Tablestore作为去向数据源，因此您需要在DataWorks的工作空间的数据源管理页面新增Oracle数据源和Tablestore数据源，两个数据源支持的数据同步能力请参见 Oracle数据源、Tablestore数据源。已购买独享...

我是安全管理员

运维管理数据库分组在SQL变更或结构设计中快速载入创建的数据库分组中的所有数据库。智能化运维智能化运维中可以查看到工单量、查询量、用户量、元数据的整体信息。工单工单管理 DMS提供产品内的工单审批和工单执行状态通知功能，可...

创建数仓分层

数仓分层是结合对业务场景、实际数据、使用系统的综合分析，对数据模型进行的整体架构设计及层级划分。用于将不同用途的数据，归类划分至不同的分层，便于您更好地组织、管理、维护数据。本文为您介绍如何创建并管理数仓分层。背景信息 ...

离线同步任务调优

本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...

表设计规范

这使得数据结构变得灵活、易于扩展，数据一致性得到了增强，数据加工者可以更加方便地管理数据。此方式仅可应用于数据基础层。数据导入通道与表设计通道类型有以下几种：DataHub 规划写入的分区与写入流量之间的关系。数据达到64 MB会执行...

磁盘型

Tair 推出磁盘（ESSD/SSD）型实例，均兼容Redis核心数据结构与接口，可提供大容量、低成本、持久化的数据库服务。适用于兼容Redis、需要大容量且访问性能较高的温冷数据存储场景。背景信息传统Redis基于内存属于易失性存储介质，随着业务...

磁盘型

云原生内存数据库Tair 推出磁盘（ESSD/SSD）型实例，均兼容Redis核心数据结构与接口，可提供大容量、低成本、持久化的数据库服务。适用于兼容Redis、需要大容量且访问性能较高的温冷数据存储场景。背景信息传统Redis基于内存属于易失性...

设计阶段

设计数据生命周期。企业应根据自身实际情况来进行设置，也可以参考如下数值：数仓分层说明 ODS层非去重数据：默认不保留。ETL临时表：保留14日。镜像全量表：重要数据建议采用极限存储。流水全量表：如果不可再生，则永久保存。DWD层 ...

什么是数据库存储DBFS

它基于共享存储架构设计，通过文件协议提供数据库定制功能，具备企业级存储特性。主要服务于云上自建数据库，基于传统SAN的应用等，为用户提供高IO性能和高可用性。同时减少数据库直接基于块的架构复杂度和成本（例如数据库做主备容灾的...

数据标准

字段标准设计数据元管理：提供对数据元的标准定义和统一管理，通过分析业务流程，抽象关键业务对象、业务对象属性，配置数据元的类型、长度、质量校验函数和引用数据字典，为逻辑表标准化设计及数据治理过程中的质量监控提供规则依据；...

功能简介

字段标准设计数据元管理：提供对数据元的标准定义和统一管理，通过分析业务流程，抽象关键业务对象、业务对象属性，配置数据元的类型、长度、质量校验函数和引用数据字典，为逻辑表标准化设计及数据治理过程中的质量监控提供规则依据；...

功能简介

字段标准设计数据元管理：提供对数据元的标准定义和统一管理，通过分析业务流程，抽象关键业务对象、业务对象属性，配置数据元的类型、长度、质量校验函数和引用数据字典，为逻辑表标准化设计及数据治理过程中的质量监控提供规则依据；...

产品简介

阿里云数据湖构建（Data Lake Formation，简称 DLF）是一款全托管的快速帮助用户构建云上数据湖及Lakehouse的服务，为客户提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力。DLF可以帮助用户快速...

使用限制

云数据库MongoDB版（副本集架构）同步至云数据库MongoDB版（副本集架构或分片集群架构）使用MongoShake实现MongoDB实例间的单向同步使用MongoShake实现MongoDB实例间的延迟同步连接实例云数据库MongoDB支持使用以下方法连接副本集实例。...

创建RDS MySQL数据订阅通道

通过数据订阅功能，您可以实时订阅源库的增量数据，轻松帮助业务实现轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。本文将介绍如何创建RDS MySQL数据订阅通道。注意事项由于使用gh-ost或pt-online-schema-change等类似...

使用限制

在使用云数据库MongoDB前，您需要了解不同类型云数据库MongoDB实例本身存在的约束信息，使您初步了解不同类型云数据库MongoDB实例的使用限制，以帮助您选择更适合业务场景的实例。单节点实例功能约束实例部署目前不是所有地域和可用区...

概述

数据标准：提供管理者定义数据标准、代码规范及命名规范。智能引标：提供模型设计人员在构建模型时引用预先设定好的标准的能力，实现事前落标。正向与逆向DDL：不仅支持将工具中设计好的模型直接下发至引擎，而且支持将引擎中已存在的模型...

ModifyRule-修改自定义的敏感数据识别规则

调用ModifyRule接口修改数据安全中心DSC（Data Security Center）中自定义的敏感数据识别规则。接口说明调用本接口时，您必须输入规则名称、规则 ID、规则内容的参数。QPS 限制本接口的单用户 QPS 限制为 10 次/秒。超过限制，API 调用将...

Delta Lake概述

Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息通常的数据湖方案是选取大数据存储引擎...

表设计最佳实践

采集源表的设计数据采集方式包括流式数据写入、批量数据写入和周期调度条式数据插入。数据量较大时，需确保同一个业务单元的数据使用分区表设计；数据量较小时，需优化采集频率。流式数据写入对于流式写入的数据，采集的通道通常较多，...

数据开发与运维中心：数据加工

DataWorks的数据开发（DataStudio）是数据加工的开发平台，运维中心是智能运维平台，基于这两个功能模块，您可以在DataWorks上规范、高效地构建和运维数据开发工作流。功能概述 DataWorks的数据开发的亮点功能如下。DataStudio支持...

规划工作空间

通常来说，开发环境的数据读、写权限为各工作空间的“开发”角色共享，而生产环境的数据权限为生产账号独有数据质量各工作空间之间的数据质量是完全隔离的。仅对应工作空间的“开发”、“运维”或“管理员”角色具备配置数据质量规则的...