支持的数据库
数据同步 数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。同步支持的数据库、版本和同步类型以及配置文档，请参见...
同步方案概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。说明 数据同步在某些...
迁移方案概览
数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文将介绍数据迁移功能支持的数据库、版本和迁移类型，以及具体的配置文档。说明 数据迁移在某些场景...
功能简介
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。概览 对数据资产...
功能简介
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。概览 对数据资产...
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。本文为您介绍如何为汇总逻辑表新建注册上挂标签。前提条件 完成派生指标的创建，详情请参见 创建派生指标。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 ...
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。本文为您介绍如何为汇总逻辑表新建注册上挂标签。前提条件 完成派生指标的创建，详情请参见 创建派生指标。操作步骤 登录 Dataphin控制台。在Dataphin控制台页面，选择工作区地域...
发现
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助资产运营管理者进行高价值、可共享的数据资源的注册、编目分类和公开运营，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。...
概述
数据内容安全管理 安全中心提供的数据分级分类、敏感数据识别、数据访问审计、数据源可追溯等功能，在处理业务流程的过程中，能够快速及时识别存在安全隐患的数据，保障了数据内容的安全可靠，详情请参见 数据保护伞。安全诊断的最佳实践 ...
创建逻辑模型：汇总表
汇总表用于组织一个数据域下相同时间周期、相同维度的多个派生指标的统计数据，为后续的业务查询，OLAP分析，数据分发等提供基础。本文为您介绍如何创建汇总表。前提条件 已创建数据分层。数据分层是将相同功能作用的表挂载至统一的数据层...
升级数据库大版本
本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项 升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
数据类型版本说明
MaxCompute目前提供了三种不同类型的数据类型版本，包括1.0数据类型、2.0数据类型以及Hive兼容数据类型，您可以根据业务需求选择合适的数据类型版本。本文为您介绍三种数据类型版本、选择数据类型版本以及查看和修改项目的数据类型版本。...
DataV读取数据源超时
问题描述 阿里云DataV数据可视化产品主要用于动态、实时数据展示场景，需要对数据高频实时查询，对数据访问性能有一定要求，您的数据源访问经常出现超时的情况。问题原因 查询超时的原因如下：使用SQL查询的业务数据表数量太大。API接口...
备份与恢复方案概览
为满足各类场景下对备份与恢复的需求，云数据库MongoDB提供了丰富的方案供您选择。任务 实施方案 支持的实例类型 适用场景 备份数据库 自动备份MongoDB数据 单节点实例。副本集实例。分片集群实例。手动备份MongoDB数据 单节点实例。副本集...
数据源读取时间超时的优化思路
DataV数据可视化产品主要用于动态、实时数据展示场景，需要对数据高频实时查询，对数据访问性能有一定要求。如果您的数据源访问经常超时，则需要从整体数据架构上做一定的优化。本文介绍导致DataV读取数据源超时的常见原因和解决方法。使用...
发布包总览概述
且（为 数据源管理员 或 数据源负责人）数据架构 业务对象、业务活动、主题域 跨租户发布使用人 且（为 超级管理员 或 系统管理员 或 数据板块架构师 负责的板块）研发对象 集成任务、建模研发、指标研发、文件管理、计算任务 跨租户发布...
发布包总览概述
且（为 数据源管理员 或 数据源负责人）数据架构 业务对象、业务活动、主题域 跨租户发布使用人 且（为 超级管理员 或 系统管理员 或 数据板块架构师 负责的板块）研发对象 集成任务、建模研发、指标研发、文件管理、计算任务 跨租户发布...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
DataV连接
DataV旨在通过图形化的界面帮助不同专业背景的用户轻松搭建专业水准的可视化应用，满足会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求。详情请参见 什么是DataV数据可视化。前提条件 已开通DataV服务，详情请参见 开通...
划分数据域
数据仓库是面向主题（数据综合、归类并进行分析利用）的应用。数据仓库模型设计除横向的分层外，通常也需要根据业务情况纵向划分数据域。数据域是联系较为紧密的数据主题的集合，是业务对象高度概括的概念，目的是便于管理和应用数据。通常...
划分数据域
数据仓库是面向主题（数据综合、归类并进行分析利用的抽象）的应用。数据仓库模型设计除横向的分层外，通常也需要根据业务情况进行纵向划分数据域。数据域是联系较为紧密的数据主题的集合，是业务对象高度概括的概念层次归类，目的是便于...
确定需求
数据功能模块通常和业务板块紧耦合，对应一个或多个表，可以作为构建数据仓库的数据源。下表展现的是一个营销业务板块的数据功能模块。数据功能模块 A公司电商营销管理 商品管理 Y 用户管理 Y 购买流程 Y 交易订单 Y 用户反馈 Y 说明 Y代表...
确定需求
数据功能模块通常和业务板块紧耦合，对应一个或多个表，可以作为构建数据仓库的数据源。下表展现的是一个营销业务板块的数据功能模块。数据功能模块 A公司电商营销管理 商品管理 Y 用户管理 Y 购买流程 Y 交易订单 Y 用户反馈 Y 说明 Y代表...
一键创建OSS数据仓库
本文介绍如何通过向导将RDS、PolarDB for MySQL、MongoDB数据库或者ECS自建数据库数据同步到OSS中，即创建OSS数据仓库（创建Schema）。操作步骤 登录 Data Lake Analytics管理控制台。在页面左上角，选择DLA所在地域。在左侧导航栏单击 ...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
创建业务流程
背景信息 一个工作空间可以支持多种类型的计算引擎，也可以包含多个业务流程，一个业务流程是多种类型对象的集合，对象的类型包括数据集成、MaxCompute、Hologres、EMR等引擎节点（例如MaxCompute的SQL节点、MaxCompute表节点）。...
亿海蓝-航运大数据的可视化案例
——亿海蓝CTO 客户简介 亿海蓝是中国的航运大数据公司，做为中国最大的AIS数据服务运营商，发展目标是通过大数据技术推动全球航运物流与互联网的融合，加速航运产业转型升级。亿海蓝目前已为全球上百万行业用户提供数据服务，客户涵盖港口...
基本概念
数据库实例：数据库实例是在云中运行的独立数据库环境。一个数据库实例可以包含多个由数据库用户创建的数据库，并且可以使用相应的客户端工具和应用程序进行访问。本地IDC自建数据库：本地IDC自建数据库是部署在非云环境（如本地IDC、托管...
定义维度与构建总线矩阵
维度在每个业务板块内必须具有唯一性，即每个维度在所属业务板块内有且只有一种定义。例如，本教程内的省份维度，对于营销业务板块内的任何业务过程所传达的信息都是一致的。维度创建、发布成功后，系统会自动创建对应的维表（即维度逻辑表...
配置数据质量规则去噪
当任务触发质量规则校验时，您可以使用去噪管理功能，对当前工作空间内，数据质量规则校验异常的数据不触发报警，且不阻塞任务运行（任务不会因为数据质量校验不通过而失败退出）。前提条件 已创建数据质量校验规则，详情请参见 配置规则：...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
概述
全局一致性 PolarDB-X 是一款分布式数据库，数据存放在多个数据节点（DN）上，当分布式事务存在的情况下，恢复后的实例需要保证多个数据节点间的数据一致性。下图通过转账测试给出了全局一致性的示例：PolarDB-X 中存放了一张用户的账户...
DML无锁变更概览
DML无锁数据变更可以将单个SQL拆分成多个批次执行，能更好地满足业务方对大量数据变更的需求，例如历史数据清理、全表更新字段等，保证执行效率，减小对数据库性能、数据库空间等的影响。背景信息 当业务累积了大量数据时，需要定期清除表...
应用场景
云数据库Redis版 适用于多种场景，尤其是请求并发量大场景中的数据存储。游戏行业应用 游戏行业通常将云数据库Redis版作为重要的部署架构组件，用于缓存或数据持久化。场景一：Redis作为缓存加速应用访问 Redis作为缓存层，加速应用访问。...
数据标准概述
DataWorks数据建模支持在建模前规划制定数据标准，或在建模使用过程中根据业务情况沉淀企业业务的数据标准。通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化...
什么是全球多活数据库集群
产品简介 全球多活数据库集群，通过RDS+DTS构建1中心节点和多个单元节点的星型双向同步架构，用户可以在全球多个地域进行数据读写操作，每个数据库节点的数据通过DTS实时保持同步，构建全球多活数据库集群，实现数据库容灾保护的同时，为...
管理动态脱敏白名单
当用户因业务需要在特定时段和场景下访问明文数据时，可以申请配置动态白名单规则，避免对该数据脱密，从而访问明文数据。新建动态脱敏白名单规则 在Dataphin首页，单击顶部菜单栏 资产。按照下图指引，进入 动态脱敏白名单 对话框。在 ...
管理动态脱敏白名单
当用户因业务需要在特定时段和场景下访问明文数据时，可以申请配置动态白名单规则，避免对该数据脱密，从而访问明文数据。新建动态脱敏白名单规则 在Dataphin首页，单击顶部菜单栏 资产。按照下图指引，进入 动态脱敏白名单 对话框。在 ...
- 产品推荐
- 这些文档可能帮助您