常见问题
本文介绍大数据专家服务常见问题。1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大...
操作指南
本文介绍大数据专家服务的服务流程。一、大数据专家服务流程指南 二、服务流程说明 用户可以根据自己实际需要，提前或者在问题发生时购买大数据专家服务，服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、...
数据模型架构规范
本文为您介绍数据模型架构规范。声明 本文以及后续章节中介绍的非功能性规范均为建议性规范，产品功能无强制，仅供指导。数据层次的划分 ODS：Operational Data Store，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。它...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
同步方案概览
本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。说明 数据同步在某些场景下可实现部分数据迁移的功能，且网络稳定性更好、功能更丰富。更多区别，请参见 数据迁移和数据同步的区别是什么？当前仅当目标库为函数计算FC时，不支持...
迁移方案概览
本文将介绍数据迁移功能支持的数据库、版本和迁移类型，以及具体的配置文档。说明 数据迁移在某些场景下可实现部分数据同步的功能，但数据同步的网络稳定性更好、功能更丰富，推荐您使用数据同步功能。更多区别，请参见 数据迁移和数据同步...
基于MaxCompute进行大数据BI分析
方案介绍 基于MaxCompute进行大数据BI分析的流程如下：通过数据集成同步业务数据和日志数据至MaxCompute。通过MaxCompute、DataWorks对数据进行ETL处理。同步处理后的结果数据至AnalyticDB MySQL。通过Quick BI可视化建立用户画像。方案...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
数据归档至DBS内置OSS
本文介绍如何将大表数据归档至DBS内置OSS中。前提条件 支持如下类型的源数据库：MySQL类型：RDS MySQL、PolarDB MySQL版。PolarDB PostgreSQL版。PolarDB分布式版。说明 MySQL数据库账号必须具有REPLICATION CLIENT权限。您的系统角色需要...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有多种不同的定义方法，给后期进行数据汇集和整合带来障碍。因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准...
MMA概述
MaxCompute数据迁移 介绍数据迁移到MaxCompute的准备事项及操作步骤。帮助您快速了解MaxCompute数据迁移的方式。分区过滤表达式说明 介绍分区过滤表达式的格式。帮助您在创建数据迁移任务时快速完成分区过滤的参数配置。迁移任务查看与操作...
基本介绍
背景信息 云数据库HBase增强版是由 云原生多模数据库Lindorm宽表引擎 提供的、完全兼容HBase的云上托管数据库，从2011年开始云数据库HBase增强版正式承载阿里内部业务的海量数据实时存储需求，支撑服务了淘宝、支付宝、菜鸟、优酷、高德等...
冷热分层
本文介绍冷数据的特点和适应场景，通过表格存储Tablestore和Delta Lake结合示例，演示数据的冷热分层。冷热分层可以充分利用计算和存储资源，以低成本承载更优质服务。背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和...
典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...
多可用区数据强一致
本文将为您介绍如何开启多可用区数据强一致的功能。功能优势 开启多可用区数据强一致功能之后，当主可用区集群发生故障时，会 自动切换 到备可用区，并进行跨可用区的多副本强同步复制，RTO，确保数据的强一致性，提供金融级的高可靠性。...
名词解释
本文介绍时序数据相关名词说明。背景信息 时间序列数据库 TSDB：英文全称为 Time Series Database，提供高效存取时序数据和统计分析功能的数据管理系统。时序数据（Time Series Data）：基于稳定频率持续产生的一系列指标监测数据。例如，...
数据迁移操作指导
本文介绍数据迁移功能的使用流程，帮助您快速掌握创建、监控、管理数据迁移任务的操作。背景知识 迁移方案概览 介绍数据迁移功能支持的数据库、数据库版本和迁移类型。异构数据库间的数据类型映射关系 由于不同的数据库支持的数据类型不...
概述
数据内容安全管理 安全中心提供的数据分级分类、敏感数据识别、数据访问审计、数据源可追溯等功能，在处理业务流程的过程中，能够快速及时识别存在安全隐患的数据，保障了数据内容的安全可靠，详情请参见 数据保护伞。安全诊断的最佳实践 ...
数据同步操作指导
本文介绍数据同步功能的具体使用流程，帮助您快速掌握创建、监控、管理数据同步任务的操作。背景知识 同步方案概览 介绍数据同步功能支持的数据库、同步初始化类型和同步拓扑，以及配置步骤。结构初始化涉及的数据类型映射关系 由于不同的...
入门实践
本文以实现构建数据标准来设计数据模型，并通过规范化的流程，下发模型至计算引擎为例，为您介绍DataWorks数据建模的流程。前提条件 如果您使用的是阿里云主账号，请下载建模工具。如果您使用的是RAM用户，请完成授权并下载建模工具。详情...
应用场景
数据审计 智能解析数据库及大数据的通信流量，细粒度审计数据访问行为，通过对数据源全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警，为您最敏感的数据库资产做好最安全的监控保障。个人信息合规 可精准区分和保护个人数据，...
数据订阅操作指导
本文介绍数据订阅功能的具体使用流程，帮助您快速掌握创建、监控、管理数据订阅通道及消费数据的操作。背景知识 订阅方案概览 介绍数据订阅功能支持的数据库和支持订阅的数据类型。功能特性 详情请参见 数据订阅（新版）。数据订阅使用流程...
数据质量管理流程
本文为您介绍数据质量管理概念、数据管理流程。数据质量管理是通过划分数据资产等级和分析元数据的应用链路，对不同资产等级的数据采取相对应的质量管理方式。数据质量管理流程图如下。数据管理流程说明如下：分析业务场景，根据应用的影响...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
入门概述
本文介绍数据资源平台入门概述。快速使用说明 准备工作：在使用数据资源平台前，需要完成的准备工作，具体操作，请参见 创建阿里云账号 和 购买及登录数据资源平台。配置租户角色：在系统设置模块中为本账号配置租户角色，具体操作，请参见...
数据分析：即时快速分析
功能概述 数据分析支持基于个人视角的数据上传、公共数据集、表搜索与收藏、在线SQL取数、SQL文件共享、SQL查询结果下载及用电子表格进行大屏幕数据查看等产品功能。适用场景 适合更多非专业数据开发人员，如数据分析、产品、运营等工作...
数据质量概述
功能介绍 数据质量支持对常见大数据存储（MaxCompute、E-MapReduce Hive、Hologres等）进行质量校验。从完整性、准确性、有效性、一致性、唯一性和及时性等多个维度，配置质量监控规则。并可以将质量监控规则与调度节点进行关联，当任务...
阶段一：基础防护建设
在该阶段，DataWorks为您提供了数据分类分级、规范数据开发流程、企业级身份认证、开源身份隔离等多个场景的最佳实践，帮助企业做好数据安全治理的相关基础防护工作。场景一：数据分级分类 无论在任何行业，数据分级分类都是监管首要检查的...
数据源管理
本文介绍数据源的一般操作，包括新建、搜索、重命名、编辑和删除等操作。新建数据源 具体操作请参见 添加数据源。搜索数据源 登录 DataV控制台。在 功能导航 模块单击 数据源，进入数据源管理页面。在数据源卡片页右上角可以做以下操作。...
应用场景
本文为您介绍数据资源平台的应用场景。构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据...
数据集管理
本文介绍数据集的一般操作，包括新建、搜索、重命名、编辑和删除等操作。新建数据集 具体操作请参见 添加适配数据集。搜索数据集 登录 DataV控制台。在 功能导航 模块单击 数据集，进入数据集管理页面。在数据集卡片页右上角可以做以下操作...
什么是数据资源平台
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
外部表概述
MaxCompute支持使用外部表功能查询和分析存储于OSS等外部存储系统的数据。该机制使得用户可以无需将数据导入到MaxCompute内部存储，直接对外部数据进行操作，从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据...
- 产品推荐
- 这些文档可能帮助您