新建和管理公共标准属性
创建标准模板时若引用了系统属性，仅支持修改部分配置，若系统属性已配置落标监控，则基于该标准模板创建的数据标准都会继承监控配置，并可以在落标评估明细中查看映射记录和评估结果，详情请参见 系统属性列表、查看落标评估明细。...
新建和管理公共标准属性
创建标准模板时若引用了系统属性，仅支持修改部分配置，若系统属性已配置落标监控，则基于该标准模板创建的数据标准都会继承监控配置，并可以在落标评估明细中查看映射记录和评估结果，详情请参见 系统属性列表、查看落标评估明细。...
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
新功能发布记录
开启安全访问代理 接入达梦数据库 新增 全面直接接入达梦数据库（DM），包括数据导入、数据查询、数据变更、数据导出、数据服务与数据可视化等功能。支持的数据库类型与功能 数据类目 新增 对表进行分类，便于管理人员、开发人员及运维人员...
从Amazon Aurora MySQL迁移至阿里云
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从Amazon RDS MySQL迁移至阿里云
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从Amazon RDS MySQL迁移至阿里云
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
核心自治技术案例解析
通过数据库自治服务DAS，可以帮助企业节省90%的数据库管理成本，降低80%的运维风险，让您可以更集中在业务创新，让业务持续行驶在快车道上。本文以双11期间的实际案例介绍DAS已拥有的核心自治特性：7x24实时异常检测、故障自愈、自动优化、...
从Amazon Aurora MySQL迁移至PolarDB MySQL版
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
添加 MySQL 数据库的白名单
因为 VPC 实例对应的 VPC 可能在 ECS 平台进行访问限制，而作为数据评估的数据源，需要被数据评估服务器 IP 访问。记录 VPC 下拉列表中选择的目标 VPC ID。进入云服务器 ECS 控制台的 安全组 页面，在 创建安全组 右侧的下拉列表中选择 ...
使用流程
1.数据库评估 数据库采集 数据库画像 目标库选型建议 数据库评估分析 基于以上操作，可以评估出Oracle库适合迁移的目标库及兼容度、改造工作量、成本等，用户可根据数据库评估分析里 对象兼容度 详情和 SQL兼容度 详情，根据指导建议自助...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
快速入门
本文介绍大数据专家服务的购买方式。价格 版本定价说明：点击查看价格。操作步骤 第一步：进入阿里云官网，打开 大数据专家服务 产品详情。第二步：点击大数据专家服务产品详情页中的“咨询购买”接入钉群与专家服务同学沟通场景需求。第三...
表数据格式
数据的 近实时增量导入 可通过bucket数量水平扩展来支持高并发，因此需根据数据写入的流量以及表数据总存储大小来评估设置合理的bucket数量。Bucket数量过多，容易产生过多的小文件，影响数据读写效率和存储的稳定性，Bucket数量过少，则不...
产品架构
业务背景 伴随着信息技术的飞速发展，各行各业在业务生产中产生的数据种类越来越多，有结构化的业务元数据、业务运行数据、设备或者系统的量测数据，也有半结构化的业务运行数据、日志、图片或者文件等。按照传统方案，为了满足多种类型...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
需求阶段
首次需求流程 对于业务方首次提出的需求，重点工作在于评估完成该需求的技术、数据、合规的可行性后，以细化需求的方式完成产品需求文档，并组织需求评审会议多方共同敲定需求最终实现方案。首次需求流程包括以下步骤：提出需求 外部沟通：...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
离线数仓构建流程概述
步骤五：规范建模 数据开发 基于 规范定义 明确好的统计指标口径和 规范建模 部分定义好的模型完成规范建模数据开发。包括维度逻辑表、事实逻辑表、原子指标、业务限定、派生指标。步骤一：开发维度逻辑表 步骤二：开发事实逻辑表 步骤三：...
离线数仓构建流程概述
步骤五：规范建模 数据开发 基于 规范定义 明确好的统计指标口径和 规范建模 部分定义好的模型完成规范建模数据开发。包括维度逻辑表、事实逻辑表、原子指标、业务限定、派生指标。步骤一：开发维度逻辑表 步骤二：开发事实逻辑表 步骤三：...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
操作指南
一、大数据专家服务流程指南 二、服务流程说明 用户可以根据自己实际需要，提前或者在问题发生时购买大数据专家服务，服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶...
01创建数据字典并物理化
数据字典帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量，创建并维护逻辑表中使用的数据字典，方便数据元引用数据字典来规范数据元的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量，本章节...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有多种不同的定义方法，给后期进行数据汇集和整合带来障碍。因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准...
产品计费
服务类型 单价（元）计费单位 购买数量 备注 大数据技术架构方案咨询 30,000 每人日 1~20 每日8小时工作制 大数据搬站迁云方案咨询 30,000 每人日 1~20 每日8小时工作制 大数据解决方案POC 30,000 每人日 1~20 每日8小时工作制 跨地域迁移...
云产品集成
您可以使用 DMS 录入云数据库 OceanBase 的数据，通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。什么是数据管理DMS 支持的数据库...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
DataWorks模块使用说明
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 StarRocks 支持 不支持 Hudi 支持 支持 Doris 支持 不支持 GreenPlum 支持 支持 TDengine ...
上海新能源汽车车辆基础数据
2019年开始上海市新能源汽车大数据平台从自建Hadoop集群迁移至阿里云Lindorm+DLA Spark产品，有效解决了我们平台存储和计算的横向动态扩容瓶颈，同时借助其产品中间件LTS实现了我们平台数据的冷热分离，有效降低了数据存储成本，依托于阿里...
导入数据字典
为了创建完整的字段标准，需要先完善数据字典的管理，创建好数据字典后，可以用来规范数据标准字段的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量。通过导入数据字典可以实现批量创建数据字典。本文介绍...
导入数据字典
为了创建完整的字段标准，需要先完善数据字典的管理，创建好数据字典后，可以用来规范数据标准字段的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量。通过导入数据字典可以实现批量创建数据字典。本文介绍...
数据导入概览
从阿里云对象存储OSS导入数据至图数据库GDB实例 图数据库GDB服务端集成有数据导入模块，可以获取您提供的.csv格式的OSS数据文件，并将其解析为图中的点数据和边数据，然后将点数据和边数据导入至图数据库GDB实例。步骤 步骤说明 ① 将需要...
- 产品推荐
- 这些文档可能帮助您