基于MaxCompute进行大数据BI分析
方案介绍 基于MaxCompute进行大数据BI分析的流程如下：通过数据集成同步业务数据和日志数据至MaxCompute。通过MaxCompute、DataWorks对数据进行ETL处理。同步处理后的结果数据至AnalyticDB MySQL。通过Quick BI可视化建立用户画像。方案...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
互联网、电商行业离线大数据分析
方案介绍 实现互联网、电商行业离线大数据分析的流程如下：同步用户订单等数据至MaxCompute。通过DataWorks对原始数据进行处理，并形成开放API。以API的形式通过DataV在大屏上展示结果数据。方案优势 大规模存储：超大规模存储且自动扩容，...
计算设置概述
设置Dataphin实例的计算引擎为TDH或ArgoDB 星环TDH 6.x Transwarp Data Hub（TDH)是星环大数据平台 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink，支持实时计算，具有高吞吐低延迟等优势，同时也支持离线计算与调度。...
什么是云原生数据湖分析
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB\NoSQL）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统...
上海新能源汽车车辆基础数据
方案亮点：PB级新能源车辆基础数据、高性能采集入库、高效数据分析、低成本运营。客户感言 2019年开始上海市新能源汽车大数据平台从自建Hadoop集群迁移至阿里云Lindorm+DLA Spark产品，有效解决了我们平台存储和计算的横向动态扩容瓶颈，...
产品优势
云原生数据湖分析DLA（Data Lake Analytics）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库与消息实时归档建仓。DLA提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop...
背景信息以及准备工作
本教程以DLA+OSS+DataV方案为例，介绍如何制作DataV数据大屏。前提条件 使用DLA+OSS+DataV制作数据大屏时，您需要先通过以下操作在OSS中准备测试数据、在DLA中创建OSS Schema和表。步骤一：在OSS中准备测试数据 开通OSS服务 创建存储空间 ...
数据迁移操作指导
数据迁移可以帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文介绍数据迁移功能的使用流程，帮助您快速掌握创建、监控、管理数据迁移任务的操作。背景知识 迁移...
数据同步操作指导
数据同步功能可以帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。本文介绍数据同步功能的具体使用流程，帮助您快速掌握创建、...
数据订阅操作指导
背景知识 订阅方案概览 介绍数据订阅功能支持的数据库和支持订阅的数据类型。功能特性 详情请参见 数据订阅（新版）。数据订阅使用流程 通常，使用数据传输服务DTS（Data Transmission Service）执行数据订阅的操作，您需要经历如下步骤。...
数据湖构建之MaxCompute湖仓一体最佳实践
MaxCompute+DLF湖仓一体方案打破数据湖与数据仓库割裂的体系，架构上将数据湖的灵活性、生态丰富与数据仓库的企业级能力进行融合，构建数据湖和数据仓库融合的数据管理平台。本文介绍湖仓一体的具体方案。背景信息 大数据计算服务...
分析平台设置
说明 分析平台支持MaxCompute、Hadoop、星环TDH 6.x、AnalyticDB for PostgreSQL、ArgoDB类型的离线计算源。权限说明 仅支持 超级管理员 或 系统管理员 进行设置。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，...
功能概述
功能介绍 传统的压测方案大部分基于现有的压测工具（如sysbench、TPCC等），给定场景，改变数据写入和读取速度，观测压力变化对被测对象性能的影响；使用自动化方式替代需要手工重复的部分，例如自动化数据生成、自动测试、自动分析报告...
星环ArgoDB/TDH Inceptor物理表和字段详情
本文为您介绍如何查看计算引擎为星环ArgoDB/TDH Inceptor物理表和字段详情。物理表详情 请参见 搜索数据，进入物理表详情页面。计算引擎为星环ArgoDB和星环TDH Inceptor的物理表展示基本一致，下面以 ArgoDB的物理表 为例。编号 描述 ① ...
HDFS云原生上云方案
Lindorm文件引擎 是面向海量非结构化数据的分布式文件存储服务，具有弹性、低成本的优势，提供100%的HDFS协议和使用体验，支持企业大数据中的HDFS无缝平滑上云，构建云原生时代的存储计算分离的大数据架构。方案总览 方案优势 简单：...
执行补数据并查看补数据实例（新版）
说明 兼容原 当前节点、当前节点及下游节点、高级模式 等补数据方案。最大支持同时补的根任务数上限为500，总任务数（即根任务及其下游任务）上限为2000。用于对当前节点及下游节点进行批量补数据操作。用于灵活选择一批节点进行批量补数据...
PolarDB-X适用场景
数据库国产化替换 场景描述 信息系统国产化是大型企业实现数字化转型的重要一环，数据库作为核心基础软件首当其冲，目前数据库国产化改造已经在电信、泛金融、能源和企事业单位广泛开展。产品能力 PolarDB-X 是阿里云自研的云原生分布式...
快速入门
SQL Server快速入门 PostgreSQL快速入门 MariaDB快速入门 数据库引擎 以下是对四种数据库引擎的介绍：云数据库RDS MySQL MySQL是全球受欢迎的开源数据库之一，作为开源软件组合LAMP（Linux+Apache+MySQL+Perl/PHP/Python）中的重要一环，...
MySQL分库分表同步至Hologres（方案2.0）
本文将以MySQL分库分表实时写入实时数仓Hologres场景为例，为您介绍分库分表写入Hologres数据集成最佳实践。前提条件 已完成Hologres和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
新建数据探查任务
当计算引擎为星环TDH 6.x时，char的长度（length）获取的是该字段类型定义的长度，而不是实际长度。例如：字段 name(char 10)，其中，只存储了 name 4个字符，但是，length函数获取返回的字符串长度为10，而不是4。当计算引擎为其他类型时...
新建数据探查任务
当计算引擎为星环TDH 6.x时，char的长度（length）获取的是该字段类型定义的长度，而不是实际长度。例如：字段 name(char 10)，其中，只存储了 name 4个字符，但是，length函数获取返回的字符串长度为10，而不是4。当计算引擎为其他类型时...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
解决方案：免费体验AnalyticDB PostgreSQL版以文搜图
本文为您介绍在实际的电商业务中，通过将商品图片集合的向量化结果存储在云原生数据仓库 AnalyticDB PostgreSQL版 向量检索引擎中，实现以文搜图的高效准确检索。背景信息 在现实世界中，绝大多数的数据都是以非结构化数据的形式存在，如...
概述
本文主要介绍了 PolarDB 数据库代理（Proxy）提供的动态脱敏功能。前提条件 PolarDB 数据库代理版本需为2.4.12或以上。如何查看和升级当前数据库代理版本，请参见 小版本升级。脱敏方案 在数据库使用中，需要实时地从生产环境中的数据库...
Lindorm实时入湖建仓分析
方案介绍 DLA Lakehouse的Lindorm实时入湖建仓分析助力企业构建大数据离在线一体化，主要包括三方面。Lindorm实时入湖建仓引擎：支持T+10min近实时入湖，同时支持Schema推断、动态列增加、分区管理、小文件合并及Clustering等能力。Lindorm...
Cost-based SQL诊断引擎
本文介绍数据库自治服务DAS（Database Autonomy Service）的Cost-based SQL诊断引擎。背景信息 在业务系统中，数据库扮演着举足轻重的角色。和其它公司一样，在阿里巴巴业务场景下，大部分业务跟数据库有着非常紧密的关系，数据库一个微小...
大数据用户画像解决方案
方案总览 作为面向大数据场景的半结构化、结构化存储系统，Lindorm可以很好的满足用户画像：没有强事务要求，大数据量、高并发读写场景这样的业务特征。其架构如下图所示：方案优势 1.低成本：集群内单表冷热分离能力、独有的压缩优化能力...
数据开发概述
数据开发主要功能 数据开发（DataStudio）的主要功能介绍如下。您可参考 数据开发相关概念 辅助理解。类型 描述 对象组织及管理 DataWorks数据开发提供的对象组织与管理机制如下：对象组织：提供 解决方案>业务流程 两级管理模式。...
无感集成（Zero-ETL）
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
操作指南
本文介绍大数据专家服务的服务流程。一、大数据专家服务流程指南 二、服务流程说明 用户可以根据自己实际需要，提前或者在问题发生时购买大数据专家服务，服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
面临的业务挑战
数据来源上包含数据库数据、日志数据、对象数据以及已有数仓上的存量数据等。这些不同来源、不同格式的数据，各自又有不同的访问和分析方式，而大量传统企业基于关系数据库构建自己的业务系统，已经非常熟悉按SQL的方式去使用数据，这无疑...
概览
为了更好地指导您使用数据管理DMS（Data Management），DMS推出解决方案系列文档，旨在通过最佳实践（Step by Step）的形式向您介绍DMS研发流程、数据安全、数据开发的解决方案。研发流程解决方案 DMS为在线流程化系统，可统一管理企业内...
使用星环TDH作为元仓计算引擎进行元仓初始化
本文将为您介绍如何使用星环TDH作为元仓计算引擎进行元仓初始化。前提条件 以星环TDH作为元仓时，需开放元数据库或提供Hive Metastore服务，用于获取元数据。以TDH Inceptor作为元仓，或元仓初始化中的元数据库配置使用TDH Incepor作为...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
DataWorks快速入门指引
为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了系列快速入门教程，本文为您汇总介绍新手教程列表。教程指南 教程列表 示例...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
- 产品推荐
- 这些文档可能帮助您