Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
DataWorks On CDP/CDH使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...
分析MaxCompute外部表数据
大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute的非结构化框架支持通过INSERT方式将MaxCompute的数据直接输出到OSS。MaxCompute也支持通过外部表关联OSS，进行数据输出。由于...
概述
Flink（VVR）完全兼容开源Flink，相关内容请参见如下文档：DataStream API Table API&SQL Python API 使用场景 Flink广泛应用于大数据实时化的场景，本文从技术领域和企业应用场景进行介绍。技术领域 从技术领域的角度，Flink主要用于以下...
背景信息以及准备工作
或者对存储在 阿里云对象存储服务（Object Storage Service，简称 OSS）、表格存储（Table Store）上的大数据进行分析之后，通过DLA把结果数据回写到MongoDB，供前台业务使用。前提条件 使用DLA读写MongoDB数据前，您需要通过以下操作在...
什么是云原生数据湖分析
支持 AnalyticDB PostgreSQL 支持 支持 MaxCompute 支持 支持 Elasticsearch 支持 支持 Cassandra 支持 支持 Kudu 支持 支持 ECS自建Druid数据库数据 支持 支持 何时使用DLA DLA主要围绕数据湖存储OSS提供一站式的云原生数据湖分析与计算...
读写RDS MySQL数据
DLA支持连接RDS（MySQL、SQLServer、PostgreSQL）数据源，然后通过SQL语法查询和分析RDS数据，同时支持将分析结果回写入RDS。本文以RDS MySQL为例介绍如何通过DLA读写RDS数据。注意事项 如果您的RDS实例位于VPC网络内，默认情况下DLA无法...
功能简介
运营主要面向租户资产管理员，为用户提供数据资产编目、上线、下线等能力。运营获取资产元数据信息，同步到数据资产目录完成数据资产注册。数据资产管理涉及三种用户角色，包括资产使用方、租户资产管理员、工作组管理员。资产使用方：主要...
购买指引
产品版本 试用版 基础版 高级版 专业版 旗舰版 版本选择建议 产品体验、选型测试 个人开发者 小型数据团队 中小型数据团队 企业级数据团队 功能规格 数据融合与计算√数据资产管理与运营√业务决策建模（邀测中）√时空数据汇聚与服务（邀...
查看运营数据
本文介绍应用的运营数据。前提条件 已发布应用到生产环境，详细操作请参见 发布到生产环境。操作步骤 在指定应用的应用管理页面，选择 运营信息 页签，查看应用的运营数据。查看当前应用的运营数据，包含本日UV（本日独立IP访问数）、本日...
规格及选型
16C128G ESSD云盘 PL2 适合企业级平台建设，适用于高并发场景，大规模企业核心数据平台推荐选择。高性能（基础版）2C8G ESSD云盘 PL0 POC测试。个人学习使用，体验测试产品能力。4C16G ESSD云盘 PL0 ESSD云盘 PL1 适合计算存储均衡场景，...
读写Elasticsearch数据
云原生数据湖分析DLA（Data Lake Analytics）中支持接入Elasticsearch，通过标准SQL语句读取Elasticsearch中的数据，从而实现Elasticsearch中的数据与其他数据源的数据联合查询等业务需求。本文档主要介绍了DLA读写Elasticsearch数据的操作...
计费说明
产品版本 试用版 基础版 高级版 专业版 旗舰版 版本选择建议 产品体验、选型测试 个人开发者 小型数据团队 中小型数据团队 企业级数据团队 功能规格 数据融合与计算√数据资产管理与运营√业务决策建模（邀测中）√时空数据汇聚与服务（邀...
功能简介
运营主要面向租户资产管理员，为用户提供数据资产编目、上线、下线等能力。运营获取资产元数据信息，同步到数据资产目录完成数据资产注册。数据资产管理涉及三种用户角色，包括资产使用方、租户资产管理员、工作组管理员。资产使用方：主要...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
DataWorks On MaxCompute使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
T+1多库合并建仓
上述方案可解决因数据量大而导致的用户体验问题，但在对分库分表数据进行大数据分析时，逻辑上的一个表被拆成了多张表，由于没有类似TDDL中间件来屏蔽物理表的拆分，进行数据分析时变得十分复杂。解决方案 T+1多库合并建仓是指通过DLA控制...
DataWorks On Hologres使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
什么是工业互联网平台
平台基于阿里云的物联网、云计算和工业大数据的技术，构建用数字化控制并管理资源、收集分析历史信息、基于数据分析结果进行业务决策和优化的技术和方法。工业互联网企业级平台将制造企业中的设备通过物联网技术连接到云端，把运营业务对象...
查看元数据
元数据管理功能主要为您展示当前实例的所有数据库，数据表，分区及各种任务等信息。本文为您介绍如何通过EMR StarRocks Manager查看元数据。前提条件 已创建StarRocks实例，详情请参见 创建实例。使用限制 普通用户无法查看数据库大小、...
功能简介
AnalyticDB PostgreSQL版 的企业数据智能平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据建模、数据开发、质量评估、资产管理等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据资源。...
资产分类管理
资产分类指通过创建统一的数据资产类目，进行数据资产分类管理。同时，创建数据资产类目，可为后续的资产编目做准备。本文介绍如何进行资产分类管理。前提条件 已在系统设置中创建工作组。背景信息 权限：租户管理员和租户资产管理员支持对...
基本概念
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
EMR数据开发停止更新公告
作为一站式大数据开发治理平台，DataWorks沉淀阿里巴巴十多年大数据建设方法论，为客户完成从入湖、建模、开发、调度、治理、安全等全链路数据湖开发治理能力，帮助客户提升数据的应用效率。迁移流程 阿里云DataWorks on EMR团队提供了完善...
应用场景
阿里云开源大数据平台E-MapReduce（简称EMR）具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...
应用场景
阿里云游戏平台面向游戏开发商、游戏运营商、通信运营商、视频网站等泛游戏客户提供不同客户场景的服务，助力客户能力升级。游戏开发商 背景 随着游戏内容和玩法丰富度的提高，游戏开发成本越来越高，尤其当游戏需要支持跨端运行时，开发...
东软案例
阿里云Lindorm数据库让数字时代运维“灵动”起来，本文以东软集团有限公司为例，该集团归属于运营商、政务、汽车、医疗等行业。业务/技术亮点 移动端到云端业务全链路海量运维大数据存储。指标、日志等多源异构监控数据融合分析。99.99%...
多云成本运营服务关联角色
例如您出于安全考虑，需要删除该角色，则需要先明确删除后的影响：删除AliyunServiceRoleForACMP后，无法将当前账号下的云资源及账单数据同步至多云成本运营平台中。删除AliyunServiceRoleForACMP的操作步骤如下：登录 RAM控制台，在左侧...
支持的云服务
数据集成 MaxCompute可以通过数据集成功能加载不同数据源（例如MySQL数据库）的数据，也可以通过数据集成把MaxCompute的数据导出到各种业务数据库。数据集成功能已集成在DataWorks上，您可以直接在DataWorks上配置MaxCompute数据源并读写...
什么是阿里云游戏平台
云游戏PaaS平台是为游戏云化量身打造的一站式服务平台，具备游戏快速适配、资源弹性伸缩、全局智能调度、可视化数据运营和完善的平台运维能力。庞大的资源池支持海量游戏稳定运行，量身打造的容器技术和协议带来良好的游戏体验，多样化的...
选型配置说明
Utility工具节点在集群中扮演很重要的角色，存储了大量的集群元数据，并且维护了CDP的管控平台，因此Utility工具节点的可用性至关重要，Utility工具节点的存储仅支持云盘存储，以保证数据的可靠性。Core节点的选型 Core节点主要用于数据...
应用场景
DBS提供秒级恢复、备份数据湖分析等能力，可触达本地数据中心、其他云厂商、专有云及公共云等环境，构建企业级混合云统一备份平台 数据库备份DBS支持通过数据库网关备份本地或第三方云的私网数据库到云存储，可将数据库低成本地接入至阿里...
发现
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助资产运营管理者进行高价值、可共享的数据资源的注册、编目分类和公开运营，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。...
什么是MaxCompute
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效...
Serverless Spark概述
DLA Spark基于云原生架构，提供面向数据湖场景的数据分析和计算功能。开通DLA服务后，您只需简单的配置，就可以提交Spark作业，无需关心Spark集群部署。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓...
运营
运营主要面向租户资产管理员，为用户提供数据资产编目、数据资产上线、数据资产下线等能力。通过获取资产元数据信息，并同步到数据资产目录完成数据资产注册。数据资产管理涉及三种用户角色，包括资产使用方、租户资产管理员、工作组管理员...
确定需求
例如，用户可能分为数据分析、运营和维护部门人员，各个部门对数据仓库的需求不同，您需要对不同部门分别进行调研。用户的整体业务架构，各个业务板块之间的联系和信息流动的流程。您需要梳理出整体的业务数据框架。各个已有的业务板块的...
表管理
表层级 用于将不同用途的数据，归类划分至不同层级，更好地组织、管理、维护数据。同时，可基于业务的使用视角，对表进行更详细的分类。已绑定计算引擎并采集相关引擎数据。用于通过引擎元数据快速查找目标表。相关操作请参见下表。操作...
需求分析
本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。业务背景 为了更好的制定企业经营策略，现需要从用户网站行为中获取网站用户群体基本画像数据，例如，用户群体地理属性、社会属性等，...
- 产品推荐
- 这些文档可能帮助您