产品简介
首先，Data Exchange提供了一个集中的数据交换平台，使用户能够浏览和订阅各种数据产品。这些数据产品涵盖了多个行业及领域，包括智能汽车、金融等。用户可以根据自己的需求浏览各种数据集，并选择订阅感兴趣的数据产品。其次，Data ...
登录企业数据智能平台
本文介绍如何登录企业数据智能平台。前提条件 已开通企业数据智能平台，具体操作，请参见 准备工作。操作步骤 登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。单击左侧导航栏中的 数据平台。在 基本信息 区域，单击 默认登录链接 右侧...
准备工作
开通企业数据智能平台 企业数据智能平台默认为关闭状态，使用前需要前往 AnalyticDB PostgreSQL版 控制台开通。登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，选择实例所在地域。单击左侧导航栏中的 数据平台。单击 ...
消除数据重分布
许多查询在执行中需要进行数据交换,比如redistribution和broadcast。数据交换所导致的费用在整个查询执行时间中所占比例比较可观，同时也消耗网络资源。所以应该尽量减少和避免数据交换。首先分析数据库系统的查询模式，确定系统中成本最高...
敏感数据保护
敏感数据的数据集成加解密 如果在数据上云、数据交换等场景，需要对传输中的数据进行加解密保护，则可以使用Dataphin的集成加解密能力，对集成的数据进行加解密保护。加密后的数据只有拥有密钥权限的用户才能够进行查看，从而更好地保护...
敏感数据保护
敏感数据的数据集成加解密 如果在数据上云、数据交换等场景，需要对传输中的数据进行加解密保护，则可以使用Dataphin的集成加解密能力，对集成的数据进行加解密保护。加密后的数据只有拥有密钥权限的用户才能够进行查看，从而更好地保护...
DataWorks交流钉钉群
DataWorks作为阿里云大数据平台操作系统，对接各种大数据计算引擎，以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台，高效率完成数据全链路研发流程，建设企业数据治理体系，同时提供优质高效的交流服务，本文为您介绍...
什么是阿里云Cloudera CDP
企业数据云平台Cloudera Data Platform（简称阿里云CDP），是阿里云和Cloudera联合打造的阿里云上的大数据平台。Cloudera CDP企业数据云平台 Cloudera企业数据云是社区版CDH的全新商业化升级产品，是阿里云和Cloudera联合打造阿里云上的大...
添加用户和数据源
本文介绍如何在企业数据智能平台添加用户以及数据源。注意事项 请使用角色为 租户管理员 的账号进行 添加用户 和 添加数据源 操作。如果您是第一次使用企业数据智能平台，请使用阿里云账号进行 添加用户 和 添加数据源 操作。添加用户 登录...
新建API归属应用
创建归属应用以备创建API时使用。本文介绍如何新建API应用。...已创建“信息中心（xxzx）”工作组，具体操作...配置项 示例 应用名称 全域数据平台 应用code qysjpt 应用描述 创建数据API归属的应用 预期结果 在 应用管理 列表可查看新建的应用。
基本概念
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
HTTP API 概览
默认数据交换是通过 JSON。所有返回的结果都使用标准的 HTTP 响应代码，并使用特定的格式返回错误。下表列出了 TSDB 提供的与数据读写和管理相关的所有 API。关于如何使用每个 API 的具体说明，请点击描述中提供的链接查看相应文档。API ...
地图数据格式
GeoJSON是基于JavaScript对象表示法的地理空间信息数据交换格式，详情请参见 地理空间数据格式 GeoJSON。您可以通过GeoJSON在线编辑工具 DataV.GeoAtlas，获取或编辑GeoJSON格式的地理数据。您可以使用GeoJSON行政区划边界提取小工具 DataV...
应用场景
该方案优势如下：全托管免运维 弹性扩展能力 开放数据湖架构 一站式的数据开发平台 数据查询与分析场景 在传统数据平台下，数据仓库工程师和数据分析师通常面临两个不同的环境，甚至使用不同的引擎和语法，导致数据指标和算子行为存在差异...
封装流式数据（DataHub）API
本文介绍如何封装流式数据API。前提条件 工作组管理员账号登录。已创建“信息中心（xxzx）”工作组，具体操作，请参见 新建工作组并添加成员。已在系统设置添加DataHub云计算资源，具体操作，请参见 新建云计算资源。已创建API归属应用，...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
新建数据服务API-向导模式
数据服务API是一种API类型，由云计算资源中的数据通过参数配置生成，生成的API便于后续调用，可减少资源操作成本。本文介绍如何通过向导模式新建API。对原始数据层表“ys_xyk_bkxx”封装API 前提条件 工作组管理员账号登录。已创建“信息...
01创建解决方案
将应用、服务、数据源等资源生成整体解决方案包，便于在其他系统或工作组中快速部署。本文以按应用关联为例，介绍如何创建解决方案。前提条件 已创建“信息中心（xxzx）”工作组，具体操作，请参见 新建工作组并添加成员。线上场景已上线，...
相关的云服务
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
新建数据服务API-SQL模式
数据服务API是一种API类型，由云计算资源中的数据通过参数配置生成，生成的API便于后续调用，减少资源操作成本。本文介绍如何通过SQL模式新建API。前提条件 工作组管理员账号登录。已创建“信息中心（xxzx）”工作组，具体操作，请参见 ...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...
LTS（原BDS）服务介绍
支持简单易用的数据交换、处理、订阅等能力，满足用户的数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求，实现面向云HBase的一站式数据生态服务。核心能力 云原生分布式：LTS是一个基于ECS部署的分布式系统，具备良好...
规格及选型
案例二：互联网SaaS用户 用户为互联网SaaS客户，需要建立数据中台，涉及多数据源包括RDS、Flink、OSS等，期待在平台上完成数据的ETL流程，实现多源处理以及分析侧不同场景的混合负载支持，需要高稳定性保证，同时平台对接数据应用支持报表...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
LTS（原BDS）服务介绍
支持简单易用的数据交换、处理、订阅等能力，满足用户的数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求，实现面向Lindorm的一站式数据生态服务。核心能力 云原生分布式：LTS是一个基于ECS部署的分布式系统，具备良好...
功能简介
数据资产编目，数据管理者对平台数据资产进行梳理，确定其共享属性，并按照技术标准，进行数据类目定义。数据资产上线，将已经注册管理的高质量数据资产资源发布，供数据使用者查询和使用。数据资产申请，数据使用者向数据管理方提出使用...
运营
数据资产编目，数据管理者对平台数据资产进行梳理，确定其共享属性，并按照技术标准，进行数据类目定义。数据资产上线，将已经注册管理的高质量数据资产资源发布，供数据使用者查询和使用。数据资产申请，数据使用者向数据管理方提出使用...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
功能简介
数据资产编目，数据管理者对平台数据资产进行梳理，确定其共享属性，并按照技术标准，进行数据类目定义。数据资产上线，将已经注册管理的高质量数据资产资源发布，供数据使用者查询和使用。数据资产申请，数据使用者向数据管理方提出使用...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为...，赋能技术团队具备大数据平台建设、架构设计、AI算法建模以及运维保障能力...
什么是EMR Serverless Spark
它为企业提供了一站式的数据平台服务，包括任务开发、调试、调度和运维等，极大地简化了数据处理的全生命周期工作流程。使用EMR Serverless Spark，企业可以更专注于数据分析和价值提炼，提高工作效率。产品特性 构建企业级全托管的数据...
上海新能源汽车车辆基础数据
客户感言 2019年开始上海市新能源汽车大数据平台从自建Hadoop集群迁移至阿里云Lindorm+DLA Spark产品，有效解决了我们平台存储和计算的横向动态扩容瓶颈，同时借助其产品中间件LTS实现了我们平台数据的冷热分离，有效降低了数据存储成本，...
Paimon概述
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
数据服务概述
使用统一平台数据安全管控策略，通过API申请调用、鉴权控流、白名单等手段，降低数据安全管控成本。运维监控：支持对数据服务调用统计、调用日志明细信息查询，为运维人员和开发人员排查问题，及时发现并修正数据服务的调用异常。您可以...
集成与开发概览
您也可以将这些功能作为基础能力集成到您自己的数据平台中使用，建设属于企业独有的数据平台。产品优势 流批一体技术，支持20多种数据实时、离线集成。低代码开发。100%兼容Flink、Spark。支持链路及开发过程中的数据安全。分钟级调度。多...
项目分配与安全
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配 在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...
基于MaxCompute进行大数据BI分析
通过MaxCompute、AnalyticDB MySQL强大的数据加工和分析能力，降低大数据平台建设的门槛，轻松解决了海量数据的计算问题。同时有效降低企业成本，并保障数据安全。与第三方开源生态无缝对接，在不侵入用户应用的情况下，传输日志至日志服务...
DataWorks On CDP/CDH使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...
- 产品推荐
- 这些文档可能帮助您