【通知】停止售卖云原生数据湖分析DLA
阿里云计划停止售卖云原生数据湖分析DLA，其湖分析功能将并入云原生数据仓库AnalyticDB MySQL版。停售对象 云原生数据湖分析DLA 停售计划 2023年06月01日起，停止新购云原生数据湖分析DLA实例和开通服务。2023年12月01日起，停止升级云原生...
数据分析概述
维表 维表支持将本地数据上传至MaxCompute表，上传后，您可以使用该表与其他表进行在线联合分析，详情请参见 维表。例如，数据分析师、运营人员需要手工维护一张线上的MaxCompute表。如果不使用维表功能，每当数据发生变化，都需要执行以下...
版本发布记录
本文介绍云原生数据湖分析DLA的产品功能动态。2021年6月 类别 功能点 描述 相关文档 集群管理 监控报警 Spark集群支持监控报警。查看Spark监控 数据湖管理 从库读取 Lakehouse支持RDS、PolarDB MySQL从库读取。无 性能提升 Lakehouse支持DB...
概述
数据湖构建可以帮助用户快速构建云上数据湖，采用统一的管理视角治理数据湖。本产品目前处于公测阶段，您可以随时开通使用，目前数据湖构建所有功能均为免费使用阶段。用户使用流程 数据湖构建将帮助您快速简洁抽取源数据到统一数据湖的...
使用限制
您在使用数据湖构建（Data Lake Formation，简称DLF）控制台和接口时，产品做了如下限制，请在使用时注意不要超过相应的限制值，以免出现异常。数据湖元数据 限制项 用户配额 单表QPS 500 单表分区数量 100万 数据湖入湖预处理作业 限制项 ...
常见问题
数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...
DLF中数据入湖功能停止更新公告
数据湖构建（DLF）产品的数据入湖功能已于2023年02月15日停止更新，但会持续运维已有数据入湖作业。为了确保您业务连续性，建议您采用其他方式进行数据入湖，推荐使用 数据集成概述 或 Flink CDC：如 MySQL CDC DataStream Connector。停止...
使用OpenAPI
本文为您介绍使用数据湖构建OpenAPI的基本信息及注意事项。说明 关于如何使用阿里云OpenAPI，请参见学习文档：使用OpenAPI。基本信息 版本说明 版本号 说明 2020-07-10 推荐 接入点说明 参见 服务接入点。用户身份 用户身份 支持情况 阿里...
权限管理
数据权限 数据权限名称 权限说明 数据采集_${组织名称}_组织管理 可以使用「数据采集」模块各项功能（埋点验证除外，需功能权限授权）。可以查看并编辑此组织下所有的元数据。数据采集_${组织名称}_组织查看 可以使用「数据采集」模块各项...
应用场景
使用StarRocks统一管理数据湖和数据仓库，将高并发和实时性要求很高的业务放在StarRocks中进行分析，也可以使用External Catalog和外部表进行数据湖上的分析。典型场景的解决方案 OLAP通用场景解决方案 业务背景：该方案适用于多种业务场景...
什么是Quick BI
Quick BI是一款全场景数据消费式的BI平台，秉承 全场景消费数据，让业务决策触手可及 的使命，通过智能的数据分析和可视化能力帮助企业构建数据分析系统，您可以使用Quick BI制作漂亮的仪表板、格式复杂的电子表格、酷炫的大屏、有分析思路...
使用流程
如果您是首次使用云原生数据湖分析DLA的用户，我们建议您先阅读以下部分：产品简介-本内容概述了云原生数据湖分析DLA的产品概念、产品优势及应用场景等内容。产品定价-本内容介绍了云原生数据湖分析DLA的产品定价、计费方式等信息。云原生...
使用DataWorks连接
使用场景 数据分析使用场景 数据分析的 SQL查询 功能使用场景如下：您可以通过数据分析的 SQL查询 功能查询数据，并通过分析模式的Web Excel对查询结果进行分析。您也可以下载查询结果至本地，减少数据的流动，更好地保障数据安全。...
构建数据仓库
平台支撑多种形式的应用，包括使用机器学习算法进行复杂数据分析、使用BI报表进行图表展现、使用可视化产品进行大屏展示、使用其他自定义的方式消费数据。构建智能实时数据仓库 本场景推荐的架构如下。适用行业：适用于电商、游戏、社交等...
查询加速
本章将详细介绍如何在 云数据库 SelectDB 版 实例中进行查询优化和数据分析，云数据库 SelectDB 版 提供了多种分析SQL和优化方案，帮助您提升查询速度并实现高效的数据分析。概述 云数据库 SelectDB 版 采用了MySQL网络连接协议，兼容 标准...
SDK安装与使用
使用SDK提交作业的代码如下所示：/*提交一个作业到数据湖分析Serverless Spark*@param regionId 使用的数据湖分析的REGION_ID*@param accessKeyId 用户AccessKeyId*@param accessKeySecret 用户AccessKeySecret*@param virtualClusterName ...
数据探索简介
仅当设置了保存路径之后，才可以使用结果下载功能。保存的结果文件没有时间限制。进入 数据探索-SQL查询，点击右上方 路径设置 按钮。在弹出的OSS输入框中，选择用于保存查询结果的OSS路径。并点击 确定。设置成功之后，执行的查询结果会...
典型场景
数据湖分析 云原生数据仓库AnalyticDB PostgreSQL版 可以通过外部表机制，高并行直接访问海量云存储OSS上的数据，构筑阿里云统一数据湖分析平台。产品功能优势 针对主要的OLAP业务，云原生数据仓库AnalyticDB PostgreSQL版 具备以下优势。...
数据湖集群
使用私钥对默认可以登录数据湖集群所有节点而不仅是Master节点。如果您仍使用密码方式登录集群，则可以继续使用root用户。新增 emr-metadata 命令 数据湖集群的每个节点默认增加一个可执行命令 emr-metadata，该命令会输出当前节点关于集群...
我是安全管理员
数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障...
我是管理员
数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障...
选择连接工具
工具 是否需要手动安装 应用场景 使用SQL分析连接 否 初次体验及测试MaxCompute的使用者：可以通过SQL分析，使用公开数据集快速体验MaxCompute的核心功能。数据分析师：您可以通过SQL分析查询数据，并通过分析模式的Web Excel对查询结果...
MaxCompute+DLF+OSS湖仓一体的湖查询和湖数据入仓实践
MaxCompute、DLF和OSS是阿里云提供的一体化解决方案，可以实现数据湖查询和湖数据入仓。通过配置DLF，将数据从OSS导入到MaxCompute中，并使用MaxCompute进行数据湖查询。该方案可以方便地进行数据分析和处理，并保证数据的可靠性和安全性。...
仪表盘
仪表盘是 数据管理DMS 数据分析的其中一种可视化应用类型，其提供自动布局和可交互能力，您可以通过使用仪表盘来进行数据分析和制作可视化报表。本文介绍仪表盘的基本概念、功能展示及操作步骤。基本概念 仪表盘集合：仪表盘集合是用户管理...
新增授权
DLF角色：指在数据湖构建（DLF）中定义的角色，关于角色的管理，可以在 数据湖构建控制台 进行配置。2.主体选择：可以选择一个或多个RAM用户/角色或DLF角色。选择授权资源 授权方式：目前仅支持资源授权，资源授权指对数据目录、数据库、...
时序模型
功能 描述 查询分析存储描述信息 当需要查看分析存储的详细配置信息时，您可以使用 DescribeTimeseriesAnalyticalStore 接口查询分析存储描述信息，例如数据生命周期配置、数据同步选项、数据同步状态、数据存储大小等。更新分析存储的数据...
时序模型
功能 描述 查询分析存储描述信息 当需要查看分析存储的详细配置信息时，您可以使用 DescribeTimeseriesAnalyticalStore 接口查询分析存储描述信息，例如数据生命周期配置、数据同步选项、数据同步状态、数据存储大小等。更新分析存储的数据...
SQL查询
如果需要快速地对数据进行查询与分析，您可以使用SQL语句查询MaxCompute、EMR Hive、Hologres等数据源。本文为您介绍如何通过SQL语句查询数据源。支持查询的数据源 SQL查询支持的数据源包含MaxCompute、Hologres、EMR Hive、EMR Spark SQL...
基础数据操作
如果为时序表创建了分析存储，您还可以使用SQL查询与分析时序数据。写入时序数据 创建时序表后，请根据实际场景选择合适方式写入数据到时序表。如果要通过SDK批量写入时序数据到时序表，请使用 PutTimeseriesData 接口实现数据写入。具体...
Flink VVP+DLF数据入湖与分析实践
Flink任务可以利用数据湖统一存储的优势，使用Hudi结果表或Iceberg结果表，将作业的结果输出到数据湖中，实现数据湖分析。在写入数据湖的过程中，Flink可以通过设置DLF Catalog，将表的元数据同步到数据湖构建（DLF）中。依托数据湖构建...
2024年
镜像管理 2024年01月更新记录 时间 特性 类别 描述 产品文档 2024-01-05 新增MaxCompute+DLF+OSS湖仓一体的湖查询和湖数据入仓实践 新说明 MaxCompute、DLF和OSS是阿里云提供的一体化解决方案，可以实现数据湖查询和湖数据入仓。...
快速配置子账号权限
权限名称 权限说明 AliyunDLAFullAccess 用于数据湖分析的管理员权限，拥有数据湖分析的所有权限，可以执行新建集群、删除集群、提交作业等操作，拥有授权给DLA服务的角色的使用权。AliyunDLAReadOnlyAccess 用于数据湖分析的访客权限，...
OSS访问日志分析
您可以通过日志服务SLS存储和分析OSS日志数据，也可以将OSS日志数据导出并存储到指定的OSS目录长期保存，然后通过数据湖分析服务对长期保存的OSS日志数据进行分析。通过数据湖分析服务（Data Lake Analytics，DLA）分析OSS日志数据前，您...
授予RAM账号细粒度访问DLA的权限
说明 您可以使用钉钉搜索群号30372915加入数据湖DLA开发交流群，联系技术支持答疑。自定义策略 您可以通过RAM控制台或者调用RAM API CreatePolicy 创建一个自定义策略，在 脚本配置 方式的自定义策略中，您需要根据JSON模板文件填写 策略...
互联网、电商行业离线大数据分析
通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品，可以实现互联网、电商网站的离线数据分析，且支持通过DataV大屏展示分析后的业务指标数据。概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标...
扫描量版本与CU版本的差异
当您 开通云原生数据湖分析服务（DLA）后，根据您实际的使用场景，您可以选择扫描量版本或者CU版本。DLA Presto引擎既支持扫描量版本也支持CU版本，DLA Spark只支持CU版本。扫描量版本 DLA默认版本，适用于查询频率低、查询数据量较小的...
什么是EMR Serverless StarRocks
使用数据湖的优势在于可以使用开放的存储格式和灵活多变的Schema定义方式，可以让BI、AI、AdHoc、报表等业务维持在统一的单点身份可信（Single Source of Truth），而StarRocks作为数据湖的计算引擎，可以充分发挥向量化引擎和CBO（Cost ...
数据下载
在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
产品优势
数据共享 Databricks数据洞察采用数据湖分析的架构设计，使用阿里云对象存储服务（OSS）为核心存储，直接读取分析OSS的数据，无需对数据做二次迁移，实现数据在多引擎之间的共享。icmsDocProps={'productMethod':'created','language':'zh-...
管理数据
企业管理员使用数据域可以基于业务属性、组织架构、数据特征等维度对数据资产进行分类管理。通过将拥有共同属性的数据资产集中到同一个数据域中，管理员可以高效管理数据资产及资产中的敏感数据。本文介绍首次使用数据域功能的具体操作。...
- 产品推荐
- 这些文档可能帮助您