添加项目成员
Dev项目角色 对应Prod项目角色 项目管理员 项目管理员 开发者 运维 分析师 数据访问者 普通访客 普通访客 系统支持修改项目中的项目管理员、开发者、运维、分析师和访客角色成员的角色，及支持从项目空间中移除项目管理员、开发者、运维、...
Superset连接数据湖分析
本文主要介绍如何使用Superset连接DLA进行数据分析。背景信息 DLA对外暴露的是MySQL的协议，大多数BI工具可以使用MySQL连接器直接连接DLA，由于Superset对于表的定义语句校验严格，同时DLA的建表语句与MySQL的建表语句存在差别，这导致...
2024年
跨地域灾备 2024-02-08 新增镜像管理 新说明 MaxCompute提供镜像管理功能，内置数据分析、科学计算、机器学习（如Pandas、Numpy、Scikit-learn、Xgboost）等各类常用镜像，并已对镜像进行预先加热，您可在SQL UDF、PyODPS开发等场景中直接...
函数概述
聚合函数：聚合函数主要应用于一组数据计算出一个结果 二进制函数：二进制函数 位运算函数：位运算函数 转换函数：尝试隐式转换数值类型和字符类型值到正确的类型 日期和时间函数：日期和时间函数 漏斗数据分析函数：漏斗数据分析函数 地理...
OSS Foreign Table功能概览
OSS Foreign Table（简称OSS FDW）是基于PostgreSQL Foreign Data Wrapper（简称PG FDW）框架开发的用于访问OSS数据的数据分析方案，支持将OSS数据导入至 AnalyticDB PostgreSQL版，且提供分区表功能，在性能、功能以及稳定性上都优于OSS ...
DataWorks on EMR Serverless StarRocks最佳实践
单击左边侧边栏的 系统管理，设置StarRocks类的查询资源组为独享资源组。回到SQL查询页面，在右上角切换引擎类型为StarRocks，并选择数据源，即可编辑查询语句并运行，进行EMR Serverless StarRocks数据分析。数据服务 数据服务支持生成...
应用场景
EMR Serverless Spark不仅集成了任务调度系统，使得您能够便捷地构建与管理数据ETL流程，轻松实现自动化及周期性数据处理，而且还内置了先进的版本控制机制。这一机制确保了开发与生产环境的彻底隔离，确保符合企业级用户在研发和发布流程...
典型场景
多模数据分析 面对多种非结构化数据源的挑战，云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势：支持PostGIS插件扩展，实现地理数据分析处理。通过MADlib插件扩展，内置多种机器学习算法，实现AI Native DB。支持通过向量检索，...
即席分析概述
即席分析面向一线业务人员，以表格形式提供拖拽式的表格分析能力，让懂业务的人自助实现数据分析。即席分析只适用于Quick BI专业版的群工作空间下，个人空间不支持。产品定位 千万级别规模数据量下的低门槛数据探查及分析工具。核心能力 ...
数据可视化展现
在数据分析模块，DataWorks为您提供数据可视化工具，能够将加工后的数据以图表形式直观展示，便于您快速提取关键信息。本文将以场景示例形式，为您介绍如何用DataWorks完成用户画像数据的可视化展示。前提条件 在开始示例前，请确认您已经...
常见术语
数据湖分析 数据湖分析就是针对数据湖数据分析的方案。云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、...
东软案例
如下图所示，阿里Lindorm数据库在赋能政企数字运维团队更强大的运维大数据分析能力的同时，大幅度提升了政府、企业数字系统性能和在线服务的客户数字体验，降低了低价值密度监控数据存储管理成本。图 1.阿里云Lindorm数据库驱动的IT运维...
应用画像
应用画像功能针对单个应用进行多维度分析，输出应用画像分析报告，包括对应用的软件栈、系统信息、对象详情、SQL和调用栈等的评估分析。新建应用画像 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>异构数据库迁移（ADAM...
Kafka实时入湖建仓分析
在 SQL执行 页面，系统已经选中了目标库，您可以直接输入SQL语句进行数据分析。（可选）OSS数据存储管理。在 湖仓列表 页签单击 存储路径 下的OSS路径链接。在OSS控制台查看已经从Kafka数据源同步过来的库表路径以及表文件。数据库路径：/...
保险行业解决方案与案例
数据库系统平台利用多租户管理模式和中心化管理模式支持多业务，实现系统统一管理。PolarDB数据库迁移的总体方案，利用ADAM数据库评估工具和DTS在线数据迁移工具，显著低成本快速迁移。方案优势 选择多租户多系统的集群方式，以业务对技术...
仪表盘
仪表盘是 数据管理DMS 数据分析的其中一种可视化应用类型，其提供自动布局和可交互能力，您可以通过使用仪表盘来进行数据分析和制作可视化报表。本文介绍仪表盘的基本概念、功能展示及操作步骤。基本概念 仪表盘集合：仪表盘集合是用户管理...
DataWorks On Hologres使用说明
DataWorks基于 实时数仓Hologres 轻松构建实时数仓与即席分析系统。Hologres可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发Hologres任务...
SLS的OSS投递数据源
使用DLA的Serverless Spark及Presto引擎能够计算和分析DLA元数据管理的全域数据，可以支持ETL后数据交付、低频全量日志数据分析、日志数据关联DB数据分析等业务场景。操作步骤 登录 Data Lake Analytics管理控制台。在左侧导航栏，单击 ...
全景监控
数据全链路保障是指通过采集数据汇聚、数据融合、数据分析挖掘等阶段的各项任务状态信息，对异常状态进行预警和处置，实现对各任务的实时监控和管理。从应用视角提供平台内跨系统的从数据生产到业务应用的全链路监控能力，其提供的监控端可...
快速配置子账号权限
权限名称 权限说明 AliyunDLAFullAccess 用于数据湖分析的管理员权限，拥有数据湖分析的所有权限，可以执行新建集群、删除集群、提交作业等操作，拥有授权给DLA服务的角色的使用权。AliyunDLAReadOnlyAccess 用于数据湖分析的访客权限，...
功能简介
数据全链路保障是指通过采集数据汇聚、数据融合、数据分析挖掘等阶段的各项任务状态信息，对异常状态进行预警和处置，实现对各任务的实时监控和管理。从应用视角提供平台内跨系统的从数据生产到业务应用的全链路监控能力，其提供的监控端可...
功能简介
数据全链路保障是指通过采集数据汇聚、数据融合、数据分析挖掘等阶段的各项任务状态信息，对异常状态进行预警和处置，实现对各任务的实时监控和管理。从应用视角提供平台内跨系统的从数据生产到业务应用的全链路监控能力，其提供的监控端可...
基本概念
每个项目都是一个数据分析地图，拥有独立的数据源和分析图层。数据源 用户可以在项目中添加数据表，这些数据表可以从已经连接的数据库中选择添加。表类型 项目中支持多种表格类型，每种表格的显示图标都不相同，包括但不限于矢量、栅格、...
产品简介
数据库体验 DLA Ganos基于Spark SQL设计开发了一系列针对空间数据分析的用户API，内置了大量基本时空UDF算子，用户可以像操作关系型数据库那样通过SQL处理海量时空数据，方便灵活。时空数据统一建模 DLA Ganos基于Spark RDD设计开发了统一...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
后续可通过映射的MaxCompute项目对External Project进行数据分析操作。仅MaxCompute项目的所有者（Project Owner）或具备Admin、Super_Administrator角色的用户可以创建External Project。说明 tenant的Super_Administrator角色可以在...
查询报错问题
若SQL自身无法进行优化，但依旧触发该错误，可联系分析型数据库MySQL版技术支持对单个分析型数据库MySQL版的系统默认值进行调整，此操作可能会造成数据库性能下降。查询提示错误 META_COLUMN_NOT_EXIST 在分析型数据库MySQL版表新增字段后...
表结构设计规范
数据管理DMS 提供的表结构设计规范中的字段存在性保障功能，帮助您后续进行数据分析、数据清理等操作。本文介绍通过配置安全规则完成保障字段存在性的操作步骤。前提条件 系统角色为管理员、DBA。查看系统角色的具体方法，请参见 查看我的...
应用场景
运营长图制作 赋能业务人员自助数据分析，仅需上传Excel文件，即可实现数据探查和可视化分析，构建运营指标看板，分享运营效果长图。部门业务总结 基于浏览器操作，零代码零编程，部门业务人员可以对接各种数据源，通过拖拉拽方式定义图表...
DataWorks On MaxCompute使用说明
DataWorks基于 云原生大数据计算服务MaxCompute 轻松构建离线数仓分析系统。MaxCompute可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发...
通过元信息发现功能查询并分析OSS数据
登录 数据湖分析管理控制台，在左侧导航栏单击 数据湖管理>元信息发现。在 元信息发现 页面的 OSS数据源 区域，单击 进入向导。在 OSS数据源 页签的 数据源配置、调度配置、目标元数据配置 区域，根据实际需要进行参数配置。参数配置说明...
Data Copilot智能助手
其结合了 DMS 熟练的数据管理、数据使用能力，可帮助开发、运维、产品、运营、分析师和数据库管理员，更高效、规范地使用和管理数据。本文为您介绍如何使用DMS Data Copilot。功能特性 将自然语言生成规范的SQL，降低SQL编写门槛，提升SQL...
管理数据源权限
本文为您介绍如何管理数据源权限及查看分享的数据源。背景信息 通常数据源会承载数据的具体地址、账户和密码等敏感信息，但普通开发人员仅需要引用数据源进行数据访问。如果数据源中透露过多敏感信息或允许所有人修改数据源，会造成安全...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
安全托管
背景信息 传统的管理数据库方案，需要先获得数据库账号与密码，登录数据库后才能进行其他操作。该方式存在数据库账号、密码泄露的风险，同时多数据库多账号管理较为复杂，用户资源权限管理也较为混乱。为解决传统方案的问题，DMS推出安全...
数据质量管理流程
数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产定级。详情请参见 数据资产定级。在业务系统的数据生成过程中进行卡点校验。详情请参见 离线数据加工卡点校验。对数据风险点进行监控，包括数据的质量...
数据质量管理流程
数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产定级。详情请参见 数据资产定级。在业务系统的数据生成过程中进行卡点校验。详情请参见 离线数据加工卡点。对数据风险点进行监控，包括数据的质量风险...
StarRocks概述
具体的业务场景如下所示：OLAP多维分析 用户行为分析 用户画像、标签分析、圈人 高维业务指标报表 自助式报表平台 业务问题探查分析 跨主题业务分析 财务报表 系统监控分析 实时数仓 电商大促数据分析 教育行业的直播质量分析 物流行业的...
功能特性
查看作业列表 EMR Serverless 功能集 功能 功能描述 参考文档 Serverless StarRocks 实例管理 通过创建StarRocks实例，您可以快速获取一个托管的且高性能的环境，无需自行搭建和维护基础设施，轻松进行大规模数据分析和查询。创建实例 扩缩...
配置仪表盘推送节点
任务编排的仪表盘推送节点通过联动数据分析功能，可以将数据分析的图表直接推送至您（责任人、相关人员）的钉钉、钉钉机器人或邮箱中，免去您前往DMS数据服务查看图表的步骤。本文介绍如何配置仪表盘节点。准备工作 创建并配置仪表盘 登录 ...
数据质量管理流程
数据质量管理是通过划分数据资产等级和分析元数据的应用链路，对不同资产等级的数据采取相对应的质量管理方式。数据质量管理流程图如下。数据管理流程说明如下：分析业务场景，根据应用的影响程度，确定当前以及生产链路上的数据资产等级。...
- 产品推荐
- 这些文档可能帮助您