基于Delta lake的一站式数据湖构建与分析实战
2.统一元数据服务 对象存储本身是没有面向大数据分析的语义的，需要结合Hive Metastore Service等元数据服务为上层各种分析引擎提供数据的Meta信息。数据湖计算与分析 相比于数据仓库，数据湖以更开放的方式对接多种不同的计算引擎，如传统...
Flink VVP+DLF数据入湖与分析实践
背景信息 阿里云实时计算Flink版是一套基于Apache Flink构建的实时大数据分析平台，支持多种数据源和结果表类型。Flink任务可以利用数据湖统一存储的优势，使用Hudi结果表或Iceberg结果表，将作业的结果输出到数据湖中，实现数据湖分析。在...
冷热分层
更多介绍请参见 结构化大数据分析平台设计、面向海量数据的极致成本优化-云HBase的一体化冷热分离 和 云上如何做冷热数据分离。冷热数据 数据按照实际访问的频率可以分为热数据、温数据和冷数据。其中冷数据的数据量较大，很少被访问，甚至...
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
文档修订记录
订阅成功后，账单数据会定时同步至MaxCompute，您可使用DataWorks的数据分析功能查询并分析账单数据，将分析结果生成可视化图表卡片及报告，同时，也可将您的阿里云消费分析报告分享给其他用户。账单数据订阅及查询分析 2024.2.21 新增功能...
读写Elasticsearch数据
云原生数据湖分析DLA（Data Lake Analytics）中支持接入Elasticsearch，通过标准SQL语句读取Elasticsearch中的数据，从而实现Elasticsearch中的数据与其他数据源的数据联合查询等业务需求。本文档主要介绍了DLA读写Elasticsearch数据的操作...
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
在大数据平台中集成Tair
常见大数据分析平台集成 Tair 的方法如下：大数据开发治理平台DataWorks：请参见 配置Redis Writer插件。说明 Tair 完全兼容Redis，您可以参考该文档配置 Tair 实例信息，但暂不支持接入 Tair 自研的扩展数据结构。实时计算Flink版：请参见...
基于MaxCompute进行大数据BI分析
方案介绍 基于MaxCompute进行大数据BI分析的流程如下：通过数据集成同步业务数据和日志数据至MaxCompute。通过MaxCompute、DataWorks对数据进行ETL处理。同步处理后的结果数据至AnalyticDB MySQL。通过Quick BI可视化建立用户画像。方案...
MaxFrame概述
处理数据量大、处理逻辑复杂，需要基于MaxCompute海量数据及弹性计算资源、MaxFrame分布式能力进行大规模数据分析、处理及数据挖掘，提高开发效率。面向Data+AI开发，需要依赖第三方或自定义镜像完成数据开发、模型开发等整体流程。支持的...
账单数据订阅及查询分析
您可在用户中心订阅不同类型的账单数据，例如，计费项明细账单、计费项账单按天汇总等。订阅成功后，账单数据将会定时同步至MaxCompute，您...相关文档 大数据分析工具的常见问题和解决方法，详情请参见 大数据分析工具的常见问题和解决方法。
基于混合负载的查询优化
传统数仓方案，通过组合多套数据库与大数据产品，利用各自不同的优势来解决不同的分析场景，带来的问题就是整个数据冗余，同时管理多个异构系统的代价。完备数据仓库，首要解决的问题包括：如何更好的支持数据库场景下的交互式分析以及大...
Quick BI如何接入TSDB
Quick BI是一个基于云计算致力于大数据高效分析与展现的轻量级自助BI工具服务平台。通过对数据源的连接和数据集的创建，对数据进行即时的分析与查询；通过电子表格或仪表板功能，以拖拽的方式进行数据的可视化呈现。连入成功后，您可以在...
Quick引擎概述
“慢”虽然只是一种难以精确定义的体感，但想要解决以上问题，就需要BI产品拥有很强的大数据处理架构和能力，可以横向扩展支持不断增长的数据量和计算任务。Quick引擎架构在数据源和数据集之间，用来处理上层数据作品发送到数据集最终下放...
创建实例
通过创建StarRocks实例，您可以快速获取一个托管的且高性能的环境，无需自行搭建和维护基础设施，轻松进行大规模数据分析和查询。操作步骤 进入EMR Serverless StarRocks实例列表页面。登录 E-MapReduce控制台。在左侧导航栏，选择 EMR ...
产品和业务限制
分析型数据库MySQL版支持云监控，用户可以通过配置磁盘监控告警，为监控项设置合理的报警规则和通知方式。一旦发生磁盘异常便会立刻为您发出报警通知，让您及时知晓磁盘水位并管理磁盘空间，保证业务正常运行。和Oracle、MySQL关系型数据库...
背景信息以及准备工作
或者对存储在 阿里云对象存储服务（Object Storage Service，简称 OSS）、表格存储（Table Store）上的大数据进行分析之后，通过DLA把结果数据回写到MongoDB，供前台业务使用。前提条件 使用DLA读写MongoDB数据前，您需要通过以下操作在...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
JindoFS实战演示
Impala如何高效查询OSS数据 Impala如何高效查询OSS数据 2021-06-08 Apache Impala是一个开源的大数据查询分析引擎，能够快速查询分析存储在Hadoop集群的PB级数据。如果您已将HDFS数据迁移至OSS中，可通过在Impala中使用JindoFS SDK，高效...
数据分析整体趋势
Hadoop也在早期的MapReduce接口基础上增加了SQL接口，SQL语法逐渐成为大数据分析系统的标准配置。随着AWS，Azure，Alibaba，Google等云厂商的出现，云原生分布式数据仓库成为目前数据分析技术的主要解决方案，代表性云服务包括Amazon ...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA...具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志数据分析与应用。
应用案例
您可以在GitHub上获取时空数据分析的典型案例，以便快速熟悉DLA Ganos的各项功能。栅格代数运算 栅格代数运算是指使用数学运算符对栅格数据进行加减乘除等代数计算的操作。例如，您可以应用简单的数学运算（例如加法或乘法）来更新栅格像元...
创建StarRocks数据源
背景信息 StarRocks是一款高性能分析数据库，支持实时、多维和高度并发的数据分析。StarRocks具有高度可扩展性、可用性且易于维护。它在OLAP场景提供多种支持，例如实时分析、即席查询、数据湖分析等。更多详情可参考 StarRocks官网。权限...
创建StarRocks数据源
背景信息 StarRocks是一款高性能分析数据库，支持实时、多维和高度并发的数据分析。StarRocks具有高度可扩展性、可用性且易于维护。它在OLAP场景提供多种支持，例如实时分析、即席查询、数据湖分析等。更多详情可参考 StarRocks官网。权限...
全景视角
数据使用视角：在数据分析、发布或使用数据服务等数据使用场景下，建议您使用数据使用视角，关注查看数据使用过程中，浏览、访问过的表列表、拥有权限的数据服务等方面的情况。详情请参见：数据使用视角。数据生产视角：在数据开发场景下，...
什么是Quick BI
Quick BI是一款全场景数据消费式的BI平台，秉承 全场景消费数据，让业务决策触手可及 的使命，通过智能的数据分析和可视化能力帮助企业构建数据分析系统，您可以使用Quick BI制作漂亮的仪表板、格式复杂的电子表格、酷炫的大屏、有分析思路...
开发管控：管理者
控制某用户不允许进入数据分析，则请勿为该用户赋予数据分析师角色权限。控制某用户可创建节点并编辑代码、创建表、创建函数等，可仅赋予该用户开发角色权限。空间级模块权限管控 强制代码评审 用于保障代码正确性。该功能开启后，开发人员...
Quick BI v4.0版本说明
面向一线业务人员，以表格形式提供拖拽式的表格分析能力，让懂业务的人自助实现数据分析。移动端应用升级 推出企业微信无缝对接；提升移动端交互体验，类目分类可见范围灵活配置，实现千人千面的移动端看数体验。数据建模配置全面提升 数据...
功能简介
同时，随着数据量剧增，在海量数据中快速发现高质量的洞察报告，需要花费大量时间进行数据分析，从而才有可能提取有效知识。为了将业务人员从重复、无效的分析工作释放出来，并通过智能化的能力帮助业务管理者、运营、业务分析师等人员高效...
数仓规划概述
使用DataWorks进行数据建模时，数仓架构师或者模型小组成员可以在数仓规划页面对数据分层、业务分类、数据域、业务过程、数据集市、主题域进行设计。完成设计后，模型设计师在建模过程中可以依赖数仓规划中的数据分层、业务分类、数据域、...
应用场景
极大提高看数据的效率 与内部系统集成，可结合进行数据分析，极大提高看数据的效率。统一系统入口 解决员工使用多系统的麻烦，利于使用与控制。推荐搭配使用 RDS+Quick BI 交易数据权限管控 数据对某支付平台的每个城市经理来说都至关重要...
规格及选型
案例四：自动驾驶企业 用户为自动驾驶领域企业，需要基于车采数据进行地理位置和时序的采集数据分析，要求对JSON格式的友好兼容和时空数据的分析能力，构建业务看板并支持特征工程。建议：使用 AnalyticDB PostgreSQL版 存储弹性模式，实例...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
事件分析
固定时段」可以在日历框中直接选择起始日期，点击确认后就会选取当前时间范围，进行数据分析（固定时段无时间段范围限制）。查看分析图表 设置完查询条件并点击「开始分析」后，可查看分析结果。图表样式支持以「折线」、「柱图」、「排行...
管理数据集
在 数据集 管理页面，根据业务需要，选择数据分析方式，申请使用数据集权限。数据分析支持即席分析、仪表板和电子表格三种方式，您可以申请一种或多种方式。在 申请权限 页面，选择审批人 并填写 申请理由 后，单击 提交申请。协同授权 ...
低成本历史库
大数据生态 无缝对接Spark、Hive、Flink、Presto等开源大数据生态产品，支持API访问和文件读取等多种对接方式，简单高效满足用户海量数据分析需求。典型应用 用户交易记录通过App写入MySQL，LTS将MySQL中实时同步到Lindorm，近三个月状态...
低成本RDS历史库
大数据生态 无缝对接Spark、Hive、Flink、Presto等开源大数据生态产品，支持API访问和文件读取等多种对接方式，简单高效满足用户海量数据分析需求。典型应用 用户交易记录通过App写入MySQL，LTS将MySQL中实时同步到Lindorm，近三个月状态...
应用场景：低成本历史库
大数据生态 无缝对接Spark、Hive、Flink、Presto等开源大数据生态产品，支持API访问和文件读取等多种对接方式，简单高效满足用户海量数据分析需求。典型应用 用户交易记录通过APP写入MySQL，LTS将MySQL中实时同步到Lindorm，近三个月状态...
Github实时数据同步与分析
最终效果如下：（可选）历史离线数据分析 实时数仓Hologres与大数据计算服务MaxCompute深度融合，可以组成一体化的大数据查询与分析架构。在MaxCompute公共数据集中，存储了历史GitHub全量数据。如果想要做更长时间的数据分析，有两种方式...
数据治理中心概述
量化评估：健康分 健康分是依据数据资产在数据生产、数据流通及数据管理中的用户行为、数据特性、任务性质等元数据，使用数据处理及机器学习等技术，对各类型数据进行综合处理和评估，通过个人、工作空间维度客观呈现数据资产状态的综合...
- 产品推荐
- 这些文档可能帮助您