Serverless Presto概述
因此它采用全内存流水线化的执行引擎，相较于其它引擎会把中间数据落盘的执行方式，Presto在执行速度上有很大的优势，特别适合用来做Adhoc查询、BI分析、轻量级ETL等数据分析工作。阿里云数据湖分析团队在Presto之上又进行了很多的优化，...
发展历程
深度参与和推动全球大数据领域标准化建设 MaxCompute代表阿里巴巴计算平台，成为国际TPC（Transaction Processing Performance Council）委员会大数据评测标准BigBench的委员会委员，是中国担任此国际性能标准化测试组织委员的唯一企业。...
管理数据集
说明 DMS数据分析在SQL执行成功后，会基于各个字段的SQL数据类型和执行结果数据推测出合适的数据集模型，即区分字段是维度还是度量，因此在SQL执行成功后，您可以对数据类型和可视化类型进行验证和调整（如将字段数据类型调整为国家、省份...
通过任务编排实现跨库数据同步
在数据仓库中将数据加工后，还需要把加工结果同步回在线库中，以便于在线应用提供相关的数据分析和统计服务。操作步骤 准备工作。新增跨库Spark任务。配置跨库Spark任务。发布跨库Spark任务。准备工作 在MySQL数据库中创建订单表、商品表和...
基础常问类问题
它不仅是面向业务人员的数据分析工具，也是数据化运营的助推器，更是解决大数据应用“最后一公里”的神器。针对只用过Excel，想要迁移到Quick BI的人群，有哪些入门文档？请参见 入门概述 和 业务背景介绍和快速连接数据源。控制台上案列...
游戏运营融合分析
降低使用成本：DLA融合冷数据分析+ADB存储密集型温数据分析+ADB计算密集型热数据分析，在满足各种分析场景需求的同时，有效地降低客户的总体使用成本。学习成本低：Data Lake Analytics（简称DLA）和ADB兼容标准SQL语法，无需额外学习其他...
热力图
跳转 当需要分析的数据存在于多个大屏、仪表板时，您可以通过仪表板跳转，把多个仪表板关联起来，进行数据分析。跳转包含 参数跳转 和 外部链接 两种方式，具体设置方法请参见 跳转设置。图层事件 开启链接跳转 图层事件中可以选择 开启...
公交出行：启迪公交
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务...实时和汇总大数据分析系统，支持公交领导产生更加快速有效的业务决策。
色彩地图
联动 当需要分析的数据存在于不同的图表中，您可以通过图表联动，把多个图表 关联 起来，形成联动进行数据分析。具体设置请参见 联动设置。跳转 当需要分析的数据存在于多个大屏、仪表板时，您可以通过跳转，把多个报表关联起来，进行数据...
管理数据集
在 数据集 管理页面，根据业务需要，选择数据分析方式，申请使用数据集权限。数据分析支持即席分析、仪表板和电子表格三种方式，您可以申请一种或多种方式。在 申请权限 页面，选择审批人 并填写 申请理由 后，单击 提交申请。协同授权 ...
概述
如果使用自建开源大数据生态体系，例如Hive、Spark等，需要专门的大数据工程师来操作和运维，且操作流程也不像使用MySQL一样简单，成本极高。解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
T+1多库合并建仓
上述方案可解决因数据量大而导致的用户体验问题，但在对分库分表数据进行大数据分析时，逻辑上的一个表被拆成了多张表，由于没有类似TDDL中间件来屏蔽物理表的拆分，进行数据分析时变得十分复杂。解决方案 T+1多库合并建仓是指通过DLA控制...
Napatech案例
Lindorm支持海量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与各类大数据平台集成，完成数据的大规模离线分析。基于Lindorm的解决方案，用户在采用到100Gbps+流量产生的大量数据包元数据直接通过...
符号地图
联动 当需要分析的数据存在于不同的图表中，您可以通过图表联动，把多个图表 关联 起来，形成联动进行数据分析。具体设置请参见 联动设置。跳转 当需要分析的数据存在于多个大屏、仪表板时，您可以通过跳转，把多个报表关联起来，进行数据...
阶段二：数据安全防护措施及策略增强建设
场景三：数据可用而不可见 在数据分析场景下，若非特殊情况，数据分析师通常不需要查询明细数据；在数据开发、测试场景下，开发人员在生产环境中导出数据进行开发或测试时，不展示明细数据时也不会影响开发工作。为避免数据分析师、开发...
使用平台公共应用
基因分析平台的 应用仓库 提供了不同研究领域和分类的公共应用，这些都是权威的、经过验证的行业最佳实践，并且提供了常见的运行参数，真正的帮助用户实现开箱即用的基因数据分析。浏览公共应用 用户可以通过关键字搜索、按照研究领域和...
气泡地图
联动 当需要分析的数据存在于不同的图表中，您可以通过图表联动，把多个图表 关联 起来，形成联动进行数据分析。具体设置请参见 联动设置。跳转 当需要分析的数据存在于多个大屏、仪表板时，您可以通过跳转，把多个报表关联起来，进行数据...
支持的云服务
日志数据采集后，需要更多的个性化分析、挖掘，您可以通过DataWorks的数据集成将日志服务数据同步到MaxCompute，通过MaxCompute对日志数据进行个性化、深层次的数据分析、挖掘。更多SLS信息，请参见 日志服务SLS。访问控制RAM RAM是阿里云...
上海新能源汽车车辆基础数据
数据分析结果有服务化的需求，需要回流到在线存储。解决方案 Lindorm历经阿里众多核心服务的大规模验证，拥有相关技术领域的技术团队，保障了使用过程的持续稳定、可靠，构建起坚实的离在线存储底座，使得客户可以聚焦于业务侧的发展。...
如何进行时间段分析
在数据分析中经常遇到按照时间段分析的需求，例如想统计一天0-24小时内，每小时区间的销售额情况，创建柱图分析对比。此时仅仅精确到日的日期维度已不能满足需求，需要创建一个时间字段来分析。下面分情况举例：数据准备 找到表company_...
访问数据分析功能
本文介绍访问数据分析功能的三种方式。通过顶部菜单栏直接进入数据可视化 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据应用>数据分析。通过数据库的SQL窗口进入数据可视化 登录 数据管理DMS 5.0。在顶部菜单栏中，...
SLS的OSS投递数据源
业务场景 企业会把服务日志、行为日志等数据存储在日志服务SLS中，当数据量较大时，可以通过投递的方式把全量数据归档到OSS。以前这些数据不可进行分析计算，使用DLA的元信息发现功能，能够一键构建数据湖的元数据，接入DLA的统一数据分析...
趋势分析表
趋势分析表由趋势分析图和趋势分析明细表组成，您可以通过趋势分析图查看指标的宏观趋势，然后通过趋势分析表查看指标详情，帮助您更好的分析决策。本文为您介绍如何为趋势分析表添加数据...对比指标 您可以同时选中多个指标，进行数据分析。
规格及选型
案例四：自动驾驶企业 用户为自动驾驶领域企业，需要基于车采数据进行地理位置和时序的采集数据分析，要求对JSON格式的友好兼容和时空数据的分析能力，构建业务看板并支持特征工程。建议：使用 AnalyticDB PostgreSQL版 存储弹性模式，实例...
数据科学计算概述
PyODPS DataFrame提供了很多pandas-like的接口，但扩展了它的语法，比如增加了MapReduce API来扩展以适应大数据环境。内置聚合、排序、去重、采样、可视化绘图等常用函数。Mars 在Python生态中，有NumPy、Pandas、Scikit-Learn等丰富的科学...
库表结构优化
背景信息 随着各类数据分析业务的丰富和发展，数据库所承载的查询数量和复杂度持续增加。库表结构的设计和优化对数据库整体使用成本和查询性能的影响尤其显著。要做好库表结构设计和优化，用户通常需要关注以下信息：数据库引擎架构 用户...
权限自查建议
随着项目的不断演进，人员的权限也会更新迭代，您需要及时审视人员权限合理性，提升项目数据安全。本文为您介绍权限查询要点，并提供调整建议供参考。背景信息 在项目创建初期，为了提升业务处理效率，通常在用户和权限管理上相对宽松。...
一键建仓
背景信息 传统创建数据仓库的方法为：通过离线脚本将数据周期性地从源数据库采集至数据仓库，再进行ETL开发，这种方法的时间性较差，通常需要T+1天才能看到数据分析报表，且技术成本较高。数据管理DMS提供的一键建仓功能结合DTS同步链路和...
多维分析表
多维分析表是一种更复杂且灵活的数据分析方式，它可以从多个维度对数据进行切片，以便从不同角度深入洞察数据间的关联。本文为您介绍如何为多维分析表添加数据并配置样式。前提条件 已完成数据建模，数据集必须包含日期字段，且日期字段为...
RDS SQL Server空间不足问题
RDS SQL Server实例的空间使用率是日常需要重点关注的监控项之一，实例的存储空间不足，会导致严重后果，例如数据库无法写入、数据库无法备份、存储空间扩容任务耗时过长等。本文介绍如何查看空间使用情况以及排查空间问题。查看空间使用...
离线同步数据质量排查
没有合理的节点依赖 数据同步任务和数据分析任务没有配置合理的节点依赖，但是有数据依赖，比如下游使用max_pt找到MaxCompute的最大分区并读取分区的数据，但是最大分区对应的数据同步任务还未完成。上下游节点要建立节点依赖，避免使用max...
应用场景
云数据库MongoDB版支持单节点、副本集和分片集群三种部署架构，具备安全审计、时间点备份等多项企业能力。在互联网、物联网、游戏、金融等...大数据应用：使用云数据库MongoDB作为大数据的云存储系统，随时进行数据提取分析，掌握行业动态。
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
玫瑰图
图表高级配置 名称 说明 联动 当需要分析的数据存在于不同的图表，您可以通过图表联动，把多个图表关联起来，形成联动进行数据分析。具体设置请参见 联动。跳转 当需要分析的数据存在于多个仪表板时，您可以通过仪表板跳转，把多个仪表板...
分析实例简介
构建实时数仓成本太高，公司留给数据分析的预算有限，只能默默忍受越来越长的卡顿时间，殊不知在无限的忍受中公司错过了很多机会。为解决上述问题，您可以在RDS MySQL控制台上创建一个分析实例。分析实例的复杂分析性能约为RDS MySQL实例的...
选型配置说明
E-MapReduce配置选型不仅要考虑企业大数据使用场景、估算数据量、服务可靠性要求，还应该考虑企业预算。大数据使用场景 E-MapReduce各集群的场景和核心组件如下表。说明 具体各集群类型支持的组件以控制台实际展示为准。集群类型 场景介绍 ...
技术发展趋势
规模爆炸性增长 随着8K、5G、IoT、大数据、AI等系列技术的发展，数据量迎来了爆发式增长。IDC在《Data Age 2025》的报告中预测，从2018年到2025年，全球数据将从33ZB急速增长到175ZB，比2016年产生的数据量增加了十倍。这表明注重数据价值...
无感数据集成（Zero-ETL）
AnalyticDB for MySQL 提供无感集成（Zero-ETL）功能，可以帮助您一站式完成数据同步和管理，实现事务处理和数据分析一体化，专注于数据分析业务。公测时间 2024年4月22号到6月30。公测地域 华北2（北京）、华东1（杭州）、华东2（上海）、...
- 产品推荐
- 这些文档可能帮助您