基于MaxCompute进行大数据BI分析
Quick BI：对处理后的数据进行报表制作，实现数据可视化展示及分析，详情请参见 什么是Quick BI。应用场景 互联网行业、电商、游戏行业等网站、App、小程序应用内的BI分析场景。各类网站的BI分析场景。方案介绍 基于MaxCompute进行大数据BI...
分析数据
DataWorks的电子表格为您提供丰富、便捷的数据分析操作，其操作与Office Excel高度一致，大大降低您的学习成本。前提条件 已创建并导入数据至电子表格。详情请参见 创建电子表格 和 导入数据至电子表格。背景信息 您可以在电子表格的编辑...
创建StarRocks数据源
背景信息 StarRocks是一款高性能分析数据库，支持实时、多维和高度并发的数据分析。StarRocks具有高度可扩展性、可用性且易于维护。它在OLAP场景提供多种支持，例如实时分析、即席查询、数据湖分析等。更多详情可参考 StarRocks官网。权限...
应用场景
您可以通过DTS提供的数据订阅，将深耦合业务优化为通过实时消息通知实现的异步耦合，让核心业务逻辑更简单可靠，具体调整为：该场景中，买家下单系统只要完成下单操作，就直接返回，底层通过DTS的数据订阅实时获取订单系统的变更数据，业务...
通用数据开发
数据收集与存储：您需要同步不同业务系统的数据至MaxCompute中，方可通过MaxCompute的海量数据存储与处理能力分析已有的数据。DataWorks提供数据集成服务，可以支持多种数据源类型，根据预设的调度周期同步业务系统的数据至MaxCompute。...
应用场景
大数据分析：可对接Storm、Spark等实时数据处理引擎，亦可对接Hadoop等离线数据仓库系统。日志聚合 许多公司，例如淘宝、天猫等，每天都会产生大量的日志（一般为流式数据，例如搜索引擎PV、查询等）。相较于以日志为中心的系统，例如...
快捷入口
最近分析 登录 可视分析创作间，在 开始 页的 最近分析 模块下，可以直接查看和编辑最近分析的数据集。我的卡片 登录 可视分析创作间，在 开始 页的 我的卡片 模块下，可以直接查看和编辑通过最近分析的数据集智能生成的卡片。我的作品 ...
创建数仓分层
各个分层的功能介绍如下：数据引入层 ODS（Operational Data Store）ODS层用于接收并处理需要存储至数据仓库系统的原始数据，其数据表的结构与原始数据所在的数据系统中的表结构一致，是数据仓库的数据准备区。ODS层对原始数据的操作具体...
行业趋势与背景
数据库系统是一切应用软件的数据处理及交换核心，是所有基础软件进行数据存储、查询、分析处理的中心。数据库系统运行性能是否高效稳定、接口语言是否通用，直接决定了上层应用能否给用户提供好的性能，同时直接影响开发人员效率。根据全球...
Quick BI数据可视化
Quick BI支持连接 云数据库 SelectDB 版 实例，连接成功后，您可以在Quick BI上进行数据的分析与展示。本文为您介绍如何为Quick BI添加 云数据库 SelectDB 版 数据源。前提条件 已为 云数据库 SelectDB 版 实例 申请公网地址。具体操作，请...
数据加工过程卡点校验
本文为您介绍在线或离线业务系统的数据在生成过程中进行的卡点校验。在线系统卡点校验 在线业务系统产生的数据是数据仓库的重要数据来源。在线业务系统复杂多变，每次变更都会产生数据的变化。因此，数据仓库需要适应多变的业务发展，及时...
快速开始
DataV-Card可视分析创作间是一款面向高频数据处理的业务人员、零代码的数据可视分析产品，提供简单、直观、易于使用的数据准备、洞察发现、可视化分析工具，通过具象、生动、有趣的方式快速理解数据，让更多用户能便捷高效地利用数据可视化...
数据查询
为了方便您获取HexCode编码字符，集群管理系统的数据查询页面提供了转换工具。在集群管理系统的左侧导航栏中，选择 数据查询>SQL执行器。在 namespace 下拉列表中选择命名空间，页面右侧会自动显示该命名空间中的表。获取HexCode编码字符...
分析业务过程
分析完企业的工作职责范围（部门）后，借助工具通过逆向工程抽取业务系统的真实模型。您可以参考业务规划设计文档和业务运行（开发、设计、变更等）相关文档，从以下几方面分析数据仓库涉及的源系统及业务管理系统：每个业务会生成哪些数据...
分析业务过程
在分析企业的工作职责范围（部门）后，您也可以借助工具通过逆向工程抽取业务系统的真实模型。您可以参考业务规划设计文档以及业务运行（开发、设计、变更等）相关文档，全面分析数据仓库涉及的源系统及业务管理系统：每个业务会生成哪些...
分析业务过程
在分析企业的工作职责范围（部门）后，您也可以借助工具通过逆向工程抽取业务系统的真实模型。您可以参考业务规划设计文档以及业务运行（开发、设计、变更等）相关文档，全面分析数据仓库涉及的源系统及业务管理系统：每个业务会生成哪些...
保险行业解决方案与案例
也是信创工作中的重点和难点，因此该公司以数据库替代作为信创工作的切入点和突破口，计划用一年时间完成所有系统的数据库信创替代，根据实际情况逐步分步实施，利用 PolarDB PostgreSQL版（兼容Oracle）充分发挥高度兼容原生产数据库的...
管理RAM账号
云原生数据湖分析DLA使用的系统策略如下：AliyunDLAFullAccess：管理DLA的权限，包括对DLA中所有资源的所有操作权限。AliyunDLADeveloperAccess：开发者权限，与AliyunDLAFullAccess策略相比，不授予虚拟集群的创建、修改、释放等操作权限...
产品概述
StarRocks作为一款兼容MySQL协议的OLAP分析引擎，提供了极致的性能和丰富的OLAP场景模型，包括OLAP多维分析、数据湖分析、高并发查询以及实时数据分析。关于EMR Serverless的更多介绍，请参见 什么是EMR Serverless StarRocks。产品架构 ...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
情绪分析
情绪分类：系统根据情绪将全部通话分为三类，其中负面情绪即在通话过程中表现消极的数据，正面情绪即在通话过程中表现积极的数据，中立情绪即在通话过程中没有明显情绪波动的数据。同时由于中立情绪数据量相对较多，默认只展示负面和正面...
产品简介
StarRocks作为一款兼容MySQL协议的OLAP分析引擎，提供了极致的性能和丰富的OLAP场景模型，包括OLAP多维分析、数据湖分析、高并发查询以及实时数据分析。关于EMR Serverless的更多介绍，请参见 什么是EMR Serverless StarRocks。产品架构 ...
性能测试工具-Shell
可以将测试结果复制到Excel、Numbers等数据分析软件中做进一步对比分析。CSV文件结果如图所示：常见问题 如果测试中遇到错误退出，请检查如下事项：JAVA_HOME是否正确设置，是否安装了Python运行环境。被测集群地址是否填写正确。被测集群...
用户画像分析概述
数据链路 依托Hologres通常只需要维护一套数据链路即可实现实时、离线的数据处理，避免常见的数据不同步、数据孤岛等问题，如下图所示。Hologres 数据集成能力方面的主要优势如下。无缝集成DataWorks产品，通过接入配置即可解决复杂数据...
DataWorks On EMR使用说明
环境准备 一、资源准备 类别 描述 相关文档 版本选择 DataWorks基础版服务可满足EMR基本的数据上云、数据开发与调度生产、简单的数据治理工作，若需获取更专业的数据治理、数据安全解决方案，可选择相应的 标准版、专业版、企业版 服务。...
监控分析平台对比
监控分析平台需要解决的数据问题 运维和SRE团队为了保证业务稳定和支持业务发展，需要对大量的数据进行采集和分析，包括机器硬件、网络指标、用户行为等多方面的数据。在完成数据采集后，还需要有一套合适的系统进行转换、存储、处理、分析...
容量规划
确定系统所需的硬件设备、软件配置和网络带宽等资源，以满足系统的性能和可用性要求。容量测试和验证：根据容量规划的结果，进行容量测试和验证。通过模拟真实的负载情况，测试系统在高负载下的性能和资源消耗情况，以验证容量规划的准确性...
使用流程
说明 如果您使用系统默认的扫描量版本来进行数据分析与计算，则无需创建虚拟集群，可以跳过此步骤。CU版与扫描量版的具体差异，请参见 扫描量版本与CU版本的差异。构建数据湖：您可以通过以下多种方式来构建数据湖。例如：手工上传文件到...
列存索引技术架构介绍
在处理大数据量下复杂查询所需要的能力方面，如优化器处理子查询的能力、高性能算子HashJoin、SQL并行执行能力等，MySQL社区一直将其放在比较低优先级上，因此，MySQL的数据分析能力提升进展缓慢。随着MySQL发展为世界上最为流行的开源数据...
仪表盘
仪表盘是 数据管理DMS 数据分析的其中一种可视化应用类型，其提供自动布局和可交互能力，您可以通过使用仪表盘来进行数据分析和制作可视化报表。本文介绍仪表盘的基本概念、功能展示及操作步骤。基本概念 仪表盘集合：仪表盘集合是用户管理...
Sentieon
软件功能 基因分析平台集成了Sentieon所有软件的功能，包括Sentieon® DNASeq®,TNseq®,and TNscope® 系列，可以支持如下常见的分析场景：Alignment Sentieon® BWA matches BWA-MEM with>2X speedup.Germline SNV/INDEL Variant Calling...
性能测试工具-图形工具
您可以将数据结果复制到Excel或者Numbers等数据分析软件中做进一步对比分析。CSV文件结果如图所示。常见问题 如果测试中遇到错误退出，请检查如下事项：Java和Python是否安装，版本是否正确。被测实例地址以及必填配置是否填写正确。被测...
创建集群
数据分析（OLAP）：将海量数据通过导入或者外表等形式引入到OLAP分析引擎里，例如，ClickHouse、StarRocks，提供高效、实时和灵活的数据分析能力，满足用户画像、人群圈选、BI报表和业务分析等一系列的业务场景。实时数据流（DataFlow）：...
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
政务云迁移实践
迁移需求背景 政府单位将系统迁移至阿里云电子政务云平台时，常见的迁移需求包括：存储，备份，灾备，网络，防火墙，IDS等等，迁移完成后业务能快速迁移到新平台，并在新平台上稳定运行。概括迁移需求，可分为以下三种形式：数据迁移 数据...
应用画像
应用画像功能针对单个应用进行多维度分析，输出应用画像分析报告，包括对应用的软件栈、系统信息、对象详情、SQL和调用栈等的评估分析。新建应用画像 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>异构数据库迁移（ADAM...
Hudi概述
近实时数据分析 Hudi支持多种数据分析引擎，包括Hive、Spark、Presto和Impala。Hudi作为一种文件格式，不需要依赖额外的服务进程，在使用上也更加的轻量化。增量数据处理 Hudi支持Incremental Query查询类型，您可以通过Spark Streaming...
应用场景
实时通道 通过数据总线，业务数据能够实时汇入大数据系统，缩短数据分析周期。2.实时数据清洗和分析 2.1 接入多种异构数据，实时清洗并归一化 通过数据总线和实时计算，您可以把多种数据源的异构数据实时清洗成统一的结构化数据，为进一步...
访问数据分析功能
本文介绍访问数据分析功能的三种方式。通过顶部菜单栏直接进入数据可视化 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据应用>数据分析。通过数据库的SQL窗口进入数据可视化 登录 数据管理DMS 5.0。在顶部菜单栏中，...
PolarDB死锁
背景信息 死锁是关系型数据库系统中最为常见的错误，出现在不同事务中同时对某些数据访问加锁时，都要等待对方请求中的数据而无法获取锁。数据库系统会自动牺牲回滚代价最小的事务，从而导致对应的写请求失败。更严重的情况是在大量死锁...
- 产品推荐
- 这些文档可能帮助您