通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
应用场景
前端的监控系统和大数据处理系统会利用 TSDB 的数据查询和计算分析能力进行业务监控和分析结果的实时展现。电力化工及工业制造监控分析 传统电力化工以及工业制造行业需要通过实时的监控系统进行设备状态检测，故障发现以及业务趋势分析。...
应用场景
1.2 收益 系统解耦 对外，大数据系统与业务系统解耦，对内，大数据系统各组件之间解耦。实时通道 通过数据总线，业务数据能够实时汇入大数据系统，缩短数据分析周期。2.实时数据清洗和分析 2.1 接入多种异构数据，实时清洗并归一化 通过...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
功能特性
在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字化转型 功能集 功能 功能描述 参考文档 读写分离与分流 TP实时缓存 支持将MySQL数据库（例如自建MySQL或RDS MySQL）迁移至云原生内存数据库Tair...
数据标准
因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准化中起到重要作用。数据标准落标说明 数据标准落标的意义在于从源头进行数据的标准化生产，加速数据的融合与统一的效率，节省大量数据应用和处理的成本。完成...
配置学区地图单选框交互
将 公办 的 串行数据处理 节点分别与 公办小学点 的 显示 动作和 民办小学 的 隐藏 动作连线。将 民办 的 串行数据处理 节点分别与 公办小学点 的 隐藏 动作和 民办小学 的 显示 动作连线。最终的连线效果如下。使用同样的方式对 初中 节点...
配置学区地图单选框交互
将 公办 的 串行数据处理 节点分别与 公办小学点 的 显示 动作和 民办小学 的 隐藏 动作连线。将 民办 的 串行数据处理 节点分别与 公办小学点 的 隐藏 动作和 民办小学 的 显示 动作连线。最终的连线效果如下。使用同样的方式对 初中 节点...
配置学区地图区域热力层交互
将 公办初中 的 鼠标移入区域触发 事件分别与上一步中添加的五个 串行数据处理 节点连线。连线完成后的结果如下图所示。配置 串行数据处理 节点。右键单击名称为 logo 的 串行数据处理 节点，进入右侧 配置面板，选择面板内 其他配置 栏...
配置学区地图区域热力层交互
将 公办初中 的 鼠标移入区域触发 事件分别与上一步中添加的五个 串行数据处理 节点连线。连线完成后的结果如下图所示。配置 串行数据处理 节点。右键单击名称为 logo 的 串行数据处理 节点，进入右侧 配置面板，选择面板内 其他配置 栏...
产品优势
AnalyticDB MySQL版 提供融合数据库、大数据技术于一体的云原生企业级数据仓库服务，高度兼容MySQL，支持毫秒级更新，亚秒级查询。无论是数据湖中的非结构化或半结构化数据，还是数据库中的结构化数据，您都可使用 AnalyticDB MySQL 构建...
Transaction Table2.0概述
针对这些问题近几年大数据开源生态也推出了各种解决方案，最流行的就是Spark/Flink/Presto开源数据处理引擎，深度集成开源数据湖Hudi、Delta Lake和Iceberg三剑客，践行统一的计算引擎和统一的数据存储思想来综合提供解决方案，解决Lamdba...
未来规划
数据处理与分析：海量数据分析在线化（实时在线交互式分析）。如何对海量数据进行在线分析和计算，支持实时在线交互式分析，需要做并行处理（DSP 模型、MPP 模型等等），对并行调度计算进行优化。系统能力提升：智能化+安全（使用方便可靠...
亿海蓝-航运大数据的可视化案例
——亿海蓝CTO 客户简介 亿海蓝是中国的航运大数据公司，做为中国最大的AIS数据服务运营商，发展目标是通过大数据技术推动全球航运物流与互联网的融合，加速航运产业转型升级。亿海蓝目前已为全球上百万行业用户提供数据服务，客户涵盖港口...
创建达梦（DM）数据源
达梦（DM）数据库吸收借鉴当前先进新技术思想与主流数据库产品的优点，融合了分布式、弹性计算与云计算的优势，具有灵活性、易用性、可靠性、高安全性等特点。如果您使用的是达梦（DM），在导出Dataphin数据至达梦（DM），您需要先完成达梦...
创建达梦（DM）数据源
达梦（DM）数据库吸收借鉴当前先进新技术思想与主流数据库产品的优点，融合了分布式、弹性计算与云计算的优势，具有灵活性、易用性、可靠性、高安全性等特点。如果您使用的是达梦（DM），在导出Dataphin数据至达梦（DM），您需要先完成达梦...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
技术面临的挑战与革新
分布式事务与集中式事务的优劣 事务处理是数据库保证ACID语义的核心功能，因为数据库系统需要处理大量的并发事务，为了保证并发事务能够尽可能高效的并发执行而又互不干扰，发展出若干种技术，比如多版本并发处理(MVCC)，乐观并发处理(OCC)...
数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
产品简介
主要包括：大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶培训、专家运维保障综合服务、AI算法建模咨询、AI算法方案POC、AI标注人力服务等。阿里云大数据专家服务在金融、电商、...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
公共规范
空值处理原则 汇总类指标的空值：空值处理，填充为零，当前MaxCompute基于列存储的压缩技术不会由于填充大量空值导致存储成本上升。维度属性值为空：在汇总到对应维度上时，对于无法对应的统计事实，记录行会填充为-99（未知），对应维表会...
什么是数据管理DMS
AnalyticDB MySQL版：云原生数据仓库AnalyticDB MySQL版是融合数据库、大数据技术于一体的云原生企业级数据仓库服务。AnalyticDB MySQL版支持高吞吐的数据实时增删改、低延时地实时分析复杂ETL（Extract Transform Load），兼容上下游生态...
什么是EMR Serverless StarRocks
简化ETL流程与数据处理：StarRocks的物化视图能够替代传统的ETL建模流程。您无需在上游应用中进行数据转换操作，便可以直接在使用物化视图的过程中实现数据的转换与加工，简化了数据处理流程。数据湖分析 StarRocks不仅能高效地分析本地...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
IO加速
背景 RDS PostgreSQL在数据处理过程中，数据会从磁盘读取到内存，在内存中处理完成后，数据再从内存写入到磁盘中。与内存操作相比，磁盘IO操作运行速度较慢，将会消耗更多的时间。当业务出现大规模数据读写或频繁数据读写请求时，磁盘IO...
租户设置
资源使用说明 总的处理单元规格数和总的质量规则数与客户购买的数据处理单元和规则配额有关。详情请参见 查看资源使用情况。新建租户 使用超级管理员或系统管理员账号，登录元仓租户。在Dataphin首页，单击顶部菜单栏的 管理中心。在 管理...
减灾与应急时空解决方案与案例
公司主营OpenRIS灾害风险大数据平台提供了海量灾害数据的快速地图展示、统计查询、切割下载、上传数据定制化在线分析等功能，实现了灾害数据与模型一体化云服务。在数据与系统上云过程前，遇到了如下挑战：长期积累的时空数据类型多、数据...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
合规&认证
用户应对业务数据来源、内容及处理数据的合法性负责，请谨慎判断数据来源、内容及处理数据的合法性，依法获得处理此类数据所需的个人同意或政府部门许可、备案或评估。因用户业务数据的来源、内容及对用户业务数据的处理活动违反法律法规、...
FineBI
您可以通过FineBI连接 云原生数据仓库AnalyticDB MySQL版，以可视化的形式帮助您进行多样数据管理，例如过滤、分组汇总、新增列、字段设置、排序等，极大的提升了数据整合的便利性和效率。前提条件 了解FineBI与 AnalyticDB MySQL版 之间的...
影响查询性能的因素
节点数量 AnalyticDB MySQL版 使用了分布式数据处理架构，一条查询会被分解成多个Stage在不同的节点上并行执行。所以如果集群中的节点数量越多，AnalyticDB MySQL版 处理查询的能力也会越强。您可以根据实际的业务需求来决定集群节点的购买...
查看数据处理任务运维信息
您可以通过查看数据处理任务运维信息，快速定位任务失败的原因。本文以倾斜数据处理后为例，介绍如何查看数据处理任务运维信息。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择...
ETL工作流快速体验
通过数据加工处理，并设置调度策略，实现数据处理的自动化，从而向您展示智慧城市项目下数据加工的整个过程。GitHub十大热门编程语言 DataWorks MaxCompute 函数计算 OSS 数据集成 数据开发 基于GitHub Archive公开数据集，通过DataWorks ...
聚合支付方案
借助PolarDB和 AnalyticDB MySQL 的大数据处理能力，决策报表的生成时间从分钟级别降低至秒级，大部分报表可以在10秒内生成，部分特别复杂的报表生成时间为1分钟。业务行为和业务决策平滑对接，决策者可以通过报表数据快速进行业务决策，...
PolarDB HTAP实时数据分析技术解密
其在大数据量上运行复杂查询的性能可以与Oracle、SQL Server等业界商用数据库系统处在同一水平。In-Memory Column Index的技术架构 行列混合的优化器 PolarDB原生有一套面向行存的优化器组件。在引擎层增加列存功能后，此部分需要进行功能...
数据处理
数据处理类节点包括串行数据处理节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。串行数据处理节点 串行数据处理 节点，是使用串行方式来处理一个事件。使用场景：例如，小数0.835要转换成整数百分比83%，可经过：单位转换（83.5...
升级数据库大版本
升级数据库大版本所用时间与数据库的数据量有关，请根据业务情况提前安排升级时间。升级数据库大版本后不支持降级数据库大版本。升级数据库大版本后，低版本的备份数据不能恢复至云数据库MongoDB实例。您可以下载备份文件，将低版本的备份...
- 产品推荐
- 这些文档可能帮助您