如何处理Tair集群数据倾斜
本文介绍如何确认是否存在数据倾斜，以及导致数据倾斜的原因和处理方法。同时，本文也适用于排查标准架构内存使用率、CPU使用率、带宽使用率和延迟等性能指标高的问题。如何确认是否存在数据倾斜 使用 实例诊断 功能（推荐），一键排查当前...
如何处理Redis集群数据倾斜
本文介绍如何确认是否存在数据倾斜，以及导致数据倾斜的原因和处理方法。同时，本文也适用于排查标准架构内存使用率、CPU使用率、带宽使用率和延迟等性能指标高的问题。如何确认是否存在数据倾斜 使用 实例诊断 功能（推荐），一键排查当前...
使用场景
业务流程自动化 结合DMS任务编排的调度和依赖管理功能，可以实现业务流程的自动化处理，提高工作效率和数据处理的准确性。数据治理与数据管控 DMS任务编排提供了数据源的配置和管理功能，支持对数据源进行统一管理和控制，保证数据的安全性...
如何对JSON类型进行高效分析
PolarDB IMCI采用精简二进制方式存储JSON列存数据，且使用RapidJSON库解析JSON数据，处理过程中按需读取数据且利用列存压缩技术等有效减少IO量，同时充分利用SIMD和向量化及并行等加速运算。以实际测试数据为例展示列存中JSON用法及其行列...
功能更新动态（2022年之前）
2021年08月 功能名称 功能描述 发布时间 发布地域 相关文档 产品计费：策略优化及数据处理单元规格拓展 同步任务和集成任务对应的数据处理单元由1:1修改为3:1，且前200个集成任务免费，进一步降低数据上云成本。同时，手动任务、汇总逻辑表...
什么是ETL
在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字化转型。为什么选择ETL ETL支持通过DAG模式和Flink SQL模式配置任务。DAG模式 可视化处理编辑：ETL任务界面当前提供三种组件（输入/维表、转换...
流式ETL
在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字化转型。为什么选择ETL ETL支持通过DAG模式和Flink SQL模式配置任务。DAG模式 可视化处理编辑：ETL任务界面当前提供三种组件（输入/维表、转换...
数据开发概述
Basic 项目绑定了 Prod 数据板块，则系统不支持 规范建模 功能，仅支持 数据处理 和 即席查询 功能。Dev 项目支持 规范建模、数据处理 和 即席查询 功能。Prod 项目支持 规范建模 和 数据处理 功能。数据开发入口 在Dataphin首页，单击顶部...
文档更新动态（2022年之前）
新增说明 用户角色和权限 2021年08月 更新时间 特性 描述 类别 产品文档 2021年08月24日 产品计费策略：优化 同步任务和集成任务对应的数据处理单元由1:1修改为3:1，且前200个集成任务免费，进一步降低数据上云成本。同时，手动任务、汇总...
数据开发概述
Basic 项目绑定了 Prod 数据板块，则系统不支持 规范建模 功能，仅支持 数据处理 和 即席查询 功能。Dev 项目支持 规范建模、数据处理 和 即席查询 功能。Prod 项目支持 规范建模 和 数据处理 功能。智能编辑器：Dataphin代码编辑器不仅...
产品优势
通过资源组分时弹性和按需弹性，在数据分析和数据处理之间实现计算资源倾斜，提高资源利用率，降低资源成本。湖仓版（3.0）支持体验一体化。通过统一 计费单位、统一元数据和 权限、统一开发语言、统一传输链路，提升开发效率。Serverless ...
什么是Databricks数据洞察
Spark Streaming 实时数据处理和分析，可以用写批处理作业的方式写流式作业。支持Java、Scala和Python语言。MLlib 可扩展的机器学习库，包含了许多常用的算法和工具包。GraphX Spark用于图和图并行计算的API。Spark Core API 支持R、SQL、...
功能特性
支持多种任务类型 任务类型包括数据迁移、数据同步、数据加工等，满足不同的数据处理需求。支持任务调度的管理和监控 可设置任务的调度策略，包括定时调度、触发条件调度等，保证准时执行任务。支持任务之间的依赖关系配置 可以设置任务的...
产品简介
企业智能搜索：以PaaS服务形式提供离线数据处理和搜索服务API。同时支持公有云、专有云、基于云原生的基础架构下混合云、私有化方式输出。从相关性到认知智能，将语义、知识融入搜索过程和结果，提供高效、高准确率的搜索服务产品。一 NLP...
产品简介
产品简介 阿里巴巴通义实验室千寻搜索算法，基于达摩院长期积累的自然语言处理技术，专注企业统一搜索场景，提供精准的多源异构搜索，以PaaS服务形式提供离线数据处理和搜索服务API。同时支持公有云、专有云、基于云原生的基础架构下混合云...
产品系列
资源分离：弹性模式下，CPU和内存资源被分为计算资源和数据资源，计算资源用于数据处理和计算统计运算；数据资源用于数据写入和查询时的数据读取。支持单独购买计算资源和数据资源，方便您深入分析资源瓶颈，精确扩缩容，降低成本。哪些...
数据标准概述
统一、标准的数据指标体系为各主题的数据分析提供支持，提升数据处理和分析效率，提供业务指标的 事前提示、事中预警、事后提醒，实现数据驱动管理，让决策者快速获取决策信息。前提条件 已购买 数据标准 增值服务并且当前租户已开通 数据...
导出结构和数据
导出对象信息 显示该任务中用户选择的对象在导出数据时的完成情况，包括 对象名称、对象类型、结构处理状态、实际处理数 和 数据处理状态 等信息。任务流程 在目标任务的任务详情面板中，单击 任务流程 标签查看 发起任务、审批 和 执行 ...
实例选型和集群规划
Segment节点数量：采用MPP架构，数据处理能力随实例节点数量增加而线性增长，保证数据量增加而响应RT时间不变。可以参照原始数据量及应用场景，选择适合的实例节点数。存储类型：ESSD：可以提供更好的I/O能力，带来更高的分析性能，适用于...
MySQL分库分表同步至MaxCompute
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
MySQL分库分表同步至MaxCompute
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
MySQL分库分表同步至Hologres（方案1.0）
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
功能特性
在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字化转型 功能集 功能 功能描述 参考文档 读写分离与分流 TP实时缓存 支持将MySQL数据库（例如自建MySQL或RDS MySQL）迁移至云原生内存数据库Tair...
EMR Workbench
EMR Workflow 工作流设计：通过可视化界面设计和管理数据处理流程。任务调度：支持定时执行任务，自动化复杂的工作流程。依赖管理：自动处理工作流中任务间的依赖关系。监控与日志：实时监控工作流执行状态，记录详细的日志信息。快速入门 ...
Transaction Table2.0概述
更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案，本文为您介绍本方案可解决的业务痛点和主要架构功能。现状分析 当前典型...
数据标准概述
通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化生产，节约后续数据应用和处理的成本。应用场景 DataWorks的数据标准包含 字段标准、标准代码、度量单位、...
典型场景
ETL离线数据处理 面对复杂SQL优化和海量数据大规模聚合分析等挑战，云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势：支持标准SQL、OLAP窗口函数和存储过程。ORCA分布式SQL优化器，复杂查询免调优。MPP多节点全并行计算，PB级数据...
应用场景
前端的监控系统和大数据处理系统会利用 TSDB 的数据查询和计算分析能力进行业务监控和分析结果的实时展现。电力化工及工业制造监控分析 传统电力化工以及工业制造行业需要通过实时的监控系统进行设备状态检测，故障发现以及业务趋势分析。...
FineBI
您可以通过FineBI连接 云原生数据仓库AnalyticDB MySQL版，以可视化的形式帮助您进行多样数据管理，例如过滤、分组汇总、新增列、字段设置、排序等，极大的提升了数据整合的便利性和效率。前提条件 了解FineBI与 AnalyticDB MySQL版 之间的...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
什么是云原生多模数据库Lindorm
本文介绍 云原生多模数据库 Lindorm 的...流引擎 云原生多模数据库 Lindorm 流引擎是 面向流式数据处理 的引擎，提供了流式数据的存储和轻计算功能，帮助您轻松实现流式数据存储至 云原生多模数据库 Lindorm，构建基于流式数据的处理和应用。
版本发布记录
本文介绍云原生数据湖分析DLA的产品功能动态。2021年6月 类别 功能点 描述 相关文档 集群管理 监控报警 Spark集群支持监控报警。...接入MNS和ONS消息系统 接入MNS和ONS消息系统，能够极大提升数据湖数据处理扭转和业务集成的便利性。
Iceberg概述
而Iceberg简化了工作流程，整个数据处理过程是一条完整的、可靠的实时流，其数据的清洗、转换和特征化等操作都是流上的节点动作，无需处理历史数据和实时数据。此外，Iceberg还支持原生的Python SDK，对于机器学习算法的开发者非常友好。
2024年
本文为您介绍了MaxCompute 2024年内容更新的最新动态，基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更，提升项目开发效率。MaxCompute的重要功能发布记录请参见 产品重大更新。2024年03月更新记录 时间 特性 类别 ...
引擎类型
流引擎是面向流式数据处理的引擎，提供了流式数据的存储和轻计算功能，帮助您轻松实现将流式数据存储至 云原生多模数据库 Lindorm，满足基于流式数据的处理和应用需求。结合宽表引擎的Ganos时空服务，可以实现基于流式数据的实时轨迹分析...
概述
逻辑节点可以帮助您设置组件和组件、组件和变量或变量和变量之间的交互逻辑，实现看板内所有元素的交互。本文介绍在蓝图编辑器中，如何...各节点的使用方法以及参数详情，请分别参见 全局管理、流程控制、数据处理、设备输入 和 工具方法。
新建数据处理任务
系统提供数据处理能力，包括倾斜数据处理、地形数据处理、三维模型处理、影像优化处理。本文以新建倾斜数据处理任务为例，介绍如何新建数据处理任务。前提条件 已添加空间元数据，具体操作，请参见 添加数据。已添加OSS类型云计算资源。...
产品架构
流引擎 LindormStream 是面向流式数据处理的引擎，提供了流式数据的存储和轻计算功能，兼容Kafka API和Flink SQL，帮助业务基于Lindorm快速构建基于流式数据的处理和应用。LindormStream内部包含流存储、流计算两大组件，通过两者的一体化...
查看资源用量大盘
资源用量大盘为您展示当前租户下已使用的数据处理单元总量和按任务类型分别统计的消耗趋势以及按项目粒度统计的消耗增量排行，帮助您了解数据处理单元的消耗情况以及时调整资源规格配置。本文为您介绍如何查看资源用量大盘。前提条件 需...
实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、...
- 产品推荐
- 这些文档可能帮助您