大数据实时计算性能调优服务
从客情来看，实时计算性能调优需求迫切，比如国家电网用采信息数据量大，及时性高，业务逻辑复杂，急切需要搭建实时数仓，但缺少实时计算的落地经验，急切需要实时计算服务人员协助客户搭建实时任务，完善实时数仓。从客户价值来看，从实际...
常用参数调优
本文为您介绍Taildir Source、File Channel和HDFS Sink配置中的一些常用参数调优。Taildir Source 参数 描述 filegroups 将一个目录拆分为多个，增加Source读取并发。batchSize 默认值为100。一次性读取数据行数，适当调大该参数值可以提高...
Hive作业调优
作业调优方案 作业调优方向 调优方案 参数调优 内存参数 CPU参数 Task数量优化 并行运行 Fetch task 开启向量化 合并小文件 代码优化 代码优化 代码优化 数据清洗 读取表时分区过滤，避免全表扫描。数据过滤之后再JOIN。重复使用数据时，...
HDFS Balancer
本文通过为您介绍如何使用HDFS Balancer工具以及Balancer的主要调优参数。使用HDFS Balancer 方式一：使用HDFS Balancer命令 HDFS Balancer命令语句如下。hdfs balancer[-threshold][-policy][-exclude[-f|]][-include[-f|]][-source[-f|]]...
MaxCompute作业概述
作业优化：SQL调优。数据开发作业实践：使用MaxCompute分析IP来源最佳实践、PyODPS节点实现结巴中文分词 等。数据类型 MaxCompute数据开发支持三个数据类型版本：1.0数据类型版本、MaxCompute 2.0推出了兼容开源主流产品的 2.0数据类型版本...
数据模型概述
数据模型（Data Model）是数据特征的抽象，它从抽象层次上描述了系统的静态特征、动态行为和约束条件，为数据库系统的信息表示与操作提供一个抽象的框架...说明 Hadoop的MR调优参数属于底层，DDM是数据建模工具，支持设置表、字段等物理属性。
概述
您可以在 分析查询 的基础上，对检索出的慢查询或资源消耗大的查询进行调优。性能调优需要结合目标查询的执行计划数、统计指标以及诊断结果来完成，其中 SQL自诊断 功能可以对SQL查询的Query、Stage和算子（Operator）级别的信息分别进行...
公共数据集成（调试）资源组
本文为您介绍公共数据集成（调试）资源组相关问题。公共数据集成（调试）资源组怎么收费？公共数据集成（调试）资源组...公共数据集成（调试）资源组不支持离线同步任务向导模式调整内存大小，如果需要内存性能调优请使用独享数据集成资源组。
文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
数据导入性能优化
通用外表导入数据调优 检查分布键 分布键决定着数据导入的一级分区，每个表在导入时以一级分区为粒度并发导入。当数据分布不均匀时，导入数据较多的一级分区将成为长尾节点，影响整个导入任务的性能，因此要求导入时数据均匀分布。如何选择...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
数据导入性能优化
通用外表导入数据调优 检查分布键 分布键决定着数据导入的一级分区，每个表在导入时以一级分区为粒度并发导入。当数据分布不均匀时，导入数据较多的一级分区将成为长尾节点，影响整个导入任务的性能，因此要求导入时数据均匀分布。如何选择...
区域图（v4.0及以上版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
基本折线图（v4.0及以上版本）
基本折线图是折线图的一种，与双轴折线图相比，基本折线图的一个类目只对应一个值，主要通过多系列数据配置的方式，展示同一类目下不同数据的变化，能够以折线和区域相结合的方式，智能地展示多维的数据变化趋势。本文介绍基本折线图各配置...
产品简介
深度巡检：基于阿里云大数据产品，提供深层次的诊断与咨询建议，如实例参数配置调优、计算/存储资源优化、稳定性风险排查与解决策略等服务，从而提升大数据平台的稳定性与使用率。预案演练：帮助客户在阿里云大数据平台上进行核心业务无损...
使用执行计划分析查询
Stage[1]），即可在右侧查看对应Stage的 诊断结果 详情，包括如下两类诊断：Stage诊断：这类诊断结果包含了对目标Stage诊断结果的详细说明，包括诊断出的问题（如存在较大的数据量被广播或数据倾斜）以及对应的调优方案。算子诊断：这类...
配置自动调优
Flink作业支持智能调优和定时调优两种自动调优模式。本文为您介绍如何配置智能调优和定时调优，以及配置过程中的注意事项。背景信息 通常，您需要花费大量的时间进行作业调优。例如，新上线一个作业时，需要考虑如何配置该作业的资源、并发...
Query级别诊断结果
找到扫描数据量较大的表扫描算子后，您可以考虑如下方式进行调优：在查询中增加AND过滤条件。调整已有的过滤条件，减少过滤后的数据量。检查是否存在没有下推的过滤条件。若存在，请参见 过滤条件没有下推 中的建议进行优化。
SQL调优思路
本文介绍多种SQL调优的思路。缺少索引 索引缺失，通过执行计划发现SQL没有使用索引，查询效率低，创建索引后性能提升。示例如下：添加索引前 添加索引后 最优执行计划 执行计划并非最优执行计划，SQL执行时间未达到预期速度，通过执行计划...
模型调优
模型调优 模型调优是通过Fine-tuning训练模式提高模型效果的功能模块，作为重要的大模型效果优化方式，用户可以通过构建符合业务场景任务的训练集，调整参数训练模型，训练模型学习业务数据和业务逻辑，最终提高在业务场景中的模型效果。...
什么是AutoML
比如模型有多个超参，有些超参是整型，有些是浮点型，此时超参调优无法通过手工来完成，通过暴力搜索需要消耗非常大的计算资源，这需要引入自动化的系统来完成这项工作。AutoML服务中的HPO功能，正是帮助用户实现自动超参调优的目标。...
问题分析方法论
实例问题分析的基本方法论是寻找性能瓶颈，即哪种资源的消耗最多，什么原因导致该种资源消耗较多，并持续将问题做细粒度拆解。...通用的调优思路，即通过数据库的等待事件，判断瓶颈资源，再根据具体资源进一步做原因定位。
问题分析方法论
实例问题分析的基本方法论是寻找性能瓶颈，即哪种资源的消耗最多，什么原因导致该种资源消耗较多，并持续将问题做细粒度拆解。...通用的调优思路，即通过数据库的等待事件，判断瓶颈资源，再根据具体资源进一步做原因定位。
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
库表结构优化
本功能持续收集SQL查询的性能指标及其使用到的数据表、索引等信息，并进行算法统计分析，自动给出调优建议，减少用户手动调优的负担。背景信息 随着各类数据分析业务的丰富和发展，数据库所承载的查询数量和复杂度持续增加。库表结构的设计...
离线同步任务调优
另一方面，考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成同时提供了限速选项，您可以按照实际情况调优配置（建议选择限速之后，最高速度上限不应超过30 MB/s）。脚本模式通过如下示例代码配置限速，代表1 MB/s的传输带...
性能调优
通过DLA查询Tablestore数据时，可以在SQL中加入Hint对数据查询性能进行调优。DLA是分布式计算系统，系统对每个Tablestore表按照一定的规则进行分片（split），各个分片之间相互不重合，计算层并行执行这些分片，从而提高计算并行度。指定...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
写入或更新调优指南
当您Hologres的表数据写入或更新的性能无法达到业务预期时，可根据本文提供的写入瓶颈判断方法分析其具体原因（上游数据读取较慢，或达到了Hologres的资源瓶颈等），从而选择合适的调优手段，帮助业务实现更高的数据写入和更新性能。...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
测试分析及调优
本文通过编写性能测试分析及调优的相关流程和方法，帮助研发人员、性能测试人员或者运维人员快速地进行性能测试、瓶颈定位及调优。系统的性能是由很多因素决定的，本文很难面面俱到，但是可以作为分析系统性能的一个指导。适用对象和范围 ...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
应用场景
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
如何开启模型训练
超参配置 企业可以通过参数配置来影响模型调优的过程，从而影响模型调优的效果，不同的参数配置训练的结果不同，一般建议使用默认配置。开始训练 预览你的训练配置，准备开始训练，开始训练将进入队列，可在模型管理列表刷新状态，同时，可...
- 产品推荐
- 这些文档可能帮助您