大数据分析工具的常见问题和解决方法
概述 大数据分析是阿里云用户中心与DataWorks和MaxCompute联合推出的成本分析工具，提供大数据分析能力，解决因账单过大而导致无法分析的问题，当前仍处于灰度期间。在使用大数据分析时可能会碰到DataWorks或MaxCompute的权限问题，您可以...
关于我们
阿里云隐私计算产品是源于阿里集团内部数据安全流通的最新解决方案和实践，所以她的提出是基于解决实际的数据安全问题和大数据场景需要，这就决定了她的基因里面就是贴身于实际产业应用。目前团队中拥有全职博士4名，研究型密码学博士实习...
实时同步常见问题
写端延迟大 目标数据库性能、负载等问题 当数据库负载较高时，单一的调整同步任务并发并不能解决问题，您需要联系数据库管理员寻求相关帮助。读写端延迟大 使用公网同步，网络问题导致同步任务延迟。公网同步无法保障实时同步时效性，建议...
运行失败
可以尝试使用MaxCompute的SQL UDF过滤出doc表和query表中的问题数据。多类目情况下，某个类目doc数目为0，query数目不为0导致的jni调用异常 报错信息 解决方法 这种情况被认为是用户输入问题，在设计时发现这样的情况时通过报错终止来提示...
任务运行成功没有数据
本文汇总介绍任务执行成功没有数据的相关问题。场景一：节点状态成功，有执行日志 场景二：节点状态成功，无执行日志 场景一：节点状态成功，有执行日志 节点运行完成说明节点里面的逻辑完成了，但是周期实例自动调度时，节点没有取到上游...
常见问题
以下为您介绍实时同步数据至Hologres操作失败的常见问题和解决方案。PolarDB数据源网络联通性测试失败怎么办？Oracle数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：...
补数据
本文为您介绍补数据的相关问题。补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况...
ROUND函数精度问题案例
解决措施 如果需要保证手工输入数据的精度，可以通过 CAST 函数将手工输入的数据转换为DECIMAL类型，DECIMAL类型不会存在精度问题。命令示例如下。当 set odps.sql.hive.compatible=false;时：select round(cast(0.25375 as decimal),4);...
等待资源
解决措施：检查日志（任务配置）中concurrent参数值，如果并发任务设置过大，需根据机器支持的最大并发数与当前同时消耗的并发数配置任务并发。如果单个任务并发设置超过了机器支持的最大并发数，请将这些并发任务全部停掉，修改任务并发数...
SparkSQL自适应执行
解决问题 SparkSQL自适应执行解决以下问题：Shuffle partition个数 目前SparkSQL中reduce阶段的task个数取决于固定参数 spark.sql.shuffle.partition（默认值200），一个作业一旦设置了该参数，运行过程中的所有阶段的reduce个数都是同一个...
任务运行失败
本文汇总介绍任务运行失败的相关问题。通用参考 已配置失败重跑的任务在运行失败后未重跑，并报错 Task Run Timed Out，Killed by System！任务执行报错OSError:[Errno 7]Argument list too long.MaxCompute类型节点 ODPS-0420095:Access ...
Python SDK常见问题
这一操作需要较大的时间开销，同时过多的文件会降低后续的查询效率，还可能造成服务端内存不足。因此，建议在使用 write_table()方法时，一次性写入多组数据或者传入一个Generator对象。使用 write_table()方法示例请参见 写入表数据。open...
Kafka常见问题
本文介绍使用Kafka时可能遇到的问题及解决方法。如何清理Kafka组件输出日志 如何清理Kafka-Manager服务输出日志 是否可以停止Kafka-Manager服务 报错“ERROR:Wile executing topic command:Replication factor:1 larger than available ...
与标准SQL的主要区别及解决方法
本文为您列举MaxCompute SQL与标准SQL的区别及常见问题解决方法。MaxCompute SQL与标准SQL的基本区别 主要区别 问题现象 解决方法 应用场景 不支持事务（不支持Commit和Rollback，不推荐使用INSERT INTO）。建议代码具备幂等性，支持重新...
常见问题
查看当前Reduce Task中Reduce Input bytes和Reduce shuffle bytes的信息，如果比其他的Task处理的数据量大很多，则说明出现了倾斜问题。如何预估Hive作业并发量的上限值？Hive作业并发量与HiveServer2的内存以及master实例个数有关系。您...
常见问题
如果以上方法还是无法解决您的问题，请 购买 专家服务 处理。报错提示Memory limit(for total)exceeded时，该如何处理？问题原因：内存超过了server可使用的总内存。处理方法：在EMR控制台ClickHouse服务的 配置 页面，单击 server-config ...
数据治理
数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游？哪些类型的Hive表支持在数据地图中预览？数据保护伞 数据保护伞为什么有时候查询脱敏有时候查询不脱敏 为什么数据地图数据总览页存储量和存储趋势图相差较...
大数据用户画像解决方案
进入互联网，特别是移动互联网时代，用户随时随地都会在...多维度&复杂查询：原生全局二级索引、Lindorm Search满足多维度查询需求 方案详情&专家服务 解决方案详情参见：基于Lindorm的大数据用户画像解决方案 任何问题，欢迎联系 技术支持。
其他问题
本文汇总介绍运维中心其他常见问题。任务与实例 周期任务与周期实例、补数据实例、测试实例是什么关系？资源组 日志和实例保留多长时间？为什么不能在调度资源组上进行大数据计算？其他 如何设置任务优先级？如何查看任务优先级？周期任务...
账单数据订阅及查询分析
您可在用户中心订阅不同类型的账单数据，例如，计费项明细账单、计费项账单按天汇总等。订阅成功后，账单数据将会定时同步至MaxCompute，您...相关文档 大数据分析工具的常见问题和解决方法，详情请参见 大数据分析工具的常见问题和解决方法。
资源组操作及网络连通
如果以上排查无法解决问题，请执行下述命令重启服务。su-admin/home/admin/alisatasknode/target/alisatasknode/bin/serverctl restart 如何查看资源组对外IP，以便用于加白放行？如果您使用独享数据集成资源组走公网同步数据，请在数据库...
任务冻结与解冻
本文介绍冻结解冻的相关问题。冻结周期任务和周期实例的影响 冻结周期任务对补数据、测试操作产生的实例影响 冻结的实例解冻后如何重新运行？为什么做了冻结操作，任务还是执行？如何查看哪些用户对任务做过哪些操作？冻结周期任务和周期...
下线节点
本文汇总介绍下线节点的相关问题。如何下线节点 如何确认生产任务已下线成功？如何恢复已下线节点 报错：请先在发布中心把文件${filename}发布到生产环境或在发布中心取消发布 报错：节点存在子节点，导致任务删除或下线失败 如何下线节点 ...
场景：节点孤立
本文为您介绍什么是孤立节点，节点孤立的原因及解决方法。什么是孤立节点？孤立节点指节点在 周期任务 或 周期实例 处展开父节点时，没有依赖任何父节点，这类型节点在自动调度时不会被调起，所以孤立节点不会自动调度运行，如果该孤立节点...
任务实例状态异常
本文为您介绍实例异常排查的相关问题。运维中心周期任务没有找到该任务 有周期任务，但是周期实例一个都没有 有周期任务，有其他周期实例，但是这个任务没有产生周期实例 有周期任务，有周期实例但未运行 任务运行必须满足的条件有哪些？运...
常见问题
造成服务不稳定的情况可能有很多，最常见的情况是znode数量过大或者snapshot过大，由于ZooKeeper将所有的znode维护在内存中，并且需要在节点间进行数据同步，因此过大的znode数量或者容量会对服务稳定性造成影响。ZooKeeper的定位是一个...
常见问题
本文汇总了Flume使用时的常见问题。Hive日志数量少于实际日志数量？终止Flume进程时出现DeadLock报错，如何处理？如何处理强制退出后，FileChannel偶发性异常？Hive日志数量少于实际日志数量？问题现象：通过Flume将日志写入Hive，发现Hive...
权限问题
本文为您介绍权限问题导致任务不能正常执行的报错信息及解决方法。Project Owner常见赋权脚本如下：方法1:直接赋权 use project_xxx;使用某project，开发环境带_dev后缀 grant CreateResource to user_xxx@aliyun.com;阿里云子账号-方法2：...
常见问题
Spark 1.6之前版本存在内存泄漏的问题，会导致Container被中止掉。检查自己的代码在内存使用上有没有做好优化。为什么Spark Streaming作业已经结束，但是E-MapReduce控制台显示作业状态还处于“运行中”？检查作业提交方式是否为Yarn-...
JindoSDK访问OSS出现NoSuchUpload问题
本文介绍JindoSDK访问OSS出现NoSuchUpload问题的原因和解决方案。...问题原因 当在EMR集群中遇到NoSuchUpload异常时，通常是因为多个并发作业在相同目录上进行操作，或者在某个...说明 使用Direct Committer可能会引入数据一致性和完整性的问题。
基于Delta lake的一站式数据湖构建与分析实战
这些数据湖格式有自己的数据meta管理能力，能够支持Update、Delete等操作，以批流一体的方式解决了大数据场景下数据实时更新的问题。数据湖构建与管理 1.数据入湖 企业的原始数据存在于多种数据库或存储系统，如关系数据库MySQL、日志系统...
操作审计
本文汇总介绍操作审计的相关问题。如何获取界面一些操作审计日志，比如界面下载数据操作？重要数据如何通过事前设置来获得事后溯源能力？MaxCompute表权限的权限审计 表数据，节点删除如何恢复？如何进行节点版本对比与版本回滚？如何获取...
通过脚本模式配置离线同步任务
以保护读取端数据库，避免抽取速度过大，给源库造成太大的压力。限速最小配置为1MB/S。说明 throttle设置为true时，您还需要设置 mbps（同步速率）参数。false：不限流。在不限流的情况下，任务将在所配置的并发数的限制基础上，提供现有...
时空引擎版本发布记录
Bug修复 Geometry SQL 修复 ST_AsHMT 函数部分多边形数据裁减结果不正确的问题。Raster SQL 修复 ST_MosaicFrom 函数在波段数大于3时造成的波段缺失问题。Trajectory SQL 修复 ST_lcsSimilarity 函数无法处理单点轨迹的问题。6.2 新特性 ...
时空数据库版本发布记录
缺陷修复 Geometry SQL 修复 ST_AsHMT 函数部分多边形数据裁减结果不正确的问题。Raster SQL 修复 ST_MosaicFrom 函数在波段数大于3时造成的波段缺失问题。Trajectory SQL 修复 ST_lcsSimilarity 函数无法处理单点轨迹的问题。Utility SQL ...
时空数据库版本发布记录
缺陷修复 Geometry SQL 修复 ST_AsHMT 函数部分多边形数据裁减结果不正确的问题。Raster SQL 修复 ST_MosaicFrom 函数在波段数大于3时造成的波段缺失问题。Trajectory SQL 修复 ST_lcsSimilarity 函数无法处理单点轨迹的问题。Utility SQL ...
T+1多库合并建仓
上述方案可解决因数据量大而导致的用户体验问题，但在对分库分表数据进行大数据分析时，逻辑上的一个表被拆成了多张表，由于没有类似TDDL中间件来屏蔽物理表的拆分，进行数据分析时变得十分复杂。解决方案 T+1多库合并建仓是指通过DLA控制...
其他运维常见问题
本文为您介绍对MaxCompute项目、作业运维过程中的其他常见问题。问题类别 常见问题 项目运维 如何删除已经创建的MaxCompute项目？如何查看某个MaxCompute项目及每张数据表所使用的磁盘空间？如何查看某个用户在项目中的操作历史记录？如何...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
敏感数据保护概览
自动识别企业敏感数据和对敏感数据进行分类分级，解决企业资产中的敏感数据及时发现、有效管理的问题。内置和自定义分类分级模板，完善业务精细化分类管理模型，可以使用最小授权原则管理敏感数据。敏感数据脱敏管理。通过内置和自定义的...
- 产品推荐
- 这些文档可能帮助您