小文件优化及作业诊断常见问题
问题类别 常见问题 小文件优化 MaxCompute什么情况下会产生小文件？如何解决小文件问题？作业诊断 执行并发插入操作报错，如何处理？运行作业时，报错ODPS-0130121，如何解决？创建的Shell任务执行失败，在ECS服务器执行显示成功，运维中心...
功能发布记录
修复了一定情况下输出文件与设置的segment、duration参数不一致的问题。功能特性 新增自定义转码模板 视频AI费用 2015-08-18 接口：元信息接口更名为媒体信息接口，提供媒体格式信息和音频、视频及字幕流信息。相关接口新增UserData字段，...
数据开发常见问题
组件相关问题：Hive常见问题 Spark常见问题 Sqoop常见问题 作业问题：环境变量过多或者参数值过长时，为什么提交作业失败？为什么Shell作业状态和相关的YARN Application状态不一致？创建作业和执行计划的区别是什么？多个ConsumerID消费同...
Spark FAQ
常见问题 如何处理Spark作业报错：The VirtualCluster's name is invalid or the VirtualCluster's is not in running state？如何处理Spark作业报错：User%s do not have right permission[*]to resource[*]？如何处理Spark作业报错：No ...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
上下游存储
本文为您介绍实时计算Flink版上下游存储方面的常见问题。Kafka源表 Flink如何获取JSON数据？Flink和Kafka网络连通，但Flink无法消费或者写入数据？为什么Kafka源表数据基于Event Time的窗口后，不能输出数据？Flink中的Commit Offset有什么...
数据导入常见问题
本文汇总了StarRocks数据导入的常见问题。通用问题 如何选择导入方式？影响导入性能的因素都有哪些？报错“close index channel failed“或“too many tablet versions”，该如何处理？报错“Label Already Exists”，该如何处理？报错...
数据库实时入仓快速入门
flink-test 存储位置 指定该作业的代码文件所属的文件夹。您还可以在现有文件夹右侧，单击 图标，新建子文件夹。作业草稿 引擎版本 当前作业使用的Flink的引擎版本。引擎版本号含义、版本对应关系和生命周期重要时间点详情请参见 引擎版本...
Spark常见问题
本文为您介绍使用Spark过程中的常见问题。问题类别 常见问题 开发Spark 如何自检项目工程？在DataWorks上运行ODPS Spark节点的步骤是什么？MaxCompute Spark如何在本地进行调试？如何通过Spark访问VPC环境内的服务？如何把JAR包当成资源来...
公告
中国香港、海外地域 2024年04月15日~2024年04月18日 华东1（金融云）、华东2（金融云）2024年04月22日~2024年04月25日 在服务升级期间可能会影响当前正在运行的PyODPS作业，若您遇到独享资源组PyODPS作业失败问题，或其他任何相关问题需要...
OSS数据源
后期将考虑在非压缩文件情况下针对单个Object可以进行多线程并发读取。当指定多个OSS Object时，OSS Reader支持使用多线程进行数据抽取。可以根据具体要求配置线程并发数。当指定通配符时，OSS Reader尝试遍历出多个Object信息。例如配置为...
智能生产制作FAQ
通过阅读本文，您可以了解使用智能生产制作服务时常见的问题及解决方法。目录 视频剪辑时如何将成片输出至VOD中？如何获取合成任务的结果？一个合成任务需要花费多长时间？影响合成耗时的因素？为什么添加转场会缩短成片时长？为什么调用...
写入与查询
本文介绍 AnalyticDB MySQL 中写入与查询的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 AnalyticDB MySQL 数仓版（3.0）。常见问题概览 湖仓版（3.0）集群是否支持通过JDBC方式查询Hudi表的数据？湖仓...
MapReduce常见问题
本文为您介绍在使用MapReduce时的常见问题。问题类别 常见问题 功能咨询 MapReduce的输入源可以是视图吗？MapReduce的结果写入到表或分区时，会覆盖还是追加数据？MapReduce中是否可以调用Shell文件？reduce.setup能否读入输入表？Mapper...
作业运行常见问题
作业运行时长不达预期（作业运行慢），通常由什么原因导致，如何解决？导致MaxCompute作业运行时长不达预期（作业运行慢）的原因通常可分为资源不足、作业问题、模式回退三种：资源不足 对于使用 包年包月 计算资源的作业，可能由于总体...
入门概述
本文介绍从创建到使用CPFS文件系统的全流程，帮助您快速...配置文件系统的ACL权限 基于NFSv4协议的访问控制 常见问题 什么是文件存储CPFS？CPFS的使用场景有哪些？文件存储CPFS支持哪些访问协议？文件系统用于计费的存储容量是如何计算的？
pg_file_settings
在这种情况下，将会有一个或者多个行的 error 域为非空，它们说明了为什么出问题。否则，将尽可能应用每个设置。如果一个设置不能被应用（例如非法值或者该设置不能在服务器开始后改变），会有一个合适的消息存储在它的 error 域中。一个项...
成本分析
可以通过用量记录数趋势查看是否因为作业量突增引起，如果不是，可以通过对比计算使用量趋势判断是用量突增引起，那么再通过作业明细（Instance明细）查看具体作业的用量，从而定位出是什么作业的用量增长带来费用增长。存储用量分析：您...
使用Logview 2.0查看作业运行信息
SQLTask is optimizing query SQL作业优化Query，如果执行计划复杂，优化时间会稍长，但过长可能就是出问题了。SQLTask is splitting data sources SQL作业优化中，切分Data Sources。SQLTask is generating execution plan SQL作业生成...
常见问题
集群配置问题包括：内存参数是否合理、跨集群联通性是否正确、安全集群访问是否通过、principal是否正确等等，作业问题包括作业描述文件格式是否正确、输入数据是否能够正常被解析，以及一些其他的作业相关的配置（例如ioConfig）。问题...
挂载命令参数设置类问题
什么情况会引发网络切换或者后端服务的HA倒换？为什么需要重新挂载？还有没有其他的方案？其他问题 在控制台使用一键挂载功能时，挂载参数怎么填写？我的业务场景需要变更默认挂载参数，应该怎么操作？为什么要使用noresvport参数挂载NAS？...
作业运维（新版）
如果您是数据开发人员，作业运维功能方便您日常查看作业详情，及时发现作业的异常情况和问题，对有问题的作业及时进行处理，例如终止或批量终止作业。如果您是管理员，作业运维功能方便您日常结合配额组查看某时刻的资源负载，合理分配和...
挂载访问FAQ
什么情况会引发网络切换或者后端服务的HA倒换？为什么需要重新挂载？还有没有其他的方案？访问文件 如何排查ECS安全组配置？如何排查NAS权限组规则？极速型NAS自动生成的安全组策略能改吗？为什么云安全产品会对极速型NAS安全组告警高危...
作业智能诊断
Flink Advisor作业智能诊断服务能够帮您监控作业健康状况，分析和诊断错误日志、异常运行和风险情况，并提供可理解和可操作的诊断建议，全面保障您的业务稳定可靠运行。本文为您介绍如何使用作业智能诊断服务。背景信息 Flink Advisor作业...
Logview诊断实践
用户UDF出错，调查步骤 Result>DAG 确定出问题的UDF，查看 StdOut 或 StdError 等报错信息。其他报错，可以参见 文档错误码以及解决方案。分析运行慢作业 编译阶段 作业处于编译阶段的特征是有Logview，但还未执行计划。根据Logview的子...
数据湖管理FAQ
Lakehouse相关问题 什么是Lakehouse？Lakehouse数据入湖时，对线上RDS有压力吗？如何控制建仓的限流能力？Lakehouse工作负载为什么运行失败，又没有S park Log 日志可以看？元数据发现相关问题 为什么配置了元信息发现，并在“手动执行”...
媒体处理常见问题
基础问题 什么是转码资源？转码资源是媒体处理执行转码作业的计算节点，一个转码资源同一时间可执行一个转码作业。目前推出的是共享型转码资源。媒体转码为每个用户设置了共享型转码资源的配额，用户最多能同时处理的作业数量不超过该限额...
常见问题
为什么用ossfs看到的文件信息（例如大小）与其他工具看到的不一致 问题分析：ossfs默认会缓存文件的元数据（包括大小/权限等），这样就不需要每次ls的时候向OSS发送请求，加快速度。如果用户通过其他程序（例如SDK/官网控制台/ossutil等）...
使用RAM权限策略控制NAS访问权限
说明 由于RAM不支持授予RAM用户单一文件系统的查看权限，当要授予RAM用户单一文件系统完全控制权限时，请您先授予RAM用户全部文件系统的查看权限，然后再授予RAM用户单一文件系统的操作（删除、修改）权限。{"Version":"1","Statement":[{...
FTP数据源
后期会在非压缩文件情况下针对单个File进行多线程并发读取。当指定多个远程FTP文件，FTP Reader支持使用多线程进行数据抽取。线程并发数通过通道数指定。当指定通配符，FTP Reader尝试遍历出多个文件信息。例如，指定/代表读取/目录下所有...
其他问题
本文介绍NAS支持的挂载协议、支持的计算节点、如何修改NFS请求数量、确认挂载结果、强制卸载等常见问题。挂载 NAS是否支持外网/本地IP挂载？为什么Linux无法挂载SMB文件系统？本地电脑或非阿里云主机如何挂载访问阿里云NAS？阿里云无影云...
计算资源使用
作业类型取值如下：SQL：SQL作业 SQLRT：查询加速SQL作业 SQLCost：SQL预估作业 LOT：MapReduce作业 CUPID：Spark或Mars作业 AlgoTask：机器学习作业 作业优先级 输入需要配置到规则里的作业优先级。输入 0-9 优先级区间，如：[0,3]表示...
大数据上云及巡检服务内容说明
产出报告 产出报告 1）从环境配置、运行性能、存储合理、安全等多维度评估巡检产出，形成报告文档 2）针对高频可优先、或使用风险场景给出问题诊断和优化建议，如大数据集群配置任务消耗资源度、高频低效运算、小文件堆积、分区异常等情况 ...
SmartData常见问题
本文汇总了使用SmartData时的常见问题。基本概念 什么是JindoFS？已经有阿里云OSS，为什么还要使用JindoFS？JindoFS有哪些使用方式？使用场景是什么？JindoFS SDK和缓存模式的区别是什么？JindoFS缓存模式和Block模式的区别是怎么？JindoFS...
2020年
开通MaxCompute和DataWorks 创建MaxCompute项目 使用DataWorks连接 MaxCompute作业监控诊断工具Logview功能升级发布 Logview 2.0扩展了MaxCompute作业的监控指标，提供作业回放功能，新增Fuxi Sensor支持查看作业内存及CPU使用情况。...
常见问题
更多产品定价常见问题 挂载访问FAQ Linux挂载NFS文件系统常见问题 Windows挂载SMB文件系统常见问题 Linux挂载SMB文件系统常见问题 Windows挂载NFS文件系统常见问题 为什么卸载旧NAS并重新挂载新NAS后，容器Pod仍将数据写入旧NAS？...
2022-03-04版本
根据作业的实际情况，给出高、中、低三种风险等级提示。优化诊断界面的，协助您更好地查看问题。作业诊断 数据同步支持新增计算列 CTAS语句支持在Source表上新增计算列，并修改目标表的主键为新增列。在进行数据入仓入湖时，CTAS语句允许...
常见问题
说明 对于Hive作业报错或其他异常问题请参见 Hive作业异常排查及处理。对于Hive Metastore和HiveServer等服务相关的异常请参见 Hive服务异常排查及处理。作业长时间处于等待状态，如何处理？Map端是否读取了小文件？Reduce Task任务耗时，...
2023年
作业运行常见问题 2023-08-01 新增Github公开事件数据 新说明 本文为您介绍MaxCompute公开数据集中Github公开事件数据的基本信息、如何通过MaxCompute执行Github公开事件数据查询以及Query样例和分析结果。Github公开事件数据 2023年7月...
分场景排错指引
如果您在作业中使用了to_timestamp_tz、date_format等函数，而函数的使用方法不对，导致数据转化出问题，数据被丢失。此时，您可以通过Print Sink或者Log4j的方式，单独将使用的函数的信息打印到日志中，确认函数的使用方法是否正确。详情...
- 产品推荐
- 这些文档可能帮助您