错误响应
当您使用文件处理功能出现错误时，会返回相应的错误码和错误信息，帮助您定位与处理问题。错误响应 文件处理功能错误响应的消息体示例如下：<Error><Code>Imm Client</Code><Message>InvalidArgument,The parameter OctreeOption is ...
作业运维（新版）
如果您是数据开发人员，作业运维功能方便您日常查看作业详情，及时发现作业的异常情况和问题，对有问题的作业及时进行处理，例如终止或批量终止作业。如果您是管理员，作业运维功能方便您日常结合配额组查看某时刻的资源负载，合理分配和...
常见问题
说明 对于Hive作业报错或其他异常问题请参见 Hive作业异常排查及处理。对于Hive Metastore和HiveServer等服务相关的异常请参见 Hive服务异常排查及处理。作业长时间处于等待状态，如何处理？Map端是否读取了小文件？Reduce Task任务耗时，...
媒体处理常见问题
说明 metadata中的时长与实际持续的码流时长不一致可能导致转码失败，对于metadata有问题的文件，建议您先本地使用ffmpeg工具处理，再进行上传转码。协议不支持。在 错误码表 中找到对应的错误码，分析具体失败原因。如果您添加的文本水印...
使用Logview 2.0查看作业运行信息
概述 Logview是MaxCompute作业运行状态信息记录与展现的一个工具，目前支持如下功能：支持以交互式DAG图展示作业处理逻辑架构，您还可以查看相应的Operation层级。支持回放作业运行过程。支持通过Fuxi Sensor查看内存及CPU使用情况。...
上下游存储
本文为您介绍实时计算Flink版上下游存储方面的常见问题。Kafka源表 Flink如何获取JSON数据？Flink和Kafka网络连通，但Flink无法消费或者写入数据？为什么Kafka源表数据基于Event Time的窗口后，不能输出数据？Flink中的Commit Offset有什么...
SDK概述
兼容老版本的产生的“_$folder$”文件，解释成目录，不再当作普通文件处理。Hadoop和Spark读写OSS增加失败重试机制。v1.1.1 解决本地写OSS临时文件时导致多磁盘使用不均衡的问题。去除作业执行过程中创建OSS目录时同时创建的$_folder$标记...
Logview诊断实践
与前面介绍过的 子查询多阶段执行 类似，Merge作业也是作为一个单独的 tab 页显示，自动合并小文件多出来的Merge Task，虽然会增加当前作业整体执行时间，但是会让结果表在合并后产生的文件数和文件大小更合理，从而避免对文件系统产生过大...
小文件优化及作业诊断常见问题
作业诊断 执行并发插入操作报错，如何处理？运行作业时，报错ODPS-0130121，如何解决？创建的Shell任务执行失败，在ECS服务器执行显示成功，运维中心无法查看失败的原因，如何解决？创建的Shell任务执行失败，在ECS服务器执行显示成功，运...
媒体处理的审计事件
媒体处理已与操作审计服务集成，您可以在操作审计中查询用户操作媒体处理产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过Open...
弹性高性能计算E-HPC的审计事件
CreateJobFile 创建作业文件。CreateJobTemplate 创建作业模板。DeleteCluster 释放集群。DeleteContainerApps 批量删除容器应用。DeleteGWSCluster 删除可视化服务集群。DeleteGWSInstance 删除可视化实例。DeleteImage 删除本地镜像。...
合并小文件
MaxCompute在小文件处理方面的功能日趋完善，主要体现在以下方面：默认情况下，当作业完成之后，如果满足一定的条件，系统会自动分配一个Fuxi Task进行小文件合并，即使用过程中经常看到的MergeTask。默认情况下，一个Fuxi Instance不再...
功能特性
单击在线体验 音 视 频增强 音频增强 视频云音频实验室有机结合传统信号处理与深度学习技术，提供全场景音频增强与修复方案。单击在线体验。重要 以下功能需要在 提交转码作业 时 配置相应参数 使用，音频部分按照输出的音频规格和时长，...
将数据写入OSS
重要 insert overwrite 操作场景，在极端情况下如果作业运行失败会出现与预期不一致的问题，表现为旧数据被删除，但是新数据并没有写入。问题原因：新写入的数据因为极低概率的硬件故障或元数据更新失败等原因没有成功写入目标表，且OSS的...
转码常见问题
说明 metadata中的时长与实际持续的码流时长不一致可能导致转码失败，对于metadata有问题的文件，建议您先本地使用ffmpeg工具处理，再进行上传转码。在 错误码 中找到对应的错误码，分析具体失败原因。如果您添加的文本水印中包含特殊字符...
作业智能诊断
Flink Advisor作业智能诊断服务能够帮您监控作业健康状况，分析和诊断错误日志、异常运行和风险情况，并提供可理解和可操作的诊断建议，全面保障您的业务稳定可靠运行。本文为您介绍如何使用作业智能诊断服务。背景信息 Flink Advisor作业...
JAR作业开发
说明 Table API作业的开发方式与Datastream作业相同。使用限制 受部署环境、网络环境等因素的影响，开发DataStream作业，需要注意以下限制：仅支持JAR形式的作业提交和运行，支持一个主JAR包和多个附加依赖JAR包。不支持在Main函数中读取...
工作流常见问题
由于媒体工作流为批量文件的处理提供了便捷，同时也带来了输出文件名的命名问题。为了便于您使用，系统提供了如下变量供您选择：{RunId}：媒体工作流执行ID。{ObjectPrefix}：不含Bucket信息的原文件路径。{FileName}：含扩展名的原文件名...
2020年
2020-12-21 所有区域 项目级别Information Schema 运行中作业快照Information_Schema.Tasks内测发布 以Information_Schema.Tasks视图方式，提供当前运行中作业的详细信息，包括作业列表以及各作业CPU、内存使用大小和资源占比、运行时长等...
Jupyter交互式作业开发
AnalyticDB for MySQL 相关使用文档，请参见 Jupyter交互式作业开发。注意事项 DLA Spark当前支持python3，Scala 2.11的Jupyter可交互作业。新版Jupyter Lab对Python的最低版本要求是Python 3.6。推荐 使用Docker快速启动环境 方式来使用本...
参数详情
本文介绍媒体处理中转码、工作流、管道等功能API的部分参数详细说明，包含参数类型、参数用途以及参数取值示例等内容。Input详情 本参数被 SubmitJobs-提交转码作业 引用。参数 类型 是否必选 描述 Bucket String 是 输入文件所在OSS ...
常见问题
本文汇总了Spark使用时的常见问题。Spark Core 在哪里可以查看Spark历史作业？是否支持Standalone模式提交Spark作业？如何减少Spark2命令行工具的日志输出？Spark SQL 如何使用Spark3的小文件合并功能？如何处理SparkSQL数据倾斜?PySpark ...
JindoData版本说明
JindoFSx存储加速系统 JindoFSx修复Storage服务文件句柄泄漏问题。JindoFSx修复客户端metrics上报线程安全问题。JindoFSx优化递归创建父目录性能。JindoFSx优化路径改写功能性能。JindoSDK和工具支持 JindoSDK支持自适应预读算法，提升预读...
数据开发常见问题
组件相关问题：Hive常见问题 Spark常见问题 Sqoop常见问题 作业问题：环境变量过多或者参数值过长时，为什么提交作业失败？为什么Shell作业状态和相关的YARN Application状态不一致？创建作业和执行计划的区别是什么？多个ConsumerID消费同...
功能发布记录
修复了一定情况下输出文件与设置的segment、duration参数不一致的问题。功能特性 新增自定义转码模板 视频AI费用 2015-08-18 接口：元信息接口更名为媒体信息接口，提供媒体格式信息和音频、视频及字幕流信息。相关接口新增UserData字段，...
Hive作业调优
另外，有多少个Reduce，就会有多少个输出文件，如果生成了很多个小文件，并且这些小文件作为下一个任务的输入，则会出现小文件过多的问题。并行运行 并行运行表示同步执行Hive的多个阶段。Hive在执行过程中，将一个查询转化成一个或者多个...
智能外呼机器人的审计事件
智能外呼机器人已与操作审计服务集成，您可以在操作审计中查询用户操作智能外呼机器人产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了...
2022-03-04版本
作业诊断 数据同步支持新增计算列 CTAS语句支持在Source表上新增计算列，并修改目标表的主键为新增列。在进行数据入仓入湖时，CTAS语句允许指定新增计算列的位置，并把它作为目标表的物理列，实时地将计算列的结果同步到目标表中。同时，...
常见问题
作业问题：如何处理上下游存储（Connector）问题？通过DataFlow集群运行Flink作业免密读写OSS时报错，该如何处理？Flink UI上作业只有一个Operator，并且显示Records Received为0，该如何处理？客户端日志在哪里？如何查看？通过flink run...
2023年
2023-09-25 全部地域 MapReduce支持SQL运行时执行模式 作业分析功能发布 MaxCompute推出作业分析功能，方便开发者定位作业资源问题。2023-09-21 全部地域 作业运维（新版）2023-08 功能名称 功能描述 发布时间 发布地域 相关文档 控制台...
MaxCompute UDF（Python）常见问题
本文为您介绍使用Python语言编写的MaxCompute UDF的常见问题。类或资源问题 调用MaxCompute UDF运行代码时的常见类或资源问题如下：问题现象一：运行报错描述为 function 'xxx' cannot be resolved。产生原因：原因一：调用MaxCompute UDF...
Spark FAQ
常见问题 如何处理Spark作业报错：The VirtualCluster's name is invalid or the VirtualCluster's is not in running state？如何处理Spark作业报错：User%s do not have right permission[*]to resource[*]？如何处理Spark作业报错：No ...
迁移方案
进一步确认与处理，完成作业转化。对于SQL作业 类别 处理方案 使用了自定义函数（UDF）或自定义Connector（UDC）根据迁移目标集群的Flink（VVR）引擎版本依赖对应的LIB包和接口，手动重写UDF或UDC并上传至Flink开发控制台。详情请参见 ...
2023年
作业运行常见问题 2023-08-01 新增Github公开事件数据 新说明 本文为您介绍MaxCompute公开数据集中Github公开事件数据的基本信息、如何通过MaxCompute执行Github公开事件数据查询以及Query样例和分析结果。Github公开事件数据 2023年7月...
数据导入常见问题
导入作业长时间没有结束等问题应该如何处理？如何配置以访问高可用(HA)模式下的Apache HDFS集群？如何配置Hadoop ViewFS Federation？访问Kerberos认证的集群时，报错“Can't get Kerberos realm”，该如何处理？INSERT INTO 使用INSERT ...
功能与优势
问题分析与诊断 动态修改作业的配置，无需启停即可对日志Level、火焰图是否开启等配置进行在线调整。对于反压、Job异常、TM失联等常见问题提供智能化诊断和快速日志定位分析，给出调优或者修改建议，并连动自动调优能力帮助您定位问题。高...
JindoFS实战演示
Fluid+JindoFS对海量小文件的训练加速 Fluid+JindoFS对海量小文件的训练加速 2021-07-13 在AI训练场景中处理海量小文件面临很多问题，例如远程调用频繁，NameNode压力大、访问数据延时高、高频访问稳定性低。Fluid JindoRuntime提供了高效...
智能审核
智能审核服务基于海量标注数据和深度学习算法实现，从语音、文字、视觉等多维度精准识别媒体文件中包含的违禁内容，包括色情、暴恐、政治敏感、广告识别等多个功能模块，同时支持视频图像文件内容质量审核功能，可以减轻人工审核的工作负担...
使用HPL测试集群浮点性能
步骤二：提交作业 执行以下命令创建算例文件，算例文件命名为HPL.dat。vim HPL.dat 算例文件HPL.dat包含了HPL运行的参数。如下示例是在单台ecs.ebmc5s.24xlarge实例上运行HPL的推荐配置。HPLinpack benchmark input file Innovative ...
迁移方案
迁移和运行作业 类型 描述 迁移Checkpoint文件 将Checkpoint文件拷贝到DataFlow集群的HDFS上或者上传到OSS中，在提交Flink作业的时候，可以通过-s 参数指定Checkpoint文件，即可在DataFlow集群中使用该Checkpoint文件恢复作业。重要 对于...
- 产品推荐
- 这些文档可能帮助您