JAR作业开发
说明 建议您在作业开发时先进行依赖配置，以避免Flink依赖冲突问题，配置详情请参见 如何解决Flink依赖冲突问题？其他第三方依赖请采用Shade方式打包，Shade打包详情请参见 Apache Maven Shade Plugin。Flink源代码中只有明确标注了@Public...
Notebook开发编辑器
AnalyticDB MySQL 湖仓版（3.0）集群中的Notebook开发是 基于控制台的交互式数据分析开发平台，提供了作业编辑、数据分析、数据可视化等功能。Notebook开发 支持 Spark SQL和Python两种 编程语言编写Spark应 用程序。前提条件 已创建...
Logview诊断实践
在实际业务开发过程中，企业通常要求作业能在期望的时间节点前产出结果，并根据结果做进一步决策，这就需要作业开发人员及时关注作业运行状态，识别并优化慢作业。您可以通过MaxCompute的Logview功能诊断慢作业。本文为您介绍导致出现慢...
DSW连接EMR集群
本教程包括以下4个运行步骤：选择EMR集群 连接指定集群 使用spark-submit提交作业 运行PySpark交互式应用 常见问题 DSW实例重启后，运行Spark作业报错，应如何解决？DSW实例重启后，需要重新执行 选择EMR集群 和 连接指定集群，初始化EMR...
Serverless Spark概述
解决方案 Serverless Spark是云原生数据湖团队基于Apache Spark打造的服务化的大数据分析与计算服务。方案架构图如下所示：Serverless Spark将Spark、Serverless、云原生技术，深度整合到一起，相对于传统开源Spark集群版方案，具体以下...
2022年
新说明 MaxCompute提供错误码机制帮助您快速定位错误类型、严重等级及产生错误的原因等信息，帮助您快速定位并解决问题。本文为您介绍MaxCompute的错误码格式及错误码列表。错误码概述 2022-12-09 新增压缩数据从OSS迁移至MaxCompute。新...
2020年
2020-12-21 所有区域 项目级别Information Schema 运行中作业快照Information_Schema.Tasks内测发布 以Information_Schema.Tasks视图方式，提供当前运行中作业的详细信息，包括作业列表以及各作业CPU、内存使用大小和资源占比、运行时长等...
数据导入常见问题
本文汇总了StarRocks数据导入的常见问题。通用问题 如何选择导入方式？影响导入性能的因素都有哪些？报错“close index channel failed“或“too many tablet versions”，该如何处理？报错“Label Already Exists”，该如何处理？报错...
2020年
更新说明 SEMI JOIN支持MAPJOIN Hint，提高LEFT SEMI或ANTI JOIN的性能，为数据倾斜问题提供解决方案。SEMI JOIN（半连接）2020-10-30 MaxCompute支持SORT BY不带 DISTRIBUTE BY。更新说明 MaxCompute支持不带DISTRIBUTE BY的SORT BY，提供...
公告
中国香港、海外地域 2024年04月15日~2024年04月18日 华东1（金融云）、华东2（金融云）2024年04月22日~2024年04月25日 在服务升级期间可能会影响当前正在运行的PyODPS作业，若您遇到独享资源组PyODPS作业失败问题，或其他任何相关问题需要...
功能特性
在流媒体播放场景下，可以实现：自适应码流：根据网络情况自适应码流，可以解决起播慢、播放卡顿问题。广告植入：在两个分片之间灵活插入视频广告。重要 以下功能需要通过 配置工作流发起转码 使用，按输出的视频规格、时长，收取 转码 ...
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
控制策略相关问题
本文介绍堡垒机控制策略相关问题及解决方案。修改控制策略后，控制策略为什么没生效？您在修改资产关联的控制策略后，需要通过堡垒机重新登录该资产才会生效。具体操作，请参见 运维概述。控制策略执行规则是什么？如果您添加的多条控制...
数据开发常见问题
组件相关问题：Hive常见问题 Spark常见问题 Sqoop常见问题 作业问题：环境变量过多或者参数值过长时，为什么提交作业失败？为什么Shell作业状态和相关的YARN Application状态不一致？创建作业和执行计划的区别是什么？多个ConsumerID消费同...
操作指导
本文为您介绍实时计算Flink版的操作指导方面的常见问题，包括控制台操作、网络连通性和JAB包等问题。控制台操作 登录实时计算控制台提示当前账号缺少权限 如何在OSS控制台上传JAR包？如何配置作业运行参数？如何开启GC日志？如何查找引发告...
基于Flink+Hologres搭建实时数仓
除传统的面向海量数据加工场景设计的离线场景外，大量业务需要解决面向实时加工、实时存储、实时分析的实时场景问题。传统离线数仓搭建的方法论比较明确，通过定时调度实现数仓分层（ODS->DWD->DWS->ADS）；但对于实时数仓的搭建，目前缺乏...
语音合成FAQ
您可以通过以下几种方式处理：可以尝试将多音字替换成同音的其他汉字快速解决发音问题。您可以尝试使用SSML功能。SSML是一种基于XML的语音合成标记语言，SSML不仅可以控制语音合成能读什么，更可以控制语音合成怎么读，包括控制断句分词...
多维指标智能巡检
当弹性公网IP出现问题时，日志服务将展示入方向数据包速率和出方向数据包速率等不同维度指标的变化，并通过钉钉群通知给运维人员，便于运维人员及时判断故障，解决问题。EIP指标数据如下图所示。步骤一：创建智能巡检任务 登录 日志服务...
Python作业开发
Apache Flink编码过程中遇到的问题及解决方法，请参见 常见问题。作业调试 您可以在Python自定义函数的代码实现中，通过logging的方式，输出日志信息，方便后期问题定位，示例如下。udf(result_type=DataTypes.BIGINT())def add(i,j):...
Java SDK常见问题
问题现象 用户A使用MaxCompute Java SDK执行作业卡顿，没有Logview信息。用户B使用MaxCompute Java SDK访问表，执行RestClient Retry操作后，作业卡顿。产生原因 用户A由于没有Instance的Logview，导致系统无法追踪Instance的运行过程。...
SQL常见问题
本文为您介绍实时计算Flink版的SQL常见问题，包括作业常见问题、开发报错、运维报错。为什么使用POJO类作为UDTF返回类型时字段会出现“错位”?为什么数据在LocalGroupAggregate节点中长时间卡住，无输出？运行拓扑图中显示的Low Watermark...
2021-08-04版本
VVP重大功能变更 作业停止后会清理该作业生成的所有Checkpoint，因此如果您需要恢复作业的状态，可以采取以下任何一种方式：暂停作业后再恢复作业。停止后从Savepoint恢复作业。新增 开发类功能 SQL作业支持配置细粒度资源，即可以配置CPU...
Hive作业异常排查及处理
本文介绍Hive作业异常的排查方法和解决方法。异常排查 如果客户端遇到作业异常或性能等问题，您可以按照如下步骤进行排查：查看Hive客户端日志。Hive CLI命令行提交的作业客户端日志位于集群或Gateway节点的/tmp/hive/$USER/hive.log 或者/...
Spark常见问题
本文为您介绍使用Spark过程中的常见问题。问题类别 常见问题 开发Spark 如何自检项目工程？在DataWorks上运行ODPS Spark节点的步骤是什么？MaxCompute Spark如何在本地进行调试？如何通过Spark访问VPC环境内的服务？如何把JAR包当成资源来...
作业启动问题
本文介绍作业启动相关的常见问题。报错：The difference between the request time and the current time is too large 报错：Job was submitted in detached mode.Results of job execution,such as accumulators,runtime,etc.are not ...
使用Logview 2.0查看作业运行信息
作业详情 您可以通过作业详情区域全方位了解作业，作业详情区域包含如下功能区：Job Details 作业执行图 Job Detail 页签的上半部分为作业执行图。执行图以可视化方式展示三个维度的子任务依赖关系：Fuxi Job层、Fuxi Task层和Operation层...
Windows实例无法安装.NET Framework 3.5或语言包如何...
问题二：无法安装语言包 在控制面板切换语言或者Windows Update中查询语言选项时，无法选择或者安装语言包。问题原因 由于Windows实例默认采用WSUS获取更新源，如果在WSUS服务器上没有同步包含.NET Framework 3.5或相应语言包的更新内容，...
表格问答响应体信息
表格问答服务的API文档请点击链接跳转查看：表格问答（通用）表格问答服务错误信息 调用过程中，表格问题服务返回的错误信息可对照下表，参考描述解决问题。status msg 描述 400 IdError,Error Miss parameter bot_id bot_id未传 400 ...
RAM用户授权相关
Hologres管理控制台主要集成了RAM鉴权和实例的部分开发权限，本文内容将为您介绍Hologres管理控制台权限相关的常见问题解决方法。问题汇总 您需要具备Hologres管理控制台操作权限，才能管理Hologres实例时。与Hologres管理控制台权限相关的...
Hive服务异常排查及处理
解决方案：排查是否有应用层（例如flink作业等）持续调用hive cli，可以关闭持续调用hive cli的应用作业来解决问题。如果没有发现异常应用，可以调整内存及 hive.server2.thrift.max.worker.threads 参数。关于调整内存的具体操作，请参见 ...
2022-05-16版本
无 新增产品公告能力 实时计算Flink版在作业控制台上新增了产品公告的能力，您可以直接接收到包括产品升级在内的各种用户须知信息。这样可以有效避免通过短信、站内信、钉钉群等途径无法完全触达终端用户的问题。无 UI优化 支持全新阿里云...
表格问答（通用）
status":200,"themes":[]} msql：模型识别到的结果 question：问句 score：得分 sql：解析后的sql对象 调用接入 代码接入请参考：快速入门 表格问答服务错误信息 调用过程中，表格问题服务返回的错误信息可对照下表，参考描述解决问题。...
作业智能诊断
作业运行环境分析 作业所在机器出现异常导致作业Failover，平台会自动修复，您无需手动处理。作业所在机器升级过程，可能存在分钟级的Failover，Failover成功后会自动恢复，您也可以在升级前手动重启（停止后再启动）作业，来提前规避。...
数据正确性
解决方案 解决Failover问题，使作业正常运行。检查源表数据是否进入实时计算Flink版 排错指引 这种情况下没有Failover，但数据延时会很大，请查看数据曲线页面numRecordsIn_VVP，检查各Source输入是否有数据。解决方案 检查源表，保证上游...
生命周期策略
EOFS->EOS 停止全量支持，包括发布新版本和补丁版本，停止用户答疑、问题解决、SLA保障赔付等服务。不允许新购和续订。不允许变配。允许退订。EOS 产品已退市，停止所有支持服务。无法在阿里云Flink上运行已有作业或者新建作业。引擎版本...
JindoSDK访问OSS出现NoSuchUpload问题
本文介绍JindoSDK访问OSS出现NoSuchUpload问题的原因和解决方案。问题详情[RequestId]:638xxxxxx[HostId]:oss-xxxx-internal.aliyuncs.com [ErrorMessage]:[E1010]...
Spark FAQ
本文汇总了使用DLA Spark的常见问题及解决方案。常见问题 如何处理Spark作业报错：The VirtualCluster's name is invalid or the VirtualCluster's is not in running state？如何处理Spark作业报错：User%s do not have right permission...
加密配置无法正常使用怎么办？
如果上述步骤仍然无法解决问题，您可以参考下述Demo工程进行调试。原生nacos-go-sdk 如果您使用了nacos-go-sdk搭建业务应用，可以参考Demo工程进行调试。更多信息，请参见 nacos-go加解密demo工程。非Java SDK 除Go之外，其他非Java语言API...
Spark作业异常排查及处理
本文介绍Spark作业异常的排查方法和解决方案。内存问题引起的报错 Container killed by YARN for exceeding memory limits 报错原因：提交App时申请的内存量较低，但JVM启动占用了更多的内存，超过了自身的申请量，导致被YARN NodeManager...
资源调度概述
为了解决这个问题，ACS提供Gang Scheduling功能，保障同一个作业下的所有Pod能够同时启动，防止因部分Pod的异常而导致整个作业阻塞。使用Gang Scheduling Capacity Scheduling ACS通过Kubernetes原生的ResourceQuota机制 限制和控制命名...
- 产品推荐
- 这些文档可能帮助您