Python作业开发
Apache Flink编码过程中遇到的问题及解决方法，请参见 常见问题。作业调试 您可以在Python自定义函数的代码实现中，通过logging的方式，输出日志信息，方便后期问题定位，示例如下。udf(result_type=DataTypes.BIGINT())def add(i,j):...
产品优势
短信服务可以为您提供以下服务优势，带给您安全可靠的发送体验。快速稳定 国内短信秒级可达，99%到达率。国内短信三网合一专属通道，与工信部携号转网平台实时互联。400+通道支持，可实现1秒切换...高效的调度算法解决高峰时段的业务压力。
Hive作业异常排查及处理
解决方法：在单个作业层面把Tez ApplicationMaster reuse功能关掉。set tez.am.container.reuse.enabled=false;其他异常 select count(1)结果为0 原因分析：select count(1)使用的是Hive表统计信息（statistics），但这张表的统计信息不...
Spark常见报错
本文汇总了 AnalyticDB for MySQL Spark作业常见的错误码、报错信息、报错原因和解决办法。您可以参考本文解决报错。报错概览 现象 错误码 报错信息 Spark访问JDBC数据源失败。JDBC_SOURCE_TABLE_NAME_DUPLICATE Both '$jdbcTableName' and...
后续指引
介绍：SQL SQLML PyODPS MapReduce Mars Spark Graph 外部表 Java SDK Python SDK JDBC 实践：数据开发最佳实践 常见问题：错误码 SQL常见问题 PyODPS常见问题 MapReduce常见问题 Spark常见问题 外部表常见问题 Java SDK常见问题 Python ...
算子探查（公测）
数据正确性问题的产生原因复杂且不易定位，常见的解决方法是将SQL作业进行逻辑拆解，通过Print连接器打印每一步的结果，对数据结果进行分析，找到可能的原因。这个处理流程不仅耗费时间精力，而且可能因为测试数据与线上数据或者State不...
查看周期实例
周期实例是周期任务达到启用调度所...场景一：周月实例空跑周期 场景二：实时生成的过期实例 场景三：设置成功实例 场景四：实例属性为空跑 场景五：临时工作流中未被选择的实例 日调度任务空跑排查方法 更多常见问题，详情请参见 问题汇总。
数据正确性
本文为您介绍数据正确性有关的常见问题。为什么作业没有输出？开启minibatch，table.exec.state.ttl过期后，为什么无新数据更新？为什么作业没有输出？场景描述 上线运行作业后，下游结果表中没有数据。排错流程图 检查作业中是否存在...
常见问题
问题分类 常见问题 产品计费 计费常见问题 规格类型 规格常见问题 准备工作 常见问题 连接至MaxCompute Java SDK常见问题 Python SDK常见问题 JDBC常见问题 数据迁移 Tunnel命令常见问题 Tunnel SDK常见问题 开发 SQL：SQL常见问题 内建...
常见问题总览
本文档介绍了 数据安全中心DSC（Data Security Center）服务的常见问题和解决方法。功能相关 数据安全 数据授权 数据扫描和识别 数据脱敏 水印使用限制 支持列表 支持识别的原子模型 支持识别的OSS文件类型 支持的数据脱敏算法
服务支持
OpenSearch产品公告 发布记录 OpenSearch-行业算法版新功能发布记录 OpenSearch-高性能检索版新功能发布记录 OpenSearch-向量检索版新功能发布记录 OpenSearch-召回引擎版新功能发布记录 常见问题 OpenSearch-行业算法版常见问题 ...
常见问题
本文为您介绍您在使用智能视觉时，常见的问题场景和解决方案。智能视觉具体支持哪些算法能力？智能视觉支持多种场景的视觉算法能力，详细的列表请见 算法能力列表。API调用失败怎么办？首先检查输入参数是否正确。检查文件读取的权限设置...
数据开发常见问题
Spark：Spark常见问题 外部表：外部表常见问题 安全管理相关：权限管理常见问题 安全配置常见问题 运维管理：Information Schema常见问题 小文件优化及作业诊断常见问题 其他运维常见问题 下载数据相关：如何下载超过1万条的表数据？...
通过ack-co-scheduler组件实现协同调度
Gang scheduling 阿里云容器服务ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。使用以下模板向集群中提交Tensorflow分布式作业。关于如何运行Tensorflow的分布式作业，...
Spark常见问题
本文为您介绍使用Spark过程中的常见问题。问题类别 常见问题 开发Spark 如何自检项目工程？在DataWorks上运行ODPS Spark节点的步骤是什么？MaxCompute Spark如何在本地进行调试？如何通过Spark访问VPC环境内的服务？如何把JAR包当成资源来...
使用Gang scheduling
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
调度参数支持的格式
调度参数是DataWorks任务调度时使用的参数，可根据您配置的调度参数取值规则，在每次任务运行时自动替换为真实的取值，实现任务调度时间内参数的动态替换。本文为您介绍调度参数支持的格式及相关使用。背景信息 您可在代码中通过${变量名} ...
使用Gang scheduling
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
常见问题
本文汇总使用SchedulerX过程中的常见问题和对应解决方法。任务管理常见问题 Spring应用找不到Bean怎么办？任务失败，报错“submit jobInstanceId to worker timeout”任务失败，报错“used space beyond 90.0%!任务失败，报错...
使用Azkaban调度MaxCompute
背景信息 Azkaban是一套作业调度系统，可以调度Command、Hadoop MapReduce、Hive、Spark、Pig等类型作业，而且支持自定义Plugin，其中最简单而且最常用的是Command类型。更多Azkaban信息，请参见 Azkaban。您需要将待调度作业依赖的源数据...
索引
本文汇总使用SchedulerX过程中的常见问题和对应解决方法。报警常见问题 killed from server don't update progress more than 30s 任务管理常见问题 Spring应用找不到Bean怎么办？任务失败，报错“submit jobInstanceId to worker timeout...
数据开发常见问题
组件相关问题：Hive常见问题 Spark常见问题 Sqoop常见问题 作业问题：环境变量过多或者参数值过长时，为什么提交作业失败？为什么Shell作业状态和相关的YARN Application状态不一致？创建作业和执行计划的区别是什么？多个ConsumerID消费同...
常见问题
本文汇总使用SchedulerX过程中的常见问题和对应解决方法。任务管理常见问题 Spring应用找不到Bean怎么办？任务失败，报错“submit jobInstanceId to worker timeout”任务失败，报错“used space beyond 90.0%!任务失败，报错...
常见问题
本文汇总使用SchedulerX过程中的常见问题和对应解决方法。任务管理常见问题 Spring应用找不到Bean怎么办？任务失败，报错“submit jobInstanceId to worker timeout”任务失败，报错“used space beyond 90.0%!任务失败，报错...
索引
本文汇总使用SchedulerX过程中的常见问题和对应解决方法。报警常见问题 killed from server don't update progress more than 30s 任务管理常见问题 Spring应用找不到Bean怎么办？任务失败，报错“submit jobInstanceId to worker timeout...
索引
本文汇总使用SchedulerX过程中的常见问题和对应解决方法。报警常见问题 killed from server don't update progress more than 30s 任务管理常见问题 Spring应用找不到Bean怎么办？任务失败，报错“submit jobInstanceId to worker timeout...
新用户必读
作业调度：云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）具备离线SQL应用、Spark应用的作业调度能力，帮助您完成复杂的ETL数据处理。SQL手册：详细介绍 AnalyticDB MySQL 支持的数据类型、SQL语法以及示例。系统函数：介绍 AnalyticDB ...
监控告警与日志问题
本文介绍监控告警与日志中的常见问题。Datastream作业TM日志中抛NullPointerException如果没有详细错误栈怎么办？如何针对单个Class设置日志级别参数？如何开启Flink全托管GC日志参数？Datastream作业无延迟、输出曲线，应该如何处理？如何...
添加TCP监听
调度算法 选择调度算法。加权轮询(WRR)：权重值越高的后端服务器，被轮询到的概率越高。轮询(RR)：按照访问顺序依次将外部请求分发到后端服务器。一致性哈希（CH）：四元组：基于四元组（源IP、目的IP、源端口和目的端口）的一致性哈希，...
HTTPDNS调度IP的证书
问题描述 HTTPDNS调度IP的证书 解决方案 当使用HTTPS请求调度服务时，我们会提供主机名为203.107.1.1的有效证书（无论使用哪个IP请求）。适用于 HTTPDNS
调度至Arm虚拟节点
preferredDuringSchedulingIgnoredDuringExecution:weight:1 preference:matchExpressions:key:kubernetes.io/arch operator:In values:amd64 containers:name:my-container image:nginx 常见问题 为什么配置nodeAffinity优先将Pod调度到...
调度至Arm虚拟节点
preferredDuringSchedulingIgnoredDuringExecution:weight:1 preference:matchExpressions:key:kubernetes.io/arch operator:In values:amd64 containers:name:my-container image:nginx 常见问题 为什么配置nodeAffinity优先将Pod调度到...
NLB压力测试的方法
后端服务器会话冲突 若使用标准压测拓扑，当压测使用的客户端数量较少或使用基于源地址的一致性哈希调度算法时，会提升后端服务器会话冲突的可能性，从而出现后端服务器频繁使用RST报文断开连接的情况，如下图所示。解决方法：建议使用单...
EMR数据开发（旧版）停止全面支持公告
停止全面支持时间 2023年9月30日0点 影响 您在停止全面支持时间点前创建的数据开发（旧版）项目不会受到影响，可正常使用EMR数据开发（旧版）模块，包括运行作业和工作流调度，但阿里云不再提供EMR数据开发（旧版）的用户答疑、问题解决和...
创建工作空间
调度PAI算法任务 如需进行周期性调度算法任务，则可启用该功能。您也可在创建工作空间后，进入管理中心，在 工作空间 页面开启。说明 该功能开启后无法关闭，请根据需要开启。调度PAI算法任务详情，请参见 机器学习。描述 用于辅助标识工作...
岭回归训练
岭回归（Tikhonov regularization）算法是对不适定问题进行回归分析时，最常用的正则化方法。岭回归训练组件基于该算法，支持稀疏、稠密两种数据格式，且支持带权重样本的训练。本文为您介绍岭回归训练组件的配置方法。使用限制 支持的计算...
常见问题
本文介绍E-MapReduce Druid使用过程中遇到的一些常见问题以及解决方法。索引失败问题分析思路 当发现索引失败时，一般遵循如下排错思路：对于批量索引 如果curl直接返回错误，或者不返回，检查一下输入文件格式。或者curl加上-v 参数，观察...
DataWorks权限相关
本文内容将为您介绍几个常见权限问题的解决方法。问题汇总 与DataWorks权限相关的问题及解决方法，请单击如下链接查看。工作空间配置绑定HologresDB按钮为灰色 绑定HologresDB时环境初始化失败 绑定HologresDB时报错“同名计算引擎实例已经...
容器网络FAQ
本文为您介绍使用网络插件Terway或Flannel遇到的常见问题，以及如何解决。例如，如何选择网络插件、集群是否支持安装第三方网络插件、如何规划集群网络等。索引 Terway相关 Terway网络模式下增加了虚拟交换机后，集群无法访问公网怎么办？...
为什么会空跑
周月调度任务补数据空跑解决方法：您可以按下图观察一下当天周期实例的定时时间和业务时间，如果任务为月调度任务定时每月1号调度，那补数据需要选择业务时间为月末，周任务同理。场景二：实时生成的过期实例 当使用 发布后及时生成实例 ...
- 产品推荐
- 这些文档可能帮助您