使用Logview查看作业运行信息
Logview是MaxCompute Job提交后查看和Debug任务的工具。通过Logview可看到一个Job的如下内容：任务的运行状态。任务的运行结果。任务的细节和每个步骤的进度。Job提交到MaxCompute后，会生成Logview的链接。您可以直接在浏览器上打开...
使用Logview 2.0查看作业运行信息
您可以通过Logview URL查看作业运行信息。概述 Logview是MaxCompute作业运行状态信息记录与展现的一个工具，目前支持如下功能：支持以交互式DAG图展示作业处理逻辑架构，您还可以查看相应的Operation层级。支持回放作业运行过程。支持通过...
Dataphin中查看任务日志时，无logview信息
概述 本文描述了在Dataphin中查看任务日志时，无logview链接信息。详细信息 检查Dataphin的环境部署的脚本，查看one service的配置项是否设置成 oneservice.runtask.ignore.logview.enable=false，修改这个配置项为oneservice.runtask....
Instance Logview示例
背景信息 您可以通过Logview查看和Debug提交的MaxCompute作业，详情请参见 使用Logview查看作业运行信息。MaxCompute Java SDK提供Logview接口，详情请参见 SDK Java Doc。接口说明 Instance i=odps.instances().get("<instance_id>");...
MaxCompute作业概述
查看作业运行信息：使用Logview查看作业运行信息、在DataWorks运维中心查看运行信息 等。作业优化：SQL调优。数据开发作业实践：使用MaxCompute分析IP来源最佳实践、PyODPS节点实现结巴中文分词 等。数据类型 MaxCompute数据开发支持三个...
作业运维（新版）
查看LogView的方法，请参见 使用LogView查看作业运行信息。作业Owner 运行MaxCompute作业的阿里云账号。您可以根据账号信息找到作业所属责任人。如果某个作业占用资源较多，影响其他任务运行，可以联系对应责任人停止作业。停止作业的方法...
JDBC常见问题
您可以通过Logview查看任务执行状态、追踪任务进度、获取任务执行结果。Logview URL可以通过配置日志输出（properties.log4j），默认以标准输出打印到终端屏幕。MaxCompute JDBC连接读取数据超过1万行限制，如何处理？JDBC连接数据读取及...
概述
您可以通过Logview查看作业执行状态、追踪作业进度和获取作业执行结果。Logview URL可以通过 properties.log4j 参数配置，默认打印到StdErr。是否支持连接池与Auto-Commit？MaxCompute提供REST服务，和传统数据库维持长连接的方式不同。...
作业实例详情
使用Logview查看作业的详细信息是比较常用的方式。使用Logview还可以查看其他用户在其他项目空间中提交的任务状态。MaxCompute Studio支持通过输入一个有效的Logview URL打开任意一个作业详情。在IntelliJ IDEA顶部菜单栏中，单击 ...
打印UDF日志
在MaxCompute中运行 您可以在MaxCompute中调用上述注册的stringToInt函数，并通过Logview查看打印的日志信息。准备表数据 您需要提前准备好表数据，以供后续执行SQL查询时调用UDF。建表语句如下：create table string_table(s string);...
实时同步任务运维
使用Logview查看任务运行信息 说明 该功能目前在灰度邀测中，如需使用，请进入 DataWorks交流钉钉群 联系值班人员处理。数据集成LogView是在数据集成同步任务中进行埋点采集，分析处理，可视化展现，更加细粒度展示分析同步任务过程的同步...
常见问题
详情请参考 使用Logview查看作业运行信息。任务被killed（ERROR:KILLED）怎么办？这种情况一般出现的日志如下：任务被kill有以下几种可能：任务运行时间过久，MaxCompute上单个SQL任务默认运行超过24小时会被kill，您可以通过设置以下参数...
离线同步任务运维
使用Logview查看任务运行信息 说明 该功能目前在灰度邀测中，如需使用，请进入 DataWorks交流钉钉群 联系值班人员处理。数据集成LogView是在数据集成同步任务中进行埋点采集、分析处理、可视化展现等更加细粒度展示分析同步任务过程的同步...
WAIT
您可以通过查看Logview获得作业的详细日志。命令格式 说明 获取最近3天Instance对应的Logview可正常打开。超过3天的Instance对应Logview可获取，但因为过期被清除而无法打开。wait;参数说明 instance_id：实例的唯一标识符。使用示例-查看...
运行失败
Loview使用方法请参考 使用Logview查看作业运行信息。如果该实例的record number比其它实例大很多，请检查数据是否存在pk相同、但value不同的vector。此种情况是数据没有去重，在数据库当中有pk相同，但是向量不同的数据。在seek阶段M-R1-R...
查询加速（MCQA）
更多获取Logview信息，请参见 使用Logview 2.0查看作业运行信息。包年包月规格开通MCQA 操作步骤 使用查询加速功能加速包年包月MaxCompute实例的项目步骤如下。说明 包年包月MCQA Quota决定了查询时的扫描并发度，进而影响扫描目标表的数据...
模型训练
查看Logview并进行日志分析。运行EasyRec命令时，Designer 会打印Logview。您可以右键单击模型训练组件，在快捷菜单，单击 查看日志，通过Logview快速查看模型训练效果或定位错误。在Worker运行页面，可以根据需要选择查看的Task实例及...
大数据和AI体验教程
如何使用AutoML进行自动调参训练 实操演示课程 如何查看logview并进行日志分析 实操演示课程 如何在PAI-EAS定时自动部署模型服务 实操演示课程 DLC深度学习训练平台 实操演示课程 通过MaxCompute和OSS上传数据 实操演示课程 在PAI-EAS中...
实例操作
您可以通过查看Logview获得作业的详细日志。说明 获取最近3天Instance对应的Logview可正常打开。超过3天的Instance对应Logview可获取，但因为过期被清除而无法打开。命令格式 wait;参数说明 instance_id：实例的唯一标识符。使用示例-查看...
Quota调度策略说明
说明 可通过查看logview确认作业运行状态，若子状态为 Waiting for cluster resource，则表示作业排队等待被编译。可通过设置单作业CU上限降低此风险。设置方法请参见 配置Quota。设置Quota调度策略 登录 MaxCompute控制台，在左上角选择...
开发ODPS SQL任务
运行日志：您可以单击 运行日志 页签，查看Logview，详情请参见 使用Logview 2.0查看作业运行信息。返回结果：查询所有男生的信息，并按照ID进行升序排序。id|name|age|birth|gender|+-+-+-+-+-+|1|张三|15|2008-05-15|boy|2|李四|17|2006-...
开发ODPS SQL任务
运行日志：您可以单击 运行日志 页签，查看Logview，详情请参见 使用Logview 2.0查看作业运行信息。返回结果：查询所有男生的信息，并按照ID进行升序排序。id|name|age|birth|gender|+-+-+-+-+-+|1|张三|15|2008-05-15|boy|2|李四|17|2006-...
文档修订记录
元数据采集 2023.3.23 新增功能 数据集成 离线和实时任务支持使用Logview查看任务运行信息。离线同步任务运维 实时同步任务运维 2023.3.21 更新功能 数据建模 数仓分层新增维度相关内容。数仓分层检查器功能优化，所有模型或指标检查器统一...
优化器信息收集
MaxCompute的优化器是基于代价的优化器，需要基于数据的一些特征（即元数据），例如行数、字符串平均长度，准确估算代价。本文为您介绍MaxCompute收集元数据的方法，为优化查询性能提供帮助。背景信息 如果获取不到准确的元数据，优化器会...
作业诊断
在浏览器中打开日志输出的Logview，查看CUPID类型作业的运行情况。在Logview页面，执行如下操作。单击 Detail，查看作业的详情。master-0 代表Spark Driver所在节点。单击 master-0 并选择All Tab，查看Spark Driver节点的具体信息。单击 ...
Logview诊断实践
分析运行出错作业 作业运行失败时，通过Logview中查看 Result Tab 页可以查看出错信息，对于失败的作业，打开Logview默认会跳转到 Result Tab 页。常见失败原因包括：SQL语法错误，此时不会有DAG和Fuxi jobs，因为还未提交到计算集群执行。...
一键MaxCompute Merge任务节点问题排查方案
如果未找到上述日志，可能存在提交ODPS SQL任务卡顿情况，可以找到最后的一个SQL Logview，查看日志或者联系ODPS值班同学支持分析Logview。Merge任务导致ODPS资源被耗尽 Merge任务可以设置并发参数，控制同时提交的ODPS SQL任务数，在...
作业超时监控告警
MaxCompute支持通过配置阈值报警规则，监控作业运行...可选：在作业管理页面的Instance列表区域，单击 操作 列的 Logview，查看作业的详细信息，并根据实际情况处理超时问题。更多Logview使用信息，请参见 使用Logview 2.0查看作业运行信息。
Hologres外部表
由于RAM角色默认没有Hologres管理控制台的查看和操作实例的权限，因此需要阿里云账号完成RAM相关权限授予才能进行后续操作。添加RAM角色至Hologres实例，您可以通过如下方式进行授权。通过Hologres管理控制台授权。登录 Hologres管理控制台...
x13_arima
常见的异常包括时序差分diff后不稳定、训练没有收敛、方差为0等，您可以在logview中查看单独节点的stderr文件，获取具体的异常信息。参数非常多，如何设置?x13_arima组件需要设置p、d、q、sp、sd和sq等参数，如果不确定如何配置，建议使用 ...
x13_auto_arima
常见的异常包括时序差分diff后不稳定、训练没有收敛、方差为0等，您可以在logview中查看单独节点的stderr文件，获取具体的异常信息。参数非常多，如何设置?x13_arima组件需要设置p、d、q、sp、sd和sq等参数，如果不确定如何配置，建议使用 ...
使用EasyRec构建推荐模型
您可以登录 PAI控制台，在 开通和授权>全部云产品依赖 页面的Designer区域，单击 操作 列下的 查看授权信息，获取arn。acs:ram:XXXXX:role/AliyunODPSPAIDefaultRole"buckets 用于指定算法将要读取的OSS bucket。oss:/examplebucket/xxx/...
Flag参数列表
您可在参数列表页面搜索参数，查看参数的影响范围、属性名称和属性描述。分类 影响范围 属性名称 属性描述 取值范围 主要影响的SQL命令和函数 生态 Session console.sql.result.instancetunnel InstanceTunnel开关。关于Tunnel命令的更多...
作业优先级
查看作业优先级 您可以在Logview 2.0页面的 Json Summary 页签，通过 odps.instance.priority 参数查看作业优先级。更多Logview 2.0操作请参见 使用Logview 2.0查看作业运行信息。说明 Logview页面上XML显示的优先级不准确。对于使用按量...
Dataphin如何查询MaxCompute生产项目数据
问题描述 用户在使用Dataphin过程中...然后查看对应的LogView，SQL Script打印的SQL里面会包含执行查询表对应的项目，如下图所示，以SQL Script打印的SQL项目为准。左上角展示的项目为当前项目，并不影响SQL查询。适用于 Dataphin MaxCompute
外部表常见问题
通过Logview日志，查看SQL的执行计划中最后一个是Reducer还是Joiner。如果是Reducer，则执行语句 set odps.stage.reducer.num=1;如果是Joiner，则执行语句 set odps.stage.joiner.num=1;基于外部表执行SQL作业时，运行慢，如何解决？基于...
TableRecordDataset
您可以使用TableRecordDataset接口按照行...单击提交任务返回的Logview链接，查看执行结果。start launching tensorflow job('loss,',0.6931472)('loss,',0.007929571)('loss,',0.0016527221)('loss,',0.0023481336)('loss,',0.0011788738)
动态过滤器（Dynamic Filter）
JOIN是分布式系统中常见的操作，...验证方法 如果您已按照 动态过滤器的使用方法 或 动态分区裁剪的使用方法 完成配置，运行SQL作业后，查看作业的Logview信息。如果Logview中出现类似DynamicFilterConsumer1的算子，说明动态过滤器已生效。
动态过滤器（Dynamic Filter）
JOIN是分布式系统中常见的操作，...验证方法 如果您已按照 动态过滤器的使用方法 或 动态分区裁剪的使用方法 完成配置，运行SQL作业后，查看作业的Logview信息。如果Logview中出现类似DynamicFilterConsumer1的算子，说明动态过滤器已生效。
PyODPS条件查询
在 运行日志 中查看结果。Executing user script with PyODPS 0.8.0"sepallength","sepalwidth","petallength","petalwidth","name"5.1,3.5,1.4,0.2,"Iris-setosa"5.4,3.9,1.7,0.4,"Iris-setosa"5.4,3.7,1.5,0.2,"Iris-setosa"5.8,4.0,1.2,...
- 产品推荐
- 这些文档可能帮助您