Java SDK常见问题
SQLTask task=new SQLTask();task.setName("foobar");task.setQuery("select.");设置Flag。Map settings=new HashMap();settings.put("odps.sql.type.system.odps2","true");设置其它Flags。task.setProperty("settings",new JSONObject...
大量数据导出方案
SQLTask方式导出 SQLTask使用SDK方法，直接调用MaxCompute SQL的接口 SQLTask.getResult(i)，可以很方便地运行SQL并获得其返回结果。使用方法请参见 SQLTask。使用SQLTask时，请注意：SQLTask.getResult(i)用于导出SELECT查询结果，不适用...
Dataphin创建外部表报错："You are not authorized to...
95)at com.aliyun.odps.sqltask.task.DDLTask.handleInternal(DDLTask.java:49)at com.aliyun.odps.sqltask.task.SqlTaskBase.handle(SqlTaskBase.java:68)at com.aliyun.odps.sqltask.SqlTaskDriver.execute(SqlTaskDriver.java:134)at ...
PRESTO指标
本文为您介绍PRESTO指标的详细信息。参数 指标 描述 HeapMemory committed presto_Memory_HeapMemoryUsage_committed ...SQLTaskManager OutputPositions presto_SQLTaskManager_OutputPositions_OneMinute_Count 每分钟SQLTask输出数据行数。
使用Logview 2.0查看作业运行信息
SQLTask is optimizing query SQL作业优化Query，如果执行计划复杂，优化时间会稍长，但过长可能就是出问题了。SQLTask is splitting data sources SQL作业优化中，切分Data Sources。SQLTask is generating execution plan SQL作业生成...
简单下载示例
通过使用 SQLTask.getResultSet()静态方法实现数据下载 Odps odps=OdpsUtils.newDefaultOdps();初始化Odps对象。Instance i=SQLTask.run(odps,"select*from wc_in;i.waitForSuccess();根据instance对象，获取结果迭代器。ResultSet rs=...
Java SDK介绍
SQLTask SQLTask是用于运行、处理SQL任务的接口。您可以通过运行接口直接运行SQL。运行接口返回Instance实例，通过Instance获取SQL的运行状态及运行结果。代码示例如下。import java.util.List;import com.aliyun.odps.Instance;import ...
获取任务执行进度示例
Instance instance=SQLTask.run(odps,project,sql,taskName,null,null);System.out.println("LogView:"+new LogView(odps).generateLogView(instance,24)+"");instance.getTaskDetailJson2(taskName)CompletableFuture<Void>future=...
作业优先级
SQLTask task=new SQLTask();task.setName("adhoc_sql_task_1");task.setQuery("select count(*)from aa;5为作业优先级。Instance instance=odps.instances().create(task,5);LogView logView=new LogView(odps);打印Logview，用于查看...
SQL脚本模式
Instance instance=SQLTask.run(odps,"your project_name",sqlScript,hints,null);instance.waitForSuccess();List<Record>recordList=SQLTask.getResult(instance);for(Record record:recordList){ System.out.println(record.get(0));...
在SQL语句中设置Flag示例
本文为您介绍如何使用MaxCompute Java SDK设置SQL的Flag。背景信息 使用DataWorks或MaxCompute客户端提交SQL时，通常需要设置SQL的Flag。...Instance i=SQLTask.run(odps,odps.getDefaultProject(),sql,hints,null);i.waitForSuccess();
执行
iris3=iris[iris.sepalwidth].persist('pyodps_iris_test',partitions=['name'])print(iris3.data)返回结果：odps.Table name:odps_test_sqltask_finance.`pyodps_iris` schema:sepallength:double sepalwidth:double petallength:double ...
统计MaxCompute TOPN费用账号及耗时作业
数据开发者在使用MaxCompute开发过程中，需要统计MaxCompute项目中账号的费用以及作业的...import com.aliyun.odps.task.SQLTask;import com.dingtalk.api.DefaultDingTalkClient;import com.dingtalk.api.DingTalkClient;import com.dingtalk...
运行安全命令示例
说明 MaxCompute安全相关的命令不是SQL命令，不能通过 SQLTask 方式来运行。操作步骤 创建测试表test_label。CREATE TABLE IF NOT EXISTS test_label(key STRING,value BIGINT);在MaxCompute Studio上运行如下Java代码执行 set label 命令...
Logview诊断实践
优化阶段 问题现象：子状态为 SQLTask is optimizing query，优化器正在优化执行计划。产生原因：执行计划复杂，需要较长时间做优化。解决措施：请耐心等待，正常不会超过10分钟。生成物理执行计划阶段 问题现象：子状态为 SQLTask is ...
与标准SQL的主要区别及解决方法
解决方案请参见 使用SQLTask执行SQL查询时，如果查询结果条数大于限制的10000条，该如何获取所有数据？MAPJOIN JOIN不支持笛卡尔积。JOIN必须要用ON关键字设置关联条件。如果有一些小表要作为广播表，需要使用MAPJOIN HINT。ORDER BY ORDER...
Endpoint
使用SQLTask配合Tunnel服务导出SQL运行结果，请参见 SQLTask配合Tunnel方式导出。注意事项 使用Tunnel服务时，您需要注意：若您未配置Tunnel Endpoint，客户端会自动向MaxCompute服务获取Tunnel Endpoint。MaxCompute服务通常会依据客户端...
常见问题
logview Logview是一个在MaxCompute Job提交后查看任务和Debug任务的工具，对于Proxima CE来讲，通常指的是在整体任务运行过程中，中间的SQLTask、MapReduce Task等运行时生成的Web日志状态信息，可以帮助用户查看基于MaxCompute运行的SQL...
2019年
运行安全命令示例 Instance Logview示例 输出错误日志示例 在SQL语句中设置Flag示例 SQLTask配合Tunnel实现大量数据导出示例 2019-05-29 新增Kafka数据迁移至MaxCompute最佳实践。新实践 新增Kafka数据迁移至MaxCompute最佳实践。Kafka数据...
数据开发与运行
需要通过MaxCompute tunnel操作：SQLTask配合Tunnel实现大量数据导出示例 为什么EMR通过DataWorks可视化建表失败报错：call emr exception？可能原因：EMR所在的ECS集群的安全组缺失必要安全组配置。绑定EMR计算引擎使用时，您需要添加以下...
- 产品推荐
- 这些文档可能帮助您