Cost-based SQL诊断引擎
另外，依托该能力，DAS的SQL自动优化服务将SQL优化推向了更高的境界，将重人工的被动式优化转变为以智能化为基础的主动式优化，以自优化的自治能力实现SQL优化的无人值守。能力构建 面对上面提到的众多挑战，本文着重从DAS中的SQL诊断优化...
使用限制
不支持 Hive DB Lock manager API 不支持 Hive Db Transaction Manager API 不支持 Hive Constraint：如Primary key/Foreign key 不支持Hive SQL Standards Based Authorization 旧版Hive权限，开源社区已不再发展，建议使用数据湖构建数据...
查询并下载数据
在使用Hadoop计算源时，支持开启Impala任务，开启后除支持创建HIVE_SQL即席查询任务外，还支持创建IMPALA_SQL即席查询任务。因Impala基于内存计算，IMPALA_SQL即席查询相对于HIVE_SQL即席查询具备更好的查询响应。同时Dataphin支持IMPALA_...
新建HIVE_SQL任务
本文为您介绍如何基于Dataphin构建HIVE_SQL类型的离线计算任务。背景信息 HIVE_SQL计算任务适用于对已有数据进行加工处理，生成符合业务场景需求的数据的场景。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。...
新建同步目标表
在 计算任务 页面，单击 图标 后，选择 HIVE_SQL。编写并运行代码。在 新建MAX_COMPUTE_SQL任务 对话框，配置参数。参数 描述 任务名称 填写离线计算任务的名称，例如SQL。调度类型 选择任务的调度类型。调度类型 包括：周期任务：自动参与...
编辑作业
{"RequestId":"15BBB0DC-EEC5-4CE4-B4FA-A1D9827F8808","Id":"FJI-54FEBB063136*"} 当FlowJob的类型为Hive_SQL或者Spark_SQL时，可以调用ListFlowNodeSqlResult得到查询的结果值。ListFlowNodeSqlResult返回的结果最多只有200行。需提供...
与其他SQL语法的差异
本文将MaxCompute SQL与Hive、MySQL、Oracle、SQL Server的SQL语法进行对比，为您介绍MaxCompute不支持的语法。MaxComputeDDL语法差异对比 语法 MaxCompute Hive MySQL Oracle SQL Server CREATE TABLE—PRIMARY KEY N N Y Y Y CREATE ...
Hive
val spark:SparkSession=SparkSession.builder().config("hive.metastore.uris",hiveMetastoreUris).config("hive.sql.warehouse.dir",hiveWarehouseDir).config("spark.serializer","org.apache.spark.serializer.KryoSerializer").config...
普通模式和Hive兼容模式下SQL的差异
本文为您介绍MaxCompute中运算符、类型转换和内建函数分别在普通模式和Hive兼容模式下使用的区别。运算符 BITAND（&）当输入参数是BIGINT类型的时候，如果BITAND的计算结果是LONG_MIN(-2 63)，在普通模式下会返回NULL，而Hive模式仍然是...
数据上云场景
MMA利用Meta Carrier连接您的Hive Metastore服务，获取Hive Metadata，并利用这些数据生成用于创建MaxCompute表和分区的DDL语句以及用于迁移数据的Hive UDTF SQL。详细信息请参见 MMA概述。数据库数据同步 数据库的数据同步到MaxCompute...
查询工作流节点实例列表
JobType String HIVE_SQL 作业类型，目前支持：SPARK_SQL、SPARK_STREAMING、MR、SQOOP、FLINK、STREAMING_SQL、IMPALA_SQL、PRESTO_SQL、SPARK、HIVE_SQL、HIVE、SHELL及SPARK_SHELL。MaxRetry String 0 最大重试次数。NodeName String ...
与Hive、MySQL、Oracle内建函数对照表
本文为您提供MaxCompute、Hive、MySQL以及Oracle的内建函数对照表，方便您根据Hive、MySQL、Oracle内建函数查找对应的MaxCompute内建函数。日期函数 MaxCompute Hive MySQL Oracle DATEADD 无 无 无 DATE_ADD DATE_ADD DATE_ADD 无 DATE_...
获取工作流实例信息
test</label><attribute><jobId>FJ-C6C794219DE6*</jobId><type>JOB</type><jobType>HIVE_SQL</jobType></attribute><type>node</type><config><hostName/><clusterId/></config></nodes><nodes><shape>endControlNode</shape><size>80*34...
运行工作流
attribute":{"type":"JOB","jobId":"FJ-CECB36039155*","jobType":"HIVE_SQL"} },{"shape":"hiveSQLJobNode","type":"node","size":"170*34","trackerPath":"ec5a56bc4a261c22","x":501.0,"y":516.5,"id":"35c8d9c5","index":3.0,"label...
注册EMR集群至DataWorks
DataWorks支持基于EMR（E-MapReduce）计算引擎创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务工作流的配置、周期性调度和元数据管理等功能，保障数据生产及管理的高效稳定。本文为您介绍如何在DataWorks注册同账号或跨账号的EMR集群...
DataWorks on EMR集群配置最佳实践
DataWorks支持绑定EMR（E-MapReduce）的DataLake（新版数据湖）集群为EMR计算引擎，创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务工作流的配置、定时调度和元数据管理等功能，帮助EMR用户更好地产出数据。本文为您介绍在DataWorks上...
DataWorks On EMR使用说明
DataWorks支持基于EMR（E-MapReduce）计算引擎创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务工作流的配置、定时调度和元数据管理等功能，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上使用EMR的基本开发流程，以及相关 ...
Dataphin执行计算任务发现正则表达式不能使用
问题描述 用户执行一段SQL代码，发现在Hive执行结果和Dataphin不一致，用户使用了正则表达式。问题原因 MaxCompute计算引擎，如果没有开启Hive语法兼容，并不能完美适配Hive项目切换到MaxCompute之后的语法。解决方案 需要加上set odps.sql...
查询作业列表
目前支持：MR、SPARK、HIVE_SQL、HIVE、PIG、SQOOP、SPARK_SQL、SPARK_STREAMING、SHELL。Adhoc Boolean 否 false 是否为临时查询。PageNumber Integer 否 1 页码。PageSize Integer 否 20 每页数量。返回数据 名称 类型 示例值 描述 ...
数据类型版本说明
odps.sql.hive.compatible：MaxCompute Hive兼容模式（即部分数据类型和SQL行为兼容Hive）数据类型版本的开关，属性值为True或False。在新增项目时MaxCompute可以对3个版本的数据类型进行选择，各个版本默认设置如下：1.0数据类型版本 ...
UDF示例：兼容Hive
本文以在MaxCompute客户端操作为例，为您介绍如何使用在MaxCompute兼容的Hive版本上开发的Hive UDF。前提条件 已安装MaxCompute客户端。更多安装操作，请参见 安装并配置MaxCompute客户端。注意事项 使用兼容的Hive UDF时，您需要注意：在...
Impala概述
背景信息 Impala使用与Apache Hive相同的元数据、SQL语法（Hive SQL）和ODBC驱动程序等，为面向批处理或实时查询提供了一个熟悉且统一的平台。注意事项 如果使用Impala组件，请勿直接通过系统文件删除hive表分区目录，请使用Impala或者Hive...
访问Hive数据源
spark.sql.hive.metastore.jars":"path","spark.sql.hive.metastore.version":"<实际的Hive版本>","spark.sql.hive.metastore.jars.path":"/tmp/*/*.jar"} } 说明 表格中的参数是否必填仅针对本文档的操作场景。参数 是否必填 说明 args ...
Hive数据源
Hive的本质是一个SQL解析引擎，其底层通过MapReduce实现数据分析，使用HDFS存储处理的数据，将HQL转化为MapReduce程序并在Yarn上运行。Hive Reader插件通过访问HiveMetastore服务，获取您配置的数据表的元数据信息。您可以基于HDFS文件和...
Spark应用配置参数说明
Spark Jar开发编辑器"key":"value""spark.sql.hive.metastore.version":"adb"Notebook开发编辑器"key":"value""spark.sql.hive.metastore.version":"adb"spark-submit命令行工具 key=value spark.sql.hive.metastore.version=adb 指定...
对接使用CDH与CDP
在右侧代码编辑框中编写Hive SQL，完成代码编辑后单击顶部 运行图标，选择调度资源组并确认，运行完毕后可以查看Hive SQL的运行结果。如果想要设置任务周期调度，单击右侧的 调度配置，在弹窗中设置时间属性、资源属性和调度依赖，完成后...
一般SQL优化方法
在SQL语句中可以使用SQL优化，如添加索引、选择合适数据类型、避免使用 SELECT*、使用临时表暂存中间结果等方法，提高查询性能和简化数据库操作。优化能力 控制IN条件或OR条件的...存储过程或函数 能使用SQL语句实现的，不要用循环去实现。
通过Spark Distribution SQL Engine开发Spark SQL作业
当您需要实时分析数据或通过JDBC协议开发Spark SQL作业时，可以通过 AnalyticDB for MySQL 的Spark Distribution SQL Engine开发Spark SQL作业。通过Spark Distribution SQL Engine可以更方便地利用SQL分析、处理和查询数据，提升SQL执行...
DataFlow集群通过Hive Catalog连接数据湖元数据DLF
本文为您介绍如何在EMR集群上通过Flink SQL创建Hive Catalog连接到DLF，并读取Hive全量数据。前提条件 已在E-MapReduce控制台上创建DataFlow集群和DataLake集群，详情请参见 创建集群。重要 创建DataLake集群时，元数据需为 DLF 统一元数据...
使用SQL管理外部项目
打开Hive兼容模式后，MaxCompute才支持Hive指定的各种语法 set odps.sql.hive.compatible=true;通过OSS分片上传功能将数据写入OSS set odps.sql.unstructured.oss.commit.mode=true;支持通过如下语句全project 默认打开该功能 setproject ...
Spark Load
Spark Load通过外部的Spark资源实现对导入数据的预处理，提高StarRocks大数据量的导入性能并且节省StarRocks集群的计算资源。Spark Load主要用于初次迁移、大数据量导入StarRocks的场景（数据量可到TB级别）。本文为您介绍Spark Load导入的...
Spark Load
在Doris现有的导入流程中，全局字典的数据结构是基于Hive表实现的，保存了原始值到编码值的映射。构建流程 读取上游数据源的数据，生成一张Hive临时表，记为 hive_table。从 hive_table 中抽取待去重字段的去重值，生成一张新的Hive表，记...
自定义SQL
用途 当系统提供的内置算子无法满足需求时，用户可以通过编写SQL语句实现自己特定的业务逻辑。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 输入节点 上游节点的输出表信息，...
计算节点配置说明
支持新建的计算节点类型包括：MaxCompute SQL、MaxCompute MR、RDS Mysql、SQL Server、Oracle、Hive、Hadoop、DataHub、Elastic Job、Elastic Service、Blink、Blink DataStream、Flink DataStream、PostgreSQL、GreenPlum、AnalyticDB ...
常见问题
解决方法：您需要在执行查询Hudi表的命令时，添加上 spark.sql.hive.convertMetastoreParquet=false。Hive查询Hudi数据重复，如何处理？问题原因：Hive默认使用HiveCombineInputFormat不会调用表自定义的 input format。解决方法：您需要在...
SQL Adapter
本文介绍如何使用SQL Adapter实现不兼容SQL的转换。功能介绍 SQL Adapter目前支持Oracle到PolarDB O或PolarDB PostgreSQL的SQL改造。主要功能有：实时转换从Oracle迁移到PolarDB O或PolarDB PostgreSQL不完全兼容的SQL。异步记录所有需要...
Spark服务异常排查及处理
spark-org.apache.spark.deploy.history.HistoryServer*.out Spark Thrift Server：spark-thrift-server.log 和 spark-spark-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2*.out Spark History Server 出现节点磁盘写满，检查...
ODPS-0123031
错误码：ODPS-0123031:ODPS partition exception 错误1：maximum 60000 partitions allowed 错误信息示例 ODPS-0123031:ODPS partition exception-maximum ...解决方案 执行以下命令打开Hive兼容模式：SET odps.sql.hive.compatible=true;
通过Spark SQL读Lindorm数据
本文主要介绍如何通过Spark SQL访问Lindorm中的Hive表和宽表的数据。前提条件 已创建Lindorm单可用区实例。具体操作，请参见 创建实例。重要 Lindorm实例需开通宽表引擎、计算引擎、文件引擎。计算引擎开通方式，请参见 开通与变配。已开通...
ClickHouse SQL
ClickHouse SQL可实现分布式SQL查询及处理结构化数据，提高作业的执行效率。DataWorks的ClickHouse SQL节点可进行ClickHouse SQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用ClickHouse SQL节点进行任务开发的主要...
- 产品推荐
- 这些文档可能帮助您