简介
注意事项 EMR集群是否支持Spark Streaming SQL功能与Spark版本有关：EMR-3.x系列使用的Spark版本是2.x，从EMR-3.21.0版本开始支持Spark Streaming SQL。EMR-4.x系列和EMR-5.x系列使用的Spark版本是3.x，从EMR-5.8.0版本开始才支持Spark ...
Streaming SQL作业配置
本文介绍Streaming SQL作业配置的操作步骤。背景信息 Streaming SQL的详细信息请参见 Spark Streaming SQL。在Streaming SQL作业配置过程中，您需要设置依赖库。以下列出了Spark Streaming SQL提供的数据源依赖包的版本信息和使用说明，...
Kafka数据源
Kafka offset消费延迟监控 由于Streaming SQL底层使用Structured Streaming SQL消费Kafka作业，默认情况下不会提交当前消费的offset到Kafka Server上，详情请参见 Structured Streaming+Kafka Integration Guide。Streaming作业运行之后，...
实时计算任务运行与管理
使用限制 DataWorks当前仅支持对EMR Spark Streaming及EMR Streaming SQL类型的节点提交的任务进行运维。进入实时计算任务页面 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>运维中心，在下拉框中选择对应工作空间后单击 进入运...
使用流程参数
说明 当前仅ODPS SQL、EMR Spark Shell、EMR Spark、EMR Shell、EMR Hive、EMR MR、EMR Presto、EMR Trino、EMR Spark SQL、EMR Spark Streaming、EMR Streaming SQL、Hologres SQL节点支持使用流程参数，具体请以实际界面为准。...
Delta Lake CDC构建增量数仓
查询2结果 Streaming SQL示例 EMR Spark支持 Spark Streaming SQL，您可以使用SQL语法开发Streaming的任务。Delta Lake CDF也集成了Streaming SQL，可以更方便的实现增量更新的业务场景。SQL语法如下所示。通过设置readChangeFeed='true'来...
SDK概述
Spark Streaming SQL适配Tablestore数据源。优化Loghub数据源服务异常重试时间不超过5分钟。Loghub服务请求加上user agent信息。更新部分依赖到最新版本。修复Tablestore数据格式转换错误问题。修复DataHub数据源在作业Failover时重试...
EMR Spark功能增强
Streaming SQL 规范Stream Query Writer的参数配置。优化Kafka数据表Schema兼容性检查。Kafka数据表Schema不存在时自动创建到SchemaRegistry。优化Kafka Schema不兼容时的日志信息。修复查询结果写Kafka表时必须显式指定列名的问题。去掉...
流式读写
tmp/delta_table_summary/_checkpoints").start("/tmp/delta_table_summary")Streaming SQL读写 create table targetTableName(key bigint,value bigint)using delta;create table sourceTableName(key bigint,value bigint)using delta;...
DescribeInstDbSlsInfo
返回数据 名称 类型 示例值 描述 AuditInfo Struct SQL审计详情。LogStore String test LogStore的名称。Project String test SLS Project的名称。RequestId String DC3ABA3E-0F8A-4596-9104-F5155C*请求ID。Success Boolean true 是否成功...
数据源支持概述
[hadoop@emr-header-1~]#streaming-sql-master yarn-client-jars emr-datasources_shaded_2.11-${version}.jar-driver-class-path emr-datasources_shaded_2.11-${version}.jar 工作流方式 详情请参见 Streaming SQL作业配置。
提交作业和查看作业信息
yarn-client方式（默认）streaming-sql-f test.sql yarn-cluster方式 streaming-sql-master yarn-deploy-mode cluster-f test.sql 查看作业信息 Spark官方发布的Structured Streaming功能，暂不支持查看具体Structured Streaming作业的运行...
Flink
Zeppelin的SQL开发环境和Flink自带的SQL-Client类似，但提供了更多的特性，具体内容如下：同时支持Batch SQL和Streaming SQL Zeppelin中同时支持Batch SQL和Streaming SQL，%flink.ssql 用来执行Streaming SQL，%flink.bsql 用来执行Batch ...
基础使用
streaming-sql 说明 如果您已添加DeltaLake组件，则可以直接执行 streaming-sql 命令。如果集群内没有默认配置，您可以通过以下配置来使用Delta Lake。streaming-sql-jars/path/to/delta-core_2.11-0.6.1.jar-conf spark.sql.extensions=io...
作业模板
查询语句块 类似 streaming.query.name 等作业参数无法通过SQL表达，因此需要在SQL查询语句前使用SET进行必要的参数配置。合法的查询语句块如下。SET streaming.query.name=${queryName};queryStatement 作业模板-创建数据库。dbName：数据...
配置说明
配置说明 配置类别 对应于DataFrame API SQL配置格式 说明 是否必选 queryName writeStream.queryName(.)SET streaming.query.name=$queryName 每个Stream Query的名称，各个Query的配置项会根据名称来区分。是 option writeStream.option...
查询作业信息
支持：SPARK_SQL、SPARK_STREAMING、MR、SQOOP、PIG、FLINK、STREAMING_SQL、IMPALA_SQL、PRESTO_SQL、SPARK、Hive_SQL、Hive、SHELL及SPARK_SHELL。mode String YARN 模型模式。支持：YARN和LOCAL。示例 请求示例 http(s):/[Endpoint]/?...
流式入库
schema).as("json")).select("json.*")val query=lines.writeStream.outputMode("append").format("delta").option("checkpointLocation",checkpointLocation).start(targetDir)query.awaitTermination()SQL bash streaming-sql-master ...
方案实现
streaming-sql-driver-class-path emr-datasources_shaded_*.jar-jars emr-datasources_shaded_*.jar-master yarn-client-num-executors 8-executor-memory 2g-executor-cores 2 创建原始订单数据表（OrderSource表）的外表order_source。...
Spark概述
架构 Spark架构如下图所示，基于Spark Core构建了Spark SQL、Spark Streaming、MLlib和Graphx四个主要编程库，分别用于离线ETL（Extract-Transform-Load）、在线数据分析、流计算、机器学习和图计算等场景，详情请参见 Apache Spark官网。...
SubmitSparkApp-提交Spark应用
400 Spark.SQL.NotFoundExecutableSQLError The execution part is not included in the current submitted SQL,please check the input SQL.提交的SQL中不包含可执行内容。400 Spark.SQL.ParserError Submit spark app failed when parser...
2020年
2020-12 功能名称 功能描述 发布时间 发布区域 相关文档 流式数据写入服务（Streaming Tunnel）开始公测 MaxCompute Streaming Tunnel服务，支持通过API方式实现流式数据无感知高QPS写入MaxCompute。2020-12-28 所有区域 流式数据通道概述 ...
ListDBTaskSQLJob-获取SQL任务列表
获取SQL任务列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，...
湖仓版作业调度
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）的作业调度提供离线SQL应用、Spark应用的复杂任务流功能，具备灵活的ETL数据处理、数据开发等能力。使用流程 前提条件 如果通过阿里云账号（主账号）登录，使用作业调度功能需要满足以下两...
JDBC数据源
本文介绍如何使用JDBC数据源进行数据分析或者交互式开发。建表语法 CREATE TABLE tbName USING jdbc2 OPTIONS...SET streaming.query.${queryName}.sql=insert into `test`(`id`,`name`)values?SET.INSERT INTO rds_table_test SELECT.
实时Spark Streaming消费示例
PySpark Structured Streaming访问LogHub 代码示例 from pyspark.sql import SparkSession spark=SparkSession \.builder \.appName("xx")\.getOrCreate()#读取LogHub数据源。lines=spark \.readStream \.format("loghub")\.option(...
复杂类型函数
您可以在MaxCompute SQL中使用复杂类型函数处理复杂数据类型，例如ARRAY、MAP、STRUCT、JSON。本文为您提供MaxCompute SQL支持的复杂类型函数的命令格式、参数说明及示例，指导您使用复杂类型函数完成开发。MaxCompute SQL支持的复杂类型...
配置代码模板
引擎类型 节点类型 默认模板 MaxCompute ODPS Script ODPS SQL ODPS MR PyODPS 2 PyODPS 3 EMR EMR MR EMR Shell EMR Presto EMR Spark Streaming EMR Trino EMR Hive EMR Spark EMR Spark SQL EMR Impala CDH CDH Hive CDH Spark CDH MR ...
UDT概述
UDT介绍 很多SQL引擎中UDT与MaxCompute的复杂类型STRUCT类似，相比之下，MaxCompute中的UDT与Create Type的概念更类似，Type中包含数据域和方法。MaxCompute不需要用特殊的DDL语法来定义新类型，通过UDT可以在SQL中直接使用新类型。通过...
概述
MaxCompute Spark暂不支持如下场景：交互式和流计算类需求，例如Spark-Shell、Spark-SQL-Shell、PySpark-Shell、Spark Streaming等。不支持访问MaxCompute除OSS、Hologres以及HBase外部表之外的外部表、内建函数和自定义函数（MaxCompute ...
Databricks Delta Lake数据入湖最佳实践
使用Spark Structured Streaming完成客户日志数据写入Delta Lake。本章架构图 步骤一：创建Kafka集群和Databricks 数据洞察集群 1.登录 阿里云E-MapReduce控制台。2.创建Kafka集群，详情参见 创建集群 3.登录 Databricks数据洞察控制台。4....
UDF示例：复杂数据类型
}/*将时间戳转换为时间字符串*@param input 时间戳Struct*@return 时间字符串Struct*/public Map,String>evaluate(Struct input){ if(input=null){ return null;} SimpleDateFormat formatter=new SimpleDateFormat(PATTERN);String ...
Go-SQL-Driver/MySQL 连接 OceanBase 数据库示例程序
本文将介绍如何使用 Go-SQL-Driver/MySQL 驱动和 OceanBase 数据库构建一个应用程序，实现创建表、插入数据和查询数据等基本操作。点击下载 go-oceanbase 示例工程 前提条件 安装 OceanBase 数据库、Go 语言和相关驱动，并确保已经正确配置...
MAP_FROM_ENTRIES
命令格式 map,V>map_from_entries([string,]array<struct,V>,struct,V>[,.]>)参数说明 mapDupKeyPolicy：可选。STRING类型。指定出现重复Key时的处理方式。取值范围如下：exception：如果出现重复的Key，返回报错。last_win：如果出现重复...
概述
MaxCompute 2.0数据类型版本支持较多数据类型，例如TINYINT、SMALLINT、DATETIME、TIMESTAMP、ARRAY、MAP和STRUCT等。您如果需要使用这些新类型，在执行SQL之前需要执行以下语句，打开MaxCompute 2.0数据类型开关。详情请参见 数据类型版本...
Delta Lake 快速入门
Python%pyspark events=spark.read.json("/databricks-datasets/structured-streaming/events/")events.write.partitionBy("date").format("delta").save("/mnt/delta/events")spark.sql("CREATE TABLE events USING DELTA LOCATION '/mnt/...
STRUCT
使用指定 value 列表建立STRUCT。命令格式 struct struct(,[,.])参数说明 value：必填。可以为任意类型。返回值说明 返回STRUCT类型。Field的名称依次为 col1，col2，…。使用示例-返回{col1:a,col2:123,col3:true,col4:56.9}。select ...
NAMED_STRUCT
使用指定的 name、value 列表建立STRUCT。命令格式 struct named_struct(string,T1,string,T2[,.])参数说明 value：必填。可以为任意类型。name：必填。指定STRING类型的Field名称。此参数为常量。返回值说明 返回STRUCT类型。Field的名称...
FIELD
获取STRUCT对象中成员变量的取值。命令格式 T field(struct,string)参数说明 s：必填。STRUCT类型对象。STRUCT的结构为 {f1,T1,f2,T2[,.]}，f1、f2 代表成员变量，T1、T2 分别代表成员变量 f1、f2 的取值。fieldName：必填。STRING类型。...
TO_JSON
说明 如果输入为STRUCT类型（struct,key2:value2）：转换为JSON字符串时，Key会全部转为小写。value 如果为NULL，则不输出 value 本组的数据。例如 value2 为NULL，则 key2:value2 不会输出到JSON字符串。返回值说明 返回JSON格式的字符串...
- 产品推荐
- 这些文档可能帮助您