Quick BI中自定义SQL运行时提示“java.lang....
问题描述 Quick BI中自定义SQL运行报错“java.lang.ClassCastException:java.time.LocalDate cannot be cast to java.util.Date”。从后台获取的完整的报错日志如下：2021-12-15 18:26:34,349 ERROR[grpc-default-executor-8]...
Flink Table Store与Spark集成
spark-shell 在Spark CLI中运行以下Scala代码，查询指定目录下存储的Flink Table Store表。val dataset=spark.read.format("tablestore").load("oss:/oss-bucket/warehouse/test_db.db/test_tbl")dataset.createOrReplaceTempView("test_...
通过缓存优化性能
Delta缓存通过使用快速中间数据格式在节点的本地存储中创建远程文件的副本来加速数据读取。每当需要从远程位置获取...Delta 缓存 要启用和禁用Delta缓存，请运行：Scala spark.conf.set("spark.databricks.io.cache.enabled","[true|false]")
Paimon与Spark集成
spark-shell 在Spark CLI中运行以下Scala代码，查询指定目录下存储的Paimon表。val dataset=spark.read.format("paimon").load("oss:/<yourBucketName>/warehouse/test_db.db/test_tbl")dataset.createOrReplaceTempView("test_tbl")spark....
作业上线问题
234)at scala.collection.Iterator$class.foreach(Iterator.scala:891)at scala.collection.AbstractIterator.foreach(Iterator.scala:1334)at scala.collection.IterableLike$class.foreach(IterableLike.scala:72)at scala.collection....
搭建Windows开发环境
在命令运行界面输入 scala，若返回的结果符合预期，则Scala配置成功。预期结果示例 Welcome to Scala 2.13.10(Java HotSpot(TM)64-Bit Server VM,Java 1.8.0_361).Type in expressions for evaluation.Or try:help.scala>配置Python环境...
开发ODPS Spark任务
MaxCompute Spark支持使用Java、Scala和Python语言进行开发，并通过Local、Cluster模式运行任务，在DataWorks中运行MaxCompute Spark离线作业时采用Cluster模式执行。更多关于MaxCompute Spark运行模式的介绍，详情请参见 运行模式。准备...
开发ODPS Spark任务
MaxCompute Spark支持使用Java、Scala和Python语言进行开发，并通过Local、Cluster模式运行任务，在DataWorks中运行MaxCompute Spark离线作业时采用Cluster模式执行。更多关于MaxCompute Spark运行模式的介绍，详情请参见 运行模式。准备...
使用Spark访问
scala>val res=sc.textFile("/test/input/words").flatMap(_.split(",")).map((_,1)).reduceByKey(_+_)scala>res.collect.foreach(println)scala>res.saveAsTextFile("/test/output/res")查看结果。usr/local/hadoop-2.7.3/bin/hadoop fs-...
引擎版本介绍
esr-2.1-native(Spark 3.3.1,Scala 2.12,Native Runtime)Fusion Engine（Spark Native Engine），基于Apache Spark 3.3.1构建，使用Scala 2.12进行编程，采用原生运行时环境。esr-1.0(Spark 2.4.7,Scala 2.11,Java Runtime)基于Apache ...
示例项目使用说明
本文介绍的项目都是完整的可编译可运行的项目，包括MapReduce、Pig、Hive和Spark。示例项目 示例名称如下所示，详情代码示例请参见 集群运行。MapReduce WordCount：单词统计 Hive sample.hive：表的简单查询 Pig sample.pig：Pig处理OSS...
弹性容器实例
阿里云弹性容器实例（Elastic Container Instance）是敏捷安全的Serverless容器运行服务。您无需管理底层服务器，也无需关心运行过程中的容量规划，只需要提供打包好的Docker镜像，即可运行容器，并仅为容器实际运行消耗的资源付费。
Spark-1.x示例
spark.version>1.6.3</spark.version><cupid.sdk.version>3.3.3-public</cupid.sdk.version><scala.version>2.10.4</scala.version><scala.binary.version>2.10</scala.binary.version></properties><dependency><groupId>org...
表实用程序命令
历史架构 列 类型 说明 版本 long 通过操作生成的表版本 timestamp timestamp 提交此版本的时间 userId 字符串 运行操作的用户的ID userName 字符串 运行操作的用户的姓名。operation 字符串 操作的名称。operationParameters map 操作的...
概述
ON-OSS示例（Scala）OSS UnstructuredData示例（Scala）SparkPi示例（Scala）支持Spark Streaming LogHub示例（Scala）支持Spark Streaming LogHub写MaxCompute示例（Scala）支持Spark Streaming DataHub示例（Scala）支持Spark Streaming ...
数据类型
了解Spark数据类型、Scala中的值类型、表格存储中多元索引数据类型和表格存储表中数据类型的对应关系。使用过程中请确保Spark、Scala和表格存储中字段或值的数据类型相匹配。基础数据类型 基础数据类型的支持情况请参见下表。Spark数据类型...
批式读写
建表并写入数据 Scala/非分区表 data.write.format("delta").save("/tmp/delta_table")/分区表 data.write.format("delta").partitionedBy("date").save("/tmp/delta_table")SQL-非分区表 CREATE TABLE delta_table(id INT)USING delta ...
入门笔记本
Delta Lake Quickstart Python笔记本 Note 链接地址：Databricks Delta Quickstart(Python)Delta Lake Quickstart Scala笔记本 Note 链接地址：Databricks Delta Quickstart(Scala)Delta Lake快速入门SQL笔记本 Note 链接地址：Databricks ...
客户端
php-sdk)Python InfluxDB-Python(influxdb-python)R influxdbr Ruby influxdb-ruby Influxer(influxer)Scala scala-influxdb-client chronicler Sensu sensu-influxdb-extension SNMP agent SnmpCollector(snmpcollector)
支持的检测规则
Scala编码风格检测 Scala 基于scalastyle工具进行scala编码风格检测,帮助开发者优化编码过程的产生的scala编码风格问题。Kotlin基础规则包 Kotlin 基于detekt检测工具帮助开发者检测与修复kotlin开发过程中的编码问题，帮助开发人员提高...
Spark SQL、Dataset和DataFrame基础操作
Dataset API有Scala和Java两种版本。Python和R不支持Dataset API，但是由于Python和R的动态特性，Dataset API的许多优点已经可用。DataFrame是组织成命名列的Dataset。他在概念上相当于关系数据库中的一个表，或R和Python中的一个DataFrame...
从Flink导入数据至ClickHouse
randString,rand.nextBoolean(),rand.nextLong(),rand.nextGaussian())})val table=table2RowDataStream(tableEnv.fromDataStream(data))sink.emitDataStream(table.javaStream)/execute program env.execute("Flink Streaming Scala API ...
什么是Databricks数据洞察
支持Java、Scala和Python语言。MLlib 可扩展的机器学习库，包含了许多常用的算法和工具包。GraphX Spark用于图和图并行计算的API。Spark Core API 支持R、SQL、Python、Scala、Java等多种语言。icmsDocProps={'productMethod':'created','...
Notebook
如果是Scala代码，是串行执行的，因为默认所有Note共享一个SparkContext。相关配置：参数 默认取值 zeppelin.spark.concurrentSQL true zeppelin.spark.currentSQL.max 10 Q：如何使Note之间相互独立？设置 per note isolated，使每个Note...
Notebook概述
全面兼容Apache Zeppelin，您可以使用Scala、Python、Spark SQL、R等语言编写Spark程序。相关操作 有关Notebook的更多操作，请参见：管理Notebook 使用Notebook 说明 每个Databricks数据洞察集群都会部署独立DataInsight Notebook服务。...
安装Spark单机版
Spark将Scala用作其应用程序框架，启用了内存分布数据集，除了能够提供交互式查询外，还可以迭代优化工作负载。模板示例 Spark单机版（已有VPC）在已有专有网络、交换机和安全组等资源的基础上，创建一台ECS实例并绑定弹性公网IP（EIP）。...
管理任务
最近运行状态 运行状态根据最近一次任务的运行情况来定义，包含待运行、运行中、运行成功、运行失败、手动终止、未运行（-），其中：待运行：出现并行任务时，排队中的任务状态显示为待运行。手动终止：当任务在待运行或运行中时，通过单击...
查看实例统计
实例统计展示系统内离线实例和实时实例的运行详情、运行趋势、运行失败实例数排行、失败报警实例数排行等信息，帮助您从项目视角或全局视角，把控实例运行的情况。本文为您介绍运维中心的实例统计。实例统计入口 请参见 运维中心入口，进入...
查看实例统计
实例统计展示系统内离线实例和实时实例的运行详情、运行趋势、运行失败实例数排行、失败报警实例数排行等信息，帮助您从项目视角或全局视角，把控实例运行的情况。本文为您介绍运维中心的实例统计。实例统计入口 请参见 运维中心入口，进入...
安装Kafka单机版
背景信息 Apache Kafka是一个开源流处理平台，使用Scala和Java语言编写。Kafka作为一种高吞吐量的分布式发布订阅消息系统，可以处理消费者模式网站中的所有动作流数据。模板示例 Kafka 单机版（已有VPC）在已有专有网络、交换机和安全组等...
实例运行诊断
实例运行状态及实例运行流程如下：运行状态标识 标识描述 运行流程图 未运行 等待调度时间 限流中 等待调度资源 运行中 成功 失败 实例是否能成功运行，受其上游依赖、调度时间、资源、实例本身运行情况等多方因素影响。当实例运行失败或长...
实例运行诊断
实例运行状态及实例运行流程如下：运行状态标识 标识描述 运行流程图 未运行 等待调度时间 限流中 等待调度资源 运行中 成功 失败 实例是否能成功运行，受其上游依赖、调度时间、资源、实例本身运行情况等多方因素影响。当实例运行失败或长...
通过Flink导入数据
下载flink-1.16.3-bin-scala_2.12.tgz，进行解压，示例如下。wget https://dlcdn.apache.org/flink/flink-1.16.3/flink-1.16.3-bin-scala_2.12.tgz tar -zxvf flink-1.16.3-bin-scala_2.12.tgz进入FLINK_HOME/lib目录中下载 flink-sql-...
流水线的运行
待到日常环境测试阶段运行结束后，空闲下来，开始再次运行，此时是接续持续集成阶段第三次运行的版本继续运行，而不是接续持续集成阶段第二次运行的版本继续运行。亦支持在前一阶段运行完成时，若后一阶段正在运行，强制中止后一阶段当前...
MongoDB客户端SSL连接示例
Scala SSL连接示例 相关链接：MongoDB Scala Driver。示例代码 Scala驱动程序使用Netty提供的SSL底层支持与MongoDB服务器进行SSL连接。其中，将MongoClientSettings的sslEnabled设置为True，启用SSL连接；将InvalidHostNameAllowed设置为...
运行实例
运行实例入口 在DataTrust首页，单击顶部菜单栏的 通用计算。进入 运行实例 页面。按照下图指引，进入 运行实例 页面。查看及管理隐私计算运行实例 隐私计算任务运行后，您可在运维列表查看实例日志及重新运行实例。区域 描述 ① 筛选及...
管理运行任务
本文介绍如何在基因分析平台中查看、停止和恢复运行任务。用户在基因分析平台中成功创建运行任务后，系统会自动进行解析和执行，直到完成或者失败。在此过程中，用户可以随时查看运行任务的执行进度，任务日志和性能监控等情况。查看运行...
查看并管理脚本实例
脚本实例列表页面展示当前实例对象、运行状态、调度周期、业务日期、定时运行时间、开始运行时间、结束运行时间、运行时长、优先级、运维负责人、相关基线实例、资源组及支持的操作。字段 描述 实例对象 运行一个周期任务得到一个周期实例...
运行及排错
本文为您介绍如何实现节点的运行、运维，并通过查看日志进行排错。背景信息 在 设置周期和依赖 的操作中，您配置了每周二凌晨2点执行离线同步节点。提交节点后，需要到第2天才能看到调度系统自动执行的结果。DataWorks为您提供测试运行、补...
查看并管理手动实例
手动实例是手动任务运行后生成的实例数据。系统支持对手动实例进行运维管理，包括查看运行日志、查看手动任务、查看节点代码等。手动实例入口 请参见 运维中心入口，进入 运维 中心。在 运维 中心页面，单击左侧导航栏 手动实例，进入手动...
- 产品推荐
- 这些文档可能帮助您