高性能入门级spark云主机-高性能入门级spark云主机文档介绍内容-阿里云

并发控制

说明详情请参考Databricks官网文章：并发控制。Delta Lake在读取和写入之间提供ACID事务保证。这意味着：跨多个集群的多个编写器可以同时修改表分区，并查看表的一致性快照视图，并且这些写入操作将具有序列顺序。即使在作业过程中修改了...

spark.sql("DROP DATABASE IF EXISTS {} CASCADE".format(database))spark.sql("CREATE DATABASE {} location 'oss:/dome-test/case6/'".format(database))spark.sql("USE {}".format(database))说明您可以在 Databricks数据洞察控制台中...

项目管理

创建Databricks 数据洞察集群后，您可以在数据开发中创建项目，并在项目中进行作业的编辑和工作流的调度。新建项目之后，您可以对项目进行管理，为项目关联集群资源、添加项目成员以及设置全局变量。前提条件已创建集群，详情请参见集群...

按时间伸缩规则配置

配置伸缩规则在Databricks数据洞察中开启弹性伸缩时，如果选择按时间配置伸缩规则，则根据以下说明配置相关参数即可伸缩规则分为扩容规则和缩容规则。集群关闭弹性伸缩功能后，所有规则会被清空，再次开启弹性伸缩功能时，需要重新配置...

项目空间运维与监控

本文主要介绍Databricks数据洞察中项目空间具有的运维与监控能力。背景信息项目空间的运维能力主要辅助作业开发和工作流生产，前者提供作业开发过程中的日志监控、版本监控和操作审计监控；后者兼容前者的功能，更提供针对调度场景下的...

创建数据开发作业

Type String 是 SPARK 作业类型，取值如下：SPARK：spark作业，使用spark-submit提交 ZEPPELIN：提交zeppelin notebook，使用该作业类型，作业的params参数为notebook id SPARK_STREAMING：提交spark流处理作业 FailAct String 否 STOP ...

EMR HDFS

本文介绍如何使用Databricks 读写EMR HDFS文件系统数据。前提条件通过主账号登录阿里云 Databricks控制台。已创建 EMR集群，具体参见 EMR集群创建已创建DDI集群，具体请参见 DDI集群创建。创建集群并通过knox账号访问Notebook。接入EMR ...

Tablestore

本文介绍如何使用Databricks 读写Tablestore数据。前提条件已创建 Tablestore实例通过主账号登录阿里云 Databricks控制台。已创建DDI集群，具体请参见 DDI集群创建。创建集群并通过knox账号访问NoteBook。使用Databricks 读写Tablestore...

OSS

本文介绍如何使用Databricks 读写 OSS文件系统数据。前提条件通过主账号登录阿里云 Databricks控制台。已创建集群，具体请参见创建集群。已使用OSS管理控制台创建非系统目录存储空间，详情请参见创建存储空间。警告首次使用DDI产品...

JindoFS

本文介绍如何使用Databricks 读写JindoFS数据源数据。前提条件通过主账号登录阿里云 Databricks控制台。已创建 EMR集群，具体参见 EMR集群创建已创建DDI集群，具体请参见 DDI集群创建。创建集群并通过knox账号访问NoteBook。重要版本...

MaxCompute

本文介绍如何使用Databricks 读写MaxCompute数据。前提条件已创建 MaxCompute实例，具体参见快速体验MaxCompute 通过主账号登录阿里云 Databricks控制台。已创建DDI集群，具体请参见 DDI集群创建。创建集群并通过knox账号访问NoteBook。...

查询作业运行实例列表

JobType String 否 SPARK 作业的类型，可能的取值有：SPARK，SPARK_STREAMING，ZEPPELIN InstanceId String 否 FJI-BCCAE48B90CC*作业实例ID。您可以调用DescribeFlowJob查看作业实例ID。TimeRange String 否 {"type":"range","from":...

Notebook-航空公司数据分析示例

读取OSS数据、打印schema，创建TempView Load OSS data%spark val sparkDF=spark.read.format("csv").option("header","true").option("inferSchema","true").load("oss:/databricks-demo-hangzhou/airline_statistic_usa.csv")Print ...

最佳实践

说明详情请参考Databricks官网文章：最佳实践本文介绍了使用Delta Lake时的最佳做法。提供数据位置提示如果您通常希望在查询谓词中使用一个列，并且该列具有较高的基数（即，大量不同的值），则使用Z-ORDER-BY。Delta-Lake根据列值自动...

CSV文件

spark spark.read.format("csv")1.hearder 选项默认header=false%spark val path="oss:/databricks-data-source/datas/input.csv"val dtDF=spark.read.format("csv").option("mode","FAILFAST").load(path)dtDF.show(5)数据展示 header=...

查询节点实例详情

返回数据名称类型示例值描述 Status String OK 实例的执行状态，取值如下：PREP（等待启动）SUBMITTING（提交中）RUNNING（运行中）DONE（已完成）OK（执行成功）FAILED（执行失败）KILLED（已终止）KILL_FAILED（终止失败）START_...

ORC文件

读取orc数据%spark val inputPath="oss:/databricks-data-source/datas/orc_data"val dataDF=spark.read.format("orc").option("header","true").option("inferSchema","true").option("mode","FAILFAST").load(inputPath)dataDF.show(3)...

JSON文件

{"key":"value3","extra_key":"extra_value3"}} 数据读取%spark val path="oss:/databricks-data-source/datas/example.json"val data_json=spark.read.format("json").load(path)data_json.show()data_json.printSchema()2.添加mode，...

入门笔记本

这些笔记本显示了如何将JSON数据转换为Delta Lake格式，创建Delta表，追加到表，优化结果表，最后使用Delta Lake元数据命令显示表的历史记录，格式和详细信息。Delta Lake Quickstart Python笔记本 Note 链接地址：Databricks Delta ...

文本文件

1,a,10000,11-03-2019,pune 2,b,10020,14-03-2019,pune 3,a,34567,15-03-2019,pune tyui,a,fgh-03-2019,pune 4,b,10020,14-03-2019,pune%spark val path="oss:/databricks-data-source/datas/dataTest.csv"val dtDF=spark.read.textFile...

DescribeClusterV2

MachineType String ECS 集群的主机类型，目前默认为ECS。MasterNodeInService Integer 2 使用中的Master节点数。MasterNodeTotal Integer 2 Master节点总数。MetaStoreType String local 统一元数据类型。Name String cluster_name 集群名...

约束条件

说明详细内容请参考Databricks官网文章：约束条件注意在Databricks Runtime 7.4及更高版本中可用。Delta表支持标准的SQL约束管理子句，以确保自动验证添加到表中的数据的质量和完整性。当违反约束时，Delta Lake会抛出一个...

工作流使用案例

在Databricks数据开发中，您可以在项目空间的作业编辑中创建一组有依赖的作业，然后创建工作流，按照依赖次序定义执行顺序，Databricks工作流支持基于有向无环（DAG）并行执行大数据作业。前提条件通过主账号登录阿里云 Databricks控制台...

关闭弹性伸缩

操作步骤登录阿里云Databricks控制台。在顶部菜单栏处，选择地域（Region）。单击左侧集群页签。在集群管理页面，单击相应集群所在行的详情。在详情页面上部页签栏，单击弹性伸缩。在弹性伸缩页面，单击关闭弹性伸缩划窗。在...

解绑标签

调用UntagResources接口可以为指定的Databricks集群解绑标签。解绑后，如果该标签没有绑定其他任何资源，会被自动删除。请求参数名称类型是否必选示例值描述 Action String 否 TagResource 系统规定参数。对于您自行拼凑HTTP或...

查看弹性伸缩记录

操作步骤登录阿里云Databricks控制台。在顶部菜单栏处，根据实际情况选择地域（Region）和资源组。单击上方的集群管理页签。在集群管理页面，单击相应集群所在行的详情。在详情页面上部页签栏，单击弹性伸缩。右上角单击弹性...

创建并绑定标签

调用TagResources接口，为指定的Databricks集群列表统一创建并绑定标签。调用该接口时，有如下使用限制：最多可以给集群绑定20个标签（包括集群已有标签）标签键和值均不能以“acs:”或者“aliyun”开头，且标签键和值均不能包含“http://...

Java库管理

使用NoteBook引入Java依赖的三种方式 spark.jars spark.jars.packages spark.files 说明用户做好配置之后，在启动spark任务之前（即第一次运行spark、pyspark、sparkR或者sparkSQL相关代码之前）运行spark.conf段落即可对将要启动的spark...

查询数据开发中可用的集群列表

调用ListFlowClusterAll接口，查询数据开发可用的集群列表。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 ...

创建工作流

您可以调用DescribeRegions查看最新的阿里云地域列表。ProjectId String 是 FP-ED2F3E844FE3*项目ID。您可以调用ListFlowProject查看项目的ID。Name String 是 myFlow 目录名称。您可以调用ListFlowProject查看 Description String 是这是...

查询项目中可用的集群列表

您可以调用DescribeRegions查看最新的阿里云地域列表。ProjectId String 是 FP-5D55DA9DEDF2*项目ID。您可以调用ListFlowProject查看项目的ID。PageNumber Integer 否 1 当前页码，从1开始。PageSize Integer 否 20 分页查询时设置的每页行...

通过JDBC连接Spark Thrift Server提交Spark作业

本文介绍通过JDBC连接Spark Thrift Servert并成功提交Spark作业。前提条件连接Spark Thrift Server需要校验用户名和密码，请进行用户认证配置，请参见：用户管理 DDI集群Spark Thrift Server默认端口号为10001，请确认成功添加安全组白...

迁移指南

说明详情可参考Databricks官网文章：迁移指南将工作负载迁移到Delta Lake 当您将工作负载迁移到Delta-Lake时，您应该注意到以下简化和与apachespark和apachehive提供的数据源相比的区别。Delta Lake自动处理以下操作，您永远不要手动执行...

优化链接性能

Delta Lake on Databricks可优化范围和skew连接。Range连接优化需要根据您的查询...请参阅以下文章以了解如何充分利用这些连接优化：Range Join optimization Skew Join optimization 说明详细内容可参考Databricks官网文章：优化链接性能

查询工作流列表

您可以调用DescribeRegions查看最新的阿里云地域列表。ProjectId String 否 FP-3535FE0BE522*项目ID。您可以调用ListFlowProject查看项目的ID。JobId String 否 FJ-F32FB31D8295*作业ID。您可以调用ListFlowJob查看。Name String 否 my_...

查询作业列表

Job Type String SPARK 作业的类型，可能的取值有：SPARK，SPARK_STREAMING，ZEPPELIN FailAct String STOP 失败策略，可能的取值：CONTINUE（提过本次作业），STOP（停止作业）CustomVariables String {"scope":"project"} 自定义变量。...

查询作业信息

返回数据名称类型示例值描述 Type String SPARK 作业的类型，可能的取值有：SPARK，SPARK_STREAMING，ZEPPELIN LastInstanceId String FJI-0BA97D0BB8F3*最后一次执行的实例ID。EnvConf String {"key":"value"} 环境变量设置。...

修改数据开发作业

调用ModifyFlowJob接口，修改数据开发作业。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 Action String 是 ...

返回结果

调用成功返回的数据格式主要有 XML 和 JSON 两种，外部系统可以在请求时传入参数来制定返回的数据格式，默认为 XML 格式。成功结果 JSON示例：{"Data":"true","RequestId":"2670BCFB-925D-4C3E-9994-8D12F7A9F538"} 错误结果调用接口出错...

查询资源标签

调用ListTagResources，查询一个或多个Databricks集群已绑定的标签列表，或者根据一组标签查询被改组标签绑定的资源。调用该接口时注意以下信息：请求中至少指定一个参数：ResourceId.N、Tag.N（Tag.N.Key与Tag.N.Value），以确定查询对象...

高性能入门级spark云主机

新品推荐