基于TPC-DS测试Databricks引擎性能
在Databricks数据洞察的项目空间中创建一个新项目，操作如下：步骤三：生成测试数据集脚本 spark资源可以根据测试数据量与集群规模配置的具体情况，进行逐一调整。scale_factor参数控制整个测试集的数据量（如scale_factor=1000 即1T的数据...
入门笔记本
这些笔记本显示了如何将JSON数据转换为Delta Lake格式，创建Delta表，追加到表，优化结果表，最后使用Delta Lake元数据命令显示表的历史记录，格式和详细信息。Delta Lake Quickstart Python笔记本 Note 链接地址：Databricks Delta ...
表版本控制
您还可以通过设置SQL配置来设置默认协议版本：spark.databricks.delta.protocol.minWriterVersion=2(default)spark.databricks.delta.protocol.minReaderVersion=1(default)要将表升级到较新的协议版本，请使用以下DeltaTable....
Databricks Runtime
Databricks Runtimes是在Databricks集群上运行的一组核心组件。Databricks提供了几种类型的Runtime。Databricks Runtime Databricks Runtime包括Apache Spark，但还添加了许多组件和更新，这些组件和更新极大地提高了大数据分析的可用性，...
EMR HDFS
本文介绍如何使用Databricks 读写EMR HDFS文件系统数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建 EMR集群，具体参见 EMR集群创建 已创建DDI集群，具体请参见 DDI集群创建。创建集群并通过knox账号访问Notebook。接入EMR ...
Tablestore
本文介绍如何使用Databricks 读写Tablestore数据。前提条件 已创建 Tablestore实例 通过主账号登录 阿里云 Databricks控制台。已创建DDI集群，具体请参见 DDI集群创建。创建集群并通过knox账号访问NoteBook。使用Databricks 读写Tablestore...
通过JDBC连接Spark Thrift Server提交Spark作业
本文介绍通过JDBC连接Spark Thrift Servert并成功提交Spark作业。前提条件 连接Spark Thrift Server需要校验用户名和密码，请进行用户认证配置，请参见：用户管理 DDI集群Spark Thrift Server默认端口号为10001，请确认成功添加安全组白...
Notebook-航空公司数据分析示例
本文针对Notebook的使用，做一个具体的场景示例——航空公司数据导入及分析。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 创建存储空间...
OSS
本文介绍如何使用Databricks 读写 OSS文件系统数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 创建存储空间。警告 首次使用DDI产品...
Delta Lake 快速开始二
spark.sql("DROP DATABASE IF EXISTS {} CASCADE".format(database))spark.sql("CREATE DATABASE {} location 'oss:/dome-test/case6/'".format(database))spark.sql("USE {}".format(database))说明 您可以在 Databricks数据洞察控制台中...
MaxCompute
本文介绍如何使用Databricks 读写MaxCompute数据。前提条件 已创建 MaxCompute实例，具体参见 快速体验MaxCompute 通过主账号登录 阿里云 Databricks控制台。已创建DDI集群，具体请参见 DDI集群创建。创建集群并通过knox账号访问NoteBook。...
API参考
对于Delta表上最常见的读写操作，可以使用Apache Spark读取器和编写器API（请参阅 表批读写 和 表流读写）。但是，有一些特定于Delta Lake的操作，您必须使用Delta Lake编程API。本文介绍了这些编程API。Databricks确保Delta Lake项目和...
JindoFS
本文介绍如何使用Databricks 读写JindoFS数据源数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建 EMR集群，具体参见 EMR集群创建 已创建DDI集群，具体请参见 DDI集群创建。创建集群并通过knox账号访问NoteBook。重要 版本...
常见问题（FAQ）
客户提供的加密密钥的服务器端加密 您可以通过将设置spark.databricks.delta.multiClusterWrites.enabled为来禁用多集群写入false。如果禁用它们，对单个表的写入必须来自单个集群。我可以在Databricks Runtime之外访问Delta表吗？有两种...
Delta Lake 快速入门
Delta Lake快速入门概述了使用Delta Lake的基础知识。此快速入门演示如何生成管道，以便将JSON数据读入Delta表、修改表、读取表、显示表历史记录，以及优化表。有关演示这些功能的Databricks笔记本，请参阅 入门笔记本。创建表 若要创建...
Delta Lake 快速开始一
该Notebook展示了如何将JSON数据转换为Delta Lake格式，创建Delta表，在Delta表中Append数据，最后使用Delta Lake元数据命令来显示表的历史记录、格式和详细信息。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请...
Parquet（推荐）
Parquet是一种开源的面向列的数据存储格式，它提供了各种存储优化，尤其适合数据分析。Parquet提供列压缩从而可以节省空间，而且它支持按列读取而非整个文件的读取。作为一种文件格式，Parquet与Apache Spark配合的很好，而且实际上也是...
CSV文件
spark spark.read.format("csv")1.hearder 选项 默认header=false%spark val path="oss:/databricks-data-source/datas/input.csv"val dtDF=spark.read.format("csv").option("mode","FAILFAST").load(path)dtDF.show(5)数据展示 header=...
ORC文件
读取orc数据%spark val inputPath="oss:/databricks-data-source/datas/orc_data"val dataDF=spark.read.format("orc").option("header","true").option("inferSchema","true").option("mode","FAILFAST").load(inputPath)dataDF.show(3)...
JSON文件
在Spark中，我们提及的JSON文件是换行符分隔的JSON，每行必须包含一个单独的，独立有效的JSON对象。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，...
表批读写
说明 详细内容可参考Databricks官网文章：表批读写 有关演示这些功能的Databricks笔记本，请参阅 入门笔记本二。有关Delta Lake SQL命令的信息，请参见 Databricks Runtime 7.0及更高版本：Databricks Runtime 7.x SQL参考 Databricks ...
文本文件
1,a,10000,11-03-2019,pune 2,b,10020,14-03-2019,pune 3,a,34567,15-03-2019,pune tyui,a,fgh-03-2019,pune 4,b,10020,14-03-2019,pune%spark val path="oss:/databricks-data-source/datas/dataTest.csv"val dtDF=spark.read.textFile...
表流读写
说明 详细内容请参考Databricks官网文章：表流读写 有关演示这些功能的Databricks笔记本，请参阅 入门笔记本二。Delta Lake通过readStream和writeStream与Spark结构化流式处理深度集成。Delta Lake克服了许多流式处理系统和文件相关的常见...
自动优化
自动优化在这些场景下尤其有用：1）能接受分钟级时延的流式数据入湖；2）常使用Merge Into，Insert Into和Create table as select的场景。说明 详细内容可参考Databricks官网文章：自动优化 自动优化的工作原理 自动优化包含两个重要特性：...
创建数据开发作业
Type String 是 SPARK 作业类型，取值如下：SPARK：spark作业，使用spark-submit提交 ZEPPELIN：提交zeppelin notebook，使用该作业类型，作业的params参数为notebook id SPARK_STREAMING：提交spark流处理作业 FailAct String 否 STOP ...
使用OPTIMIZE和Z-ORDER优化商品库存查询性能
步骤二：创建Notebook、导入数据、进行数据分析%pyspark#将csv文件转化为parquet格式#注意文件读取和保存的路径请按照您的oss路径进行配置 spark.read.option("header","true")\.csv("oss:/databricks-demo/online_retail.csv")\.select(...
迁移指南
说明 详情可参考Databricks官网文章：迁移指南 将工作负载迁移到Delta Lake 当您将工作负载迁移到Delta-Lake时，您应该注意到以下简化和与apachespark和apachehive提供的数据源相比的区别。Delta Lake自动处理以下操作，您永远不要手动执行...
新手指引
更多信息，请参见如下内容：什么是云虚拟主机 云虚拟主机的产品优势 云虚拟主机的产品类型 云虚拟主机的应用场景 云虚拟主机的使用限制 云虚拟主机的计费说明 云虚拟主机数据库概述 云虚拟主机支持的建站系统说明 新手快速入门 云虚拟主机...
计费项
计费项概览 云虚拟主机的计费项概览图如下所示：独享云虚拟主机 独享云虚拟主机计费由产品本身费用和额外所需的扩展带宽、网站加速包组成。具体计费说明如下所示：说明 购买云虚拟主机产品或额外所需的扩展带宽、网站加速包前，请您确保...
升级或续费说明
如果云虚拟主机配置无法满足当前网站业务需求，您可以通过升级云虚拟主机来扩大数据存储空间和提高网站访问速度；同时为了保证网站业务的正常运行，您也可以通过为快要到期的云虚拟主机及时续费，来避免因主机被释放而影响您的业务。升级云...
计费概述
计费项 云虚拟主机的费用包含主机本身费用和额外需购买的增值服务费用（例如带宽、流量、网页空间和网站加速包等服务费用），您可以按照包年包月的计费方式购买云虚拟主机产品或增值服务。说明 云虚拟主机不支持按量付费的购买方式，您只能...
功能发布记录
增加云虚拟主机的数据库空间 主机控制台支持显示DDoS的防护状态 在云虚拟主机管理控制台的主机信息页面，您可以看到DDoS防护状态，方便及时了解云虚拟主机站点的运行状态。获取云虚拟主机的主机信息 主机控制台支持自助诊断功能 Linux操作...
计费常见问题
本文汇总了云虚拟主机计费的常见问题。未支付的订单在哪里能看到？当您购买云虚拟主机或其他增值服务时，如果没有立即付款，未支付的订单会保存在 万网产品订单 页签下的 未支付订单 中，具体查找方法如下所示：登录 云虚拟主机管理页面。...
增加独享云虚拟主机带宽
仅固定带宽规格的独享型云虚拟主机支持增加带宽，额外增加带宽的云虚拟主机可满足更多的在线用户访问网站，提升网站访问速度和流畅度，并有效提高对DDoS等大流量类型网络攻击的防御力度。注意事项 仅固定带宽规格的独享云虚拟主机支持增加...
常见问题
如果您在使用云虚拟主机时遇到网站无法访问、网站访问异常（报错或者缓慢）、FTP使用异常、网站迁移异常、数据库使用问题、主机功能设置问题、耗资源/DDoS/大流量/升级或续费以及产品计费等问题，您可以参考本文方法进行问题排查。...
绑定域名
使用云虚拟主机搭建网站后，需要为云虚拟主机绑定域名并进行域名解析，部署在中国内地的网站还需要备案成功才能正常访问。本文为您介绍如何为云虚拟主机绑定域名。前提条件 已注册并实名认证域名。您可以通过阿里云域名服务或者其他域名...
购买和初始化云虚拟主机
阿里云为您提供多款云虚拟主机产品，您可以根据网站程序的开发环境、访问规模以及数据量等建站规划，购买适合的云虚拟主机。本文为您介绍购买和初始化云虚拟主机的方法。前提条件 已注册阿里云账号。如未注册阿里云账号，具体操作，请参见 ...
- 产品推荐
- 这些文档可能帮助您