Python库管理
添加库 使用阿里云账号登录 Databricks数据洞察控制台。在Databricks数据洞察控制台页面，选择所在的地域（Region）。创建的集群将会在对应的地域内，一旦创建后不能修改。在左侧导航栏，单击 库。在 库 页面，单击上方的 添加。在 添加库 ...
管理运维中心
查看作业概览 使用阿里云账号登录 Databricks数据洞察控制台。在Databricks数据洞察控制台页面，选择所在的地域（Region）。创建的集群将会在对应的地域内，一旦创建后不能修改。在左侧导航栏，单击 项目空间。在 项目空间 页面，单击待...
释放集群
按量付费集群释放 使用阿里云账号登录 Databricks数据洞察控制台。在Databricks数据洞察控制台页面，选择所在的地域（Region）。在左侧导航栏中，单击 集群。设置释放。在集群管理页面，单击待释放集群所在行的释放。单击待释放集群的集群...
续费流程
登录 Databricks数据洞察控制台。在顶部菜单栏处，根据实际情况选择地域（Region）和资源组。点击上方的 集群管理 页签。在 集群管理 页面，单击目标集群操作列的 续费 或者在 集群基础信息 页面，选择 费用管理>续费。在 续费 页面，设置...
创建集群
操作步骤 使用阿里云账号登录 Databricks数据洞察控制台。在Databricks数据洞察控制台页面，选择所在的地域（Region）。创建的集群将会在对应的地域内，一旦创建后不能修改。在左侧导航栏中，单击 集群。在 集群管理 页面，单击 创建集群。...
Databricks数据洞察快速使用
demo-hangzhou文件路径为demo/The_Sorrows_of_Young_Werther.txt的文件/从oss地址读取文本文档 val text=sc.textFile("oss:/databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt")步骤一：创建集群 使账号登录 Databricks管控...
RDS(SQL Server)
登录Databricks数据洞察集群进入Notebook，代码实现SQL Server数据读写。示例文本下载：The_Sorrows_of_Young_Werther.txt 在Notebook中使用%spark读取OSS文件，并执行WordCount代码实现。spark/从oss读取数据到spark的rdd import org....
使用Spark Structured Streaming实时处理Kafka数据
步骤二：Databricks 数据洞察集群添加外部数据源 登录 Databricks数据洞察控制台。单击左侧 集群 按钮，选择已创建的集群。进入集群详情页面，单击上方 数据源 按钮。在数据源页面，单击 添加 按钮，选择Aliyun EMR KAFKA 填入 描述，选择 ...
使用Databricks Delta优化Spark作业性能
配置Spark 使用阿里云账号登录 Databricks数据洞察控制台。在Databricks数据洞察控制台页面，选择所在的地域（Region）。创建的集群将会在对应的地域内，一旦创建后不能修改。在左侧导航栏中，单击 集群。单击待配置集群所在行的 详情。在 ...
RDS(MySQL)
4.登录Databricks数据洞察集群进入Notebook，代码实现MySQL数据读写。示例文本下载：The_Sorrows_of_Young_Werther.txt%spark import java.sql.{Connection,DriverManager,PreparedStatement} import java.util.Properties import org....
管理Notebook
创建Note 使用阿里云账号登录 Databricks数据洞察控制台。在Databricks数据洞察控制台页面，选择所在的地域（Region）。创建的集群将会在对应的地域内，一旦创建后不能修改。在左侧导航栏中，单击 Notebook。在 Notebook 区域，选择待操作...
Databricks Delta Lake数据入湖最佳实践
步骤二：Databricks 数据洞察集群添加外部数据源 登录 Databricks数据洞察控制台。单击左侧 集群 按钮，选择已创建的集群。进入集群详情页面，单击上方 数据源 按钮。在数据源页面，单击 添加 按钮，选择Aliyun EMR KAFKA 填入 描述，选择 ...
集群运维与监控
用户可以登录 Databricks数据洞察监控，选择对应的 集群属地 与 集群名称，即可开启集群运维应用，示例如下图：具体内容可参考 云监控文档。指标监控 目前默认的指标可以分为两个维度，即机器节点基本指标和Hadoop-queue相关指标。后者可以...
管理作业
使用阿里云账号登录 Databricks数据洞察控制台。在Databricks数据洞察控制台页面，选择所在的地域（Region）。创建的集群将会在对应的地域内，一旦创建后不能修改。在左侧导航栏，单击 项目空间。在 项目空间 页面，单击待操作项目所在行的...
查看集群列表信息
操作步骤 使用阿里云账号登录 Databricks数据洞察控制台。在Databricks数据洞察控制台页面，选择所在的地域（Region）。创建的集群将会在对应的地域内，一旦创建后不能修改。在左侧导航栏中，单击 集群。集群管理 页面展示您所拥有的所有...
使用Notebook
开发Note 使用阿里云账号登录 Databricks数据洞察控制台。在Databricks数据洞察控制台页面，选择所在的地域（Region）。创建的集群将会在对应的地域内，一旦创建后不能修改。在左侧导航栏中，单击 Notebook。在 Notebook 区域，选择待操作...
作业日期设置
使用阿里云账号登录 Databricks数据洞察控制台。在Databricks数据洞察控制台页面，选择所在的地域（Region）。创建的集群将会在对应的地域内，一旦创建后不能修改。在左侧导航栏，单击 项目空间。在项目空间页面，单击待操作项目所在行的 ...
Confluent+数据洞察Databricks最佳实践
创建集群 登录 流数据服务Confluent管理控制台，创建Confluent集群，并开启公网服务 登录 Databricks管理控制台，创建Databricks集群 Databricks Worker节点公网访问 Databricks的worker节点暂时不支持公网访问，为了能访问Confluent的公网...
MongoDB
本文介绍如何使用Databricks DDI访问MongoDB数据源数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建MongoDB实例。已创建DDI集群，具体请参见 DDI集群创建。创建集群并通过knox账号访问NoteBook。使用Databricks 读写MongoDB...
ElasticSearch
本文介绍如何使用Databricks数据洞察访问ElasticSearch数据源。前提条件 通过主账号登录 阿里云Databricks控制台。已创建 ElasticSearch实例，具体参见 创建阿里云Elasticsearch实例。已创建DDI集群，具体请参见 创建集群。创建集群并通过...
OSS
本文介绍如何使用Databricks 读写 OSS文件系统数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 创建存储空间。警告 首次使用DDI产品...
管理项目告警
添加联系人 登录阿里云 Databricks 数据洞察控制台 在左侧导航栏单击 项目空间 单击 项目空间 中的 告警 在 联系人 区域，单击 添加；在 联系人 对话框中，输入 姓名、手机号码 和 Email 信息。分别单击 手机号码 和 Email 所在行的 获取...
Redis
本文介绍如何使用Databricks 读写Redis数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建 Redis实例，具体参见 创建Redis实例。已创建DDI集群，具体请参见 DDI集群创建。创建集群并通过Knox账号访问NoteBook。目前暂不支持...
PySpark及Python库使用
本文介绍如何使用阿里云 Databricks数据洞察 Notebook 进行 PySpark 开发。重要 若要使用其他数据源进行数据开发，需开通相应服务。本示例采用OSS数据源。步骤一：创建 Databricks数据洞察集群 登录 阿里云Databricks数据洞察控制台。创建...
EMR HDFS
本文介绍如何使用Databricks 读写EMR HDFS文件系统数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建 EMR集群，具体参见 EMR集群创建 已创建DDI集群，具体请参见 DDI集群创建。创建集群并通过knox账号访问Notebook。接入EMR ...
文本文件
例：读取在存储空间名称为databricks-demo-hangzhou文件路径为demo/The_Sorrows_of_Young_Werther.txt的文件/从oss地址读取文本文档 val dataRDD=sc.textFile("oss:/databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt"实例 ...
集群扩容
扩容操作步骤 登录阿里云 Databricks 数据洞察控制台。在左侧导航栏的菜单下，单击 集群管理。选择想要扩容的集群，单击 集群ID 进入集群详情页面。在集群基础信息页面中单击 资源管理 按钮下的 扩容 按钮。按量付费集群扩容 在弹出的扩容...
ORC文件
例：读取在存储空间名称为databricks-demo-hangzhou文件路径为demo/The_Sorrows_of_Young_Werther.txt的文件/从oss地址读取文本文档 val dataRDD=sc.textFile("oss:/databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt"实例 ...
Databricks数据洞察Notebook演示
本文针对Databricks数据洞察Notebook基本使用的一个示例。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 创建存储空间。警告 首次使用DDI...
HBase
本文介绍如何使用Databricks 读写 云数据库HBase数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建 HBase实例，具体参见 创建HBase实例。已创建DDI集群，具体请参见 DDI集群创建。创建集群并通过knox账号访问NoteBook。打通...
基于TPC-DS测试Databricks引擎性能
前提条件 通过主账号登录 阿里云 Databricks控制台，当前 TPC-DS 测试流程已在 Databricks Runtime 9.1 以上版本做验证，请选择DBR9及以上版本产品。为保证测试效果，推荐最小测试数据量应为1T，故需创建特定规模的集群，创建步骤请参见 ...
Parquet（推荐）
例：读取在存储空间名称为databricks-demo-hangzhou文件路径为demo/The_Sorrows_of_Young_Werther.txt的文件/从oss地址读取文本文档 val dataRDD=sc.textFile("oss:/databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt...
关闭弹性伸缩
操作步骤 登录 阿里云Databricks控制台。在顶部菜单栏处，选择地域（Region）。单击左侧 集群 页签。在 集群管理 页面，单击相应集群所在行的 详情。在 详情 页面上部页签栏，单击 弹性伸缩。在 弹性伸缩 页面，单击 关闭弹性伸缩 划窗。在...
用户管理
本文介绍如何通过Databricks 数据洞察的用户管理功能，管理集群DDI用户。DDI用户信息存储在集群自带的OpenLDAP中，主要用于在DDI集群内的身份认证。DDI用户可以用于访问链接与端口，查看组件Web UI时的用户身份认证，也可以在开启组件LDAP...
JindoFS
本文介绍如何使用Databricks 读写JindoFS数据源数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建 EMR集群，具体参见 EMR集群创建 已创建DDI集群，具体请参见 DDI集群创建。创建集群并通过knox账号访问NoteBook。重要 版本...
查看弹性伸缩记录
操作步骤 登录 阿里云Databricks控制台。在顶部菜单栏处，根据实际情况选择地域（Region）和资源组。单击上方的 集群管理 页签。在 集群管理 页面，单击相应集群所在行的 详情。在 详情 页面上部页签栏，单击 弹性伸缩。右上角单击 弹性...
工作流调度Zeppelin Notebook
在Databricks数据开发中，您可以在项目空间的作业编辑中创建一组有依赖的 Zeppelin 作业，然后创建工作流，按照依赖次序定义执行顺序，Databricks工作流支持基于有向无环（DAG）并行执行大数据作业。前提条件 通过主账号登录 阿里云 ...
Notebook-航空公司数据分析示例
例：读取在存储空间名称为databricks-demo-hangzhou文件路径为demo/The_Sorrows_of_Young_Werther.txt的文件/从oss地址读取文本文档 val text=sc.textFile("oss:/databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt")步骤一...
JSON文件
例：读取在存储空间名称为databricks-demo-hangzhou文件路径为demo/The_Sorrows_of_Young_Werther.txt的文件/从oss地址读取文本文档 val dataRDD=sc.textFile("oss:/databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt"JSON...
CSV文件
例：读取在存储空间名称为databricks-demo-hangzhou文件路径为demo/The_Sorrows_of_Young_Werther.txt的文件/从oss地址读取文本文档 val dataRDD=sc.textFile("oss:/databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt"csv...
- 产品推荐
- 这些文档可能帮助您