Spark应用配置参数说明
如需要连接自建的Hive Metastore，可以采用社区Spark的标准配置方式。请参见 Spark Configuration。示例 连接 AnalyticDB for MySQL 中的元数据信息，配置如下：spark.sql.hive.metastore.version=adb;连接Spark内置的Hive MetaStore中的...
Hive
本文主要介绍如何使用DLA Spark访问用户VPC中的Hive集群。重要 云原生数据湖分析（DLA）产品已退市，云原生...IP和域名的对应关系，您可以登录自建集群的master节点，从/etc/hosts中查看IP和域名的对应关系。您也可以从步骤2中获取相关参数。
管理Hive Catalog
支持自建Hive Metastore。实时计算引擎VVR 4.0.11及以上版本支持DLF作为Hive Catalog的元数据管理中心。说明 如果Hive版本为3.1.0+，对于VVR 6.0.x版本，只有 VVR 6.0.7及以上版本才支持DLF作为Hive Catalog的元数据管理中心。如果Hive ...
通过办公安全平台保障飞书用户安全访问
步骤一：创建飞书自建应用 建立飞书与 办公安全平台 的连接之前，需要先在飞书开放平台创建飞书应用。通过创建飞书自建应用获取 App ID 和 App Secret，用于飞书账号登录办公安全平台客户端时的身份验证。使用飞书管理员账号登录 飞书开放...
创建集群
选择该方式时，需要配置RDS相关的参数，详情请参见 配置自建RDS。内置MySQL（不推荐）：该方式的元数据存储在集群本地环境的MySQL数据库中。说明 测试场景：推荐使用 DLF统一元数据。生产场景：可以使用 DLF统一元数据 或 自建RDS。集群...
迁移OSS-HDFS服务不同Bucket之间的数据
如果您使用的是自建ECS集群，需确保集群具备Hadoop2.7+或Hadoop3.x环境以及进行MapReduce作业的能力。通过自建ECS集群完成迁移任务前，您需要自行部署 JindoData（JindoData包含JindoSDK以及JindoFSx）。建议跟随版本迭代，下载最新版本。...
RDS MySQL或自建MySQL逻辑备份
有公网IP:Port的自建数据库：可通过公网IP备份自建数据库，您还需配置源数据库实例的连接地址与端口号。通过专线/VPN网关/智能网关接入的自建数据库：可通过专有网络备份自建数据库，您需提前为数据库实例配置专有网络，并在此配置步骤选择...
最佳实践概览
ES-Hadoop使用 通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据 通过ES-Hadoop将HDFS中的数据写入Elasticsearch 通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据 日志采集与分析 日志同步分析概述 通过自建Filebeat收集MySQL日志 ...
从自建MySQL迁移至MyBase MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建MySQL迁移至 MyBase MySQL。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建MySQL数据库...
恢复Oracle逻辑备份
支持的选项：有公网IP:Port的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能网关接入的自建数据库 PolarDB实例 无公网IP:Port的自建数据库（通过数据库网关DG接入）数据库类型 默认为Oracle数据库。实例地区 选择恢复的目标实例的...
使用独立的Trino集群
本文为您介绍创建独立的Trino集群后，如何配置连接器和数据湖元数据，以使用独立的Trino集群。背景信息 在使用开源大数据平台E-MapReduce控制台时，您可以在创建DataLake集群、自定义集群或Hadoop集群时选择Trino服务，或者创建独立的Trino...
Spark Load
配置YARN客户端 FE底层通过执行 yarn 命令去获取正在运行的Application的状态以及终止Application，因此需要为FE配置YARN客户端，建议使用hadoop-2.5.2或hadoop-2.0以上的官方版本，下载详情请参见 hadoop下载地址。将下载好的YARN客户端...
恢复MongoDB数据库
已选择的恢复时间点 选择需要恢复的时间，设置的时间必须在可恢复的时间范围内 恢复目标数据库 数据库所在位置 选择恢复目标数据库所在位置，支持类型如下：有公网IP:Port的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能网关接入的...
查询Delta表数据
说明 建表语句中 SERDEPROPERTIES 设置 path，以及 TBLPROPERTIES 中设置 spark.sql.sources.provider 是为了兼容后续通过SparkSQL的方式查询。通过该方式创建Delta外表后，在Hive、Presto和Trino中查询表的方式，与通过Spark创建表访问...
HDFS云原生上云方案
低成本：相比自建，TCO最低可下降50%以上。弹性：存储计算资源解耦，独立伸缩，并大幅提升弹性能力，轻松实现云原生架构。稳定：免运维，无需关心硬件故障，由十年技术积累的专家团队保障服务稳定性。更多内容，请参见 Lindorm VS HDFS。...
核心概念的层次结构
Networklink（网络连接）当您使用外部表、UDF或湖仓一体功能时，MaxCompute默认未建立与外网或VPC网络间的网络连接，您需要开通网络连接以访问外网或VPC中的目标服务（例如HBase、RDS、Hadoop等）。更多开通网络连接信息，请参见 网络开通...
2021年
2021-12 功能名称 功能描述 发布时间 发布地域 相关文档 支持向导式开通MaxCompute到VPC中Hadoop Hive 和数据湖构建DLF+OSS的连接 支持一站式创建到VPC的网络连接、数据源连接以及湖仓一体外部项目，代替原有的工单开通方式，时间从天级别...
Hive连接器
本文为您介绍Hive连接器相关的内容和操作，具体如下：修改Hive连接器配置 支持的文件类型 支持的表类型 Hive视图 配置属性 前提条件 已创建DataLake集群或Hadoop集群，并选择了Presto服务，详情请参见 创建集群。使用限制 配置Hive连接器...
创建OSS外部表
创建方式 平台 基于MaxCompute SQL创建OSS外部表 MaxCompute客户端 使用DataWorks连接 DataWorks控制台-ODPS SQL节点 MaxCompute Studio-SQL程序 以可视化方式创建OSS外部表 MaxCompute Studio-SQL程序 DataWorks控制台-外部表 创建OSS外部...
UNLOAD
本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行（odpscmd）连接 使用DataWorks连接 MaxCompute Studio 功能介绍 MaxCompute支持使用 unload 命令将MaxCompute的数据导出至 OSS、Hologres 外部存储...
UNLOAD
本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行（odpscmd）连接 使用DataWorks连接 MaxCompute Studio 功能介绍 MaxCompute支持使用 unload 命令将MaxCompute的数据导出至 OSS、Hologres 外部存储...
新建ArgoDB数据源
通过创新建ArgoDB数据源能够实现Dataphin读取ArgoDB的业务数据或向ArgoDB写入数据。本文为您介绍如何新建ArgoDB数据源。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin...
迁移概述
本文介绍将自建Kafka集群迁移到 云消息队列 Kafka 版 实例的优势、原理、方案架构、迁移工具和操作流程。迁移优势 将自建Kafka集群迁移到 云消息队列 Kafka 版 实例的优势，请参见 产品优势。迁移原理 对于消息队列来说，如果要实现集群...
UDF开发（Java）
当MaxCompute提供的内建函数无法支撑您的业务实现时，您可以根据本文提供的开发流程，使用开发工具（例如IntelliJ IDEA（Maven）或 MaxCompute Studio）自行编写代码逻辑创建自定义函数（UDF），并在MaxCompute中进行调用，以满足多样化...
Lindorm外部表（云原生多模数据库）
已基于专有网络连接方案，开通MaxCompute和Lindorm服务间的网络连接。更多专有网络连接方案信息，请参见 网络开通流程。已开通Lindorm服务并创建Lindorm实例。详情请参见 创建实例。已下载并配置Lindorm Shell。详情请参见 通过Lindorm宽表...
使用cqlsh访问Cassandra
然后在本地或ECS上使用cqlsh连接，命令如下：bin/cqlsh$host$port-u$username-p$password 如果您需要经常连接到特定节点，您可以将节点的地址和端口信息保存到环境变量$CQLSH_HOST和$CQLSH_PORT中。更多关于cqlsh命令支持的参数可以使用 ...
2023年
Spark Connector 2023-10-27 新增数据科学计算概述 新说明 MaxFrame是由阿里云自研的分布式科学计算框架，是对历史相关产品功能（PyODPS、Mars）的重大升级，在MaxCompute之上提供一套完全兼容Pandas接口的API，让用户用更为熟悉、更符合...
自建数据源Kingbase
本文为您介绍如何创建自建数据源Kingbase。操作步骤 添加白名单。公网连接阿里云Kingbase数据库之前，需要将 Quick BI的IP地址 加入到Kingbase的白名单。登录 Quick BI控制台。按照下图指引添加数据源。从 创建数据源入口 进入创建数据源...
自建数据源Impala
本文为您介绍如何创建自建数据源Impala。仅专业版和高级版的群空间支持创建自建数据源Impala。前提条件 请确保您的网络连通性：您通过公网连接Quick BI与Impala数据库，请添加 Quick BI的IP地址 至数据库白名单，请参见 添加安全组规则。您...
SmartData常见问题
在无EMR管控支持情况下，想使用自建的IDC集群，又不想在集群节点上配置AccessKey，该如何处理？JindoFS支持Auditlog吗？JindoFS支持Ranger集成吗？使用问题汇总 JindoFS如何手动下线节点？什么是JindoFS？JindoFS是阿里云开源大数据E-...
自建数据源SAP HANA
本文为您介绍如何创建自建数据源SAP HANA。仅专业版支持创建自建数据源SAP HANA。前提条件 请确保您的网络连通性：您通过公网连接Quick BI与SAP HANA数据库，请添加 Quick BI的IP地址 至数据库白名单，请参见 添加安全组规则。您通过内网...
接入其他自建或其他云厂商数据库实例
本文介绍如何在数据库自治服务DAS上接入除阿里云外的其他自建数据库，包括用户本地机房数据库、其他云厂商的数据库和其他云厂商虚拟机上的自建数据库。前提条件 DAS目前支持接入的自建数据库引擎：MySQL MongoDB PostgreSQL Redis 说明 ...
自建数据源Oracle
本文为您介绍如何创建Oracle类型的自建数据源。前提条件 请确保您的网络连通性：您通过公网连接Quick BI与Oracle数据库，请添加 Quick BI的IP地址 至数据库白名单，请参见 添加安全组规则。您通过内网连接Quick BI与Oracle数据库，请通过...
新增ECS自建数据库提示“因白名单问题无法连接数据库...
问题描述 在新版DMS控制台新增ECS自建数据库的过程中，已经添加了白名单但是仍然提醒“因白名单问题无法连接数据库”。说明：此问题只会出现在经典网络类型的ECS实例中。解决方案 登录ECS实例，详情请参见 连接方式概述。执行以下命令，...
内网DNS解析&VPN网关联动实现云上访问云下资源
背景描述 自建IDC和阿里云VPC分别属于两套网络环境，但部署在自建IDC和阿里云VPC内的业务都需要通过DNS解析进行业务间调用，并且分别管理两套数据不仅给运维工程师带来重复性工作的增加，同时也会产生数据一致性管理的风险，给业务带来很高...
自建数据源Apache Doris
本文为您介绍如何添加Apache Doris自建数据源。前提条件 请确保您的网络连通性：您通过公网连接Quick BI与Apache Doris数据库，请添加 Quick BI的IP地址 至数据库白名单，请参见 添加安全组规则。您通过内网连接Quick BI与Apache Doris数据...
自建Oracle迁移至阿里云消息队列Kafka版
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Oracle迁移至阿里云消息队列Kafka。前提条件 已创建源数据库自建Oracle和目标实例 阿里云消息队列Kafka版。说明 源数据库和目标实例支持的版本，请参见 迁移方案概览...
PrivateZone&VPN网关联动实现云上访问云下资源
背景描述 自建IDC和阿里云VPC分别属于两套网络环境，但部署在自建IDC和阿里云VPC内的业务都需要通过DNS解析进行业务间调用，并且分别管理两套数据不仅给运维工程师带来重复性工作的增加，同时也会产生数据一致性管理的风险，给业务带来很高...
自建数据源IBM DB2 LUW
本文为您介绍如何创建自建数据源IBM DB2 LUW。仅专业版的群空间支持创建自建数据源IBM DB2 LUW。前提条件 请确保您的网络连通性：您通过公网连接Quick BI与IBM DB2 LUW数据库，请添加 Quick BI的IP地址 至数据库白名单，请参见 添加安全组...
创建数据库数据源概述
云数据源Alibaba Lindorm宽表 IBM DB2 LUW 自建数据源IBM DB2 LUW Vertica 自建数据源Vertica Alibaba LindormTSDB 云数据源Alibaba LindormTSDB Alibaba OceanBase 云数据源Alibaba OceanBase SAP IQ(Sybase IQ)自建数据源SAP IQ（Sybase ...
- 产品推荐
- 这些文档可能帮助您