添加适配数据源
在 添加数据 对话框中，类型 选择 RDS for MySQL、RDS for PostgreSQL 或 兼容MySQL数据库，添加这两种类型数据源详细步骤，请参见 添加RDS for MySQL数据源、添加RDS for PostgreSQL数据源 和 添加兼容MySQL数据库的数据源。
概述
数据开发 的核心功能如下：文件夹 用于存放并管理数据库中的数据开发节点。详情请参见 文件夹。Hologres开发 用于周期性调度作业。详情请参见 Hologres开发：周期性调度。一键MaxCompute表结构同步 支持使用可视化方式批量创建外部表，加速...
配置Hive输出组件
同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg...
ActionTrail日志清洗
说明 根据业务需求，判断是否需要新建文件夹，将ActionTrail投递过来的数据存储在新建文件夹中。在DLA中完成以下操作：开通DLA服务，请参见 开通云原生数据湖分析服务。初始化DLA数据库主账号密码，请参见 重置数据库账号密码。步骤一：...
添加适配数据源
在使用数据集前需要先添加支持的数据源内容，本文介绍添加适配数据源的方法。如果通过上传本地数据源文件方式创建数据集请跳过本章节。背景信息 说明 当前数据集功能支持以下数据源类型：RDS for PostgreSQL、RDS for MySQL、兼容MySQL数据...
网易有数BI连接MaxCompute
在 新建连接 对话框，选择新建数据连接存放的目标文件夹，单击 确定，即可完成数据连接配置。如果需要新建文件夹，可以在 新建连接 对话框左下角，单击 新建文件夹，完成文件夹创建。步骤二：网易有数BI可视化建模 在创建好的数据连接右上...
CDH Hive数据抽样采集器
您可以通过DataWorks的数据抽样采集器功能，从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别。如果您在数据保护伞中配置了脱敏规则，那么在数据地图表详情页面进行数据预览时，命中的敏感字段将会被脱敏。本文为您介绍...
文件存储NAS SMB ACL概述
如果以另一身份挂载会出现以下错误：逃逸机制 如果出现恶意用户强行删除了管理者权限以及其他人的权限，导致文件、文件夹不可用，需要用管理员身份挂载并重写该文件、文件夹的权限。阿里云NAS SMB文件卷实现了超级用户功能，您可以在控制台...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
常见问题
删除上面配置目录下除data和meta之外的文件夹和文件。清空上面配置目录下的data和meta文件夹。说明 上面的配置可能会有多个路径，需要在每个路径下都进行操作。重启集群服务（FE、BE）。如何查看日志？日志目录通常在以下路径：FE/opt/apps...
恢复下载后的备份数据
python import.py./download/<restore_db_host><restore_db_port><restore_db_user><restore_db_password>示例如下：python import.py./download/127.0.0.1 3306 root password123 参数 说明./download/下载备份数据文件所在的文件夹路径。...
Dataphin集成任务同步数据到Hive报错“GSS initiate ...
问题描述 Dataphin集成任务同步数据到Hive报错“GSS initiate failed”。问题原因 Hive数据源kerberos认证没有成功。解决方案 检查Hive数据源的连通性以及集群认证的相关票证是否正常。适用于 Dataphin
通过数据湖元数据DLF读写Hudi
EMR-3.38.3及后续版本的DataFlow集群，可以通过数据湖元数据DLF（Data Lake Formation）作为元数据读取DataLake集群或自定义集群中的数据。本文为您介绍Dataflow集群如何连接DLF，并读取Hudi全量数据。前提条件 已在E-MapReduce控制台上...
新建同步任务
在数据 开发 页面，按照下图操作指引，进入 新建同步任务 文件夹对话框。在 新建文件夹 对话框，填写文件夹 名称 和 选择目录。参数 描述 名称 文件夹名称由汉字、数字、字母或下划线（_）组合组成，且不允许超过64个字符。选择目录 选择已...
新建同步任务
在数据 开发 页面，按照下图操作指引，进入 新建同步任务 文件夹对话框。在 新建文件夹 对话框，填写文件夹 名称 和 选择目录。参数 描述 名称 文件夹名称由汉字、数字、字母或下划线（_）组合组成，且不允许超过64个字符。选择目录 选择已...
支持的数据源
类别 数据源 导入方式 文档链接 消息队列 Kafka 数据同步 通过数据同步功能同步Kafka至湖仓版（推荐）日志类数据 日志服务（SLS）数据同步 通过数据同步功能同步SLS至湖仓版（推荐）大数据 Hive 数据迁移 Hive数据导入 相关文档 AnalyticDB...
Quick BI新建hive数据源后将简单SQL放到数据集中运行...
问题描述 Quick BI新建hive数据源后将简单SQL放到数据集中运行报错io.grpc.StatusRuntimeException:INTERNAL:java.sql.SQLException:org.apache.spark.sql.catalyst.parser.ParseException，错误情况如下：问题原因 将spark数据源当作hive...
敏感数据溯源
DataWorks的数据溯源功能，支持通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务，并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则，详情请参见 配置...
元数据管理常见问题
问题分析：由于删除OSS上的表数据之前，没有删除数据表对应的元数据，导致表的Schema还存在，但实际的数据已经不存在或已经移动到别的路径。解决方法：可以先修改表的Location为一个存在的路径，然后再删除表。alter table test set ...
什么是备份数据量
概念 说明 数据库磁盘空间 数据库磁盘空间由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。对于RDS来说，是购买时选择的存储空间；对于ECS来说，是购买时选择的系统盘和数据盘存储空间。数据文件空间 数据...
在文件存储 HDFS 版上使用Presto
connector.name=hive-hadoop2 hive.metastore.uri=thrift:/xxxx:9083#xxxx为启动 hive 元数据服务的ip地址 hive.config.resources=path/to/core-site.xml#请替换为该节点上已挂载文件存储HDFS版的Hadoop core-site.xml路径 编译并替换JAR包...
访问Hive数据
云原生多模数据库 Lindorm 计算引擎提供完善的Hive数仓能力，支持用户通过Hive或Spark SQL定义数仓生产处理逻辑并开发相关作业。本文介绍如何使用SQL访问Hive数据。前提条件 已开通Lindorm实例的计算引擎服务，具体操作请参见 开通与变配。...
API概览
AddTagsBatch 批量设置标签 调用AddTagsBatch为多个数据库文件系统实例批量添加标签，可能存在新增标签与替换标签。ListTagKeys 查询标签键 调用ListTagKeys查询用户创建的所有标签键。ListTagValues 查询标签值 调用ListTagValues查询标签...
Quick BI连接hive数据源报错："Required field&39;...
问题描述 Quick BI连接hive数据源报错："Required field&39;client_protocol&39;is unset!Struct:TOpenSessionReq(client_protocol:null,configuration:{use:database=group3_dm}。问题原因 hive版本属于cdh hive，quick bi支持的是apache ...
数据源管理常见问题
您可以在DataV控制台单击 我的数据>数据源管理，选择+添加数据，进入 添加数据 对话框，选择 CSV文件 类型，输入 自定义数据源名称 并上传一个本地电脑中的CSV文件。上传完成后，您可以在画布编辑器中添加组件，在右侧 数据 面板中的 设置...
新建同步任务文件夹
本文为您介绍如何新建同步任务文件夹及对已添加的同步任务文件夹支持的更多操作。操作步骤 在Dataphin首页，单击 研发。在数据 开发 页面，按照下图操作指引，进入 新建文件夹 对话框。在 新建文件夹 对话框中，填写文件夹的 名称 并选择...
数据源管理常见问题
您可以在DataV控制台单击 我的数据>数据源管理，选择+添加数据，进入 添加数据 对话框，选择 CSV文件 类型，输入 自定义数据源名称 并上传一个本地电脑中的CSV文件。上传完成后，您可以在画布编辑器中添加组件，在右侧 数据 面板中的 设置...
功能特性
PolarDB MySQL数据导入 PolarDB-X数据导入 自建MySQL数据源 AnalyticDB for MySQL支持通过外表将ECS自建MySQL数据库中的数据导入至数仓版集群，同时也支持将数仓版集群中的数据导出至自建的MySQL数据库。自建MySQL数据导入 导出至自建MySQL...
DLF统一元数据
背景信息 阿里云数据湖构建是一款全托管的快速帮助用户构建云上数据湖的服务，产品为云原生数据湖提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力，详细信息请参见 数据湖构建产品简介。...
配置hosts
Presto on ACK提供了自定义hosts功能，当Presto on ACK集群读取EMR on ECS集群的Hive数据时，该功能可以提供正确的域名解析配置。本文为您介绍如何配置hosts。背景信息 如果没有正确配置hosts，则可能遇到以下报错提示。java....
逻辑备份恢复至自建数据库
本文介绍如何通过Mongorestore将云数据库MongoDB实例的逻辑备份文件恢复至自建MongoDB数据库中。前提条件 实例存储类型为 SSD本地盘。为保障兼容性，自建MongoDB数据库和云数据库MongoDB实例的数据库版本相同。背景信息 MongoDB提供了一组...
逻辑备份恢复至自建数据库
本文介绍如何通过Mongorestore将云数据库MongoDB实例的逻辑备份文件恢复至自建MongoDB数据库中。前提条件 实例存储类型为 SSD本地盘。为保障兼容性，自建MongoDB数据库和云数据库MongoDB实例的数据库版本相同。背景信息 MongoDB提供了一组...
快照
快照是某一时间点极速型NAS数据的备份文件，常用于日常数据备份、数据恢复和故障转移、数据分析等场景。如果您需要将某一时刻快照中的数据恢复至同可用区或跨可用区的现有文件系统中，建议您使用该时刻的快照创建新的文件系统，然后再将新...
查询并下载数据
同时您也可以在 即席查询 页面创建目标文件夹后，选择该目标文件夹为即席查询的目录。新建数据库SQL即席查询 参数 描述 基本信息 名称 填写即席查询名称。命名规则如下：不支持特殊字符|\/:?不能超过265个字符。描述 填写对即席查询的...
添加体验空间数据库
在 public 文件夹下选择需要删除的数据表，单击当前数据表右侧的 图标。请根据以下逻辑处理。数据表未被任何项目引用：直接删除。数据表被项目引用，但项目均未发布：系统会提示用户有哪些项目引用了当前表，用户二次确认后可以删除。数据...
Hive访问Delta Lake和Hudi数据
Hive不支持写入数据到...Hive查询Hudi 说明 Hudi仅支持Spark或者Flink建表和写入数据，Hive仅支持查询。直接输入 hive 命令进入Hive CLI命令行或者通过Beeline连接Hive ThriftServer，然后执行SQL语句即可。示例如下。select select*from h0;
数据源中心
EMR Workflow的数据源中心支持配置数据源，以满足不同的数据存储和访问需求。本文为您介绍如何创建、编辑和删除数据源。使用限制 数据源所在的集群和运行工作流时选择的集群需要在同一VPC下。创建数据源 进入数据源中心页面。使用阿里云...
Data Warehouse的创建
专业版CDP支持使用数据服务Data Warehouse，本文为您介绍如何在Data Warehouse服务中创建虚拟数仓，以管理、分析和操作Base集群中的数据。前提条件 由于Data Service集群的Management Console部署在内网中，因此需要通过SSH隧道访问。隧道...
同步EMR Kafka数据至Hive
本文为您介绍如何使用Flume同步EMR DataFlow集群的数据至EMR DataLake集群的Hive。前提条件 已创建DataLake集群，并且选择了Flume服务，详情请参见 创建集群。已创建DataFlow集群，并且选择了Kafka服务，详情请参见 创建集群。操作步骤 ...
常见问题
Hive查询Hudi数据重复，如何处理？Spark查询Hudi表分区裁剪不生效？使用Spark的alter table语句时，报错xxx is only supported with v2 tables，如何处理？Spark查询Hudi数据重复，如何处理？问题原因：出现Spark查询hudi数据重复，通常是...
- 产品推荐
- 这些文档可能帮助您