新建Flink计算源
Flink计算源用于承载Dataphin项目下基于Flink的计算资源，只有绑定了Flink计算源的项目，才支持基于Flink引擎研发计算任务。本文将为您介绍如何新建Flink计算源。操作步骤 在Dataphin首页，单击顶部菜单栏的 规划。进入数仓 规划 页面。...
基于Hadoop集群支持Delta Lake或Hudi存储机制
自建RDS：表示使用自建的阿里云RDS作为元数据库。选择该方式时，需要配置相关的数据库连接参数，详情请参见 配置自建RDS。内置MySQL：表示元数据存储在集群本地环境的MySQL数据库中。说明 仅限在测试场景下使用该方式，生产场景建议选择 自...
自建数据源Kylin
本文为您介绍新建自建数据源Kylin。前提条件 确保您的网络已连通：您通过公网连接Quick BI与Kylin数据库，请添加 Quick BI的IP地址 至数据库白名单，请参见 添加安全组规则。您通过内网连接Quick BI与Kylin数据库，请通过以下任意一种方式...
安全设置
Hadoop引擎下（除Inceptor外）不可开启Spark Jar任务鉴权模式。操作步骤 在 管理中心 页面，按照下图指引设置相应的 Spark Jar任务。Spark Jar任务 描述 Spark Jar任务 关闭：原有的Spark Jar任务仍可进行编辑、删除、执行、提交、发布等...
安全设置
Hadoop引擎下（除Inceptor外）不可开启Spark Jar任务鉴权模式。使用限制 当计算引擎为ArgoDB和StarRocks时，不支持配置Spark Jar任务。操作步骤 在 管理中心 页面，按照下图指引设置相应的 Spark Jar任务。Spark Jar任务 描述 Spark Jar...
自建Dubbo ZooKeeper迁移到MSE ZooKeeper
前提条件 已部署MSE Sync迁移工具。具体操作，请参见 MSE Sync迁移方案。已创建MSE Zookeeper集群。具体操作，请参见 创建ZooKeeper引擎。使用限制 迁移工具宕机会...步骤四：关闭自建ZooKeeper集群 停止自建ZooKeeper集群。停止迁移工具。
Hive多维分析语句
本文为您介绍Dataphin计算引擎为Hadoop时，系统支持的多维分析语句。语句 描述 是否支持 Grouping_ID 标示结果属于哪一个分组集合。是
计算设置概述
设置Dataphin实例的计算引擎为Hadoop CDH5.x Hadoop CDH6.x Hadoop 全球应用较广的分布式系统基础架构，核心为HDFS和MapReduce，提供了海量数据存储与计算。全球应用较广的分布式系统基础架构，核心为HDFS和MapReduce，提供了海量数据存储...
使用Fuse-DFS挂载文件存储 HDFS 版
vim hadoop-2.8.5-src/hadoop-hdfs-project/hadoop-hdfs-native-client/src/main/native/fuse-dfs/fuse_options.c 执行以下命令编译Hadoop源码中hadoop-hdfs-project模块下的hadoop-hdfs-native-client子模块。cd hadoop-2.8.5-src/mvn ...
元数据性能测试
NNbench的jar包位于${HADOOP_HOME}/share/hadoop/mapreduce目录下，${HADOOP_HOME}为测试机器中的Hadoop 安装目录，NNbench的jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，使用方法如下。本文所有命令均在${HADOOP_HOME}/...
配置CDH6使用文件存储 HDFS 版
5425|5426|1849|org.apache.hadoop.mapred.TextInputFormat|hdfs:/cdh6-master:8020/tmp/tpcds-generate/2/catalog_returns|-1|org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat|5426|5427|1850|org.apache.hadoop.mapred....
如何在不同账号之间迁移MSE实例？
具体操作，请参见 自建Dubbo ZooKeeper迁移到MSE ZooKeeper、自建Dubbo Nacos注册中心迁移到MSE Nacos 和 ZooKeeper持久化数据的迁移。目前MSE未提供不同账号之间迁移实例的功能，但您可以通过使用迁移工具MSE Sync，将实例从旧账号迁移至...
集群吞吐性能测试
TestDFSIO的jar包位于开源Hadoop版本的${HADOOP_HOME}/share/hadoop/mapreduce目录下，其中${HADOOP_HOME}为测试机器中的Hadoop安装目录，jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，您可通过执行以下命令，查看...
测试环境
本次测试针对开源自建的Presto与阿里云云原生数据湖分析DLA Presto在OSS数据源上执行查询的性能做了对比分析。本文档主要介绍了测试环境的配置要求。环境配置要求 客户端ECS与服务端（Presto和DLA Presto）处于同一地域、同一可用区。本例...
管理中心概述
系统设置 设置Dataphin实例的计算引擎为MaxCompute 设置计算引擎为Hadoop或星环TDH 在开始使用Dataphin前，您需要完成Dataphin实例计算引擎的设置，即配置Dataphin实例的计算集群地址。在后续数据研发过程中，计算引擎用于采集、连接及管理...
配置E-MapReduce服务使用文件存储 HDFS 版
hdfs:/emr-header-1.cluster-125428:9000/user/hive/warehouse/analysis_logs.db/original_log_sh_partitioned|-1|org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat|3|29|22|org.apache.hadoop.mapred.TextInputFormat|...
产品优势
总成本低廉 无需自建灾备中心，免去机房运维、硬件采购等成本。云上主要消耗存储资源、计算资源需求极低。可针对不同的应用需求以及不同的网络带宽，配置不同的RPO、RTO，从而节约成本。相对自建灾备中心的方案，可以节约高达80%的费用。...
使用MaxCompute访问
说明 由于MaxCompute默认资源组不支持Hadoop高级参数HA的配置，如果想通过HA的模式访问文件引擎，那么请新增自定义资源，详情请参见文档 新增和使用自定义数据集成资源组，并且在数据源中配置对应的 defaultFS 和 hadoopConfig 配置需要的...
新建统计周期
完成计算引擎类型设置，详情请参见 设置计算引擎为Hadoop 设置Dataphin实例的计算引擎为MaxCompute。计算引擎类型设置完成后，系统会自动初始化一批统计周期（即系统内置的常用统计周期）。权限说明 仅支持 超级管理员、系统管理员 创建...
MSE Nacos风险管理
Nacos引擎系统自带定时巡检功能定期扫描Nacos引擎，若您想随时查看Nacos引擎的巡检指标，可通过控制台手动触发健康度检查，来评估当前Nacos引擎的风险。检查将展示引擎的规格、版本以及高可用等指标的风险情况。同时，Nacos风险管理功能会...
ZooKeeper风险管理
ZooKeeper引擎系统自带定时巡检功能，定期扫描ZooKeeper引擎。如果您想随时查看ZooKeeper引擎的巡检指标，可通过控制台手动触发健康度检查，来评估当前ZooKeeper引擎的风险。检查将展示引擎的规格、版本以及高可用性等指标的风险情况。同时...
搭建与管理（基于Hadoop）
自构建Hadoop集群场景下，您可以通过hdfs-site.xml文件中的dfs.nameservices配置参数获取集群名称。认证类型 MaxCompute通过账号映射的方式去Hadoop集群获取元数据和数据，映射的Hadoop账号往往会有认证授权机制（如Kerberos）保护，因此...
名词解释
算法（AlgoLib）平台内置或者用户自建的算法库信息。算法能力集（Capability）算法输出结构化数据的能力，如行人、非机动车等。资源配置参数（ResourceProfile）资源配置参数指定了计算工作组运行依赖的各项系统默认配置参数。视频流...
MaxCompute/Hadoop物理视图和字段详情
MaxCompute、Hadoop 引擎的物理视图展示信息基本一致，下图以MaxCompute物理视图为例。编号 描述 ① 概要信息 为您展示表的类型、名称、负责人、描述、标签等信息。同时，您还可以执行如下操作：转交负责人：可转交当前表的负责人给其他...
产品优势
微服务引擎MSE是一个面向业界主流开源微服务框架SpringCloud、Dubbo以及多语言等一站式微服务平台，支持服务网格生态，标准、灵活、精准的控制流量，帮助提升系统整体的可用性，并且MSE在高可用、性能、安全方面大量增强，让您的应用获得...
微服务注册配置中心版本选型
引擎类型 对比项 专业版 基础版 Nacos 引擎版本 Nacos 2.0.0 Nacos 2.0.1 Nacos 2.0.3 Nacos 1.2.1 SLA承诺 99.95%99.5%性能 最大支撑约10倍基础版的实例数 微服务注册配置中心实例能力评估 专家尊享通道 产品专家与研发专家在线支持，及时...
DataWorks V3.0
E-MapReduce（Elastic MapReduce，简称EMR）构建在阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其它周边系统（例如Hive），来分析和处理自己的数据的大数据引擎服务。...
快速入门
相比自建HDFS存储，使用 文件存储 HDFS 版 服务可以大量节约维护成本，降低数据安全风险。文件存储 HDFS 版 服务适用什么场景？文件存储 HDFS 版 适用于互联网行业、金融行业等有大数据计算与存储分析需求的行业客户进行海量数据存储和离线...
算法管理
算法简介 算法指平台内置或者用户自建的算法。计算服务使用算法对视频流分析计算，输出结构化数据或其他算法结果。算法信息主要包括算法能力集（算法支持的视频检测及分析能力）、算法能力值（算法最多支持的可分析视频流数量）、用户...
Airflow调度DLA Spark作业
说明 DLA Spark访问自建Hive集群的元数据时，不存在该问题。关于如何访问自建Hive元数据，请参见 Hive。如果您当前使用的是Airflow调度Livy的方式，目前还是需要改造成命令行的形式。DLA Spark团队正在开发Livy兼容版本，以降低迁移成本，...
在文件存储 HDFS 版上使用Apache Tez
./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...
基本概念
配置金丝雀发布 部署在阿里云容器服务ACK集群、ACK Serverless集群、自建并注册ACK集群中的多语言微服务应用，为了确保其升级的安全性，可以使用金丝雀发布（即灰度发布）进行小规模验证，验证通过后再全量升级。服务契约 基于OpenAPI规范...
Hive访问Iceberg数据
如果创建集群时，元数据选择 设置为 内置MySQL 或 自建RDS，则可以按照以下步骤操作。使用默认Catalog时，执行以下命令，创建表。CREATE TABLE iceberg_db.sample_tbl(id BIGINT,name STRING)STORED BY 'org.apache.iceberg.mr.hive....
查询并下载数据
新建计算引擎即席查询 说明 若您的计算引擎为Hadoop并开启了 Impala 任务，支持新建 HIVE_SQL即席查询 和 IMPALA_SQL 即席查询。参数 描述 名称 填写即席查询名称。命名规则如下：不支持特殊字符|\/:?不能超过265个字符。描述 填写对...
快捷模式与安全模式差异比对
DataWorks支持使用快捷模式及安全模式绑定EMR引擎，本文为您介绍快捷模式及安全模式的差异。EMR快捷模式及安全模式的差异如下表。模式类别 描述 权限管控 适用场景 快捷模式 用于快速开展各类数据工作。使用该模式绑定EMR引擎时，阿里云主...
Ambari与文件引擎集成
Ambari提供Hadoop组件的安装、运维、监控等功能，您可以使用Ambari管理您的Hadoop集群。本文介绍如何将Ambari与Lindorm文件引擎集成，来替换底层HDFS存储。您可以基于Ambari+Lindorm文件引擎构建云原生存储计算分离的开源大数据系统。前提...
查询集群列表
MetaStoreType String LOCAL 元数据类型，取值如下：LOCAL：集群内部元数据 UNIFIED：统一元数据 USER_RDS：用户自建RDS Name String cluster_name 集群名。OperationId Long 1111 操作ID。OrderList String 0 订单列表。OrderTaskInfo ...
JindoData版本说明
JindoData是阿里云开源大数据团队自研的...JindoDistCp数据迁移 支持将自建HDFS集群数据迁移到阿里云OSS，针对大文件和大量小文件场景优化。阿里云OSS-HDFS服务（JindoFS服务）JindoFS服务 为阿里云OSS产品增加一种新的Bucket存储选项，提供...
Hive
本文主要介绍如何使用DLA Spark访问用户VPC中的Hive集群。重要 云原生数据湖分析（DLA）产品已退市，云原生...IP和域名的对应关系，您可以登录自建集群的master节点，从/etc/hosts中查看IP和域名的对应关系。您也可以从步骤2中获取相关参数。
实例及版本选型
微服务注册配置中心支持的引擎类型有Nacos和ZooKeeper两种，实例类型分为普通实例和Serverless实例，普通实例的版本分为专业版和开发版（开发版只提供单节点，不适用于生产环境）。您可以根据对比信息，选择所需的引擎类型、实例类型和版本...
- 产品推荐
- 这些文档可能帮助您