Quick BI创建数据集，打开数据源报错“配置不可用，请...
问题描述 本文主要介绍如何排查Quick BI创建数据集，打开数据源报错“配置不可用，请检查用户名密码是否正确”。问题原因 该问题的原因是数据源的用户名和密码存在变动，导致数据集拉取数据源时报错。解决方案 Quick BI数据源配置的用户名...
Quick BI数据集跨源数据集报错“需要开启Quick引擎...
问题描述 Quick BI数据集跨源数据集报错“需要开启Quick引擎实时加速才能使用跨源关联查询”，但是开启加速配置失败。解决方案 数据集‘加速配置’需要在‘配置面板-Quick引擎(公测)-实时加速’配置。适用于 Quick BI
开发前准备：绑定数据源或集群
若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）模块。绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。前提条件 您需根据后续要开发和调度...
数据集管理
本文介绍数据集的一般操作，包括新建、搜索、重命名、编辑和删除等操作。新建数据集 具体操作请参见 添加适配数据集。搜索数据集 登录 DataV控制台。在 功能导航 模块单击 数据集，进入数据集管理页面。在数据集卡片页右上角可以做以下操作...
AliPG优势
背景信息 PostgreSQL（简称PG）是一款全球流行的企业级开源数据库，被业界誉为“最先进的开源数据库”。AliPG兼容PostgreSQL开源数据库，于2015年正式商用，目前支持10及以上的大版本，已稳定运行多年，支撑了大量阿里巴巴集团内部以及云上...
Flink Table Store概述
Flink Table Store具有以下核心功能：支持在流模式与批模式下读写大规模数据集。支持秒级数据新鲜度的批查询和OLAP查询。支持消费与产生增量数据，可作为传统与流式数仓的各级存储。关于Flink Table Store更多特性与用法，请参见 Apache ...
自研内核
AliPG PostgreSQL（简称PG）是一款全球流行的企业级开源数据库，被业界誉为“最先进的开源数据库”。AliPG兼容PostgreSQL开源数据库，于2015年正式商用，目前支持10及以上的大版本，已稳定运行多年，支撑了大量阿里巴巴集团内部以及云上的...
快速入门
MySQL快速入门 SQL Server快速入门 PostgreSQL快速入门 MariaDB快速入门 数据库引擎 以下是对四种数据库引擎的介绍：云数据库RDS MySQL MySQL是全球受欢迎的开源数据库之一，作为开源软件组合LAMP（Linux+Apache+MySQL+Perl/PHP/Python）中...
Spark Shell和RDD基础操作
创建RDD示例：通过集合来创建RDD val data=Array(1,2,3,4,5)val distData=sc.parallelize(data)通过外部数据集构建RDD val distFile=sc.textFile("data.txt")RDD构建成功后，您可以对其进行一系列操作，例如Map和Reduce等操作。例如，运行...
通过Quick BI连接StarRocks实例
添加StarRocks数据源用于连通StarRocks数据库与Quick BI，连接成功...如果您需要将StarRocks数据库中的数据表添加到Quick BI，详情请参见 创建并管理数据集。如果您需要添加可视化图表并分析数据，详情请参见 新建仪表板 和 可视化图表概述。
Spark SQL、Dataset和DataFrame基础操作
Dataset是Spark 1.6中添加的一个新接口，它集成了RDD和Spark SQL的优点，可以从JVM对象构造数据集，然后使用函数转换（Map、FlatMap或Filter等）进行操作。Dataset API有Scala和Java两种版本。Python和R不支持Dataset API，但是由于Python...
EMR-3.34.x版本说明
本文介绍EMR-3.34.x版本的发布日期和更新内容信息。...数据集兼容Druid集群模式。不再支持SparkSQL数据集。Sqoop 支持导入Parquet格式的文件至OSS。Alluxio 升级至2.4.1版本。Phoenix Hive on Phoenix支持字段设置。Pig 已移除。
SSB性能测试说明
sh ssb_dataload.sh 该命令将自动完成SSB数据加载过程，包括数据库、表和数据集的生成以及加载。步骤三：执行查询并 查看测试 结果 通过执行以下命令，您可以方便地查看SSB测试的概览结果，并在当前目录下生成result.csv文件，您可以了解...
开源支持
Data Collector是MaxCompute主要开源数据采集工具的集合，包括：Flume插件 OGG插件 Sqoop Kettle插件 Hive Data Transfer UDTF Flume和OGG插件是基于DataHub的SDK实现，而Sqoop、Kettle以及Hive Data Transfer UDTF是基于Tunnel的SDK实现。...
使用MapReduce处理JindoFS上的数据
Hadoop MapReduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。一个MapReduce作业通常会把输入的数据集切分为若干独立的数据块，由Map...
TPC-DS性能测试说明
步骤二：执行测试 执行以下命令，进行自动化TPC-DS数据加载，此过程会创建数据库、表、数据集并加载数据，同时也包括执行查询操作。cd bin sh run_tpcds.sh 您还可以根据实际需求执行以下操作：单独执行查询操作。sh run_tpcds.sh query ...
E-MapReduce弹性低成本离线大数据分析
离线大数据分析概述 主流的三大分布式计算框架系统分别为Hadoop、Spark和Storm：Hadoop可以运用在很多商业应用系统，可以轻松集成结构化、半结构化以及非结构化数据集。Spark采用了内存计算，允许数据载入内存作反复查询，融合数据仓库、流...
Attu工具管理
Attu是一款专为Milvus向量数据库打造的开源数据库管理工具，提供了便捷的图形化界面，极大地简化了对Milvus数据库的操作与管理流程。阿里云Milvus集成了Attu，以便更加高效地管理数据库、集合（Collection）、索引（Index）和实体（Entity...
E-MapReduce本地盘实例大规模数据集测试
本文介绍如何使用阿里云E-...详情请参见 E-MapReduce本地盘实例大规模数据集测试最佳实践。说明 本文的TPC-DS的实现基于TPC-DS的基准测试，并不能与已发布的TPC-DS基准测试结果相比较，本文中的测试并不符合TPC-DS的基准测试的所有要求。
EMR-4.8.x版本说明
数据集兼容Druid集群模式。不再支持SparkSQL数据集。Knox 支持通过Knox访问Presto。修复无法访问Druid Web UI的问题。取消HTTP仅限制使用高安全Knox访问Ranger UI的限制。发行版本信息 Hadoop集群 服务 版本 HDFS 3.2.1 YARN 3.2.1 Hive 3....
概述
Apache Druid是一个分布式内存实时分析系统，用于解决如何在大规模数据集下快速的、交互式的查询和分析问题。基本特点 Apache Druid具有如下特点：支持亚秒级的交互式查询。例如，多维过滤、Ad-hoc的属性分组和快速聚合数据。支持实时的...
产品优势
本文介绍 云原生多模数据库 Lindorm 与其他开源数据库的区别。背景信息 云原生多模数据库 Lindorm 兼容HBase、Cassandra、S3、TSDB、HDFS、Solr等多种标准接口，支持宽表、时序、对象、文本、队列、空间等多种数据模型，适用于日志、账单、...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
使用JindoFS加速OSS文件访问
背景信息 Fluid是一个开源的Kubernetes原生的分布式数据集编排和加速引擎，主要服务于云原生场景下的数据密集型应用，例如大数据应用和AI应用等。有关Fluid的更多介绍，请参见 数据加速Fluid概述。JindoRuntime来源于阿里云EMR团队JindoFS...
JindoFS实战演示
AI训练加速 文档链接 视频链接 视频发布时间 描述 Fluid+JindoFS对OSS上的数据进行训练加速 Fluid+JindoFS对OSS上的数据进行训练加速 2021-07-06 Fluid是一个开源的Kubernetes原生的分布式数据集编排和加速引擎，主要服务于云原生场景下的...
支持倚天云服务器
阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户 全网用户 新增功能/规格 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...
相关的云服务
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
产品架构
从上图可以看出EMR由四部分组成：社区开源产品 集成Apache社区开源大数据组件，例如Hadoop、Hive和HBase，随着EMR版本更新，开源软件也会相应的升级，详情请参见 版本概述 下各版本的版本说明。注意 已经创建好的EMR集群不支持组件升级。...
EMR Serverless StarRocks服务等级协议更新
《开源大数据平台E-MapReduce Serverless服务等级协议》已于2024年02月02日修订，并将于2024年03月01日生效。当前服务等级协议详情，请在 服务等级协议 中查看。变更生效时间 2024年03年01日 变更范围 EMR Serverless StarRocks（标准版）...
授权信息
操作 API 访问级别 资源类型 条件关键字 关联操作 暂无数据 资源（Resource）开源大数据平台 E-MapReduce（EMR）不支持在RAM权限策略语句的 Resource 中指定资源ARN。如果要允许对 开源大数据平台 E-MapReduce（EMR）的访问权限，请在策略...
EMR Studio概述
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
E-MapReduce Serverless服务等级协议（SLA）
2023年6月1日起，E-MapReduce Serverless服务等级协议（SLA）生效。详情请参见 开源大数据平台E-MapReduce Serverless服务等级协议。
什么是EMR on ECS
产品优势 EMR为您提供了相对方便可控的企业级开源大数据服务。您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。100%采用社区开源组件，适配并优化开源组件，性能远高于开源版本。基于时间的弹性伸缩能力，抢占...
产品优势
阿里云E-MapReduce（简称EMR）为您提供相对方便可控的企业级开源大数据服务。您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。稳定可靠的开源组件 100%采用社区开源组件，随开源版本升级迭代，详情请参见 版本...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
EMR Doctor概述
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即集群管理页面的“健康检查”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化提供有力的信息...
概述
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
查看账单
在 明细账单 页签中，设置查询 账期，并在列表中筛选产品为 开源大数据平台E-MapReduce，产品明细为 EMR StarRocks Serverless按量 或 EMR StarRocks Serverless包年包月。您还可以通过 统计项 和 统计周期 选择账单的展示内容。账单详细...
- 产品推荐
- 这些文档可能帮助您