创建EMR Presto节点
Presto（即PrestoDB）是一款灵活、可扩展的分布式SQL查询引擎，支持使用标准的SQL查询语言进行大数据的交互式分析查询（Presto概述），DataWorks为您提供EMR Presto节点，便于您在DataWorks上进行Presto任务的开发和周期性调度。...
使用独立的Trino集群
背景信息 在使用开源大数据平台E-MapReduce控制台时，您可以在创建DataLake集群、自定义集群或Hadoop集群时选择Trino服务，或者创建独立的Trino集群使用Trino服务。Trino集群具备以下特点：Trino独享集群资源，受其他组件干扰少。支持弹性...
创建CDH Presto节点
在DataWorks中，CDH Presto节点可以实现实时数据分析。该节点提供了分布式SQL查询引擎，进一步增强了CDH环境的数据分析能力。本文为您介绍如何创建和使用CDH Presto节点。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发...
Presto概述
支持高级数据结构，具体如下：数组和Map数据 JSON数据 GIS（Geographic Information System）数据 颜色数据 功能扩展能力强，提供了多种扩展机制：扩展数据连接器 自定义数据类型 自定义SQL函数 流水线：基于Pipeline处理模型数据在处理...
PRESTO指标
本文为您介绍PRESTO指标的详细信息。参数 指标 描述 HeapMemory committed presto_Memory_HeapMemoryUsage_committed JVM堆内存分配量。HeapMemoryUsage Init presto_Memory_HeapMemoryUsage_init JVM初始堆内存。HeapMemoryUsageMax ...
低成本历史库
大数据生态 无缝对接Spark、Hive、Flink、Presto等开源大数据生态产品，支持API访问和文件读取等多种对接方式，简单高效满足用户海量数据分析需求。典型应用 用户交易记录通过App写入MySQL，LTS将MySQL中实时同步到Lindorm，近三个月状态...
低成本RDS历史库
大数据生态 无缝对接Spark、Hive、Flink、Presto等开源大数据生态产品，支持API访问和文件读取等多种对接方式，简单高效满足用户海量数据分析需求。典型应用 用户交易记录通过App写入MySQL，LTS将MySQL中实时同步到Lindorm，近三个月状态...
应用场景：低成本历史库
大数据生态 无缝对接Spark、Hive、Flink、Presto等开源大数据生态产品，支持API访问和文件读取等多种对接方式，简单高效满足用户海量数据分析需求。典型应用 用户交易记录通过APP写入MySQL，LTS将MySQL中实时同步到Lindorm，近三个月状态...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
功能特性
EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源...
JMX连接器
您可以通过JMX连接器查询Presto集群中所有节点的JMX信息。通过修改本连接器的配置，可以实现JMX信息定期转储的功能。本连接器通常用于系统监控和调试。前提条件 已创建DataLake集群或Hadoop集群，并选择了Presto服务，详情请参见 创建集群...
大数据专家服务
大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户构建和持续优化的大...
大数据开发治理平台 DataWorks
大数据开发治理平台 DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台，自带阿里巴巴数据中台与数据治理最佳实践，赋能各行业数字化转型。每天阿里巴巴集团内部有数万...
Quick BI新建Presto数据源连接报错：“数据源连通性...
问题描述 Quick BI新建Presto数据源连接报错：“数据源连通性异常，请检查参数是否正确，错误信息：false”。问题原因 用户的Presto数据源中填写的Schema为用户新创建的空的数据库，Quick BI数据源连接测试时会验证数据库里是否有表信息，...
测试过程
本文介绍性能测试包含的主要步骤。构建数据结构 AnalyticDB MySQL Presto 数据初始化 构建数据 导入数据 TPC-H测试集 有关测试过程的更多信息可参见 附录：测试过程详解。
通过Presto查询RDS MySQL数据库
本文介绍在同一VPC下创建的E-MapReduce集群和RDS MySQL实例，如何通过E-MapReduce集群的Presto查询RDS MySQL数据库信息。前提条件 已创建集群，并且选择了Presto服务。详情请参见 创建集群。已购买RDS，详情请参见 创建RDS MySQL实例。说明...
Presto
Zeppelin的Presto解释器是使用JDBC连接Presto。本文为您介绍如何在Zeppelin中使用Presto。背景信息 EMR数据开发的Zeppelin在以下两方面做了增强：在多个EMR集群中动态切换。无需配置，所有配置都是自动完成。Zeppelin的Presto解释器提供...
Quick BI修改Presto数据源的数据库地址后，点击确认后...
问题描述 Quick BI修改Presto数据源的数据库地址后，点击确认后报错：“数据源连通性异常，请检查参数是否正确。错误信息：null”。问题原因 更换数据库地址后，需要同时检查其他配置项是否填写正确。用户更换数据库地址后，填写的实例ID未...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
Quick BI添加Trino版本Presto数据源链接测试失败
问题描述 Quick BI添加Trino版本Presto数据源链接测试失败。问题原因 用户没有填写正确的Schema，导致测试连接失败。解决方案 填写正确的Schema。Presto（包括Trino）不论是否连通都能获取Connection，因此Quick BI通过判断Schema下有没有...
数据源中心
PRESTO数据源 参数 是否必选参数 说明 数据源 是 数据源类型。数据源名称 是 输入数据源的名称。描述 否 输入数据源的描述。IP主机名 是 输入连接数据源的IP地址。端口 是 PRESTO数据源类型对应的端口为22。用户名 是 设置连接PRESTO的用户...
通过JDBC方式访问Presto
创建了包含Presto服务的集群后，如果您需要进行复杂的数据查询、分析和处理操作，或者需要将查询结果集成到Java应用程序中，则可以使用Presto提供的JDBC Driver连接数据库。在Maven中引入JDBC Driver 您需要根据您的E-MapReduce集群版本，...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
应用场景
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
Superset（仅对存量用户开放）
使用Superset访问Hive数据库 Superset提供了SQLAlchemy以多种语言支持各种各样的数据库，包括MySQL、Oracle、PostgreSQL和Microsoft SQL Server等关系型数据库，以及Hive、Presto和Druid等大数据查询引擎。这里以E-MapReduce Hadoop集群...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
管理数据库
数据库 待访问的Presto数据库名称。可选参数。访问方式 支持以下访问方式：LDAP：需设置用户名和密码。EMR集群中设置的用户，详情请参见 管理用户。免密登录：仅需设置用户名。网络检测 单击 测试连通性，可以测试网络连通性。Trino 参数 ...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
DMS支持的数据库
关系型数据库 MySQL SQL Server PostgreSQL MariaDB OceanBase MySQL模式 OceanBase Oracle模式 OceanBase ODP Oracle DB2 达梦数据库 OpenGauss 数据仓库 ClickHouse SelectDB NoSQL数据库 Redis MongoDB 大数据 Hive 录入他云/自建数据库...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
使用Impala或Presto查询JindoFS上的数据
本文介绍如何使用Impala或Presto查询JindoFS上的数据。JindoFS配置 以EMR-3.35版本为例，创建名为 emr-jfs 的命名空间，相关配置参数示例如下：jfs.namespaces=emr-jfs jfs.namespaces.emr-jfs.oss.uri=oss:/oss-bucket/oss-dir jfs....
- 产品推荐
- 这些文档可能帮助您