开源数据库安全性-开源数据库安全性文档介绍内容-阿里云

使用OpenAPI

本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见使用OpenAPI。基本信息版本说明版本号说明 2021-03-20 推荐使用。接入点说明根据实例所在的地域，选择对应的服务接入点地址，...

EMR Studio概述

EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...

授权信息

操作 API 访问级别资源类型条件关键字关联操作暂无数据资源（Resource）开源大数据平台 E-MapReduce（EMR）不支持在RAM权限策略语句的 Resource 中指定资源ARN。如果要允许对开源大数据平台 E-MapReduce（EMR）的访问权限，请在策略...

概述

设置白名单和安全组：提升数据库访问的安全性，将允许访问云数据库的IP地址设置为白名单或安全组中；防止其他外部地址的访问。访问集群：云HBase企业标准版可以直接使用社区开源版客户端，也可以使用阿里定制的HBase客户端访问，下载和依赖...

什么是云原生数据库PolarDB分布式版

本文介绍什么是云原生数据库PolarDB分布式版，也称为 PolarDB分布式版，本手册中简称为 PolarDB-X。产品简介 PolarDB分布式版（PolarDB for Xscale，简称“PolarDB-X”）。PolarDB-X 是阿里云面向高吞吐、大存储、低延时、易扩展和超高...

在EMR上使用Sqoop与数据库同步数据时的网络配置

ECS自建数据库 访问VPC网络的自建数据库跟VPC网络的RDS类似，EMR集群需要使用VPC网络，并且数据库ECS实例和EMR集群实例需要在同一个安全组内。云下私有数据库 有两种方式访问云下私有数据库，一种是绑定弹性IP（EIP）访问数据库的公网地址...

快速入门

MySQL快速入门 SQL Server快速入门 PostgreSQL快速入门 MariaDB快速入门数据库引擎以下是对四种数据库引擎的介绍：云数据库RDS MySQL MySQL是全球受欢迎的开源数据库之一，作为开源软件组合LAMP（Linux+Apache+MySQL+Perl/PHP/Python）中...

E-MapReduce Serverless服务等级协议（SLA）

2023年6月1日起，E-MapReduce Serverless服务等级协议（SLA）生效。详情请参见开源大数据平台E-MapReduce Serverless服务等级协议。

内表数据源

如果使用JDBC连接到StarRocks，连接时可通过 default_catalog.db_name 的方式指定要连接的数据库。可选：执行以下命令，查看当前StarRocks集群中的所有数据库。SHOW DATABASES;指定Catalog名称 SHOW DATABASES FROM default_catalog;可选：...

元数据管理常见问题

解决方法：登录集群的Master节点，在$HIVE_CONF_DIR/hivemetastore-site.xml 中，找到对应数据库的访问地址和用户名密码信息。javax.jdo.option.ConnectionUserName/对应数据库用户名;javax.jdo.option.ConnectionPassword/对应数据库访问...

DataX

标准集群（非高安全集群），如果需要设置执行用户，请确保YARN服务包含如下配置项：yarn.nodemanager.container-executor.class=org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor yarn.nodemanager.linux-container-...

概述

MaxCompute Spark是MaxCompute提供的兼容开源Spark的计算服务。它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持您以熟悉的开发使用方式提交运行Spark作业，满足更丰富的数据处理分析需求。使用限制 MaxCompute Spark支持...

PolarDB-X历史

同年11月11日，TDDL（Taobao Distributed Data Layer）首次发布，开创了分布式数据库中间件+开源数据库应用在高并发交易系统的先河。当时的TDDL虽然是一个客户端jar，但创造性地提出了三层（Matrix、Group、Atom）拆分拓扑结构，满足应用按...

自研内核

AliPG PostgreSQL（简称PG）是一款全球流行的企业级开源数据库，被业界誉为“最先进的开源数据库”。AliPG兼容PostgreSQL开源数据库，于2015年正式商用，目前支持10及以上的大版本，已稳定运行多年，支撑了大量阿里巴巴集团内部以及云上的...

Superset（仅对存量用户开放）

使用Superset访问Hive数据库 Superset提供了SQLAlchemy以多种语言支持各种各样的数据库，包括MySQL、Oracle、PostgreSQL和Microsoft SQL Server等关系型数据库，以及Hive、Presto和Druid等大数据查询引擎。这里以E-MapReduce Hadoop集群...

查看账单

在明细账单页签中，设置查询账期，并在列表中筛选产品为开源大数据平台E-MapReduce，产品明细为 EMR StarRocks Serverless按量或 EMR StarRocks Serverless包年包月。您还可以通过统计项和统计周期选择账单的展示内容。账单详细...

Paimon概述

目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...

性能测试

本文介绍Ganos时空服务与开源GeoMesa（HBase）、云数据库MongoDB分片集群在处理时空轨迹数据时的性能测试对比。测试环境本次性能测试中需要准备以下测试数据库，具体配置如下表：数据库 配置说明云原生多模数据库 Lindorm Ganos引擎（即...

集群容灾能力

数据容灾在Hadoop分布式文件系统（HDFS）中，每一个文件的数据均是分块存储的，每一个数据块保存有多个副本（默认为3），并且尽量保证这些数据块副本分布在不同的机架之上。一般情况下，HDFS的副本系数是3，存放策略是将一个副本存放在...

JDBC数据源

id int NULL name string NULL Time taken:0.413 seconds,Fetched 2 row(s)配置参数说明参数描述是否必选 url 数据库地址。是 driver 数据库连接的JDBC驱动。例如 com.mysql.jdbc.Driver”eper.quorum":"a.b.c.d:2181"}。是 dbtable ...

基础使用

写数据环境配置 EMR-3.32.0以及后续版本中，已经将Hudi相关依赖集成到各个开源组件中，包括Spark、Hive和Presto，因此运行时不需要引入额外的Hudi依赖，只需要在pom文件中添加Hudi依赖即可。不同的EMR版本使用的Hudi版本不同，详细信息请...

ClickHouse概述

开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...

ECS实例说明

大数据型使用本地SATA盘作存储数据，存储性价比高，是大数据量（TB级别的数据量）场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点；Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型使用本地...

管理尽力交付

前提条件已创建数据湖（DataLake）、数据分析（OLAP）、实时数据流（DataFlow）、数据服务（DataServing）、机器学习（Data Science）或自定义集群（Custom），详情请参见创建集群。使用限制手动扩容场景：仅按量付费类型的节点组，支持...

开源版和商业版介绍

SOFABoot 目前对外开放的有开源版和商业版，本文介绍这两个版本的特点及适用场景，您可以根据自身需求自由选择合适的版本。选型指南各个版本的能力和适用场景信息见下表：版本能力场景文档开源版本具有模块化开发、类隔离、日志隔离...

HBase Replication

HBase可以基于Replication功能将实时写入的数据从主集群复制到备份集群，从而提高HBase数据的可靠性和数据访问的扩展性。HBase目前支持异步Replication、串行Replication和同步Replication。本文为您介绍如何开启HBase的异步Replication...

添加开源Elastic Search数据源

通过开源Elastic Search和DataV结合使用，可以实现数据分析和搜索结果的大屏展示。本文介绍在DataV中添加并使用开源Elastic Search数据源的方法。前提条件已准备好待添加的开源Elastic Search数据源。添加开源Elastic Search数据源登录 ...

添加开源Elastic Search数据源

通过开源Elastic Search和DataV结合使用，可以实现数据分析和搜索结果的大屏展示。本文介绍在DataV中添加并使用开源Elastic Search数据源的方法。前提条件已准备好待添加的开源Elastic Search数据源。添加开源Elastic Search数据源登录 ...

Hive基础操作

hive 库操作本文示例中的数据库以testdb为例介绍。创建库 create database if not exists testdb;当返回信息包含OK时，表示创建库testdb成功。查看库 desc database testdb;使用数据库 use testdb;删除库 drop database if exists testdb;...

EMR on ACK商业化公告

您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。收费标准阿里云EMR on ACK正式商业化后，将根据集群...

管理数据库

本文为您介绍如何新建、编辑或删除数据库。前提条件已创建工作空间，详情请参见管理工作空间。已创建EMR on ECS形态下的集群或Serverless StarRocks实例，详情请参见创建集群或创建实例。支持的集群类型为DataLake、Hadoop和自定义...

Iceberg概述

您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...

JindoData概述

JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...

概述

Kudu是一个分布式的，具有可扩展性的列式存储管理器，可以对快速变化的数据进行快速分析。使用场景典型的应用场景如下：近实时计算场景时间序列数据的场景预测建模与存量数据共存通常生产环境中会有大量的存量数据，数据可能存储在...

Hive概述

Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来进行数据提取、转化和加载（ETL）以及元数据管理。背景信息 E-MapReduce（简称EMR）版本中，Hadoop、Hive版本和EMR集群的配套情况，请参见版本概述。Hive结构名称说明...

自建Hive数据仓库迁移到阿里云E-MapReduce

可靠性使用阿里云数据库RDS保存Hive的元数据信息，可以提升数据可靠性和服务可用性，免除客户运维自建MySQL数据库的工作。架构图方案详情请参见阿里云自建Hive数据仓库跨版本迁移到阿里云EMR。icmsDocProps={'productMethod':'created'...

购买数据安全中心

购买指导视频支持的地域和数据库类型购买数据安全中心前，您需要先确认对应数据库的地域和类型在支持范围内。关于 DSC 支持的地域，请参见支持的地域。关于 DSC 支持的数据库类型，请参见支持的数据库类型。操作步骤访问数据安全中心...

管理标量Indexes

db_name="default"#待连接的数据库名称，本文示例为默认的default。index_params=client.prepare_index_params()index_params.add_index(field_name="scalar_field_1",#声明需要创建index的标量字段。index_name="default_index"#index名称...

Attu工具管理

Attu是一款专为Milvus向量数据库打造的开源数据库管理工具，提供了便捷的图形化界面，极大地简化了对Milvus数据库的操作与管理流程。阿里云Milvus集成了Attu，以便更加高效地管理数据库、集合（Collection）、索引（Index）和实体（Entity...

开源数据库安全性

新品推荐