Attu工具管理
Attu是一款专为Milvus向量数据库打造的开源数据库管理工具，提供了便捷的图形化界面，极大地简化了对Milvus数据库的操作与管理流程。阿里云Milvus集成了Attu，以便更加高效地管理数据库、集合（Collection）、索引（Index）和实体（Entity...
DBeaver
背景信息 DBeaver是一款免费、开源（GPL）的专门为开发人员和数据库管理员提供的通用数据库工具。DBeaver支持MySQL、PostgreSQL、Oracle、DB2、MSSQL、Sybase以及其他兼容JDBC的数据库。您可以通过DBeaver的图形界面查看数据库结构、执行...
Hudi概述
Apache Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。Hudi表类型 Hudi支持如下两种表类型：Copy On Write 使用Parquet格式存储数据。Copy On Write表的更新操作需要通过重写...
Babelfish简介
当您希望在单一的数据库实例中同时使用SQL Server和PostgreSQL能力，或计划将现有应用从SQL Server迁移到更具成本效益的PostgreSQL时，Babelfish for RDS PostgreSQL实现了对T-SQL语句和TDS协议的支持。本文从产品特性、架构、适用场景以及...
配置连接器
EMR Presto内置连接器 EMR Presto默认提供以下几种开箱即用的内置连接器。连接器 功能 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。mysql 使用MySQL连接器可以在...
使用DLF元数据
通过SHOW DATABASES查看指定Catalog下的数据库。SHOW DATABASES FROM hive_catalog;指定当前会话生效的数据库。USE hive_catalog.default;通过SELECT查询目标表。SELECT*FROM;相关文档 如果使用Hive MetaStore，请参见 Hive数据源、Iceberg...
Paimon数据源
StarRocks从3.1版本开始支持Paimon Catalog。Paimon Catalog是一种External ...查看Paimon表数据 您可以通过SELECT查询目标数据库中的目标表。SELECT*FROM<catalog_name>.<database_name>.;相关文档 Paimon更多介绍，请参见 Paimon概述。
配置连接器
EMR Trino内置连接器 EMR Trino默认提供以下几种开箱即用的内置连接器。连接器 功能 对应文档 Hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 Kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接...
JindoData概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
产品概述
云原生数据仓库 AnalyticDB PostgreSQL 版 基于开源项目Greenplum构建，由阿里云深度扩展，兼容ANSI SQL 2003，兼容PostgreSQL/Oracle数据库生态，支持行存储和列存储模式。既提供高性能离线数据处理，也支持高并发在线分析查询，是各行业...
数据分析整体趋势
技术发展趋势 商业数据库起步于二十世纪八十年代，主要代表为Oracle，SQL Server，DB2等结构化数据在线处理的关系型数据库，而以MySQL，PostgreSQL为代表的开源关系型数据库也在二十世纪九十年代得到了发展。近些年来，随着业务数据量的...
CREATE DATABASE
CREATE DATABASE语法用于在Lindorm实例中创建数据库，并设置数据库属性，例如数据有效期TTL，方便您统一归档数据。引擎与版本 CREATE DATABASE语法适用于宽表引擎和时序引擎。宽表引擎仅2.2.16及以上版本支持CREATE DATABASE语法。时序引擎...
OSS/OSS-HDFS概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括 JindoFS 存储系统（原JindoFS Block模式）...
管理笔记本
SQL 当程序代码为SQL时，需要提前配置数据库，并在SQL单元格中，选择合适的目标数据库。配置数据库的具体操作，请参见 管理数据库。PySpark 当程序代码为PySpark时，需要提前添加外部集群，详情请参见 管理外部集群。如果您绑定的集群，...
Iceberg数据源
Iceberg Catalog是一种External Catalog。通过Iceberg Catalog，您可以直接查询Iceberg中的数据。本文为您介绍如何在E-MapReduce的StarRocks集群上创建和查看Iceberg Catalog。前提条件 已创建包含Iceberg服务的集群，例如DataLake或Custom...
自研内核
AliPG PostgreSQL（简称PG）是一款全球流行的企业级开源数据库，被业界誉为“最先进的开源数据库”。AliPG兼容PostgreSQL开源数据库，于2015年正式商用，目前支持10及以上的大版本，已稳定运行多年，支撑了大量阿里巴巴集团内部以及云上的...
Hive元数据基本操作
删除库 重要 删除数据库之前，必须删除数据库下所有的表。进入元数据管理页面。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 元数据管理 页签。在 表管理 页面的中间区域，单击已创建的...
CREATE DATABASE
CREATE DATABASE语句用于创建数据库，并可以指定数据库的默认属性（如数据库默认字符集，校验规则等）。语法 create_database_stmt:CREATE {DATABASE|SCHEMA}[IF NOT EXISTS]database_name[database_option_list]database_option_list:...
配置说明
在使用Spark SQL进行流式查询前，您需要了解以下两个概念：数据源配置：即Table的定义。Table的定义只包含数据源的配置，例如，Kafka数据源的连接地址和Topic名等。因为您可以对一个Table同时做多个业务无关的查询，所以Table定义中不应该...
Hudi数据源
通过Hudi Catalog，您可以直接查询Hudi中的数据。本文为您介绍如何创建和查看Hudi ...查看Hudi表数据 您可以通过SELECT查询目标数据库中的目标表。SELECT*FROM<catalog_name>.<database_name>.;相关文档 Hudi更多介绍，请参见 Hudi概述。
Hive数据源
通过Hive Catalog，您可以直接查询Hive中的数据。本文为您介绍如何创建和查看Hive ...查看Hive表数据 您可以通过SELECT查询目标数据库中的目标表。SELECT*FROM<catalog_name>.<database_name>.;相关文档 Hive更多介绍，请参见 Hive概述。
Iceberg数据源
通过Iceberg Catalog，您可以直接查询Iceberg中的数据。...查看 Iceberg 表数据 您可以通过SELECT查询目标数据库中的目标表。SELECT*FROM<catalog_name>.<database_name>.;相关文档 Iceberg更多介绍，请参见 Iceberg概述。
Hive数据脱敏
test_mask Hive Database 添加Hive中的数据库。testdb Hive Table 添加表。testtb1 Hive Column 可添加列名。a Select User 指定添加此策略的用户。test Access Types 选择授予的权限。select Select Masking Option 选择脱敏方式。Partial...
在EMR Hive或Spark中访问OSS-HDFS
执行以下命令，使用新创建的数据库。use dw;执行以下命令，在新建的数据库下创建表。CREATE TABLE IF NOT EXISTS employee(eid int,name String,salary String,destination String)COMMENT 'Employee details';执行以下命令，查看表信息。...
Delta Lake数据源
通过Delta Lake Catalog，您可以直接查询Delta Lake中的数据。...查看 Delta Lake 表数据 您可以通过SELECT查询目标数据库中的目标表。SELECT*FROM<catalog_name>.<database_name>.;相关文档 Delta Lake更多介绍，请参见 Delta Lake概述。
常见问题
解决方法：您可以通过以下两种方式处理。方式一：在EMR控制台中的Ranger服务的 状态 页签中，选择 RangerAdmin 操作列的>enableImpala，重新执行 enableImpala 的操作。方式二：登录集群的emr-header-1节点，将/etc/ecm/impala-conf 目录下...
Kafka兼容说明
流引擎的流表兼容Kafka协议，支持通过开源Kafka客户端写入数据，也支持通过Kafka生态工具将MySQL、日志等数据投递至流引擎。本文介绍通过开源Kafka客户端将数据写入流表的操作步骤。操作步骤 获取流引擎连接地址。具体操作，请参见 查看...
登录数据库
您需要登录图数据库GDB才能对数据库内的数据进行查询和分析，本教程以DMS为例介绍如何登录数据库。前提条件 已根据快速入门完成创建账号步骤，具体操作请参见 创建账号。操作步骤 登录 DMS数据管理服务控制台。单击页面左侧 数据库实例 旁...
Paimon数据源
通过Paimon Catalog，您可以直接查询Paimon中的数据。本文为您介绍如何创建和查看...查看Paimon表数据 您可以通过SELECT查询目标数据库中的目标表。SELECT*FROM<catalog_name>.<database_name>.;相关文档 Paimon更多介绍，请参见 Paimon概述。
产品架构
从上图可以看出EMR由四部分组成：社区开源产品 集成Apache社区开源大数据组件，例如Hadoop、Hive和HBase，随着EMR版本更新，开源软件也会相应的升级，详情请参见 版本概述 下各版本的版本说明。注意 已经创建好的EMR集群不支持组件升级。...
Hive服务异常排查及处理
unblock with 'mysqladmin flush-hosts' 问题原因：客户端连接数据库出错次数太多，导致再次连接时被数据库拒绝。解决方案：方案1：可将数据库参数 max_connect_errors 稍微调大，调整后可立即生效。重要 max_connect_errors 参数主要防止...
uDig访问Ganos
uDig是一款开源的桌面GIS应用和开发框架，可以进行空间数据（如shp地图文件）的编辑和查看，支持OpenGIS标准，对互联网GIS、网络地图服务器和网络功能服务器有特别的加强。uDig提供了一个通用的Java平台来利用开源组件建设空间应用程序。...
uDig访问Ganos
uDig是一款开源的桌面GIS应用和开发框架，可以进行空间数据（如shp地图文件）的编辑和查看，支持OpenGIS标准，对互联网GIS、网络地图服务器和网络功能服务器有特别的加强。uDig提供了一个通用的Java平台来利用开源组件建设空间应用程序。...
计费项
云盘存储 您在StarRocks中使用云盘存储的数据量，包括实际的FE和BE节点用于数据存储的云盘数据量。BE规格 当您的 BE规格类型 为 高性能 或 大规格存储 时，会产生不同的计费费用。该计费项涵盖了BE的计算费用以及本地盘存储数据量费用。...
开源软件迁移
当前大部分应用系统都基于开源软件构建，并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...
数据源中心
数据库名 是 输入连接HIVE/IMPALA的数据库名称。j dbc连接参数 否 用于数据源连接的参数设置。格式为 {"key1":"value1","key2":"value2".}。测试连通性 否 添加数据源时支持使用调度资源组测试连通性。说明 如果工作流中使用了该数据源，...
EMR Doctor概述
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即集群管理页面的“健康检查”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化提供有力的信息...
什么是EMR Serverless Milvus
阿里云向量检索Milvus版是一款Serverless全托管服务，确保了与开源Milvus的完全兼容性，并支持无缝迁移。它在开源版本的基础上增强了可扩展性，能提供大规模AI向量数据的相似性检索服务。凭借其开箱即用的特性、灵活的扩展能力和全链路监控...
数据源支持概述
无 有 无 支持数据源的方式 Spark SQL支持数据源的方式包括以下两种：命令行方式 下载预编译好的 数据源JAR包。您只需要使用该JAR包，就可以完成Loghub、TableStore、HBase、JDBC和Redis数据源的实现以及相关的依赖包。Kafka和Druid数据源...
管理Partitions
在Milvus向量数据库中，创建Collection时系统会自动生成名为_default 的默认分区（Partition），用于存放未指定分区的插入数据。通过合理设置分区，可针对性地缩小查询范围，有效提升检索性能。本文为您介绍如何在Milvus中创建和管理分区。...
- 产品推荐
- 这些文档可能帮助您