使用DLF元数据
通过SHOW DATABASES查看指定Catalog下的数据库。SHOW DATABASES FROM hive_catalog;指定当前会话生效的数据库。USE hive_catalog.default;通过SELECT查询目标表。SELECT*FROM;相关文档 如果使用Hive MetaStore，请参见 Hive数据源、Iceberg...
SQL Editor
SQL Editor 界面总览 区域 描述 ① 查看Catalog及其下的数据库和表，并且通过下拉列表可以切换不同Catalog。② 单击 图标，创建SQL查询。首次进入SQL Editor，也可以单击 图标。③ 单击 运行，运行整个SQL脚本或批处理，即执行SQL编辑器...
DLF统一元数据
仅EMR-3.30.0及之后版本和EMR-4.5.0及之后版本，支持选择DLF统一元数据作为Hive数据库。切换元数据存储类型 您可以通过修改Hive参数的方式，切换Hive MetaStore的存储方式。说明 如果需要迁移数据库的元数据信息，请参见 EMR元数据迁移公告...
管理审计日志
StarRocks将所有审计日志存储在本地文件 fe/log/fe.audit.log 中，并且这些日志无法通过系统内部数据库访问。启用审计日志功能将安装AuditLoader插件，该插件能够从本地文件中读取日志，并通过HTTP PUT方法将其导入StarRocks数据库，方便您...
导入概述
Label是在一个数据库（Database）下唯一的，用于唯一标识一个导入作业。Label可由用户指定或系统自动生成。Label用于保证对应的导入作业，仅能成功导入一次。一个被成功导入的Label，再次使用时，会被拒绝并报错Label already used。通过该...
Hive数据按行过滤
test-row-filter Hive Database 添加Hive中的数据库。default Hive Table 添加表。test_row_filter Select User 选择配置按行过滤的用户。testc Access Types 选择授予的权限。select Row Level Filter 填写过滤的函数。id>=10 单击 Add。...
管理笔记本
SQL 当程序代码为SQL时，需要提前配置数据库，并在SQL单元格中，选择合适的目标数据库。配置数据库的具体操作，请参见 管理数据库。PySpark 当程序代码为PySpark时，需要提前添加外部集群，详情请参见 管理外部集群。如果您绑定的集群，...
管理标量Indexes
db_name="default"#待连接的数据库名称，本文示例为默认的default。index_params=client.prepare_index_params()index_params.add_index(field_name="scalar_field_1",#声明需要创建index的标量字段。index_name="default_index"#index名称...
数据源中心
数据库名 是 输入连接HIVE/IMPALA的数据库名称。j dbc连接参数 否 用于数据源连接的参数设置。格式为 {"key1":"value1","key2":"value2".}。测试连通性 否 添加数据源时支持使用调度资源组测试连通性。说明 如果工作流中使用了该数据源，...
应用场景
该方案优势如下：全托管免运维 弹性扩展能力 开放数据湖架构 一站式的数据开发平台 数据查询与分析场景 在传统数据平台下，数据仓库工程师和数据分析师通常面临两个不同的环境，甚至使用不同的引擎和语法，导致数据指标和算子行为存在差异...
Hive元数据基本操作
删除库 重要 删除数据库之前，必须删除数据库下所有的表。进入元数据管理页面。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 元数据管理 页签。在 表管理 页面的中间区域，单击已创建的...
Sqoop常见问题
问题描述：例如，在云数据库RDS数据源中，数据表 Test_Table 中包含时间戳（TIMESTAMP）字段。您可以执行以下命令，导入 Test_Table 中的数据至HDFS。sqoop import \-connect jdbc:mysql:/rm-2ze*341.mysql.rds.aliyuncs.com:3306/s*o_...
Hive数据脱敏
test_mask Hive Database 添加Hive中的数据库。testdb Hive Table 添加表。testtb1 Hive Column 可添加列名。a Select User 指定添加此策略的用户。test Access Types 选择授予的权限。select Select Masking Option 选择脱敏方式。Partial...
Catalog概述
例如，执行 CREATE DATABASE 和 CREATE TABLE 语句创建的数据库和数据表都由Internal Catalog管理。每个StarRocks集群都有且只有一个Internal Catalog名为 default_catalog。External Catalog：外部数据目录，用于管理外部数据源的访问信息...
Hudi数据源
通过Hudi Catalog，您可以直接查询Hudi中的数据。本文为您介绍如何创建和查看Hudi ...查看Hudi表数据 您可以通过SELECT查询目标数据库中的目标表。SELECT*FROM<catalog_name>.<database_name>.;相关文档 Hudi更多介绍，请参见 Hudi概述。
Hive数据源
通过Hive Catalog，您可以直接查询Hive中的数据。本文为您介绍如何创建和查看Hive ...查看Hive表数据 您可以通过SELECT查询目标数据库中的目标表。SELECT*FROM<catalog_name>.<database_name>.;相关文档 Hive更多介绍，请参见 Hive概述。
Iceberg数据源
通过Iceberg Catalog，您可以直接查询Iceberg中的数据。...查看 Iceberg 表数据 您可以通过SELECT查询目标数据库中的目标表。SELECT*FROM<catalog_name>.<database_name>.;相关文档 Iceberg更多介绍，请参见 Iceberg概述。
Hudi数据源
Hudi Catalog是一种External Catalog。通过Hudi Catalog，您可以直接查询Hudi中的数据。...查看Hudi表数据 您可以通过SELECT查询目标数据库中的目标表。SELECT*FROM<catalog_name>.<database_name>.;相关文档 Hudi更多介绍，请参见 Hudi概述。
Hive数据源
Hive Catalog是一种External Catalog。通过Hive Catalog，您可以直接查询Hive中的数据。...查看Hive表数据 您可以通过SELECT查询目标数据库中的目标表。SELECT*FROM<catalog_name>.<database_name>.;相关文档 Hive更多介绍，请参见 Hive概述。
Delta Lake数据源
通过Delta Lake Catalog，您可以直接查询Delta Lake中的数据。...查看 Delta Lake 表数据 您可以通过SELECT查询目标数据库中的目标表。SELECT*FROM<catalog_name>.<database_name>.;相关文档 Delta Lake更多介绍，请参见 Delta Lake概述。
跨库查询
当需要查询分散在不同数据库中的数据时，您可以使用 云原生数据仓库 AnalyticDB PostgreSQL 版 的跨库查询功能方便地将数据聚合在一起，进行高效查询，提高数据访问效率。功能介绍 Database是PostgreSQL生态下数据库的最高级别，同一个实例...
Delta Lake数据源
Delta Lake Catalog是一种External Catalog。...查看 Delta Lake 表数据 您可以通过SELECT查询目标数据库中的目标表。SELECT*FROM<catalog_name>.<database_name>.;相关文档 Delta Lake更多介绍，请参见 Delta Lake概述。
使用Hive在EMR集群中创建OSS表
在OSS指定Bucket路径上创建名为test_db的数据库。test_bucket为示例路径，实际使用时替换成真实的路径。USE test_db;CREATE TABLE test_table(id INT,name STRING,age INT);INSERT INTO test_table values(1,"ab",12);SELECT*FROM test_...
控制台发布记录
V1.7.0版本 发布日期 2024年01月11日 功能更新 功能分类 功能更新说明 存算分离场景 元数据管理新增支持数据库、表、分区、缓存显示功能。Query Profile中新增缓存命中分析指标。数据湖分析场景 元数据管理支持显示External Catalog的外部...
数据库管理
本文介绍如何使用Terraform创建和删除RDS PostgreSQL数据库以及修改或添加数据库备注信息。前提条件 已创建RDS PostgreSQL实例，详情请参见 创建RDS PostgreSQL实例。实例状态为运行中，您可以通过如下两种方式查看：参见 查询实例详情 ...
数据分析整体趋势
技术发展趋势 商业数据库起步于二十世纪八十年代，主要代表为Oracle，SQL Server，DB2等结构化数据在线处理的关系型数据库，而以MySQL，PostgreSQL为代表的开源关系型数据库也在二十世纪九十年代得到了发展。近些年来，随着业务数据量的...
EMR元数据迁移到数据湖构建（DLF）
登录数据湖构建控制台，查看是否存在数据库dlf_test_db。登录 数据湖构建控制台。在左侧导航栏，选择 元数据>元数据管理。在 数据库名称 中输入dlf_test_db，单击回车。在EMR集群执行以下命令，删除创建的数据库。drop database dlf_test_...
SQL任务开发
在右上角选择数据目录、数据库和一个已启动的SQL Compute。您也可以在下拉列表中选择 连接SQL compute，直接创建一个新的SQL Compute。Compute更多介绍，请参见 管理Compute。在新建的任务编辑器中输入SQL语句。（可选）在任务开发页面右侧...
Spark概述
架构 Spark架构如下图所示，基于Spark Core构建了Spark SQL、Spark Streaming、MLlib和Graphx四个主要编程库，分别用于离线ETL（Extract-Transform-Load）、在线数据分析、流计算、机器学习和图计算等场景，详情请参见 Apache Spark官网。...
数据共享
返回信息如下时，表示当前使用的数据库为db02：current_database-db02(1 row)订阅Share，并设置Share的本地别名。IMPORT DATASHARE s01 AS s01a FROM DATABASE";为步骤3中查询到的目标库db01的UUID。在目标库db02中查询源库db01共享的数据...
DataX Writer
是 无 database StarRocks数据库的名称。是 无 table StarRocks表的名称。是 无 loadUrl StarRocks FE的地址，用于Stream Load，可以为多个FE地址，格式为 fe_ip:fe_http_port 。是 无 column 目的表需要写入数据的字段，字段之间用英文...
Redis数据源
本文介绍如何使用Redis数据源进行数据分析或者交互式开发。建表语法 CREATE TABLE tbName[(columnName dataType[,columnName dataType]*)]USING redis OPTIONS(propertyKey=...否 dbNum 数据存入Redis的数据库序号，默认值为0。否
配置连接器
连接器 功能 对应文档 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 iceberg 使用Iceberg连接器可以查询Iceberg格式的数据文件。Iceberg...
Paimon数据源
通过Paimon Catalog，您可以直接查询Paimon中的数据。本文为您介绍如何创建和查看...查看Paimon表数据 您可以通过SELECT查询目标数据库中的目标表。SELECT*FROM<catalog_name>.<database_name>.;相关文档 Paimon更多介绍，请参见 Paimon概述。
EMR-3.25.x版本说明
更新内容 服务 变更点 Ranger 初始化HA集群RangerAdmin数据库。修复RangerUserSync启动脚本时的安全性问题。Spark 支持在控制台配置 spark.sql.extensions 等Delta相关参数。支持Hive读取Delta table，避免set inputformat。支持ALTER ...
EMR-3.22.x之前版本说明
EMR-3.0.1 支持交互式，支持统一的表管理，使用外部统一数据库保存Hive meta，所有使用外部Hive meta的集群都共享同一份meta信息。升级emr-core到1.2.4版本，优化了OSS读写的性能。Spark升级到2.0.2版本。说明 与EMR-3.0.0版本完全兼容。...
在EMR Hive或Spark中访问OSS-HDFS
说明 上述命令中的 dw 为数据库名，为任意路径，<yourBucketName>.为 步骤二：获取HDFS服务域名 中您获取到的HDFS服务的域名。本示例使用OSS-HDFS的域名作为路径的前缀。如果您希望只使用Bucket名称来指向OSS-HDFS，则可以配置Bucket级别的...
管理用户和角色
db_name="default"#待连接的数据库名称，本文示例为默认的default。创建用户#定义新用户的名称和密码。本示例用户名为user_milvus。client.create_user(user_name="user_milvus",password="<yourPassword>")您还进行以下操作：更新用户密码...
使用Spark处理JindoFS上的数据
与处理其他文件系统的数据类似，以RDD操作为例，直接使用jfs的路径即可：val a=sc.textFile("jfs:/emr-jfs/README.md")写入数据：scala>a.collect().saveAsTextFile("jfs:/emr-jfs/output")SparkSQL 创建数据库、数据表以及分区时指定...
快速入门
例如，执行 CREATE DATABASE 和 CREATE TABLE 语句创建的数据库和数据表都会存储在内部数据目录中。每个StarRocks集群都有一个默认的内部数据目录 default_catalog。StarRocks暂不支持修改默认的内部数据目录的名称，也不支持创建新的内部...
- 产品推荐
- 这些文档可能帮助您