开源的网络数据-开源的网络数据文档介绍内容-阿里云

Spark对接MaxCompute

本文介绍如何在Spark中进行MaxCompute数据的读写操作。操作步骤初始化一个OdpsOps对象。在Spark中，MaxCompute的数据操作通过OdpsOps类完成。import ...

Hive统一元数据

使用统一的元数据库，如果您的所有数据都存放在OSS之上，则不需要做任何元数据的迁移和重建，所有集群都是可以直接访问数据，这样每个EMR集群可以做不同的业务，但是可以很方便地实现数据的共享。创建使用统一元数据的集群支持以下两种...

数据源支持概述

本文介绍Spark SQL支持的数据源类型，以及支持数据源的方式。支持的数据源数据源批量读批量写流式读流式写 Kafka 有无有有 Loghub 有有有有 Tablestore 有有有有 DataHub 无无有有 HBase 有有无有 JDBC 有有无有 ...

OpenLDAP

OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，Knox服务默认与OpenLDAP服务对接。当您通过EMR控制台的访问链接与端口功能访问...

概述

使用场景典型的应用场景如下：近实时计算场景时间序列数据的场景预测建模与存量数据共存通常生产环境中会有大量的存量数据，数据可能存储在HDFS、RDBMS或Kudu中。如果您只是想访问和查询这些存量数据，可以使用Impala访问和查询，而...

管理缓存

Alluxio利用E-MapReduce（简称EMR）集群的本地节点的内存和磁盘对数据进行分布式缓存。本文为您介绍缓存相关的内容。前提条件已创建集群，并选择了Alluxio服务，详情请参见创建集群。已登录集群，详情请参见登录集群。背景信息 EMR默认...

与开源PostgreSQL性能对比

测试环境和规格 PolarDB for PostgreSQL 14和开源 PostgreSQL 14的环境和规格如下表所示，本次测试的开源PostgreSQL 14在阿里云ECS机器上进行部署：参数 PolarDB for PostgreSQL 14 开源 PostgreSQL 14 核数+内存 8核 64 GB 8核 64 GB 发压...

使用DLF元数据

E-MapReduce（简称EMR）的EMR-5.8.0及之后版本的集群（对应StarRocks 2.3及之后的版本）支持查询元数据类型为DLF的外表。...相关文档如果使用Hive MetaStore，请参见 Hive数据源、Iceberg数据源、Hudi数据源、Delta Lake数据源。

DataX

数据源筛选SQL 从数据源中抽取数据的SQL语句。当节点执行SQL时会自动解析SQL查询的列名，并将其映射为目标表的同步列名。当源表和目标表的列名不一致时，可以通过使用列别名（AS）来进行转换。目标源类型选择同步数据的数据源类型。目标源...

概述

Druid工作层（数据索引以及查询）包含以下组件：Realtime组件负责数据的实时摄入。Broker组件负责查询任务的分发以及查询结果的汇总，并将结果返回给用户。Historical组件负责索引后的历史数据的存储，数据存储在deep storage。Deep ...

扩容磁盘

当E-MapReduce集群的数据存储空间不足时，您可以根据本文进行磁盘（数据盘）扩容。本文为您介绍如何对数据盘进行扩容。前提条件已在E-MapReduce控制台创建集群，详情请参见创建集群。使用限制 E-MapReduce控制台仅支持数据盘扩容操作，不...

查询Delta表数据

2 3 4 0 1 Time taken:2.937 seconds,Fetched:5 row(s)说明查看数据与在Spark中插入的数据一致，说明Hive已经成功访问了Delta表的数据。通过Presto查询Delta表数据执行以下命令，进入Presto命令行。presto-server master-1-1:8889-...

通过Quick BI连接StarRocks实例

添加StarRocks数据源用于连通StarRocks数据库与Quick BI，连接成功后，您可以在Quick BI上进行数据的分析与展示。本文为您介绍如何通过Quick BI连接StarRocks实例。背景信息 Quick BI是由阿里云提供的一款全场景数据消费式的BI平台，无缝...

管理用户及数据授权

通过用户管理功能，您可以对数据库进行用户权限控制，这样可以确保只有授权的用户能够管理相关的数据库。前提条件已创建实例，详情请参见创建实例。使用限制普通用户无法执行本文操作。添加用户进入StarRocks Manager页面。登录 E-...

可视化弹性成本分析

说明仅支持按量付费（抢占式实例）Task节点组，且仅在有账单数据的情况下可以进行筛选。时间范围选择大盘时间范围，默认为最近7天。您可以设置该项查看不同时间范围的成本、资源趋势。节点昨日花费弹性成本费用统计，这些花费为本集群的...

概述

Event由一个可选的Header字典和一个装载数据的字节数组组成。示例如下。Header(Map)|Body(byte[])|-Flume Event Source 是数据源收集器，从外部数据源收集数据，并批量发送到一个或多个Channel中。常见Source如下：Avro Source：通过监听...

数据格式描述文件

本文介绍索引数据的描述文件（Ingestion Spec文件）。Ingestion Spec（数据格式描述）是Druid对要索引数据的格式以及如何索引该数据格式的一个统一描述，它是一个JSON文件，一般由三部分组成。{"dataSchema":{.},"ioConfig":{.},...

Hive数据按行过滤

Ranger支持对Hive数据按行进行过滤（Row Level Filter），即可以对Select返回的结果按行进行过滤，只显示满足指定条件的行。本文介绍如何将Hive数据按行进行过滤。前提条件已创建集群，并选择了Ranger服务，详情请参见创建集群。已创建按...