对象存储OSS使用JavaSDK的ContentMD5提示“log4j”...
解决方案 请参见以下操作进行处理：log4j是Apache的服务，可在工程的src文件夹下面创建 log4j.properties 文件，内容如下所示。Configure logging for testing:optionally with log file log4j.rootLogger=WARN,stdout#log4j.rootLogger=...
Linux系统的ECS实例中如何添加Web站点
Linux系统的ECS实例中添加Apache站点 Apache的配置文件一般在/etc/httpd/conf 目录下，httpd.conf是Apache的主配置文件，当您进行配置时，可以将虚拟主机的配置文件单独配置，如取名为vhost.conf。然后在http.conf中加入“Include/etc/...
Quick BI连接hive数据源报错："Required field&39;...
问题描述 Quick BI连接hive数据源报错："Required field&39;client_protocol&39;is unset!Struct:TOpenSessionReq(client_...问题原因 hive版本属于cdh hive，quick bi支持的是apache hive。解决方案 切换为apache hive 即可。适用于 Quick BI
使用JMeter轻松录制压测脚本
JMeter是Apache的开源压测工具，支持参数化、断言等功能。其丰富的开源生态提供了各种协议和控制器的扩展。本文将介绍如何使用JMeter来录制压测脚本，包括安装JMeter、配置代理、录制测试用例等步骤。（可选）步骤一：安装JMeter 首先需要...
使用JMeter轻松录制压测脚本
JMeter是Apache的开源压测工具，支持参数化、断言等功能。其丰富的开源生态提供了各种协议和控制器的扩展。本文将介绍如何使用JMeter来录制压测脚本，包括安装JMeter、配置代理、录制测试用例等步骤。（可选）步骤一：安装JMeter 首先需要...
ORC
ORC（Optimized Row Columnar）是Apache开源项目Hive支持的一种经过优化的列存储文件格式，与CSV文件相比，ORC文件不仅节省存储空间，而且数据查询性能更高。本文介绍如何在DLA中为ORC类型的文件创建表。前提条件 请参见文档 文件格式转换...
Parquet
Parquet是Apache开源项目Hadoop支持的一种列存储文件格式，同一份数据以ORC格式和Parquet格式存储时，其数据扫描性能要优于普通文本CSV格式。本文介绍如何在DLA中为Parquet类型的文件创建表。前提条件 请参见文档 文件格式转换，准备...
内核版本
Gremlin Gremlin是Apache TinkerPop框架下的图查询语言，使用Gremlin可以很方便地对图数据进行查询、修改、遍历和过滤等操作。GDB Gremlin内核版本高度兼容TinkerPop Gremlin查询语言，性能较为优秀。可以高度兼容HugeGraph、JanusGraph、...
Airflow调度Spark
如果您使用的是Apache Livy的调度方式，AnalyticDB MySQL Spark Livy Proxy相关工具会在近期发布，可与维护团队联系申请邀测使用。Spark Airflow Operator命令行工具 准备工作 安装Airflow服务并启动。具体操作，请参见 Airflow社区文档。...
Dubbo概述
2.7.x：是Apache Dubbo最新的版本，会不断增加新功能。所以，推荐使用的是2.7.x版本。如果您使用的是2.6.x版本，也建议您迁移到2.7.x版本，以便使用不断增加的新功能。图 1.Dubbo 2.6.x 图 2.Dubbo 2.7.x Dubbo服务框架的工作流程如下：...
HttpClient 埋点接入
HttpClient 是 Apache 项目的开源组件，用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包。您可以在 SOFABoot 工程中引入并使用 HttpClient 打印 Tracer 日志。本文将演示如何使用 SOFATracer 对 HttpClient 进行埋点...
使用限制
Topic减少对应分区 不支持 这是Apache Kafka自身设计所限制的。暴露ZooKeeper 不支持 在使用设计层面，Apache Kafka自0.9.0之后已经屏蔽掉ZooKeeper，即客户端使用无需访问ZooKeeper。云消息队列 Kafka 版 的ZooKeeper是部分共享的，出于...
Kafka Indexing Service
背景信息 Kafka Indexing Service是Apache Druid推出的使用Apache Druid的Indexing Service服务实时消费Kafka数据的插件。该插件会在Overlord中启动一个Supervisor，Supervisor启动后会在Middlemanager中启动indexing task，这些task会连接...
YARN调度器
CapacityScheduler：是Apache Hadoop社区、HDP（Hortonworks Data Platform）及合并后CDP（Cloudera Data Platform）的默认调度器，具有最完善的多租户管理与资源调度能力，不仅包含了FairScheduler的全部能力，还能协调好整个集群的资源...
数据导入常见问题
MySQL实时同步至StarRocks 执行Flink job，报错“Could not execute SQL statement.Reason:org.apache.flink.table.api.ValidationException:One or more required options are missing”，该如何解决？Flink如何自动重启失败的Task？如何...
概述
BI工具 是否支持分析外部表 Apache Superset 是 Apache Zeppelin 是 Dataiku 是（有限支持）DataV 是 DataWorks数据服务 是 Davinci 是（有限支持）FineBI 是 FineReport 是 Grafana 是 IBM Cognos Analytics 是 Metabase 是 Power BI 是...
概述
Navicat Apache Nifi Apache NiFi是一个易用、可靠的数据处理与分发系统，Apache NiFi的设计目标是自动化管理系统间的数据流。Apache Nifi是一个基于WEB-UI用户界面，具有很强的交互性和易用性，为不同系统间或系统内提供数据流管理与处理...
Paimon概述
Apache Paimon是一种流批统一的湖存储格式，支持高吞吐的写入和低延迟的查询。目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS...
数据服务集群
DataServing是阿里云E-MapReduce提供的基于Apache HBase的数据服务集群类型。本文为您介绍数据服务集群支持的特性，适用场景以及技术架构。特性介绍 Apache HBase是具有高可靠性、高性能、列存储、可伸缩、实时读写的开源NoSQL分布式系统。...
概述
应用场景 实时数据分析是Apache Druid最典型的使用场景。该场景涵盖的面很广，例如：实时指标监控 推荐模型 广告平台 搜索模型 Apache Druid架构 Apache Druid拥有优秀的架构设计，多个组件协同工作，共同完成数据从摄取到索引、存储和查询...
Hudi存储
Apache Hudi是一个支持插入、更新、删除的数据湖框架，通常用于基于对象存储构建低成本Lakehouse。同时Apache Hudi还支持多版本的⽂件管理协议，提供⼊湖和分析过程中的增量数据实时写⼊、ACID事务、小⽂件⾃动合并优化、元信息校验和...
Spark计算引擎
Apache Spark是一个通用的开源的分布式处理系统，通常用于大数据工作负载。Spark既支持使用SQL，又支持编写多种语言的DataFrame代码，兼具易用性和灵活性。Spark通用化的引擎能力可以同时提供SQL、批处理、流处理、机器学习和图计算的能力...
Iceberg
背景信息 Apache Iceberg 是一种开放的数据湖表格格式。您可以借助Apache Iceberg快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Flink、Spark、Hive、Presto等计算引擎来实现数据湖的分析。类别 详情 支持...
Doris概述
Apache Doris是一个高性能、实时的分析型数据库，能够较好的满足报表分析、即席查询、数据湖联邦查询加速等使用场景。本文为您介绍Apache Doris。背景信息 关于更多Apache Doris信息，详情请参见 Doris介绍。使用场景 数据源经过各种数据...
计算设置概述
Apache Flink Apache Flink是一个分布式处理引擎，用于对无界和有界数据流进行有状态计算。Fusioninsight Flink Fusioninsight Flink 是一种基于Apache Flink的流式处理引擎，可以实现高速数据流的实时计算和分析。Blink独享版 Blink是阿里...
不同性能压测工具对比
100%兼容开源JMeter Apache JMeter Apache JMeter是Apache组织开发的基于Java的压力测试工具。Apache JMeter具备如下特性：支持分布式施压。支持图形化界面，且支持流程编排，同时支持断言、逻辑控制器等高级指令，可满足复杂业务压测需求...
功能特性
导入场景 JMeter压测 创建JMeter场景 Apache JMeter是Apache的开源压测工具，支持参数化、断言等功能。其丰富的开源生态提供了各种协议和控制器的扩展，同时可以通过自定义脚本编写参数处理等逻辑。PTS支持JMeter原生引擎的压测，并在此...
Phoenix
Apache Phoenix是构建在HBase上的SQL中间层，允许使用标准的SQL语法来查询和管理存储在HBase中的数据。前提条件 已创建选择了Phoenix和HBase服务的DataServing或Custom类型的集群，详情请参见 创建集群。使用Phoenix客户端 使用SSH方式连接...
Paimon外部表
关于Apache Paimon的详细信息，请参见 Apache Paimon。前提条件 当前执行操作的账号已具备创建MaxCompute表（CreateTable）的权限。更多表权限信息，请参见 MaxCompute权限。已创建MaxCompute项目。具体操作，请参见 创建MaxCompute项目。...
Kyuubi概述
Apache Kyuubi是一个分布式和多租户网关，为数据湖查询引擎（例如Spark、Flink或Trino等）提供SQL等查询服务。功能特性 多租户：Kyuubi通过统一的身份验证授权层为资源获取，数据和元数据访问提供端到端的多租户支持。高可用：Kyuubi基于...
使用Flume写入JindoFS
Apache Flume是一个分布式、可靠和高可用的系统，用于从大量不同的数据源有效地收集、聚合和移动大量日志数据，进行集中式的数据存储。Flume的核心是Agent，Agent中包含Source、Channel和Sink。本文为您介绍如何使用HDFS Sink写入数据至...
Flume使用JindoSDK写入OSS-HDFS服务
Apache Flume是一个分布式、可靠和高可用的系统，用于从大量不同的数据源有效地收集、聚合和移动大量日志数据，进行集中式的数据存储。Flume通过调用flush()保证事务性写入，并通过JindoSDK写入OSS-HDFS服务，确保flush后的数据立刻可见，...
引擎版本介绍
阿里云Flink采用的是基于Apache Flink增强的企业级引擎Ververica Runtime（简称VVR）。本文为您详细介绍引擎版本号及含义、引擎服务承诺与建议。引擎版本号及其含义 VVR使用三位编号的方案来指定阿里云Flink产品引擎版本的发布版本。引擎...
安装Spark单机版
背景信息 Apache Spark是专为大规模数据处理设计的通用计算引擎。Spark将Scala用作其应用程序框架，启用了内存分布数据集，除了能够提供交互式查询外，还可以迭代优化工作负载。模板示例 Spark单机版（已有VPC）在已有专有网络、交换机和...
概述
Apache Flume是一个分布式、可靠和高可用的系统，可以从大量不同的数据源有效地收集、聚合和移动日志数据，从而集中式的存储数据。使用场景 Flume使用最多的场景是日志收集，也可以通过定制Source来传输其他不同类型的数据。Flume最终会将...
安装Kafka单机版
背景信息 Apache Kafka是一个开源流处理平台，使用Scala和Java语言编写。Kafka作为一种高吞吐量的分布式发布订阅消息系统，可以处理消费者模式网站中的所有动作流数据。模板示例 Kafka 单机版（已有VPC）在已有专有网络、交换机和安全组等...
数据上云工具
Flume（DataHub通道系列）Apache Flume是一个分布式的、可靠的、可用的系统，可高效地从不同的数据源中收集、聚合和移动海量日志数据到集中式数据存储系统，支持多种Source和Sink插件。Apache Flume的DataHub Sink插件可以将日志数据实时...
常见问题
产品选型 阿里云数据库 SelectDB 版与自建 Apache Doris 数据库对比，有哪些优势？计费 为什么包年包月实例还会产生后付费账单？应用场景 云数据库 SelectDB 版可以应用在哪些场景？阿里云数据库 SelectDB 版与自建 Apache Doris 数据库...
Databricks Runtime
Databricks Runtime Databricks Runtime包括Apache Spark，但还添加了许多组件和更新，这些组件和更新大大改善了大数据分析的可用性，性能和安全性：Delta Lake是在Apache Spark之上构建的下一代存储层，可提供ACID事务，优化的布局和索引...
Hudi
背景信息 Apache Hudi是一种开源的数据湖表格式框架。Hudi基于对象存储或者HDFS组织文件布局，保证ACID，支持行级别的高效更新和删除，从而降低数据ETL开发门槛。同时该框架还支持自动管理及合并小文件，保持指定的文件大小，从而在处理...
- 产品推荐
- 这些文档可能帮助您