产品概述
除了SDK以外，数据总线 DataHub 还提供一些常用的客户端插件，包括：Fluentd，LogStash，Flume等。您可以使用这些客户端工具往数据总线 DataHub 里面写入流式数据。数据总线 DataHub 同时支持强Schema的结构化数据（创建Tuple类型的Topic）...
查询集群信息
调用DescribeClusterBasicInfo接口，查询已创建集群的基本信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
查询集群模版详情
bp1id7ajv83kmqwq*</securityGroupId><securityGroupName>emxxx</securityGroupName><softwareInfoList>FLUME</softwareInfoList><softwareInfoList>FLINK</softwareInfoList><sshEnable>false</sshEnable><templateName>template_name_2...
EMR-5.3.x版本说明
5.3.0版本：3.7.0 EMR-5.3.1版本：3.7.1 Bigboot Iceberg 0.12.0 Hudi 0.8.0 DeltaLake 0.8.0 OpenLDAP 2.4.44 Hue 4.9.0 HBase 2.3.4 Zookeeper 3.6.3 Presto 338 Impala 3.4.0 Zeppelin 0.9.0 Flume 1.9.0 Livy 0.7.1 Superset 0.36.0 ...
EMR-5.2.x版本说明
HDFS 3.2.1 YARN 3.2.1 Hive 3.1.2 Spark 3.1.1 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7...Flume 1.9.0 Livy 0.7.1 Superset 0.36.0 Ranger 2.1.0 Storm 1.2.2 ESS 1.0.0 Alluxio 2.5.0 Kudu 1.11.1 Oozie 5.1.0 Shuffle Service集群...
EMR-3.37.x版本说明
3.37.0版本：3.7.0 EMR-3.37.1版本：3.7.1 Bigboot Hudi 0.8.0 DeltaLake 0.6.1 OpenLDAP 2.4.44 Hue 4.9.0 HBase 1.4.9 Zookeeper 3.6.3 Presto 338 Impala 3.4.0 Zeppelin 0.9.0 Flume 1.9.0 Livy 0.7.1 Superset 0.36.0 Ranger 1.2.0 ...
EMR-3.36.x版本说明
3.37.0版本：3.7.0 EMR-3.37.1版本：3.7.1 Bigboot Hudi 0.8.0 DeltaLake 0.6.1 OpenLDAP 2.4.44 Hue 4.9.0 HBase 1.4.9 Zookeeper 3.6.3 Presto 338 Impala 3.4.0 Zeppelin 0.9.0 Flume 1.9.0 Livy 0.7.1 Superset 0.36.0 Ranger 1.2.0 ...
快速入门
描述 Topic的描述信息 步骤三：写入数据 DataHub支持多种写入方式，针对日志可以选择Flume等多种插件，针对数据库可以选择DTS、canal，也可以通过SDK写入，在这里使用console工具上传文件的方式写入数据。下载并解压console工具包，配置ak...
应用场景
相较于以日志为中心的系统，例如Scribe和Flume，云消息队列 Kafka 版 在具备高性能的同时，可以实现更强的数据持久化以及更短的端到端响应时间。云消息队列 Kafka 版 的这种特性决定它适合作为日志收集中心。云消息队列 Kafka 版 忽略掉...
EMR-4.8.x版本说明
HDFS 3.2.1 YARN 3.2.1 Hive 3.1.2 Spark 2.4.7 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 SmartData 3.4.0 Bigboot 3.4.0 Hudi 0.6.0 OpenLDAP 2.4.44...Zeppelin 0.9.0 Flume 1.9.0 Livy 0.6.0 Superset 0.36.0 Ranger 2.1.0 Flink 1.10...
技术支持的范围和方式
数据集成组件，例如，Flume和Sqoop等。数据存储组件，例如，HDFS、HBase、Kudu、Iceberg、DeltaLake、Hudi和Kafka等。计算引擎组件，例如，Spark、Hive、Tez、Druid、Flink和Phoenix等。OLAP组件，例如，Presto、StarRocks、Doris、...
数据传输服务（上传）场景与工具
开源工具及插件：您可以通过 Sqoop、Kettle、Flume、Fluentd插件、OGG、MMA 将数据上传至MaxCompute。产品工具：MaxCompute客户端基于 批量数据通道 的SDK，实现了内置的Tunnel命令，可对数据进行上传，Tunnel命令的使用请参见 Tunnel命令...
EMR-5.4.x版本说明
Auth 1.0.0 Hudi 0.9.0 DeltaLake 1.0.0 OpenLDAP 2.4.44 Hue 4.9.0 HBase 2.3.4 Zookeeper 3.6.3 Presto 338 Impala 3.4.0 Zeppelin 0.10.0 Flume 1.9.0 Livy 0.7.1 Superset 0.36.0 Ranger 2.1.0 ESS 1.2.0 Alluxio 2.5.0 Kudu 1.14.0 ...
EMR-4.10.x版本说明
Auth 1.0.4 Iceberg 0.13.0 Hudi 0.10.0 DeltaLake 0.6.1 OpenLDAP 2.4.44 Hue 4.9.0 JindoSDK 4.0.0 HBase 2.3.4 Zookeeper 3.6.3 Presto 358 Impala 3.4.0 Zeppelin 0.10.2 Flume 1.9.0 Livy 0.7.1 Superset 0.36.0 Ranger 2.1.0 RSS 1.0...
搭配云HBase和Spark构建一体化数据处理平台
消息流入：Flume、Logstash或者在线库的Binlog流入 云消息队列 Kafka 版。实时计算：通过X-Pack Spark Streaming实时地消费 云消息队列 Kafka 版 的消息，写入到云HBase中对外提供在线查询。实时存储与检索：云HBase融合Solr以及Phoenix ...
什么是日志服务
消费与投递 支持数据实时消费，适用于Storm消费、Flume消费、Flink消费等场景；支持数据实时投递，适用于将数据投递至OSS、TSDB等云产品。日志审计 在继承现有日志服务所有功能基础上，还支持多账户下实时自动化、中心化采集云产品日志并...
修改集群配置
ZOO FLUME SMARTDATA BIGBOOT HIVE-CDH KUDU OPENLDAP TENSORFLOW-ON-SPARK GRAFANA PROMETHEUS ALERTMANAGER CLICKHOUSE 服务组件列表 ANALYTICS-ZOO AnalyticsZooPython AnalyticsZooScala GANGLIA GMETAD GMOND HBASE HMaster ...
HBase SQL（Phoenix）FAQ
本文档介绍了您在使用HBase SQL（Phoenix）过程中遇到的常见问题并给出解决办法。ali-phoenix最新版本在Maven中央仓库发布了哪些JAR包？...GroupId ArtifactId Latest Version com.aliyun.phoenix ali-phoenix 4.12.0-AliHBase-1.1-0.9 com.aliyun.phoenix ali-phoenix-hive 4.12.0-AliHBase-1.1-0.9 com.aliyun.phoenix ali-phoenix-spark 4.12.0-AliHBase-1.1-0.9 com.aliyun.phoenix ali-phoenix-pherf 4.12.0-AliHBase-1.1-0.9 com.aliyun.phoenix ali-phoenix-queryserver 4.12.0-AliHBase-1.1-0.9 com.aliyun.phoenix ali-phoenix-queryserver-client 4.12.0-AliHBase-1.1-0.9 com.aliyun.phoenix ali-phoenix-pig 4.12.0-AliHBase-1.1-0.9 com.aliyun.phoenix ali-phoenix-flume 4.12.0...
EMR-3.38.x版本说明
Auth 1.0.0 Hudi 0.9.0 DeltaLake 0.6.1 OpenLDAP 2.4.44 Hue 4.9.0 Spark 3.1.2 HBase 1.4.9 Zookeeper 3.6.3 Presto 358 Impala 3.4.0 Zeppelin 0.10.0 Flume 1.9.0 Livy 0.7.1 Superset 0.36.0 Ranger 1.2.0 Phoenix 4.14.1 ESS 1.2.0 ...
使用CreateCluster API创建集群
Common、YARN、HDFS或者OSS-HDFS任选其一 无 Trino Hadoop-Common 无 Flume Hadoop-Common 无 Kyuubi Hadoop-Common、YARN、Hive、Spark3、Zookeeper 无 YARN Hadoop-Common 无 Impala Hadoop-Common、YARN、Hive 无 Ranger Hadoop-Common...
功能特性
DataWorks数据下载 数据迁移 相关工具 支持通过MaxCompute客户端（Tunnel）、DataWorks数据集成（Tunnel）、DTS（Tunnel）、Sqoop（Tunnel）、Kettle（Tunnel）、Flume（DataHub）、Fluentd（DataHub）、LogStash（DataHub）、OGG（DataHub...
使用PyJindo访问阿里云OSS-HDFS
目录文件为[*-sh.cn-*.oss-dls.aliyuncs.com/.sysinfo/': type=Directory>,*-sh.cn-*.oss-dls.aliyuncs.com/apps/': type=Directory>,*-sh.cn-*.oss-dls.aliyuncs.com/flume/': type=Directory>,*-sh.cn-*.oss-dls.aliyuncs....
SmartData常见问题
支持按照HCFS接口读写数据的组件，例如，Hadoop、Hive、Spark、Flink、Presto、HBase、Impala、Druid、Kafka和Flume。JindoFS吞吐如何？会不会影响Spark或Hive大规模分析计算？JindoFS在适配上充分发挥OSS并发吞吐能力，实现异步并发读取，...
自定义资源组
datax 和 datax-on-flume：数据同步插件库和配置所在目录。Agent有关命令：目前支持对Agent进程进行 stop、start 和 restart 等命令操作。home/admin/alisatasknode/target/alisatasknode/bin/serverctl start/stop/restart 运行日志：...
离线同步常见问题
本文为您介绍离线同步的相关问题。文档概述 问题分类 相关文档 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？...
- 产品推荐
- 这些文档可能帮助您