通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据
建议在Kibana控制台中创建一个符合预期的Role角色用户进行访问，详情请参见 通过Elasticsearch X-Pack角色管理实现用户权限管控。es.net.http.auth.pass / 对应用户的密码，在创建实例时指定。如果忘记可进行重置，具体操作步骤，请参见 ...
将Dubbo应用托管到SAE
Apache Dubbo（以下简称Dubbo）是一款微服务框架，提供服务提供者（Provider）和服务消费者（Consumer）之间的服务发现能力。以Dubbo微服务应用为例，本文介绍如何在本地通过XML配置的方式开发应用，并将其部署到 SAE 进行托管。为什么托管...
将Dubbo应用托管到SAE
在 com.alibaba.edas 中创建类Provider，并按下面的代码在Provider的main函数中加载Spring Context，将配置好的Dubbo服务暴露。package com.alibaba.edas;import org.springframework.context.support.ClassPathXmlApplicationContext;...
DataHub
前提条件 已经在DataHub中创建项目。本文档中假设DataHub的区域为 华南1（深圳），Project名称为 spark_test，Topic名称为 topic01。具体请参考 Project操作 和 Topic操作。说明 目前内置的SparkOnDataHub Connectors仅支持 TUPLE 类型的...
创建TDH Inceptor计算源
前提条件 若以TDH Inceptor作为元仓，或元仓初始化中的元数据库配置使用TDH Incepor作为元数据库获取方式时，需要具备以下条件：已在TDH Inceptor中创建dataphin_meta的项目。元仓初始化中TDH Inceptor配置的用户，需具备dataphin_meta项目...
通过流引擎实现地理围栏监控
操作步骤 通过Lindorm-cli连接宽表引擎，并在宽表引擎中创建一张记录地理围栏数据的宽表，具体操作请参见 通过Lindorm-cli连接并使用宽表引擎。语句示例如下：CREATE TABLE route_table(route_id varchar,region geometry(polygon),/地理...
通过RocketMQ客户端消费设备消息
groupId>org.apache.rocketmq</groupId><artifactId>rocketmq-client-java</artifactId><version>5.0.4</version></dependency>在已创建的Java工程中，创建用户服务器订阅普通消息程序并运行。说明 实际开发场景中，需替换...
基于Hadoop集群支持Delta Lake或Hudi存储机制
在集群中创建数据库，准备数据。步骤三：基于MaxCompute实时分析Hadoop集群数据。通过DataWorks控制台的数据湖集成界面创建External Project，对Hadoop集群数据进行分析。步骤一：创建EMR集群 在EMR控制台创建Hadoop集群。创建Hadoop集群的...
通过RocketMQ客户端消费设备消息
groupId>org.apache.rocketmq</groupId><artifactId>rocketmq-client-java</artifactId><version>5.0.4</version></dependency>在已创建的Java工程中，创建用户服务器订阅普通消息程序并运行。说明 实际开发场景中，需替换...
创建OSS外部表
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...
Flink
flink.execution.packages org.apache.flink:flink-connector-kafka_2.11:1.10.0,org.apache.flink:flink-connector-kafka-base_2.11:1.10.0,org.apache.flink:flink-json:1.10.0 Package的格式为 artifactGroup:artifactId:version，当有...
DataX同步数据
背景信息 Dataphin系统内嵌了DataX组件，在Dataphin中创建和运行DataX任务（Shell任务）即可将DataX调用起来，以实现数据同步。DataX支持同步数据的数据源包括MySQL、Oracle、SQL Server、PostgreSQL、HDFS、Hive、HBase等。DataX的更多...
DataX同步数据
背景信息 Dataphin系统内嵌了DataX组件，在Dataphin中创建和运行DataX任务（Shell任务）即可将DataX调用起来，以实现数据同步。DataX支持同步数据的数据源包括MySQL、Oracle、SQL Server、PostgreSQL、HDFS、Hive、HBase等。DataX的更多...
默认接入点收发消息
安装Java依赖库 在IDEA中创建一个Java工程。在 pom.xml 中添加以下依赖。groupId>org.apache.kafka</groupId><artifactId>kafka-clients</artifactId><version>2.4.0</version></dependency><dependency><groupId>org.slf4j...
操作指导
解决方案 通过在VPC中创建NAT网关，并创建SNAT条目，将Flink全托管所在的交换机绑定至弹性公网IP（EIP），即可通过EIP访问公网。具体配置方法请参见：创建NAT网关，详情请参见 创建NAT网关。创建交换机粒度的SNAT条目并绑定弹性公网IP，...
离线数仓构建流程概述
步骤一：准备工作 规划数仓 数仓规划是数据建设中的蓝图，在您开始数据开发前，需要完成数据仓库的规划，数仓规划配置包括：创建数据板块和主题域、计算源、数据源、项目及项目中的成员。步骤二：规划数仓 数据集成 将创建好的数据源集成至...
离线数仓构建流程概述
步骤一：准备工作 规划数仓 数仓规划是数据建设中的蓝图，在您开始数据开发前，需要完成数据仓库的规划，数仓规划配置包括：创建数据板块和主题域、计算源、数据源、项目及项目中的成员。步骤二：规划数仓 数据集成 将创建好的数据源集成至...
HikariCP 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 HikariCP 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入、删除、更新和查询数据等。点击下载 hikaricp-mysql-client 示例工程 前提条件 您已安装 OceanBase...
配置E-MapReduce服务使用文件存储 HDFS 版
hdfs:/emr-header-1.cluster-125428:9000/user/hive/warehouse/analysis_logs.db/original_log_sh_partitioned|-1|org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat|3|29|22|org.apache.hadoop.mapred.TextInputFormat|...
Knox
前提条件 已创建E-MapReduce集群，详情请参见 创建集群。准备工作 设置安全组访问：获取您当前设备的公网访问IP地址。为了安全的访问集群组件，在设置安全组策略时，推荐您只针对当前的公网访问IP地址开放。访问 IP地址，即可查看您当前的...
安装Kafka单机版
Kafka作为一种高吞吐量的分布式发布订阅消息系统，可以处理消费者模式网站中的所有动作流数据。模板示例 Kafka 单机版（已有VPC）在已有专有网络、交换机和安全组等资源的基础上，创建一台ECS实例并绑定弹性公网IP（EIP）。模板示例中使用...
Apache配置多域名访问不同网站
本文介绍如何在一台已搭建多个网站的服务器中修改Apache配置文件，以实现HTTP访问不同域名时，成功打开对应的网站。前提条件 已创建LAMP服务器。具体操作，请参见 使用LAMP镜像创建服务器。背景信息 在本文的操作步骤中，示例资源说明如下...
自建Apache RocketMQ触发器
Apache RocketMQ作为事件源通过 事件总线EventBridge 与 函数计算 集成后，通过Apache RocketMQ触发器能够触发关联函数执行，通过函数可以对发布到Apache RocketMQ的消息进行自定义处理。本文介绍如何在 函数计算 控制台创建Apache ...
自建Apache RocketMQ触发器
Apache RocketMQ作为事件源通过 事件总线EventBridge 与 函数计算 集成后，通过Apache RocketMQ触发器能够触发关联函数执行，通过函数可以对发布到Apache RocketMQ的消息进行自定义处理。本文介绍如何在 函数计算 控制台创建Apache ...
Apache网站常见问题排查
概述 本文主要介绍使用阿里云ECS实例搭建Apache网站时，遇到的一些常见问题的处理方法。详细信息 说明 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于...
在Apache服务器中配置带有证书链的数字证书
概述 本文介绍了当数字证书带有证书链时，在Apache服务器中配置数字证书的方法。详细信息 参考以下内容，对带有证书链的数字证书进行配置。确认数字证书带有证书链 使用文本编辑器进入数字证书文件，如果证书文件存在三段 BEGIN ...
最佳实践概览
迁移场景 说明 轻量应用服务器之间的数据迁移 如果您存量的轻量应用服务器即将到期，并且您已经创建了一台新的轻量应用服务器，需要将存量服务器中的网站数据迁移至新的服务器中，可以手动完成服务器间的数据迁移。迁移ECS实例至轻量应用...
Apache Zeppelin
Apache Zeppelin是一款基于Web的Notebook产品，能够交互式数据分析。使用Zeppelin，您可以使用丰富的预构建语言后端（或解释器）制作交互式的协作文档，例如Scala、Python、SparkSQL、Hive等。Hologres兼容PostgreSQL，支持直接连接Apache ...
Apache Zeppelin连接
Apache Zeppelin是一款基于Web的Notebook产品，能够进行交互式数据分析。使用Zeppelin，您可以使用丰富的预构建语言后端（或解释器）制作交互式的协作文档，例如Scala、Python、SparkSQL、Hive等。本文为您介绍Apache Zeppelin如何连接 ...
Apache Nifi
本文以一个示例为您介绍Apache Nifi如何连接Hologres。背景信息 Apache NiFi 是一个易用、可靠的数据处理与分发系统，Apache NiFi的设计目标是自动化管理系统间的数据流。Apache Nifi是一个基于WEB-UI用户界面，具有很强交互性和易用性，为...
迁移消费者程序
前提条件 部署开源Apache Kafka集群 购买并部署 云消息队列 Kafka 版 实例：购买并部署VPC实例 购买并部署公网/VPC实例 创建迁移任务 登录 云消息队列 Kafka 版 控制台，在 概览 页面的 资源分布 区域，选择地域。在左侧菜单栏单击 迁移...
使用Cloud Toolkit开发Dubbo微服务应用样例工程
Alibaba Cloud Toolkit（简称Cloud Toolkit）是为开发者提供的一款IDE插件，您可以使用Cloud Toolkit快速创建Apache Dubbo应用样例工程，验证后，再使用Cloud Toolkit部署到EDAS上。本文以IntelliJ IDEA为例介绍如何创建一个以Nacos作为...
计算源概述
在机器学习平台中，创建可视化建模的工作空间时，资源请选择基于MaxCompute的计算资源组，详情请参见 资源管理概述。Hologres加速计算源：Dataphin支持为已绑定MaxCompute计算源的项目添加Hologres加速计算源，加速业务数据的查询速度。...
手动部署Java Web环境（CentOS 7）
本篇教程介绍如何手动在...Listener className="org.apache.catalina.core.JreMemoryLeakPreventionListener"/><Listener className="org.apache.catalina.mbeans.GlobalResourcesLifecycleListener"/>...
手动部署Java Web环境（Alibaba Cloud Linux 3）
本示例中，网站根目录为/data/wwwroot/default，运行以下命令直接在网站根目录下新建一个Tomcat测试页面，并进行访问。运行以下命令，创建网站根目录。mkdir-p/data/wwwroot/default 运行以下命令，新建测试文件。echo sh-c Tomcat test>/...
如何兼容Hbase 1.0以前的版本
TableName 类 在HBase 1.0.0 之前的版本中，创建表时可以使用 String 类型的表名，但是 HBase 1.0.0 之后需要使用类 org.apache.hadoop.hbase.TableName。最新的代码如下所示：String tableName="MyTable;or byte[]tableName=Bytes.toBytes...
如何在各类服务中安装SSL证书
详细信息 阿里云SSL证书服务可提供Nginx服务器、Apache服务器、Tomcat服务器、IIS服务器和其他服务器类型证书下载并安装到对应的服务器中，安装SSL证书前，请仔细阅读 SSL证书安装指南。如果您需要安全专家提供证书安装的服务，可在SSL证书...
Tez
背景信息 Tez主要使用在Apache Hive中，作为Hive的一种运行时引擎，可以优化Hive SQL的查询引擎。与Hive On MR（MapReduce）相比，Hive On Tez具有更好的查询性能和稳定性。Hive基于MapReduce提交任务和基于Tez提交任务流程图如下所示：Tez...
使用Cloud Toolkit快速创建Dubbo工程
使用Cloud Toolkit可以快速创建Dubbo工程，然后您可以将Dubbo工程部署到EDAS...后续操作 在完成Apache Dubbo样例工程的创建和调用验证后，可以将该样例工程打包（JAR包）并部署到EDAS的不同集群（主要为ECS集群和容器服务Kubernetes集群）中。
计算源概述
在机器学习平台中，创建可视化建模的工作空间时，资源请选择基于MaxCompute的计算资源组，详情请参见 资源管理概述。Hologres加速计算源：Dataphin支持为已绑定MaxCompute计算源的项目添加Hologres加速计算源，加速业务数据的查询速度。...
- 产品推荐
- 这些文档可能帮助您