操作指导
DataStream Java<dependency><groupId>org.apache.flink</groupId><artifactId>flink-streaming-java_2.11</artifactId><version>${flink.version}</version><scope>provided</scope></dependency>DataStream Scala<dependency><groupId>...
创建OSS外部表
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...
2023-08-21版本
在该版本中，我们将包含Apache Flink 1.17.1的所有新功能、性能提升与缺陷修复。在Apache Flink 1.17中，通过通用增量Checkpoint（GIC）功能，提升了Checkpoint的处理速度和稳定性。同时，增强了Unaligned Checkpoint（UC）在处理作业反压...
分库分表（Alias功能）
date_dt与当前时间的差值，防止写入过大的时间字段或者过小的时间值，样例中给出的是100天，即不能写入一条数据的时间比当前时间大100天或小100天 collection.collection.configName_indexer_default 代表创建的索引表依赖的配置集，可以...
通过EMR运行基于OSS-HDFS服务的TPC-DS Benchmark
TPC-DS作为大数据行业中最权威且被广泛认可的基准测试标准，用于衡量大规模数据处理系统的性能与效率的关键指标。阿里云EMR是第一个通过认证的可运行TPC-DS 100 TB的大数据系统。本文介绍如何在EMR集群环境下，充分利用OSS-HDFS服务的优势...
配置回源HTTP响应头
对于Apache：sudo service apache2 restart 对于Nginx：sudo service nginx restart 浏览器验证响应头。使用开发者工具的“网络”面板访问您的资源，检查是否在响应头中看到 Access-Control-Allow-Origin。如果看不到，可能是配置没有生效...
兼容版本SDK概述
本文为您介绍MaxCompute兼容版本的MapReduce与Hadoop MapReduce兼容性。MaxCompute兼容版本的MapReduce与Hadoop MapReduce兼容性的详细列表，如下表所示。类型 接口 是否兼容 Mapper void map(KEYIN key,VALUEIN value,org.apache.hadoop....
MPC API
[MPC Logger]tenant link，记录建联，settings 信息-><appender name="MPC-TENANT-LINK-APPENDER" class="org.apache.log4j.DailyRollingFileAppender">${log_root}/mpaaschannel/tenant-link.log"/><param name="append" value="true"/><param...
ALIYUN:EDAS:Application
该参数需要与指定的集群ID所在的命名空间保持一致。您可以登录EDAS控制台，选择 应用管理>命名空间，找到命名空间对应的命名空间ID。Deployment Map 否 否 部署应用程序信息。更多信息，请参见 Deployment属性。Deployment语法"Deployment...
测试环境
本次测试针对开源自建的Presto与阿里云云原生数据湖分析DLA Presto在OSS数据源上执行查询的性能做了对比分析。本文档主要介绍了测试环境的配置要求。环境配置要求 客户端ECS与服务端（Presto和DLA Presto）处于同一地域、同一可用区。本例...
Hive访问EMR HBase数据
create table hive_hbase_table(key int,value string)stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,cf1:val")tblproperties("hbase.table.name"="hive_hbase_table...
Hive访问EMR HBase数据
create table hive_hbase_table(key int,value string)stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,cf1:val")tblproperties("hbase.table.name"="hive_hbase_table...
Hive访问Iceberg数据
因为EMR-3.38.0与EMR-5.4.0版本的Hive与Iceberg集成存在一定兼容性问题，所以需要修改以下配置。进入Hive页面。登录EMR on ECS控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击目标集群操作列的 集群服务。在 集群服务 页面，...
Spark On MaxCompute访问Phoenix数据
为了满足用户在Spark On MaxCompute环境下访问Phoenix的数据需求，本文从Phoenix表的创建与数据写入，再到IDEA上的Spark代码编写以及DataWorks上代码的冒烟测试，完整的描述了Spark On MaxCompute访问Phoenix的数据实践方案。前提条件 在...
通过SeaTunnel集成平台将数据写入OSS-HDFS服务
bin.tar.gz RUN tar-xzvf apache-seatunnel-incubating-${SEATUNNEL_VERSION}-bin.tar.gz RUN cp-r apache-seatunnel-incubating-${SEATUNNEL_VERSION}/*SEATUNNEL_HOME/RUN rm-rf apache-seatunnel-incubating-${SEATUNNEL_VERSION}*RUN ...
UNLOAD
建表语句如下：说明 数据接收表的字段类型需与MaxCompute表字段类型对应，详情请参见 MaxCompute与Hologres的数据类型映射。create table mc_2_holo(id int,name text);登录 MaxCompute客户端，执行UNLOAD命令，将 data_test 表的数据导出...
UNLOAD
建表语句如下：说明 数据接收表的字段类型需与MaxCompute表字段类型对应，详情请参见 MaxCompute与Hologres的数据类型映射。create table mc_2_holo(id int,name text);登录 MaxCompute客户端，执行UNLOAD命令，将 data_test 表的数据导出...
相似图检索
功能描述 相似图检索帮助您从图库中检索出与给定的图片相似的若干张图片。关于参数的详细说明，请参见 相似图检索API文档。您需要使用内容安全的API接入地址，调用本SDK接口。关于API接入地址的信息，请参见 接入地址（Endpoint）。前提...
将Dubbo应用托管到SAE
Apache Dubbo（以下简称Dubbo）是一款微服务框架，提供服务提供者（Provider）和服务消费者（Consumer）之间的服务发现能力。以Dubbo微服务应用为例，本文介绍如何在本地通过XML配置的方式开发应用，并将其部署到 SAE 进行托管。为什么托管...
外部表
org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe->stored as textfile org.apache.hadoop.hive.ql.io.orc.OrcSerde->stored as orc org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe->stored as parquet org.apache....
SNI可能引发的HTTPS访问异常
支持的手机端浏览器：Android 3.0 Honeycomb及以上版本 iOS 4及以上版本 Windows Phone 7及以上版本 支持的服务器：Apache 2.2.12及以上版本 Apache Traffic Server 3.2.0及以上版本 Cherokee HAProxy 1.5及以上版本 IIS 8.0及以上版本 ...
分库分表（Alias功能）
router.maxFutureMs 8640000000 代表最大容忍写入的时间字段your_date_dt与当前时间的差值，防止写入过大的时间字段或者过小的时间值，样例中给出的是100天，即不能写入一条数据的时间比当前时间大100天或小100天。collection.collection....
将Dubbo应用托管到SAE
dependency><groupId>org.apache.dubbo</groupId><artifactId>dubbo</artifactId><version>2.7.3</version></dependency><dependency><groupId>org.apache.dubbo</groupId><artifactId>dubbo-registry-nacos</artifactId>...
Spark Connector
为了更好地融入大数据生态，MaxCompute开放了存储组件（Storage API），通过调用Storage API直接访问MaxCompute底层存储，有助于提高第三方引擎访问MaxCompute数据的速度与效率。本文为您介绍如何使用第三方计算引擎Spark通过Spark ...
管理应用（适用于应用镜像）
背景信息 本文示例操作中选用的应用镜像为LAMP 6.1.0镜像，其他应用镜像通过管理控制台管理应用的方式与之类似，您在实际操作中以查看到的页面信息为准。操作步骤 登录 轻量应用服务器管理控制台。在左侧导航栏，单击 服务器。单击轻量应用...
Transport Client（5.x）
由于Transport Client通过TCP与Elasticsearch进行通信，因此当客户端与不同版本的Elasticsearch通信时会存在兼容性问题，所以官方在高版本集群中已弃用Transport Client。建议优先使用 Java Low Level REST Client 来访问Elasticsearch集群...
配置CDH6使用文件存储 HDFS 版
5425|5426|1849|org.apache.hadoop.mapred.TextInputFormat|hdfs:/cdh6-master:8020/tmp/tpcds-generate/2/catalog_returns|-1|org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat|5426|5427|1850|org.apache.hadoop.mapred....
安装Docker并使用（Linux）
本示例以拉取阿里云仓库的Apache镜像为例。sudo docker pull registry.cn-hangzhou.aliyuncs.com/lxepoo/apache-php5 修改镜像名称标签，便于记忆。sudo docker tag registry....
数仓分层
主要完成数据加工与整合，建立一致性的维度，构建可复用的面向分析和统计的明细事实表，以及汇总公共粒度的指标。公共维度层（DIM）：基于维度建模理念思想，建立整个企业的一致性维度。降低数据计算口径和算法不统一风险。公共维度层的表...
Hive连接方式
重要 运行JAR包的服务器与E-MapReduce集群需要在同一个VPC和安全组下，并且网络可达。如果两者的VPC不同或网络环境不同，则需要通过公网地址访问，或先使用网络产品打通两者的网络，再通过内网访问。网络连通性测试方法：公网：telnet ...
为HTTP触发器配置签名认证
函数计算 支持为HTTP触发器配置签名认证，当请求消息到达 函数计算 网关后，网关会对开启签名认证的HTTP触发器上的请求进行认证，您的函数无需再次对请求签名进行认证，只需关注...请求中的签名与 函数计算 计算得到的签名不一致，认证失败。
访问Elasticsearch数据源
重要 请确保pom.xml文件中Elasticsearch-spark-30_2.12的版本与阿里云Elasticsearch实例的版本一致，Spark-core_2.12的版本与 AnalyticDB MySQL Spark版本一致。编写如下示例程序，并进行编译打包，本文生成的JAR包名称为 spark-example....
数仓分层
主要完成数据加工与整合，建立一致性的维度，构建可复用的面向分析和统计的明细事实表，以及汇总公共粒度的指标。公共维度层（DIM）：基于维度建模理念思想，建立整个企业的一致性维度。降低数据计算口径和算法不统一风险。公共维度层的表...
HikariCP 连接池连接 OceanBase 数据库示例程序
代码如下：<build><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-compiler-plugin</artifactId><configuration><source>8</source><target>8</target></configuration></plugin></plugins>配置项目所...
Java Low Level REST Client
Java Low Level REST Client是Elasticsearch官方提供的低级别REST客户端，其API不负责数据的编码与解码。Lindorm搜索引擎兼容Elasticsearch 7.10及更早版本的功能，如果您想要自定义请求和响应处理方式，可以通过Java Low Level REST ...
Zeppelin常见问题
org.apache.zeppelin.interpreter.InterpreterException:java.io.IOException:Interpreter process is not running 解决方式：您可以参照以下命令解决该问题。rm-f/usr/lib/zeppelin-current/interpreter/zeppelin-interpreter-shaded-0.10...
图片审核
null&httpResponse.isSuccess()){ JSONObject scrResponse=JSON.parseObject(org.apache.commons.codec.binary.StringUtils.newStringUtf8(httpResponse.getHttpContent()));System.out.println(JSON.toJSONString(scrResponse,true));int ...
使用SkyWalking和Elasticsearch实现全链路监控
本文介绍使用阿里云Elasticsearch 7.4版本的实例与SkyWalking，实现对实例的全链路监控。背景信息 SkyWalking具有以下特性：全自动探针监控，不需要修改应用程序代码。手动探针监控，提供了支持OpenTracing标准的SDK。覆盖范围扩大到...
Spark Streaming
Spark Streaming作业的监控与报警 对于流作业而言，DLA Spark默认为作业开启了监控与报警功能。您可以通过监控查看流作业的运行状态，例如作业处理延迟，数据处理速率等，具体请参见 查看Spark监控。您可以通过配置报警规则实现对流作业的...
配置OIDC认证鉴权
通过OIDC协议与企业的认证鉴权系统整合，可以实现对内部服务的统一认证和授权管理，避免了重复的对接工作，同时简化了认证流程。云原生网关提供了统一认证鉴权，加强了系统的安全性，并提供了更加灵活的安全策略配置。整合OIDC协议还能实现...
- 产品推荐
- 这些文档可能帮助您