Flink JAR作业快速入门
步骤一：开发JAR包 Flink控制台不提供JAR包的开发平台，因此您需要在线下完成JAR包的开发。DataStream API的开发方法、调试及连接器的使用详情请参见 JAR作业开发。本快速入门为了带您快速熟悉Flink流作业和批作业的操作，已为您提供了测试...
删除图片
说明 如果指定图片在图像搜索实例中不存在，该接口依然会返回成功。不能用返回结果来判断图片是否存在。如需了解更多产品详情和获取技术支持，请单击 在线咨询 或通过钉钉群（35035130）联系我们。QPS限制 删除操作默认的并发量为20，也...
Java UDTF
注意事项 在编写Java UDTF时，您需要注意：不同UDTF JAR包中不建议存在类名相同但实现逻辑不一样的类。例如UDTF1、UDTF2分别对应资源JAR包udtf1.jar、udtf2.jar，两个JAR包里都包含名称为 com.aliyun.UserFunction.class 的类但实现逻辑不...
安全设置
使用限制 当计算引擎为ArgoDB和StarRocks时，不支持配置Spark Jar任务。操作步骤 在 管理中心 页面，按照下图指引设置相应的 Spark Jar任务。Spark Jar任务 描述 Spark Jar任务 关闭：原有的Spark Jar任务仍可进行编辑、删除、执行、提交、...
Flink/Blink实时消费Hologres Binlog
不支持获取JAR作业信息，不支持获取没有Hints参数的Catalog表信息。下载开源工具 find-incompatible-flink-jobs-1.0-SNAPSHOT-jar-with-dependencies.jar，详情请参见 find-incompatible-flink-jobs。使用本地命令行进入开源工具目录，然后...
ha搜索处理
系统提供了丰富的搜索语法以满足用户各种场景下的搜索需求。URL query?query=fetch_fields:name&config=start:0,hit:100,format:json&cluster=general&sort=id 以上 URL 省略了请求Header参数及编码等因素。以上 URL 中省略了访问应用的 ...
RESTFUL API搜索处理
系统提供了丰富的搜索语法以满足用户各种场景下的搜索需求。URL/{indexName}/search 以上 URL 省略了请求Header参数及编码等因素。以上 URL 中省略了访问应用的 host 地址。请求协议 HTTP 请求方式 POST 支持格式 JSON 签名机制 可用以下...
RESTFUL API搜索处理
系统提供了丰富的搜索语法以满足用户各种场景下的搜索需求。URL/{indexName}/search 以上 URL 省略了请求Header参数及编码等因素。以上 URL 中省略了访问应用的 host 地址。请求协议 HTTP 请求方式 POST 支持格式 JSON 签名机制 可用以下...
安全设置
Hadoop引擎下（除Inceptor外）不可开启Spark Jar任务鉴权模式。操作步骤 在 管理中心 页面，按照下图指引设置相应的 Spark Jar任务。Spark Jar任务 描述 Spark Jar任务 关闭：原有的Spark Jar任务仍可进行编辑、删除、执行、提交、发布等...
自定义标量函数（UDSF）
如果您的业务：不依赖其他JAR包：不用配置 pom.xml 文件，继续下一步。依赖其他JAR包：在 pom.xml 文件中添加您所需依赖的JAR包信息。Flink 1.11版依赖的主要JAR包如下。dependency><groupId>org.apache.flink</groupId>...
文本分析器
模糊分析器 介绍：支持拼音搜索、数字的前后缀搜索（中文不支持前后缀匹配搜索，字母，数字及拼音，这些都支持前后缀匹配）、单字或者单字母搜索。最多支持100个字节字段长度，更多介绍及注意事项参见 模糊搜索。注意：仅适用于SHORT_TEXT...
文本分析器
模糊分析器 介绍：支持拼音搜索、数字的前后缀搜索（中文不支持前后缀匹配搜索，字母，数字及拼音，这些都支持前后缀匹配）、单字或者单字母搜索。最多支持100个字节字段长度，更多介绍及注意事项参见 模糊搜索文档。注意：仅适用于SHORT_...
自定义表值函数（UDTF）
如果您的业务：不依赖其他JAR包：不用配置 pom.xml 文件，继续下一步。依赖其他JAR包：在 pom.xml 文件中添加您所需依赖的JAR包信息。Flink 1.11版依赖的主要JAR包如下。dependency><groupId>org.apache.flink</groupId>...
Spark
原因 1：AnalyticDB MySQL Spark不支持跨地域读取JAR包或文件。解决方法：您需排查JAR包和文件所在的OSS Bucket是否与 AnalyticDB MySQL 湖仓版（3.0）集群位于同一地域。原因2：spark.adb.roleArn 参数指定的角色没有读取OSS的权限。解决...
操作指导
解决方案 基本配置建议将scope全部设置为provided，即不打入作业JAR包。DataStream Java<dependency><groupId>org.apache.flink</groupId><artifactId>flink-streaming-java_2.11</artifactId><version>${flink.version}</version><scope>...
导入应用
JAR包部署应用 上传JAR包：选择下载好的JAR包并上传。JAR包地址：输入应用包地址。WAR包部署应用 上传WAR包：选择本地WAR包并上传。WAR包地址：输入应用包地址。WAR或者FatJar部署HSF应用 版本 请输入版本，您可以自定义版本号，也可以单击...
搜索处理
参数 类型 必需 取值范围 默认值 描述 query string 是 搜索主体，不能为空。主要支持子句有 config子句、query子句、sort子句、filter子句、aggregate子句、distinct子句、kvpair子句。fetch_fields string 否 全部 可展示 字段。表示本次...
搜索处理
参数 类型 必需 取值范围 默认值 描述 query string 是 搜索主体，不能为空。主要支持子句有 config子句、query子句、sort子句、filter子句、aggregate子句、distinct子句、kvpairs子句。fetch_fields string 否 全部 可展示 字段。表示...
将表格存储的增量数据转换为全量数据格式
通过DataWorks控制台，您可以在MaxCompute中使用merge_udf.jar包将 表格存储 的增量数据转换为全量数据格式。前提条件 已导出 表格存储 全量数据到MaxCompute，且已配置同步 表格存储 增量数据到MaxCompute。具体操作，请分别参见 全量导出...
Java SDK
在pom.xml文件所在的目录运行 mvn package，会在target目录生成可执行JAR：nls-example-tts-2.0.0-jar-with-dependencies.jar。将JAR包拷贝到您应用所在的服务器，用于快速验证及压测服务。服务验证。运行如下代码，并按提示提供相应参数。...
快速入门
本文以开发WordCount MapReduce作业为例，为您介绍如何通过MaxCompute Studio编写MapReduce程序及生成JAR包，并在MaxCompute客户端上运行MapReduce作业。前提条件 请确认您已满足如下条件：已安装并配置MaxCompute客户端。更多安装并配置...
安装第三方插件
安装第三方插件，可以在不修改Flume源码的情况下，以插件的方式定制您需要的功能。例如，添加数据源和存储组件等。通过添加JindoFS SDK的插件，可以支持通过Flume直接将数据写入OSS。本文为您介绍如何安装第三方插件。前提条件 已获取第三...
Spark-2.x示例
cd$SPARK_HOME bin/spark-submit-master yarn-cluster-jars/path/to/spark-examples_2.11-1.0.0-SNAPSHOT-shaded.jar \/path/to/MaxCompute-Spark/spark-2.x/src/main/python/spark_oss.py#spark-examples_2.11-1.0.0-SNAPSHOT-shaded.jar...
2023-04-13版本
对于Jar和Python作业来说，开发与线上天然隔离，且不需要使用到SQL中的UDF、Connector和Catalog等组件，所以不需要部署上线的机制。优化Jar作业和Python作业创建流程。SQL开发页面不再提供Jar和Python作业的创建，您可以直接在作业运维页面...
Spark FAQ
DLA Spark不支持跨Region读JAR包或者读文件。通过参数spark.dla.rolearn指定的Role没有读取这个OSS路径的权限。文件地址填写错误。文件与文件之间没有用逗号隔开或者写成JSON的List。如何处理Spark SQL读JSON外表（包含日志投递自建）时的...
内积和余弦距离
Proxima CE关于余弦距离的处理与内积有紧密联系，内积在搜索推荐的场景中应用广泛，很多算法需要获取内积值做进一步的运算。Proxima CE对内积使用做了诸多优化，使其能够灵活应用于各种索引构建算法场景，如HNSW、SSG、HC、GC、QC及Linear...
自定义资源组
查看 alisatasknode.log 日志中具体的报错信息，可以根据 T3_0699121848 关键字进行搜索。登录ECS，切换至admin用户下，执行 python-V 命令查看Python版本是否为2.7或2.6版本。Agent当前支持的是Python2.7或2.6版本，通常Python版本不对会...
Hadoop
本文主要介绍如何使用DLA Spark访问用户VPC中的HADOOP集群（开启kerberos认证的集群暂不支持）。前提条件 您已开通数据湖分析DLA（Data Lake Analytics）服务。如何开通，请参见 开通云原生数据湖分析服务。您已登录云原生数据库分析DLA...
在Serverless K8s集群中使用JAR包或WAR包部署应用
EDAS在云原生Kubernetes之上，全面集成了容器服务...EDAS容器服务K8s和Serverless K8s交流群 如果您在EDAS中使用容器服务K8s集群和Serverless K8s集群过程中有任何疑问或建议，请使用钉钉搜索钉钉群号 23197114 加入钉钉群进行反馈。
在容器服务K8s集群中使用JAR包或WAR包部署应用
EDAS在云原生K8s之上，全面集成了容器服务Kubernetes版（Alibaba Cloud Container Service...联系我们 如果您在EDAS中使用容器服务K8s集群和Serverless K8s集群过程中有任何疑问或建议，请使用钉钉搜索钉钉群号 23197114 加入钉钉群进行反馈。
使用Python依赖
您可以在Flink Python作业中使用自定义的Python虚拟环境、第三方Python包、JAR包和数据文件等，本文为您介绍如何在Python作业中使用这些依赖。背景信息 本文通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境 使用第三...
开发后端逻辑流操作代码
在顶部菜单栏选择 应用管理，在左上角搜索框中搜索目标应用。在目标应用的卡片中单击 进入设计器，进入魔笔应用设计器。在左侧功能区单击，选择 后端逻辑流，进入逻辑流编辑面板。在逻辑流编辑面板，单击 自定义逻辑流操作 右侧的 编辑，...
通过ES-Hadoop将HDFS中的数据写入Elasticsearch
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
外部表常见问题
add jar/Users/gary/big_data/odps/text_extractor/target/text_extractor-1.0-SNAPSHOT.jar/Users/gary/big_data/odps/text_extractor/target/text_extractor-1.0-SNAPSHOT.jar 为生成JAR包的本地保存路径。通过MaxCompute客户端上传Joda-...
访问Kafka数据源
在 ECS管理控制台 的 安全组 页面，搜索Kafka实例ID来获取安全组ID。在 消息队列Kafka版 控制台 的 白名单管理 页面，查看Kafka实例的白名单是否为交换机ID的网段。操作步骤 分别下载与Kafka和 AnalyticDB MySQL Spark实例版本对应的JAR包...
Spark常见问题
引用并将public.myjar.jar重命名为myjar.jar spark.hadoop.odps.cupid.resources=public.myjar.jar:myjar.jar 在DataWorks中引用资源。将MaxCompute中的资源添加至DataWorks数据开发面板的业务流程中，详情请参见 MaxCompute资源管理。在...
Spark常见报错
解决方法：检查第三方JAR包是否完整，若不完整，需要重新打包，并确保JAR包中含目标类。Cannot broadcast the table that is larger than 报错出现日志：Driver日志。报错原因：广播表的大小超过了配置的限制，导致广播失败。广播表的详情...
在ECS集群中创建并部署应用
在ECS上执行如下命令，搜索系统自带JDK 8版本：#搜索jre yum search-showduplicates java-1.8.0-openjdk#搜索jdk yum search-showduplicates java-1.8.0-openjdk|grep devel 示例结果如下：java-1.8.0-openjdk-1:1.8.0.292.b10-0.1.al8.x86...
配置Tomcat
在容器服务K8s集群或Serverless K8s集群中以WAR包或JAR包方式创建或部署应用时，您可以配置应用端口、应用访问路径以及最大线程数等参数信息。在创建应用时配置Tomcat 登录 EDAS控制台，在左侧导航栏，单击 应用管理>应用列表，在顶部菜单...
查看连接地址
不同类型的搜索引擎连接地址如下表：连接地址类型 连接方式 服务类型 网络类型 参考文档 搜索SQL地址 通过SQL连接搜索引擎（连接地址为图示中①）Lindorm 专有网络 公网 通过SQL连接并使用搜索引擎 Solr兼容地址 通过Search Shell连接搜索...
- 产品推荐
- 这些文档可能帮助您