设置依赖下载访问凭证
环境变量 在构建过程中，需要设置仓库的访问凭证并下载构建依赖，为保护访问凭证的安全性，Flow 支持通过环境变量设置访问凭证，关于环境变量请查看：环境变量 当然，作为企业统一管控的仓库访问凭证，我们更建议您使用通用变量组进行管理...
老版云效（RDC）迁移须知
变更 AppStack-变更研发流程 不支持迁移 历史变更数据不支持迁移，新变更由AppStack变更功能承接 私密配置项 通用变量组 Flow-通用变量组 通用变量组 版本 软件包版本 AppStack-应用版本 不支持迁移 历史版本数据不支持迁移，新版本由...
2021年度更新日志
2021/12/15 新功能 复制流水线时支持同步复制流水线部分设置（流水线源开启代码源触发/流水线环境信息/流水线通用变量组/流水线标签/Webhook开关）。新增流水线标签 API。2021/11/30 新功能 代码源支持设置工作目录，您配置的源文件将会被...
搭建Windows开发环境
Spark 2.4.5使用变化 如果使用Yarn-cluster模式在本地提交任务，需要新增环境变量 HADOOP_CONF_DIR=$SPARK_HOME/conf。如果使用Local模式进行调试，需要在$SPARK_HOME/conf 目录下新建odps.conf文件，并添加如下配置。odps.project.name=...
通用环境变量列表
提交DLC训练任务时，PAI会自动注入多个通用环境变量，便于您在代码中直接使用。本文为您介绍DLC系统中默认提供的环境变量列表。公共环境变量 基于灵骏智算的环境变量，关于环境变量的说明，请参见 配置高性能网络变量。PyTorch环境变量 在...
环境变量
本文介绍流水线环境变量，包括内置变量、自定义变量、通用变量组，以及如何在流水线中使用变量。环境变量来源 内置变量 云效流水线提供流水线基本信息、代码源相关内置变量，帮助定制化流程，可按需直接使用。功能模块 环境变量名 说明 ...
通过开源HDFS客户端连接并使用文件引擎
cd$HADOOP_HOME 将Java环境变量 JAVA_HOME 添加至 etc/hadoop/目录下的 hadoop-env.sh 文件中，假设Java安装在/opt/install/java。set to the root of your Java installation export JAVA_HOME=opt/install/java 修改 etc/hadoop/hdfs-...
Hadoop使用JindoSDK访问OSS-HDFS服务
vim/etc/profile export HADOOP_HOME=usr/local/hadoop export PATH=$HADOOP_HOME/bin:$PATH source/etc/profile 更新Hadoop配置文件中的 HADOOP_HOME。cd$HADOOP_HOME vim etc/hadoop/hadoop-env.sh 将${JAVA_HOME} 替换为实际路径。...
搭建Hadoop环境
sudo tar-zxvf hadoop-3.2.4.tar.gz-C/opt/sudo mv/opt/hadoop-3.2.4/opt/hadoop 执行以下命令，配置Hadoop环境变量。sudo sh-c"echo 'export HADOOP_HOME=opt/hadoop'>>/etc/profile"sudo sh-c"echo 'export PATH=\$PATH:/opt/hadoop/bin'...
通过X2Doris导入数据
部署X2Doris的机器必须配置了Hadoop环境变量，必须配置 HADOOP_HOME，HADOOP_CONF_DIR 和 HIVE_CONF_DIR，例如:export HADOOP_HOME=opt/hadoop#hadoop 安装目录 export HADOOP_CONF_DIR=etc/hadoop/conf export HIVE_HOME=$HADOOP_HOME/./...
搭建Linux开发环境
spark.hadoop.odps.project.name=<MaxCompute_project_name>spark.hadoop.odps.access.id=<AccessKey_id>spark.hadoop.odps.access.key=<AccessKey_secret>spark.hadoop.odps.end.point=<Endpoint>#Spark客户端连接访问MaxCompute项目的...
安装文件系统SDK
WordCount样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount \ inputDir outputDir Grep样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/...
在文件存储 HDFS 版上使用Apache Flink
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
在文件存储 HDFS 版上使用Apache Spark
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
使用Flink访问
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
挂载文件存储 HDFS 版文件系统
vim${HADOOP_HOME}/etc/hadoop/core-site.xml 如果您尚未配置${HADOOP_HOME}，可以使用下面命令将您的Hadoop安装目录配置到该环境变量。export HADOOP_HOME=your/hadoop/installation/directory 在 core-site.xml 文件中，配置如下信息。...
HAS Kerberos认证使用方法
Found 6 items drwxr-xr-x-hadoop hadoop 0 2021-03-29 11:16/apps drwxrwxrwx-flowagent hadoop 0 2021-03-29 11:18/emr-flow drwxr-x-has hadoop 0 2021-03-29 11:16/emr-sparksql-udf drwxrwxrwt-hadoop hadoop 0 2021-03-29 11:17/...
快速入门
vim${HADOOP_HOME}/etc/hadoop/core-site.xml 如果您尚未配置${HADOOP_HOME}，可以使用下面命令将您的Hadoop安装目录配置到该环境变量。export HADOOP_HOME=your/hadoop/installation/directory 在 core-site.xml 文件中，配置如下信息。...
变量
配置引用变量 数据来源选择虚拟变量，选择需要的引用变量（不能少于一个），默认为两个，可添加或删除引用变量，点击刷新按钮返回结果为由几个引用变量组合成的虚拟变量。2.配置数据过滤脚本 勾选 数据过滤脚本，在编码框过滤函数中对引用...
配置组件交互
在DataV中资产交互配置与回调ID配置，是指某个资产在响应用户操作或者自动触发更新时，向其他资产传递的参数，这个参数可以在其他资产中作为数据查询时的动态变量。本文以 数字翻牌器 组件为例，为您介绍DataV的资产交互配置功能。操作步骤...
常见问题
export HADOOP_HOME=path/to/yarn-current&\ export PATH=${HADOOP_HOME}/bin/:$PATH&\ export HADOOP_CLASSPATH=$(hadoop classpath)&\ export HADOOP_CONF_DIR=path/to/hadoop-conf 重要 Hadoop的配置文件中（例如 yarn-site.xml 等）...
异构数据源访问
etc/hadoop目录：在集成了Hadoop和Hive的安装中，也可能放在Hadoop的配置目录中，以确保Hive能够正确地与Hadoop集群进行交互。core-site.xml Hadoop核心配置项，如I/O设置和文件系统的配置等。yarn-site.xml YARN配置项，负责集群资源管理...
如何配置数字翻牌器组件的回调ID
在DataV中，回调ID是指某个资产在响应用户操作或者自动触发更新时，向其它资产传递的参数，这个参数可以在其它资产中作为数据查询时的动态变量。本文档以 数字翻牌器 组件为例，为您介绍回调ID的使用方法。操作步骤 登录 DataV控制台。选择...
EMR集群JindoSDK升级流程
rw-r-1 hadoop hadoop xxxx May 01 00:00 bootstrap_jindosdk.sh-rw-r-1 hadoop hadoop xxxxxxxxx May 01 00:00 jindosdk-6.3.4-linux.tar.gz-rw-r-1 hadoop hadoop xxxx May 01 00:00 jindosdk-patches.tar.gz 执行以下命令，制作升级包。...
Hudi
WITH参数 基础参数 通用 参数 说明 数据类型 是否必填 默认值 备注 connector 表类型。String 是 无 固定值为hudi。path 表存储路径。String 是 无 支持阿里云OSS、HDFS和OSS-HDFS和三种路径。OSS：路径格式为 oss:/<bucket>/。HDFS：路径...
外设常见问题
索引 类别 常见问题 通用 云电脑支持哪些USB外设？云电脑的工具栏没有设备项，怎么办？键盘与鼠标 云电脑内使用键盘无法正常显示，怎么办？在云电脑内玩游戏或者使用3D软件时，出现鼠标轨迹异常怎么办？打印机 Windows云电脑无法连接打印机...
创建Hadoop计算源
如果Dataphin系统的计算引擎设置为Hadoop，则只有项目空间添加了Hadoop计算源，才支持规范建模、即席查询、Hive任务、通用脚本等功能。本文为您介绍如何新建Hadoop计算源。前提条件 在您开始执行操作前，请确认已满足以下要求：已设置...
使用PyJindo访问阿里云OSS-HDFS
方式二：使用fsspec接口 通过使用fsspec这一通用文件系统接口标准，您可以方便地使用集成的JindoOssFileSystem类来与阿里云OSS-HDFS进行交互。日志级别和API相关内容，请参见 日志等级 和 API说明。更多接口上说明，请参见 fsspec。步骤一...
项目管理
在 添加自定义变量 对话框中，添加 变量名称 和 变量值，根据需要选择是否为变量名的变量值加密。作业中以${VariableName} 的形式调用变量。例如，您添加变量名为ENV_ABC，变量值为12345，不开启 是否为密码。Shell类型作业内容示例如下。...
配置OSS/OSS-HDFS Credential Provider
hadoop credential create fs.oss.accessKeyId-value AAA-provider jceks:/file/root/oss.jceks hadoop credential create fs.oss.accessKeySecret-value BBB-provider jceks:/file/root/oss.jceks hadoop credential create fs.oss....
配置OSS/OSS-HDFS Credential Provider
hadoop credential create fs.oss.accessKeyId-value AAA-provider jceks:/file/root/oss.jceks hadoop credential create fs.oss.accessKeySecret-value BBB-provider jceks:/file/root/oss.jceks hadoop credential create fs.oss....
Spark Load
spark.hadoop.dfs.ha.namenodes.myha"="mynamenode1,mynamenode2","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode1"="nn1_host:rpc_port","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode2"="nn2_host:rpc_port",...
Spark Load
配置SPARK_HOME环境变量 将spark客户端放在FE同一台机器上的目录下，并在FE的配置文件配置 spark_home_default_dir 项指向此目录，此配置项默认为FE根目录下的 lib/spark2x 路径，此项不可为空。配置SPARK依赖包 将Spark客户端下的 jars ...
变量
变量是值的占位符，您可以在查询分析语句中使用变量。通过变量，您可以创建更具交互性和动态性的仪表盘。功能入口 说明 不支持在Logstore查询分析页面的查询分析语句中设置变量。登录 日志服务控制台。进入仪表盘页面。在Project列表区域，...
在文件存储 HDFS 版上使用Apache HBase
如果在环境变量中已配置HADOOP_HOME及HADOOP_CLASSPATH也可以执行以下命令进行RowCounter计算。{HBASE_HOME}/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter dfs_test 重要 在YARN上执行MapReduce计数前需要先在Hadoop集群中启动...
在ECI中访问HDFS数据
vim/etc/profile 添加环境变量如下：export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.2/etc/hadoop:/usr/local/hadoop-2.7.2/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/...
配置并使用调度参数
Pyodps节点、通用Shell节点对于变量名的定义方式与其他节点存在差异。各类型节点的调度参数配置格式，详情请参见 各类型节点的调度参数配置示例。表达式方式 用表达式定义 调度参数配置界面默认使用可视化方式定义参数，如果您习惯使用表达...
使用Fuse-DFS挂载文件存储 HDFS 版
示例命令如下：cp hadoop-2.8.5-src/hadoop-hdfs-project/hadoop-hdfs-native-client/target/main/native/fuse-dfs/fuse_dfs${HADOOP_HOME}/bin 为Hadoop客户端配置环境变量。执行 vim/etc/profile 命令，打开配置文件，添加如下内容。...
轨迹图
您在 通用配置 中设置了变量替换后，日志服务将在当前统计图表的左上边添加一个过滤器。您可以在过滤器中选择对应的值，日志服务会自动将查询和分析语句中的变量替换为您所选择的变量值，执行一次查询和分析操作。配置示例，请参见 示例2：...
统计图表（Pro版本）属性
通用配置 通用配置用于对统计图表进行全局配置，即您在 通用配置 中设置的图表属性，将对整个统计图表生效。通用配置包括统计图表的基本配置、标准配置以及不同统计图表的不同属性配置。更多信息，请参见如下文档。表格（Pro版本）线图...
- 产品推荐
- 这些文档可能帮助您