Jindo DistCp场景化使用指导
如果要Copy的所有文件中小文件的占比较高，大文件较少，但是单个文件数据较大，在正常流程中是按照随机方式来进行Copy文件分配，此时如果不做优化很可能造成一个Copy进程分配到大文件的同时也分配到很多小文件，不能发挥最好的性能。...
Jindo DistCp场景化使用指导
如果要Copy的所有文件中小文件的占比较高，大文件较少，但是单个文件数据较大，在正常流程中是按照随机方式来进行Copy文件分配，此时如果不做优化很可能造成一个Copy进程分配到大文件的同时也分配到很多小文件，不能发挥最好的性能。...
YARN调度器
CapacityScheduler：是Apache Hadoop社区、HDP（Hortonworks Data Platform）及合并后CDP（Cloudera Data Platform）的默认调度器，具有最完善的多租户管理与资源调度能力，不仅包含了FairScheduler的全部能力，还能协调好整个集群的资源...
作业配置说明
如果为OSS路径，您需要配置对应的配置项，包括：spark.hadoop.fs.oss.endpoint、spark.hadoop.fs.oss.accessKeyId、spark.hadoop.fs.oss.accessKeySecretspark.hadoop.fs.oss.impl。重要 通过JDBC方式连接计算引擎时，JAR包仅支持上传至...
ALIYUN:EMR:Cluster2
说明 ALIYUN:EMR:Cluster支持基于E-MapReduce产品的旧版API，支持旧版HADOOP、KAFKA、DRUID、ZOOKEEPER、DATA_SCIENCE、GATEWAY等早期的集群类型。ALIYUN:EMR:Cluster2支持基于E-MapReduce产品的新版API（2021-03-20），支持DATALAKE、OLAP...
使用PyJindo访问阿里云OSS-HDFS
其中，Hadoop配置文件及HADOOP_CONF_DIR不是必须，仅为兼容HADOOP环境中的配置。export JINDOSDK_CONF_DIR=etc/taihao-apps/jindosdk-conf export HADOOP_CONF_DIR=etc/taihao-apps/hadoop-conf 安装和升级pip及PyJindo安装包。python3.8-m...
参数配置
disable_hadoop_load FALSE 是否禁用从Hadoop导入：TRUE：禁用从Hadoop导入。FALSE：不禁用从Hadoop导入。disable_load_job FALSE 如果集群异常时，是否接受导入任务：TRUE：接受导入任务。FALSE：不接受导入任务。db_used_data_quota_...
参数配置
FE动态参数 LOG相关配置 参数 默认值 描述 qe_slow_log_ms 5000 Slow query的认定时长，单位为ms。元数据与集群管理相关配置 参数 默认值 描述 catalog_try_lock_timeout_ms 5000 Catalog Lock获取的超时时长，单位为ms。edit_log_roll_num...
迁移HBase至Hologres
主键值+主键范围,返回列))GET select from where PK=XX HoloClient.get(Get(表名,主键值,返回列))宽表设计 宽表是HBase最基本的数据模型，在Hologres中使用行存表，有关行存表的设计方案，请参见 Key/Value查询场景最佳实践。行存表可以...
2023年
MaxCompute JSON类型使用指南（试用Beta版本）2023-06-26 新增增量查询 新说明 Transactional Table 2.0支持增量写入和存储，最重要的一个考虑就是支持增量查询以及增量计算优化，为此，专门设计开发了新的SQL增量查询语法来支持近实时增量...
支持的函数
RAND(INT)返回范围为[0.0,1.0)的伪随机双精度值，初始种子为INT。RAND_INTEGER(INT)返回[0,INT)范围内的伪随机整数。RAND_INTEGER(INT1,INT2)返回范围为[0,INT2)的伪随机整数，初始种子为INT1。UUID()根据RFC 4122 类型 4（伪随机生成）...
数据探索函数
数据探索函数得到样本数据的趋势、极大值、中心值，检验数据是否符合正态分布、均匀分布或指数分布。函数 说明 均匀分布或指数分布的检验函数 检验数据分布是否满足均匀分布或指数分布。正态分布检验函数 检验数据分布是否满足正态分布。...
使用Druid
hyperUnique","fieldName":"user"}]},"tuningConfig":{"type":"hadoop","partitionsSpec":{"type":"hashed","targetPartitionSize":5000000 },"jobProperties":{"mapreduce.job.classloader":"true"} } },"hadoopDependencyCoordinates":...
Effect配置说明
支持传入多个特效子类型，用英文逗号隔开，将从中随机选取一个，或者传入random，将从所有特效子类型中随机选取一个，示例值：colorfulradial，完整取值范围及效果请参考 特效效果示例 X Float 否 该字段仅支持SubType为mosaic_rect/blur的...
开启权限认证
drwxr-x-x-emrtest hadoop 0 2022-10-21 14:08/tmp/emrtest drwxr-x-x-hadoop hadoop 0 2022-10-21 10:06/tmp/hadoop-yarn drwx-wx-wx-hive hadoop 0 2022-10-21 10:13/tmp/hive drwxr-x-x-hadoop hadoop 0 2022-10-21 10:23/tmp/kyuubi-...
逻辑数仓SQL语法介绍
secure_random(lower,upper)-返回[lower,upper)范围内加密安全的随机值。round(x)默认与x类型一致 返回x四舍五入后最接近的整数。round(3.5)，返回值为4。round(x,d)默认与x类型一致 返回x四舍五入到d位小数。round(3.14159,2)，返回值为3....
分层采样
给定一个分组列，分层采样算法组件按照这些列的不同值，将输入数据分成不同的组，并在每组中分别进行随机采样。组件配置 您可以使用以下任意一种方式，配置分层采样组件参数。方式一：可视化方式 在 Designer 工作流页面配置组件参数。页签...
创建项目集群设置
DefaultUser String 否 hadoop 默认Linux提交用户，默认值为hadoop。DefaultQueue String 否 default 默认提交队列，默认值为default。UserList.N RepeatList 否 hadoop Linux提交用户白名单。QueueList.N RepeatList 否 queue1 队列白名单...
电子表格支持函数说明
数学和三角函数 函数名称 函数说明 ABS 返回数值的绝对值。ACOS 返回数值的反余弦值，以弧度表示。ACOSH 返回数值的反双曲余弦值。ACOT 返回数值的反余切值，以弧度表示。ACOTH 返回数值的反双曲余切值（以弧度表示）。ARABIC 计算指定罗马...
项目管理
参数 描述 提交作业默认用户 设置项目使用所选集群提交作业时的默认用户，默认值是hadoop，默认用户只能有一个。提交作业默认队列 设置项目使用所选集群提交作业时的默认队列，默认作业提交到default队列。提交作业用户白名单 设置可以提交...
LLM模型离线推理
较高的温度值会产生更随机的输出，而较低的温度值则会使模型更倾向于选择最可能的单词。0.95 max_new_tokens 是 生成的最大token数量。2048 system_prompt 是 系统提示词，作用在整个模型推理过程中。Act like you are programmer with 5+...
项目管理
配置项 描述 提交作业默认用户 设置项目使用所选集群提交作业时的默认用户，默认值是hadoop，默认用户只能有一个。提交作业默认队列 设置项目使用所选集群提交作业时的默认队列，默认作业提交到default队列。提交作业用户白名单 设置可以...
测试服务
当前已支持的参数：满足正则 vpc(_|)id 时，会自动随机获取当前地域下的 VpcId 值。满足正则 v(_|)switch(_|)id 时，会自动获取当前地域下的 VswitchId 值（如果参中名称有符合 zone(_|)id 的值时，会查询对应可用区的交换机的ID。满足正则...
通过CDH5 Hadoop读取和写入OSS数据
CDH（Cloudera's Distribution,including Apache Hadoop）是众多Hadoop发行版本中的一种，最新版本CDH6.0.1中的Hadoop3.0.0版本已经支持OSS，但CDH5中的Hadoop2.6版本不支持OSS。本文介绍如何配置CDH5支持OSS读写。前提条件 拥有一个已搭建...
SHOW
numpy-1.19.4-cp37-cp37m-manylinux1_x86_64.zip ST_Aggr_ConvexHull ALIYUN$@aliyun.com 2021-03-18 17:06:29 com.esri.hadoop.hive.ST_Aggr_ConvexHull esri-geometry-api.jar,spatial-sdk-hive.jar ST_Aggr_Intersection ALIYUN$@aliyun....
SHOW
numpy-1.19.4-cp37-cp37m-manylinux1_x86_64.zip ST_Aggr_ConvexHull ALIYUN$@aliyun.com 2021-03-18 17:06:29 com.esri.hadoop.hive.ST_Aggr_ConvexHull esri-geometry-api.jar,spatial-sdk-hive.jar ST_Aggr_Intersection ALIYUN$@aliyun....
创建压测场景
统一随机定时器的停顿时长为延迟基准所设的固定停顿时间加上可变跨度所设时间范围内的随机值。各随机值出现的概率相等。高斯定时器：高斯定时器与统一随机定时器类似，同样用于设置停顿时长，可设置 延迟基准 和 可变跨度。若要求随机停顿...
集群吞吐性能测试
TestDFSIO的jar包位于开源Hadoop版本的${HADOOP_HOME}/share/hadoop/mapreduce目录下，其中${HADOOP_HOME}为测试机器中的Hadoop安装目录，jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，您可通过执行以下命令，查看...
sequential_uuid
基于序列、时间戳的UUID与随机UUID相比，前者具有顺序模式，可以使新数据几乎总是在索引的最右侧插入（新的序列值大于所有先前的值，时间戳相同），从而有利于提升缓存命中率。说明 具有顺序模式的UUID生成器增加了UUID的可预测性，且增大...
sequential_uuid
基于序列、时间戳的UUID与随机UUID相比，前者具有顺序模式，可以使新数据几乎总是在索引的最右侧插入（新的序列值大于所有先前的值，时间戳相同），从而有利于提升缓存命中率。说明 具有顺序模式的UUID生成器增加了UUID的可预测性，且增大...
sequential_uuid
基于序列、时间戳的UUID与随机UUID相比，前者具有顺序模式，可以使新数据几乎总是在索引的最右侧插入（新的序列值大于所有先前的值，时间戳相同），从而有利于提升缓存命中率。说明 具有顺序模式的UUID生成器增加了UUID的可预测性，且增大...
Spark Load
spark.hadoop.dfs.ha.namenodes.myha"="mynamenode1,mynamenode2","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode1"="nn1_host:rpc_port","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode2"="nn2_host:rpc_port",...
创建压测场景
统一随机定时器的停顿时长为延迟基准所设的固定停顿时间加上可变跨度所设时间范围内的随机值。各随机值出现的概率相等。高斯定时器：高斯定时器与统一随机定时器类似，同样用于设置停顿时长，可设置 延迟基准 和 可变跨度。若要求随机停顿...
Hadoop DistCp介绍
使用方法 Hadoop DistCp最常见的调用是集群间拷贝，例如将nn1集群的/foo/bar 目录下的数据拷贝至nn2集群的/bar/foo 目录下：hadoop distcp hdfs:/nn1:8020/foo/bar hdfs:/nn2:8020/bar/foo 更多使用说明，请参见 Hadoop社区的DistCp使用...
通过HDFS FUSE连接并使用文件引擎
更多操作 FUSE默认文件副本数为3，您可以通过修改配置文件 etc/hadoop/hdfs-site.xml 来更改默认值。例如以下代码更改副本数为2：<property><name>dfs.replication</name><value>2</value></property>说明 默认值修改后需重新挂载才可生效...
PAI端到端文字识别训练
FLOAT 1.2 random_rotation_angle 否 训练时随机旋转图像的角度，其取值为(-angle,angle)范围内的随机值。如果取值为 0，则表示关闭随机旋转图像。FLOAT 10 random_crop_min_area 否 训练时随机裁切图像的最小面积占比约束。如果取值为 0，...
JindoFS实战演示
OSS访问加速 文档链接 视频链接 视频发布时间 描述 访问OSS这类对象存储最快的方式 访问OSS这类对象存储最快的方式 2021-05-25 JindoFS SDK是一个简单易用，面向Hadoop或Spark生态的OSS客户端，为阿里云OSS提供高度优化的HadoopFileSystem...
通过ES-Hadoop将HDFS中的数据写入Elasticsearch
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
使用CreateCluster API创建集群
选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN 无 Spark2 Hadoop-Common、YARN、Hive Spark3 Spark3 Hadoop-Common、YARN、Hive Spark2 Tez...
pg_stats
most_common_vals anyarray 列中最常用值的一个列表（如果没有任何一个值看起来比其他值更常用，此列为空）。most_common_freqs float4[]最常用值的频率列表，即每一个常用值的出现次数除以总行数（如果 most_common_vals 为空，则此列为空...
- 产品推荐
- 这些文档可能帮助您