Dataphin新建治理项展示字段含义
详细信息 字段名称 字段类型 指标名称 注释 table_guid string 物理表GUID 物理表的唯一标识，三段式组成，'HADOOP/MAXCOMPUTE'.project_name.table_name tenant_id string 租户ID 用户在dataphin的租户ID，系统默认填写 create_days ...
Hive数据源
使用Ranger进行权限校验 Apache Ranger是一个在Hadoop平台上提供监控、服务控制、全方位数据安全访问管理的安全框架。云数据库 SelectDB 版 目前支持Ranger的库、表、列权限，不支持加密、行权限等。 环境配置 连接开启Ranger权限校验的...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
内容检测API
内容安全图片审核同步接口一次调用最多支持100个检测元素，即每次提交100条内容进行检测。但是支持100个元素的前提是需要将并发调整到100以上，内容安全API默认并发是：图片审核50张，文本审核100条，视频 和语音 审核20路。更多信息，请...
YARN高安全特性使用指南
YARN服务管理权限 默认高安全配置为 yarn.admin.acl=hadoop，其中 hadoop 前有单个空格，表示授权给hadoop组（EMR的服务启动Linux用户通常都是使用hadoop组）作为服务管理员。Hadoop中用户默认的组映射来自节点操作系统的组信息。说明 yarn...
JindoFS实战演示
OSS访问加速 文档链接 视频链接 视频发布时间 描述 访问OSS这类对象存储最快的方式 访问OSS这类对象存储最快的方式 2021-05-25 JindoFS SDK是一个简单易用，面向Hadoop或Spark生态的OSS客户端，为阿里云OSS提供高度优化的HadoopFileSystem...
云防火墙和运维安全中心（堡垒机）联合部署访问策略的...
本文为您介绍如何配置云防火墙和运维安全中心（堡垒机）联合部署时的访问策略，避免运维安全中心（堡垒机）访问被云防火墙误拦截，影响业务运行。应用场景 云防火墙可以联合运维安全中心（堡垒机）共同部署，防护互联网的访问流量，为您的...
漏洞公告|Apache Hadoop FileUtil.unTar命令注入漏洞
漏洞影响 漏洞影响的Hadoop版本：2.0.0<= ApacheHadoop<= 2.10.1 3.0.0-alpha <= ApacheHadoop<= 3.2.3 3.3.0 <= ApacheHadoop漏洞影响的EMR版本：存量集群的EMR 3.x系列、EMR 4.x系列、EMR 5.x系列（EMR-5.8.x及之前的版本）均受到影响。...
Spark常见问题
使用AccessKey鉴权，配置示例如下：val conf=new SparkConf().setAppName("jindo-sdk-demo")#配置access-key鉴权参数.set("spark.hadoop.fs.oss.accessKeyId",").set("spark.hadoop.fs.oss.accessKeySecret","<YourAccessKeySecret>")使用...
通过CDH5 Hadoop读取和写入OSS数据
CDH（Cloudera's Distribution,including Apache Hadoop）是众多Hadoop发行版本中的一种，最新版本CDH6.0.1中的Hadoop3.0.0版本已经支持OSS，但CDH5中的Hadoop2.6版本不支持OSS。本文介绍如何配置CDH5支持OSS读写。前提条件 拥有一个已搭建...
Hive
本文主要介绍如何使用DLA Spark访问用户...以下 示例代码 可以首先根据用户传入的表名，在用户 default namespace 创建一个表，该表只有一列字符串类型的数据，内容为 hello,dla-spark，然后从该表读出这一列数据，并打印到stdout：package ...
什么是云原生数据湖分析
DLA所有的库表及存储的数据都有一整套安全的方案，避免数据被误用。寻求低成本的数据处理方案。DLA方案是完全Serverless的解决方案，是阿里云提供的云原生的数据处理方案。从之前Hadoop体系过渡到数据湖方案。DLA提供与Hadoop体系兼容的...
快速入门
vim${HADOOP_HOME}/etc/hadoop/core-site.xml 如果您尚未配置${HADOOP_HOME}，可以使用下面命令将您的Hadoop安装目录配置到该环境变量。export HADOOP_HOME=your/hadoop/installation/directory 在 core-site.xml 文件中，配置如下信息。...
GetPartitions
调用GetPartitions获取表的所有分区信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
Spark访问湖仓一体外部数据源
访问基于Hadoop外部数据源的外部项目 MaxCompute SQL访问外部项目表-hadoop_external_project 为外部项目，映射的是EMR的Hive数据库-访问非分区表 SELECT*from hadoop_external_project.testtbl;访问分区表 SELECT*from hadoop_external_...
使用Hive访问
HADOOP_HOME/bin/hadoop fs-ls/user/hive/warehouse$HADOOP_HOME/bin/hadoop fs-ls/tmp/hive$HADOOP_HOME/bin/hadoop fs-chmod 775/user/hive/warehouse$HADOOP_HOME/bin/hadoop fs-chmod 775/tmp/hive 修改 io.tmpdir 路径。同时要修改 ...
创建OSS外部表
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...
使用Hadoop作为元仓计算引擎进行元仓初始化
如何获取，请参见 DLF Region和Endpoint对照表。AccessKey ID、AccessKey Secret 填写集群所在账号的AccessKey ID和AccessKey Secret。您可在 用户信息管理 页面，获取账号的AccessKey ID和AccessKey Secret。元数据生产项目 参数 描述 ...
安全设置
安全设置是您可以对数据安全及访问进行精细化控制、对Spark Jar任务的开关及鉴权模式的设置，来保障数据的安全性。本文为您介绍如何设置严格权限模式和Spark Jar任务。严格权限模式 背景信息 Dataphin管理中心支持项目安全模式设置功能，在...
安全设置
安全设置是您可以对数据安全及访问进行精细化控制、对Spark Jar任务的开关及鉴权模式的设置，来保障数据的安全性。本文为您介绍如何设置严格权限模式和Spark Jar任务。严格权限模式 背景信息 Dataphin管理中心支持项目安全模式设置功能，在...
GetTable
调用GetTable获取给定表的详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 GetTable ...
共享集群产品功能发布记录
支持读取MaxCompute Transactional类型表，支持读取MaxCompute Schema Evolution状态表（在MaxCompute侧执行过删除列、修改列顺序、修改列类型操作的表），详情请参见 通过创建外部表加速查询MaxCompute数据 和 通过SQL导出数据至...
使用教程
Hive访问示例 HADOOP_HOME及HADOOP_CLASSPATH可以添加到/etc/profile 中，示例如下：export HADOOP_HOME=${您的Hadoop安装目录} export HADOOP_CLASSPATH=emr-tablestore-1.4.2.jar:tablestore-4.3.1-jar-with-dependencies.jar:joda-time-...
配置消息通知
内容安全最多重复推送回调消息3次。回调数据 回调数据是内容安全服务端向您设置的回调通知地址返回的数据内容。回调数据的结构描述见 回调通知表单数据。表 1.回调通知表单数据 名称 类型 描述 checksum String 总和校验码，由<用户uid>+...
配置回调通知
内容安全最多重复推送3次回调消息。回调数据 回调数据是内容安全服务端向您设置的回调通知地址返回的数据内容。关于回调数据的结构描述，请参见 回调通知表单数据。表 1.回调通知表单数据 名称 类型 描述 checksum String 总和校验码，由...
在文件存储 HDFS 版上使用Presto
mv presto-server-0.265.1/plugin/hive-hadoop2/hadoop-apache2-2.7.4-9.jar presto-server-0.265.1/plugin/hive-hadoop2/hadoop-apache2-2.7.4-9.jar.bak 将编译后的hadoop-apache2-2.7.4-9.jar依赖包拷贝到对应目录下。cp presto-hadoop-...
EMR HBase版本
Hadoop版本 HBase版本 Phoenix版本 新特性 EMR 5.8.0 3.2.1 2.3.4 5.1.2 支持存算分离架构 EMR 5.9.0 3.2.1 2.4.9 5.1.2 支持高安全模式 支持CCSMap，写性能相比社区提升30%EMR 5.10.0 3.2.1 2.4.9 5.1.2 集成Ranger 集成Knox 支持HBase表...
配置消息通知
内容安全最多重复推送回调消息3次。回调数据 回调数据是内容安全服务端向您设置的回调通知地址返回的数据内容。关于回调数据的结构描述，请参见 回调通知表单数据。表 1.回调通知表单数据 名称 类型 描述 checksum String 总和校验码，由...
通过DataWorks将Hadoop数据同步到阿里云ES
当您基于Hadoop进行交互式大数据分析查询，遇到查询延迟的问题时，可以将数据同步至阿里云Elasticsearch中再进行查询分析。ES对于多种查询类型，特别是即席查询（Ad Hoc），基本可以达到秒级响应。本文介绍通过DataWorks的数据集成服务，...
ODPS-0121096
如果同时多个作业写入，该表元数据总是处于加锁写入的状态，可能出现部分作业在尝试加锁超时之前一直没有抢到锁，从而导致报错 cannot acquire exclusive lock（作业尝试加锁超时时间大约半分钟，超过则报错，加锁粒度为表级）。...
创建EMR MR节点
强烈建议不要将AccessKey ID和AccessKey Secret保存到工程代码里或者任何容易被泄露的地方，AccessKey泄露会威胁您账号下所有资源的安全。以下代码示例仅供参考，请妥善保管好您的AccessKey信息。conf.set("fs.oss.accessKeyId","${...
管理Hive Catalog
配置Hive Catalog后，您可以在Flink开发控制台直接读取Hive元数据，无需再手动注册Hive表，提高作业开发的效率且保证数据的正确性。本文为您介绍如何配置Hive元数据、创建和使用Hive Catalog等。背景信息 您可以将Hive Catalog配置文件和...
通过Spark SQL读Lindorm数据
本文主要介绍如何通过Spark SQL访问Lindorm中的Hive表和宽表的数据。前提条件 已创建Lindorm单可用区实例。具体操作，请参见 创建实例。重要 Lindorm实例需开通宽表引擎、计算引擎、文件引擎。计算引擎开通方式，请参见 开通与变配。已开通...
访问Hive数据源
spark.hadoop.dfs.nameservices":"名称>","spark.hadoop.dfs.client.failover.proxy.provider.名称>":"org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider","spark.hadoop.dfs.ha.namenodes.名称>":"名称>",...
注册EMR集群至DataWorks
etc/ecm/hadoop-conf/core-site.xml/etc/ecm/hadoop-conf/hdfs-site.xml/etc/ecm/hadoop-conf/mapred-site.xml/etc/ecm/hadoop-conf/yarn-site.xml/etc/ecm/hive-conf/hive-site.xml/etc/ecm/spark-conf/spark-defaults.conf/etc/ecm/spark...
YARN调度器
CapacityScheduler：是Apache Hadoop社区、HDP（Hortonworks Data Platform）及合并后CDP（Cloudera Data Platform）的默认调度器，具有最完善的多租户管理与资源调度能力，不仅包含了FairScheduler的全部能力，还能协调好整个集群的资源...
Spark Load
spark.hadoop.dfs.ha.namenodes.myha"="mynamenode1,mynamenode2","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode1"="nn1_host:rpc_port","spark.hadoop.dfs.namenode.rpc-address.myha.mynamenode2"="nn2_host:rpc_port",...
UNLOAD
参数说明 外部存储：OSS select_statement：select 查询子句，从源表（分区表或非分区表）中查询需要插入目标OSS路径的数据。更多 select 信息，请参见 SELECT语法。table_name、pt_spec：使用表名称或表名称加分区名称的方式指定需要导出...
UNLOAD
参数说明 外部存储：OSS select_statement：select 查询子句，从源表（分区表或非分区表）中查询需要插入目标OSS路径的数据。更多 select 信息，请参见 SELECT语法。table_name、pt_spec：使用表名称或表名称加分区名称的方式指定需要导出...
CDH6数据迁移
本文以HBase服务的两个模拟表（mock_table_0和mock_table_1），每个表的中的模拟数据有10万条为例，介绍将HBase中的数据以快照方式迁移到 文件存储 HDFS 版。hbase(main):001:0>list TABLE mock_table_0 mock_table_1 2 row(s)Took 0.4213 ...
- 产品推荐
- 这些文档可能帮助您