创建Gateway集群
前提条件 已经在E-MapReduce中创建了Hadoop集群或Kafka集群，详情请参见 创建集群。说明 如果您在2022年12月19日17点（UTC+8）以后第一次创建EMR集群，则不能选择Hadoop、Kafka集群类型。使用限制 本文档仅适用于Hadoop集群和Kafka集群。...
新建IMPALA_SQL任务
前提条件 创建IMPALA_SQL任务需在Hadoop计算源中开启Impala任务。具体操作，请参见 创建Hadoop计算源。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。按照下图操作指引，进入 新建IMPALA_SQL任务 对话框。编写并...
ModifyCenAttribute-编辑云企业网实例的名称和描述...
调用ModifyCenAttribute接口修改云企业网实例的名称和描述信息。接口说明 ModifyCenAttribute 接口属于异步接口，即系统会先返回一个 RequestId，但该云企业网实例并未修改完成，系统后台的修改任务仍在进行。您可以调用 DescribeCens 接口...
软件管理
本文介绍如何查看企业所有办公终端上安装的软件信息、配置并查看禁用软件以及审核员工提交的禁用软件申请。软件统计 软件统计功能为您全面地、直观地展示企业所有办公终端上的软件安装情况。您可以在终端列表页面，单击 终端名称 查看安装...
网络开通流程
您需要开通网络连接以便访问外网或VPC中的目标服务（例如指定IP或域名、RDS、HBase集群、Hadoop集群等）。本文为您介绍MaxCompute与目标服务间的网络结构及支持的网络开通方案。免责声明 MaxCompute提供的公网与VPC访问能力目前属于免费...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
CreateTransitRouterMulticastDomain-创建组播域
接口说明 在调用本接口前，请先了解以下信息：请确保您已经在待建立组播网络的地域创建了企业版转发路由器，并开启了企业版转发路由器的组播功能。具体操作，请参见 CreateTransitRouter。如果您在申请组播资源前已创建了企业版转发路由器...
创建VPC连接
对于企业版转发路由器支持多个可用区的地域（例如华东2（上海）地域），在该地域的企业版转发路由器下创建VPC连接前，需确保VPC实例在企业版转发路由器支持的可用区中拥有至少2个交换机实例，2个交换机实例位于不同的可用区，且每个交换机...
跨地域连接
带宽分配方式 基础版转发路由器 企业版转发路由器 带宽分配方式说明 适用的业务场景 该带宽分配方式下支持的链路类型 从带宽包分配 使用此种带宽分配方式，您需要先购买带宽包，并将带宽包绑定至云企业网实例。在创建跨地域连接时从带宽包...
ListPartitions-获取元数据库分区列表
对于不支持资源级授权的操作，用 全部资源 表示。条件关键字：是指云产品自身定义的条件关键字。关联操作：是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限，操作才能成功。操作 访问级别 资源类型 条件关键字 关联...
新建SPARK_SQL任务
前提条件 项目的Hadoop计算源的Spark SQL服务配置已开启Spark SQL任务。更多信息，请参见 创建Hadoop计算源。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。按照下图操作指引，进入 新建SPARK_SQL任务 对话框。...
创建VBR连接
使用企业版转发路由器创建VBR连接 创建VBR连接 登录 云企业网管理控制台。在 云企业网实例 页面，找到目标云企业网实例，单击目标实例ID。在 基本信息>转发路由器 页签，找到目标地域的转发路由器实例，在 操作 列单击 创建网络实例连接。...
新建SPARK_JAR_ON_MAX_COMPUTE任务
本文为您介绍如何基于Dataphin新建SPARK_JAR_ON_MAX_COMPUTE类型的任务。...resource_reference{"spark.py"} spark-submit-deploy-mode cluster-conf spark.hadoop.odps.task.major.version=cupid_v2-conf spark.hadoop.odps.end.point=...
新建SPARK_JAR_ON_MAX_COMPUTE任务
本文为您介绍如何基于Dataphin新建SPARK_JAR_ON_MAX_COMPUTE类型的任务。...resource_reference{"spark.py"} spark-submit-deploy-mode cluster-conf spark.hadoop.odps.task.major.version=cupid_v2-conf spark.hadoop.odps.end.point=...
CreateFlowlog-创建流日志
接口说明 流日志可以帮您捕获转发路由器之间的跨地域流量信息和边界路由器 VBR（Virtual border router）连接的流量信息，在创建流日志前，请先了解以下说明：仅企业版转发路由器支持创建流日志。当前仅部分地域的流日志功能支持捕获 VBR ...
ListPartitionsByFilter-按条件获取元数据表分区列表
无则传空字符串或'' '' PageSize integer 否 每页大小 10 TableName string 否 元数据表名 test_table_20200715162543389 IsShareSd boolean 否 是否共享 partition 的 SD 中 column 信息 true isShareSd：是否开启共享 SD 中的 columns ...
CreateTransitRouterRouteTable-为企业版转发路由器...
调用CreateTransitRouterRouteTable接口为企业版转发路由器创建自定义路由表。接口说明 当前仅企业版转发路由器支持创建自定义路由表。关于企业版转发路由器支持的地域和可用区信息，请参见 什么是云企业网。CreateTransitRouterRouteTable...
DescribeCens-查看账户下所有云企业网实例的详细信息
调用DescribeCens接口查询当前阿里云账号下的云企业网实例的状态、是否已开启IPv6功能、实例绑定的带宽包的列表等信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成...
外部表
org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe->stored as textfile org.apache.hadoop.hive.ql.io.orc.OrcSerde->stored as orc org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe->stored as parquet org.apache....
导入应用
名称设置要求只能包含数字、小写字母和短划线（-），且首尾只能是字母或数字，长度为1~63个字符。应用名称 输入应用名称，必须以字母开头，允许数字、字母、短划线（-）组合。最多可输入36个字符。应用描述 输入应用描述，最大长度为128个...
限流配置
低优先级任务比高优先级任务更早满足运行条件并下发至计算引擎，占用大量计算资源，影响高优先级任务运行。集群调度资源或底层计算资源有限，可能导致大规模的任务等待运行，继而引发计算引擎雪崩。具备限流配置的能力后，可以达到以下目标...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
Credential Provider使用说明
hadoop credential create fs.jfs.cache.oss.accessKeyId-value AAA-provider jceks:/file/root/oss.jceks hadoop credential create fs.jfs.cache.oss.accessKeySecret-value BBB-provider jceks:/file/root/oss.jceks hadoop credential ...
Credential Provider使用说明
背景信息 您可以通过使用Hadoop Credential Provider将加密后的AccessKey信息存入文件，从而避免配置明文AccessKey，根据不同情况选择合适的JindoOSS Credential Provider。配置JindoOSS Credential Provider 进入SmartData服务。登录 阿里...
Credential Provider使用说明
背景信息 您可以通过使用Hadoop Credential Provider将加密后的AccessKey信息存入文件，从而避免配置明文AccessKey，根据不同情况选择合适的JindoOSS Credential Provider。配置JindoOSS Credential Provider 进入SmartData服务。登录 阿里...
资产模型
longitude 字符串 经度-parentAssetCode 字符串 父资产编码-idStr 字符串 资产ID,以id为前缀的字符串-address 字符串 地址-assetCode 字符串 资产编码-organizationName 字符串 业务实体名称-factoryId 字符串 地点ID-factoryName 字符串 ...
配置OSS/OSS-HDFS Credential Provider
hadoop credential create fs.oss.accessKeyId-value AAA-provider jceks:/file/root/oss.jceks hadoop credential create fs.oss.accessKeySecret-value BBB-provider jceks:/file/root/oss.jceks hadoop credential create fs.oss....
配置OSS/OSS-HDFS Credential Provider
hadoop credential create fs.oss.accessKeyId-value AAA-provider jceks:/file/root/oss.jceks hadoop credential create fs.oss.accessKeySecret-value BBB-provider jceks:/file/root/oss.jceks hadoop credential create fs.oss....
产品简介
支持定制）累计50万次 20 是 中文：1024个字符 多语言：500个字符 东南亚语种电商 命名实体识别高级版（东南亚语种电商）累计50万次 20 是 中文：1024个字符 多语言：500个字符 词性标注 电商 词性标注高级版（电商）累计50万次 20 否 1024...
支持记录类型
可以为不同邮件服务器设置优先级，优先级取值 1-10，取值越小，优先级越高 包含大小写字符、数字、”@“、“”、“-”在内的字符串。TXT记录 TXT记录取值：长度小于512，合法字符包括：大小写字母、数字、空格，及以下字符”-_~=:;“在内的...
BatchInsertItems
ItemInfo.N.CustomizeFeatureY String 否 自定义属性Y 自定义属性Y，最长512字符 ItemInfo.N.CustomizeFeatureZ String 否 自定义属性Z 自定义属性Z，最长512字符 商品信息的下列字段会用于匹配模板显示，优先级从高到低 TemplateSceneId：...
使用路由策略
策略行为设置为允许后，支持设置以下策略值：路由优先级：设置允许通过的路由的优先级，取值范围为1~100，默认路由优先级50，数字越小优先级越高。Community：设置Community属性值，支持 添加 和 替换 两种匹配方法。追加AS Path：转发路由...
SmartData常见问题
JindoFS是阿里云开源大数据E-MapReduce产品提供的一套Hadoop文件系统，主要对Hadoop和Spark大数据生态系统使用阿里云OSS提供多层次的封装支持和优化。基础功能提供适配OSS和支持访问，您可以直接使用JindoFS SDK；标准功能针对OSS提供分布...
内网DNS解析支持的解析记录类型
包含大小写字符、数字、“@”、“_”、“-”在内的字符串。AAAA记录 AAAA记录取值为：IPv6地址。包含大小写字符、数字、“@”、“_”、“-”在内的字符串。MX记录 MX记录取值：邮件服务器的域名。可以为不同邮件服务器设置优先级，优先级...
不同IDC间通过云企业网实现互通
背景信息 系统默认会在云企业网地域网关添加策略优先级为5000、策略行为为拒绝的路由策略，该条路由策略会限制VBR、CCN与加入到云企业网中的其它VBR、CCN间互通。但在特定场景下，您可能需要放通VBR、CCN与加入到云企业网中的其它VBR、CCN...
分支机构与IDC通过云企业网实现互通
本文为您介绍如何通过路由策略功能建立企业分支机构与IDC间的互通关系。前提条件 配置路由策略前，请确保满足以下条件：您已经创建了云连接网（CCN），并将分支机构所连接的智能接入网关实例添加到云连接网内。详细信息，请参见 创建云连接...
RDS for MySQL字符集相关说明
字符序命名规则 以字符序对应的字符集名称开头，以_ci（大小写不敏感）、_cs（大小写敏感）、_bin（按编码值比较，大小写敏感）结尾。例如：当会话的collation_connection设置为字符序utf8_general_ci时，字符a和字符A是等价的；而当其设置...
分支机构与IDC通过云企业网实现互通
本文为您介绍如何通过路由策略功能建立企业分支机构与IDC间的互通关系。前提条件 说明 本文仅适用于基础版转发路由器。您已经创建了云连接网（CCN），并将分支机构所连接的智能接入网关实例添加到云连接网内。具体操作，请参见 创建云连接...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体，以及管理湖...
如何管理应用级别的资源和任务优先级
任务优先级管理 任务优先级是应用级别的，即优先级仅在单应用内生效，不影响其它应用的任务。同一个应用下，同时运行的优先级高的任务会被优先执行。说明 一个应用包含多个实例，不同优先级的任务被调度到不同实例执行，可能导致低优先级...
- 产品推荐
- 这些文档可能帮助您