Jindo Job Committer使用说明
本文主要介绍JindoOssCommitter的使用说明。背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来处理分布式任务写数据的一致性问题。...参数 参数值 spark.sql.sources.outputCommitterClass ...
Jindo Job Committer使用说明
本文主要介绍JindoOssCommitter的使用说明。背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来处理分布式任务写数据的一致性问题。...参数 参数值 spark.sql.sources.outputCommitterClass ...
Jindo Job Committer使用说明
本文主要介绍JindoOssCommitter的使用说明。背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来处理分布式任务写数据的一致性问题。...参数 参数值 spark.sql.sources.outputCommitterClass ...
云数据源MaxCompute
请根据Project所在地域选择对应的经典网络Endpoint（地域请登录 MaxCompute控制台 点击左上角查看），例如中国-华东1（杭州）对应经典网络Endpoint为http://service.cn-hangzhou.maxcompute.aliyun-inc.com/api。项目名称 目标MaxCompute...
MaxCompute湖仓一体
endpoint"dlf-share.cn-hangzhou.aliyuncs.com" -- DLF的Endpoint信息-ossEndpoint"oss-cn-hangzhou-internal.aliyuncs.com;OSS所属地域的Endpoi MaxCompute访问授权 当您通过MaxCompute与Hadoop构建湖仓一体时，授权方法如下。授予...
MaxCompute湖仓一体
endpoint"dlf-share.cn-hangzhou.aliyuncs.com" -- DLF的Endpoint信息-ossEndpoint"oss-cn-hangzhou-internal.aliyuncs.com;OSS所属地域的Endpoi MaxCompute访问授权 当您通过MaxCompute与Hadoop构建湖仓一体时，授权方法如下。授予...
MaxCompute权限
本文为您介绍MaxCompute支持的权限信息。背景信息 MaxCompute细化了项目（Project）、Quota、Networklink对象以及项目内的表（Table）、函数（Function）、资源（Resource）及实例...例如以下Policy拒绝o dpsxxxx@aliyun.com 对 prj1 中所有表...
使用CommonRequest进行调用
示例：调用RPC风格的API 以下代码展示了如何使用CommonRequest的方式调用ECS的DescribeInstanceStatus接口：import com.aliyuncs.CommonRequest;import com.aliyuncs.CommonResponse;import com.aliyuncs.DefaultAcsClient;import ...
Spark对接MaxCompute
import com.aliyun.odps.TableSchema import com.aliyun.odps.data.Record import org.apache.spark.aliyun.odps.OdpsOps import org.apache.spark.{SparkContext,SparkConf} object Sample { def main(args:Array[String]):Unit={/Step-1=...
MaxCompute数据源
MaxCompute数据源作为数据中枢，...accessId":"*","accessKey":"*","endpoint":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api","odpsServer":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api","tunnelServer":...
Yonghong BI连接MaxCompute
支持如下两种驱动方式：默认驱动：取值为 com.aliyun.odps.jdbc.OdpsDriver ，通常无需修改。自定义驱动：当默认驱动无法成功连接MaxCompute项目时，需要选择自定义驱动。添加自定义驱动操作请参见 添加自定义驱动。URL 连接MaxCompute项目...
实践示例：MaxCompute底层脱敏使用方法
当项目用户具备查询MaxCompute项目中的某些敏感数据的权限，但又不希望用户能看到完整的敏感数据信息时，可以对查询结果进行数据动态脱敏。本文为您介绍如何开启MaxCompute的动态脱敏功能，并提供参考示例。背景信息 MaxCompute本身...point=...
Spark on MaxCompute如何访问HBase
Array[String]){ val spark=SparkSession.builder().appName("HbaseTest").config("spark.sql.catalogImplementation","odps").config("spark.hadoop.odps.end.point","http://service.cn.maxcompute.aliyun.com/api").config("spark....
通过MaxCompute SQL查询权限信息
返回信息 查询结果会返回如下信息：当前用户的访问许可等级（User Label）可访问的高敏感等级数据表（TableName）用户可访问的敏感数据级别（GrantedLabel）权限过期时间（Expires）使用示例 假设Bob@aliyun.com为test_project_a的项目所有...
Commons Pool 连接 OceanBase 数据库示例程序
代码如下：<groupId>com.example</groupId> <artifactId>commonpool-mysql-client</artifactId> <version>1.0-SNAPSHOT</version>配置项目源文件的属性。指定 Maven 的编译器插件为 maven-compiler-plugin，并设置了源代码和目标 Java 版本都...
使用CommonRequest进行调用
使用CommonRequest进行...nil { panic(err)} fmt.Print(response.GetHttpContentString())} 示例：调用RESTful（ROA）风格的API 以下代码展示了如何使用CommonRequest的方式调用容器服务的查看所有集群实例接口：package main import("github....
使用MaxCompute访问表格存储
(5)参数说明如下：标号 参数 说明（1）com.aliyun.odps.TableStoreStorageHandler MaxCompute内置的处理Tablestore数据的StorageHandler，定义了MaxCompute和Tablestore的交互，相关逻辑由MaxCompute实现。（2）SERDEPROPERITES 可以理解为...
使用SQL File查询MaxCompute表
例如华东1（杭州）的Endpoint为 http://service.cn-hangzhou.maxcompute.aliyun.com/api。Tunnel Endpoint 项目所在地域的Tunnel Endpoint，详情请参见 Endpoint。例如华东1（杭州）的Endpoint为 ...
使用CommonRequest进行调用
access_key_id}','{your_access_key_secret}','{your_region_id}')request=CommonRequest()request.set_domain('cs.aliyuncs.com')request.set_version('2015-12-15')request.set_uri_pattern('/clusters')#or:#request=CommonRequest...
Spark On MaxCompute访问Phoenix数据
streaming_${scala.binary.version}</artifactId><version>${spark.version}</version><scope>provided</scope></dependency><dependency><groupId>com.aliyun.odps</groupId> <artifactId>cupid-sdk</artifactId> <version>${cupid.sdk....
通过默认角色写数据到MaxCompute
{"Statement":[{"Action":"sts:AssumeRole","Effect":"Allow","Principal":{"Service":["log.aliyuncs.com","dataworks.aliyuncs.com"]} }],"Version":"1"} 添加RAM角色为工作空间成员。登录 DataWorks控制台。在页面左上角，选择地域。在...
DBeaver连接MaxCompute
在 编辑驱动'SQLite' 对话框的 设置 页签填写 类名 为 com.aliyun.odps.jdbc.OdpsDriver ，URL模板 为 jdbc:odps:{file}，单击 确定。修改和保存了数据源配置定义后，当前的数据源已经为支持MaxCompute JDBC驱动的数据源。在 通用JDBC连接...
Java UDTF读取MaxCompute资源示例
UDTF代码示例 package com.aliyun.odps.examples.udf;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;import java.util.Iterator;import ...
从MaxCompute批量导入导出
CREATE TABLE IF NOT EXISTS odps_nopart_import_test_external_table(uid string,other string)ENGINE='ODPS' TABLE_PROPERTIES='{"endpoint":"http://service.odps.aliyun-inc.com/api",accessid":"xxx","accesskey":"xxx","project_...
使用CommonRequest进行调用
request.Domain="ecs.aliyuncs.com;request.Version="2014-05-26;因为是 RPC 风格接口，需指定 ApiName(Action)request.Action="DescribeInstanceStatus;request.AddQueryParameters("PageNumber","1");request.AddQueryParameters(...
统计MaxCompute TOPN费用账号及耗时作业
MainClass in mainfest make a executable jar-><archive><manifest><mainClass>com.alibaba.sgri.message.test</mainClass> </manifest> </archive> </configuration> <executions> <execution> <id>make-assembly</id> <!bind to the packaging ...
FineBI连接MaxCompute
固定取值为 com.aliyun.odps.jdbc.OdpsDriver ，无需修改。用户名 具备目标MaxCompute项目访问权限的AccessKey ID。您可以进入 AccessKey管理 页面获取AccessKey ID。密码 AccessKey ID对应的AccessKey Secret。您可以进入 AccessKey管理 ...
使用CommonRequest进行调用
host('cs.aliyun.com')/指定域名则不会寻址，如认证方式为 Bearer Token 的服务则需要指定。pathPattern('/clusters/[ClusterId]/services')/指定 ROA 风格路径规则。withClusterId('123456')/为路径中参数赋值，方法名：with+参数。...
读取MaxCompute训练EasyRec模型
本文为您介绍如何在Data Science...Python 2.7版本 pip install-user-U https://tfsmoke1.oss-cn-zhangjiakou.aliyuncs.com/tunnel_paiio/common_io/py2/common_io-0.1.0-cp27-cp27mu-linux_x86_64.whl Python 3.6版本 pip3 install-user-U ...
DataGrip连接MaxCompute
Class 上传MaxCompute JDBC驱动JAR包后，在下拉列表选择 com.aliyun.odps.jdbc.OdpsDriver 。步骤二：连接DataGrip和MaxCompute 在 Data Sources and Drivers 对话框的 Data Sources 页签，单击 图标并选择MaxCompute数据源。您也可以直接...
Davinci连接MaxCompute
odps:name:odps desc:odps version:driver:com.aliyun.odps.jdbc.OdpsDriver keyword_prefix: keyword_suffix: alias_prefix: \` alias_suffix: \` 配置完成后，手动将MaxCompute JDBC驱动JAR包拷贝至 lib 目录下，并重启Davinci服务。...
使用Kettle调度MaxCompute
Load from OSS load overwrite table ambulance_data_csv_load from location 'oss:/oss-cn-hangzhou-internal.aliyuncs.com/mc-test/data_location/' stored by 'com.aliyun.odps.CsvStorageHandler' with serdeproperties ('odps.properties...
安装并登录MaxCompute本地客户端
http://dt.cn-hangzhou.maxcompute.aliyun.com set.否 设置MaxCompute项目的属性。更多属性信息，请参见 属性列表。set.odps.sql.decimal.odps2=true 说明 请确保上述信息配置正确，若信息配置错误，会导致项目连接失败。启动MaxCompute...
SQL Workbench/J连接MaxCompute
参数 说明 Driver 用于连接MaxCompute项目的驱动程序，即 步骤一 中新建的驱动MaxCompute（com.aliyun.odps.jdbc.OdpsDriver）。URL 连接MaxCompute项目的URL。格式为 jdbc:odps:<MaxCompute_endpoint>?project=[&interactiveMode={true|...
投递日志到MaxCompute（旧版）
GRANT Describe,Alter,Update ON TABLE {ODPS_TABLE_NAME} TO USER aliyun$shennong_open@aliyun.com;授予用户Describe、Alter和Update权限。其中 {ODPS_TABLE_NAME} 为MaxCompute表名称，请使用实际值替换。SHOW GRANTS FOR aliyun$...
通过自定义RAM角色写数据到MaxCompute
{"Statement":[{"Action":"sts:AssumeRole","Effect":"Allow","Principal":{"Service":["log.aliyuncs.com","dataworks.aliyuncs.com"]} }],"Version":"1"} 添加RAM角色为工作空间成员。登录 DataWorks控制台。在页面左上角，选择地域。在...
MaxCompute安全白皮书
grant read on package prj1.testpackage to user aliyun$odps_test@aliyun.com;列级别访问控制 基于标签的安全（LabelSecurity）是项目空间级别的一种强制访问控制策略（Mandatory Access Control，MAC），它的引入可以让项目空间管理员...
使用Apache Airflow调度MaxCompute
on_past':False,'retry_delay':timedelta(minutes=5),'start_date':datetime(2020,1,15)#'email':['airflow@example.com'],#'email_on_failure':False,#'email_on_retry':False,#'retries':1,#'queue':'bash_queue',#'pool':'backfill',#'...
压缩数据从OSS迁移至MaxCompute
str14 string,str15 string,str16 string,str17 string,str18 string)ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' WITH SERDEPROPERTIES('field.delim'=',')-Snappy内容以（,）分隔 ...-cn-beijing-internal.aliyuncs.com/mfosscostfee/demo7/'...
从MaxCompute外表导入（19.15.2.2）
示例 CREATE TABLE default.odps_src_tbl on cluster default(`shop_name` String,`customer_id` String,`total_price` Float64)ENGINE=MaxCompute('http://dt.cn-shanghai.maxcompute.aliyun-inc.com','test_project','test_tbl','sale_...
- 产品推荐
- 这些文档可能帮助您