阿里云tunnel-阿里云tunnel文档介绍内容-阿里云

快速开始

由于Tunnel的增量日志最多会保留7天（具体的值和数据表的Stream的日志过期时间一致），因此在使用全量加增量类型或者增量类型的Tunnel消费数据时，会出现如下情况：当Tunnel处于全量阶段时，如果全量数据在7天内没有消费完成，则此Tunnel会...

bgp_config { local_asn="1219002"tunnel_cidr="169.254.30.0/30"local_bgp_ip="169.254.30.1"} tunnel_ike_config { ike_mode="aggressive"ike_version="ikev2"local_id="localid_tunnel2"psk="12345678"remote_id="remote2"ike_auth_alg=...

云边运维通道FAQ

kubectl exec/logs不通、Prometheus和Metrics Server不能获取边缘节点的Metrics数据问题现象执行命令 kubectl exec-it edge-tunnel-agent-xxx-n kube-system-sh 时，输出报错信息 error:unable to upgrade connection:fail to setup the ...

业务进程说明

本文以C Link SDK中的Demo文件./demos/tunnel_switch_demo.c 为例，介绍业务进程与远程登录进程隔离中业务进程的处理过程以及相关日志。业务进程处理流程图操作步骤初始化远程登录隧道开关模块。创建1个RA实例并内部初始化默认参数*/void...

配置选项

options.lifecycle=30#使用Tunnel下载string类型时使用bytes（tunnel.string_as_binary选项）。options.tunnel.string_as_binary=True#用ODPS执行PyODPS DataFrame时，可以参照下面dataframe相关配置，在sort时将limit设置为一个比较大的值...

DescribeTunnel

required string tunnel_name=2;optional string tunnel_id=3;} 名称类型是否必选描述 table_name string 是表名称。tunnel_name string 是通道名称。tunnel_id string 否通道ID。响应消息结构 message DescribeTunnelResponse { ...

通过SDK使用通道服务

由于Tunnel的增量日志最多会保留7天（具体的值和数据表的Stream的日志过期时间一致），因此在使用全量加增量类型或者增量类型的Tunnel消费数据时，会出现如下情况：当Tunnel处于全量阶段时，如果全量数据在7天内没有消费完成，则此Tunnel会...

边缘运维通道

ACK Edge集群版本小于1.26时，集群创建完成后，系统会默认部署 edge-tunnel-server/edge-tunnel-agent 组件，用于创建云端和边缘之间的运维通道，为您提供云端访问边缘端的能力。本文介绍 ACK Edge集群中的边缘运维通道关联组件和功能，...

CreateTunnel

请求消息结构 message CreateTunnelRequest { required Tunnel tunnel=1;} 名称类型是否必选描述 tunnel Tunnel 是通道配置信息。响应消息结构 message CreateTunnelResponse { required string tunnel_id=1;} 名称类型是否必选描述...

快速开始

在创建全量加增量类型的Tunnel时，由于Tunnel的增量日志最多会保留7天（具体的值和数据表的Stream的日志过期时间一致），全量数据如果在7天内没有消费完成，则此Tunnel进入增量阶段会出现OTSTunnelExpired错误，导致增量数据无法消费。...

简单上传示例

自动创建分区/TableTunnel.StreamUploadSession uploadSession=tunnel.buildStreamUploadSession(project,table).setPartitionSpec(partitionSpec).setCreatePartition(true).build();TableTunnel.StreamUploadSession uploadSession=...

alicloud_vpn_connections

gateway_id-The ID of the customer gateway in Tunnel.enable_dpd-Wether enable Dpd detection.enable_nat_traversal-enable nat traversal.role-The role of Tunnel.tunnel_bgp_config-The bgp config of Tunnel.local_asn-Local asn....

多线程上传示例

this.tunnel=tunnel;}@Override public Boolean call(){ try { PartitionSpec partitionSpec=new PartitionSpec(partition);TableTunnel.StreamUploadSession uploadSession=tunnel.buildStreamUploadSession(project,table)....

错误处理

400 OTSTunnelExpired 增量Tunnel或全量加增量Tunnel日志过期。返回错误。403 OTSPermissionDenied 无指定资源的访问权限。返回错误。409 OTSTunnelExist 待创建的Tunnel已经在服务端存在。返回错误。400 OTSSequenceNumberNotMatch ...

Endpoint

背景信息 MaxCompute提供MaxCompute服务和Tunnel服务：MaxCompute服务：连接地址为Endpoint，取值由地域及网络连接方式决定。您可以向MaxCompute发出除数据上传、下载外的所有请求，例如创建表、删除某个函数、执行计算作业。MaxCompute还...

版本更新记录

0.43.4-public 功能增强支持指定Tunnel的连接和查询超时时间。修复Tunnel Endpoint无效的问题。v0.43.3-public 新功能支持创建ExternalVolume。Antler版本升级。v0.37.10-public 新功能支持上传或下载超大资源文件（500 MB~2 GB）。v0....

Python SDK示例：Configuration

odps2_extension 启用MaxCompute 2.0语言扩展 False 数据上传或下载配置选项说明默认值 tunnel.endpoint Tunnel Endpoint None tunnel.use_instance_tunnel 使用Instance Tunnel获取执行结果 True tunnel.limited_instance_tunnel 限制...

SQL

在部分环境中（例如DataWorks），options.tunnel.limit_instance_tunnel 可能默认被置为True，此时，如果想要读取所有数据，需要为 open_reader()方法增加 tunnel=True 和 limit=False 参数，例如 open_reader(tunnel=True,limit=False)。...

查看选项

返回结果 Commands:alter Alter table 更新表信息 clear Clear the screen 清空屏幕 config Setup the configuration to access Tablestore 配置接入信息 consume_tunnel Consume tunnel and print stream data.消费通道并打印stream数据 ...

大量数据导出方案

Tunnel方式导出如果您需要导出的查询结果是某张表的全部内容（或者是具体的某个分区的全部内容），可以通过Tunnel来实现，详情请参见命令行工具和基于SDK编写的 Tunnel SDK。此处提供一个Tunnel命令行导出数据的简单示例，Tunnel SDK的...

通道服务概述

通道服务（Tunnel Service）是基于表格存储数据接口上的全增量一体化服务。通道服务提供了增量、全量、增量加全量三种类型的分布式数据实时消费通道。通过为数据表建立数据通道，您可以简单地实现对表中历史存量和新增数据的消费处理。背景...

简单上传示例

Tunnel SDK是MaxCompute提供的离线批量数据通道服务，主要提供大批量离线数据上传和下载。典型的表数据上传流程创建表，如果是分区表先创建分区。创建TableTunnel。创建UploadSession。创建RecordWriter，写入Record。提交上传。示例 ...

简单下载示例

} } 说明上述示例给出的是华东2经典网络Tunnel Endpoint，其他region的Tunnel Endpoint设置请参见 Endpoint。本例中，为方便测试，数据通过 System.out.println 直接打印出来。在实际使用时，您可改写为直接输出到文本文件。使用...

ACK Edge集群在专线场景下的特殊配置说明

但在专线场景的网络环境中，云边网络可以直接互通，为了更好的复用专线的网络能力，您可以将边缘节点上的edge-tunnel-agent组件通过专线网络连接云端的edge-tunnel-server的Pod，需要对云边运维通道组件做如下调整：执行以下命令，将edge-...

异步化IO多线程上传示例

this.tunnel=tunnel;}@Override public Boolean call(){ try { PartitionSpec partitionSpec=new PartitionSpec(partition);TableTunnel.StreamUploadSession uploadSession=tunnel.buildStreamUploadSession(project,table)....

多线程下载示例

本文通过代码示例向您介绍如何使用TableTunnel接口实现多线程下载，暂不支持其他接口使用多线程下载。import java.io.IOException;...文中使用的是华东2经典网络Tunnel Endpoint，其他region的Tunnel Endpoint设置可以参考文档配置Endpoint。

通道服务

通道服务（Tunnel Service）是基于表格存储数据接口上的全增量一体化服务。通道服务提供了增量、全量、增量加全量三种类型的分布式数据实时消费通道。通过为数据表建立数据通道，您可以简单地实现对表中历史存量和新增数据的消费处理。创建...

Python SDK示例：SQL

with o.execute_sql('desc table_name').open_reader()as reader:print(reader.raw)设置使用哪种结果接口如果您设置了 options.tunnel.use_instance_tunnel=True，在后续调用 open_reader 时，PyODPS会默认调用Instance Tunnel，否则会...

多线程上传示例

UploadSession uploadSession=tunnel.createUploadSession(project,table,partitionSpec);System.out.println("Session Status is:"+uploadSession.getStatus().toString());ExecutorService pool=Executors.newFixedThreadPool(threadNum)...

升级ACK Edge集群组件

1.12.6-aliyunedge.1版本的集群组件 edge-tunnel-server 和 edge-tunnel-agent 的升级如果您的集群版本为1.12.6-aliyunedge.1时，edge-tunnel-server 和 edge-tunnel-agent 组件需按如下操作步骤升级。手动删除 frps/frpc 组件相关的Ds、...

创建通道

示例 req:=tunnel.CreateTunnelRequest{ TableName:"testTable",TunnelName:"testTunnel",Type:tunnel.TunnelTypeBaseStream,/创建全量加增量类型的Tunnel。} resp,err:=tunnelClient.CreateTunnel(req)if err!nil { log.Fatal("create ...

DeleteTunnel

required string tunnel_name=2;optional string tunnel_id=3;} 名称类型是否必选描述 table_name string 是表名称。tunnel_name string 是通道名称。tunnel_id string 否通道ID。响应消息结构 message DeleteTunnelResponse { } ...

开发PyODPS 2任务

options.tunnel.use_instance_tunnel=True options.tunnel.limit_instance_tunnel=False#关闭limit限制，读取全部数据。with instance.open_reader()as reader:#通过Instance Tunnel可读取全部数据。您也可以通过在 open_reader 上添加 ...

数据传输服务（上传）场景与工具

产品工具：MaxCompute客户端基于批量数据通道的SDK，实现了内置的Tunnel命令，可对数据进行上传，Tunnel命令的使用请参见 Tunnel命令。说明对于离线数据的同步，推荐您优先使用数据集成，详情请参见数据集成概述。流式数据通道写入 ...

概述

方案说明适用场景 Tunnel 通过MaxCompute的Tunnel功能，将日志数据上传至MaxCompute。详情请参见通过Tunnel迁移日志数据至MaxCompute。Tunnel主要用于批量上传数据至离线表，适用于离线计算的场景。DataHub DataHub数据迁移功能通过...

开发PyODPS 2任务

options.tunnel.use_instance_tunnel=True options.tunnel.limit_instance_tunnel=False#关闭limit限制，读取全部数据。with instance.open_reader()as reader:#通过Instance Tunnel可读取全部数据。您也可以通过在 open_reader 上添加 ...

安全隧道通信协议

Session使用过程中，Tunnel Header中JSON数据和Tunnel Payload的配置，请参见下表。字段创建Session 响应数据 Session内的数据传输关闭Session frame_type 取值2。取值1。取值4。取值3。session_id 无需传入。创建Session成功时，由物...

开发PyODPS 3任务

options.tunnel.use_instance_tunnel=True options.tunnel.limit_instance_tunnel=False#关闭limit限制，读取全部数据。with instance.open_reader()as reader:#通过Instance Tunnel可读取全部数据。您也可以通过在 open_reader 上添加 ...

开发PyODPS 3任务

options.tunnel.use_instance_tunnel=True options.tunnel.limit_instance_tunnel=False#关闭limit限制，读取全部数据。with instance.open_reader()as reader:#通过Instance Tunnel可读取全部数据。您也可以通过在 open_reader 上添加 ...

数据上云工具

阿里云数加产品 MaxCompute客户端（Tunnel通道系列）客户端基于批量数据通道的SDK，实现了内置的Tunnel命令，可对数据进行上传和下载，Tunnel命令的使用请参见 Tunnel命令的基本使用介绍。客户端的安装和基本使用方法请参见客户端介绍。...

阿里云tunnel

新品推荐