云安全中心
tunnel_id 通道ID 网络会话日志 日志字段 说明_topic_日志主题，固定为sas-log-session。owner_id 阿里云账号ID asset_type 关联的资产类型，例如ECS、SLB、RDS等。dst_ip 目标IP地址 threat_dst_ip 目标IP地址的威胁情报。更多信息，请...
ACK Edge集群在专线场景下的特殊配置说明
但在专线场景的网络环境中，云边网络可以直接互通，为了更好的复用专线的网络能力，您可以将边缘节点上的edge-tunnel-agent组件通过专线网络连接云端的edge-tunnel-server的Pod，需要对云边运维通道组件做如下调整：执行以下命令，将edge-...
管理项目连接
在IntelliJ IDEA上通过MaxCompute Studio使用MaxCompute进行数据开发前，您必须连接MaxCompute项目，才可以查看、...解决方法：请您参照 Endpoint 文档，选择与您要连接项目所属 区域 和 网络环境 相符的 Endpoint，而不是Tunnel Endpoint。
edge-tunnel
组件介绍 edge-tunnel组件本质是一个反向通道，是解决跨网络通信的一种常见方式。edge-tunnel是一个典型的C/S结构的组件，由部署于云端的 edge-tunnel-server 和部署于边缘节点上的 edge-tunnel-agent 组成。该组件主要实现以下两个功能：...
模拟IDC Spark读写MaxCompute实践
如果IDC网络与云上相连性能取决于tunnel资源或者专线带宽。实例规格。实例 规格 E-MapReduce集群 Master节点数量：2个。ECS规格：计算型（ecs.c6.2xlarge）8 vCPU，16 GiB，2.5 Gbps。系统盘：ESSD云盘 120GiB。数据盘：ESSD云盘 80GiB。...
创建服务访问点
注意 DLA中VPC专有网络是针对VPC的服务访问点（single tunnel），一个VPC服务访问点仅提供指定的VPC到DLA的服务访问通道。如果需要从多个不同的VPC访问DLA，需要针对每个VPC分别创建VPC服务访问点。每个VPC服务访问点的连接串信息不同。...
ACK Edge发布Kubernetes 1.20版本说明
edge-tunnel-server证书管理增强：edge-tunnel-server-svc service 地址更新时（如：挂载新的SLB），edge-tunnel-server 的 tls server 证书自动更新。容器网络组件 Flannel新版本号：v0.13.1.3-6838863-aliyun。优化在增强型网络边缘节点...
连接概览
如下图所示：说明 DLA中的VPC网络是针对VPC的服务访问点（single tunnel），一个VPC服务访问点仅提供指定的VPC到DLA的服务访问通道。如果需要从多个不同的VPC访问点连接DLA，需要针对每个VPC分别创建VPC服务访问点连接串信息。具体请参见 ...
MaxCompute账单用量明细分析
说明 Tunnel的配置详情请参见 Tunnel命令。您也可以通过DataWorks的数据导入功能来执行此操作，具体请参见 使用DataWorks（离线与实时）。执行如下语句验证数据。SELECT*FROM maxcomputefee limit 10;步骤三：分析账单数据 分析SQL费用。云...
参考：Proxima CE全量参数说明
防止跨网络访问数据表时download session建立失败，详情可参考 MaxCompute Tunnel Endpoint问题。无 memory_load 指定seek阶段索引加载方式，默认为true，纯内存加载，当集群内存资源紧张时可视情况设为false。true sharding_mode 索引分片...
alicloud_ots_tunnel
Provides an OTS tunnel resource.For information about OTS tunnel and how to use it,see Tunnel overview.->NOTE:Available since v1.172.0.Example Usage variable"name"{ default="tf-example"} resource"random_integer""default"{ ...
Tunnel SDK示例汇总引导
本文向您引导介绍使用Tunnel SDK的典型示例，您可在本文查看典型场景SDK示例的文档链接，如不在本文罗列的典型场景中，您也可以前往开源Tunnel SDK文档中查看更多其他示例。注意事项 MaxCompute提供了两个服务地址供您选择：Tunnel服务地址...
Tunnel
数据结构 message Tunnel { required string table_name=1;required string tunnel_name=3;required TunnelType tunnel_type=4;optional StreamTunnelConfig StreamTunnelConfig=5;} 参数 类型 是否必选 描述 table_name string 是 表名称...
alicloud_ots_tunnels
This data source provides the ots tunnels of the current Alibaba Cloud user.For information about OTS tunnel and how to use it,see Tunnel overview.->NOTE:Available in v1.172.0+.Example Usage data"alicloud_ots_tunnels"...
数据消费框架原理
Tunnel Client为通道服务的自动化数据消费框架。使用通道服务前，需要了解Tunnel Client的自动化数据处理流程、自动化的负载均衡和良好的水平扩展性以及自动化的资源清理和容错处理。背景信息 Tunnel Client可以解决全量和增量数据处理时的...
Streaming Tunnel SDK示例（Python）
Streaming Tunnel是MaxCompute的流式数据通道，您可以通过Streaming Tunnel向MaxCompute中上传数据，本文为您介绍使用Python版Streaming Tunnel SDK上传数据的简单示例。注意事项 Streaming Tunnel仅支持上传数据，下文为您介绍一个简单的...
Tunnel SDK示例（Python）
Tunnel是MaxCompute的数据通道，您可以通过Tunnel向MaxCompute中上传或者下载数据，TunnelSDK是PyODPS的一部分，本文为您介绍使用Python版TunnelSDK上传下载数据的简单示例。注意事项 下文为您介绍简单的上传、下载数据的Python SDK示例，...
概述
MaxCompute Tunnel是MaxCompute的数据通道，您可以通过Tunnel向MaxCompute中上传或者下载数据。MaxCompute提供的 数据上传和下载工具 是基于Tunnel SDK编写的。本文将为您介绍Tunnel SDK的主要接口，不同版本的SDK在使用上有所差别，准确...
快速开始
由于Tunnel的增量日志最多会保留7天（具体的值和数据表的Stream的日志过期时间一致），因此在使用全量加增量类型或者增量类型的Tunnel消费数据时，会出现如下情况：当Tunnel处于全量阶段时，如果全量数据在7天内没有消费完成，则此Tunnel会...
TunnelInfo
数据结构 message TunnelInfo { required string tunnel_id=1;required string tunnel_type=2;required string table_name=3;required string instance_name=4;required string stream_id=5;required string stage=6;optional bool expired...
alicloud_vpn_connection
bgp_config { local_asn="1219002"tunnel_cidr="169.254.30.0/30"local_bgp_ip="169.254.30.1"} tunnel_ike_config { ike_mode="aggressive"ike_version="ikev2"local_id="localid_tunnel2"psk="12345678"remote_id="remote2"ike_auth_alg=...
业务进程说明
本文以C Link SDK中的Demo文件./demos/tunnel_switch_demo.c 为例，介绍业务进程与远程登录进程隔离中业务进程的处理过程以及相关日志。业务进程处理流程图 操作步骤 初始化远程登录隧道开关模块。创建1个RA实例并内部初始化默认参数*/void...
Tunnel操作
MaxCompute通过Tunnel实现上传下载数据功能。本文为您介绍如何通过Tunnel上传、下载数据。Tunnel操作详情请参见 Tunnel命令。Tunnel操作常用命令如下。类型 功能 角色 操作入口 上传数据 将本地文件的数据上传至MaxCompute的表中，以追加...
配置选项
options.lifecycle=30#使用Tunnel下载string类型时使用bytes（tunnel.string_as_binary选项）。options.tunnel.string_as_binary=True#用ODPS执行PyODPS DataFrame时，可以参照下面dataframe相关配置，在sort时将limit设置为一个比较大的值...
DescribeTunnel
required string tunnel_name=2;optional string tunnel_id=3;} 名称 类型 是否必选 描述 table_name string 是 表名称。tunnel_name string 是 通道名称。tunnel_id string 否 通道ID。响应消息结构 message DescribeTunnelResponse { ...
远程登录进程说明
配置网络连接的安全凭据,上面已经创建好了*/aiot_tunnel_setopt(tunnel_handle,AIOT_TUNNELOPT_NETWORK_CRED,(void*)&cred);配置RA内部事件回调函数，可选*/aiot_tunnel_setopt(tunnel_handle,AIOT_TUNNELOPT_EVENT_HANDLER,(void*)_demo_...
通过SDK使用通道服务
由于Tunnel的增量日志最多会保留7天（具体的值和数据表的Stream的日志过期时间一致），因此在使用全量加增量类型或者增量类型的Tunnel消费数据时，会出现如下情况：当Tunnel处于全量阶段时，如果全量数据在7天内没有消费完成，则此Tunnel会...
组件概述
edge-tunnel 系统组件 edge-tunnel组件本质是一个反向通道，是解决跨网络通信的一种常见方式。其他 组件名称 组件类型 描述 ack-arena 可选组件 对开源Arena的安装做进一步简化，能够实现在控制台一键安装Arena的目标。ack-kubernetes-...
CreateTunnel
请求消息结构 message CreateTunnelRequest { required Tunnel tunnel=1;} 名称 类型 是否必选 描述 tunnel Tunnel 是 通道配置信息。响应消息结构 message CreateTunnelResponse { required string tunnel_id=1;} 名称 类型 是否必选 描述...
快速开始
在创建全量加增量类型的Tunnel时，由于Tunnel的增量日志最多会保留7天（具体的值和数据表的Stream的日志过期时间一致），全量数据如果在7天内没有消费完成，则此Tunnel进入增量阶段会出现OTSTunnelExpired错误，导致增量数据无法消费。...
通过Tunnel迁移日志数据至MaxCompute
本文为您介绍如何通过Tunnel上传日志数据至MaxCompute。前提条件 安装MaxCompute客户端，详情请参见 安装并配置MaxCompute客户端。将日志数据保存至本地。本文使用的示例数据为 loghub.csv。背景信息 Tunnel是MaxCompute的批量上传数据工具...
alicloud_vpn_connections
key-The authentication keys for BGP routing protocols.tunnel_cidr-The ipsec tunnel segments.local_bgp_ip-The ali cloud side BGP address.tunnel_options_specification-The tunnel_options_specification supports the following:...
多线程上传示例
this.tunnel=tunnel;}@Override public Boolean call(){ try { PartitionSpec partitionSpec=new PartitionSpec(partition);TableTunnel.StreamUploadSession uploadSession=tunnel.buildStreamUploadSession(project,table)....
错误处理
400 OTSTunnelExpired 增量Tunnel或全量加增量Tunnel日志过期。返回错误。403 OTSPermissionDenied 无指定资源的访问权限。返回错误。409 OTSTunnelExist 待创建的Tunnel已经在服务端存在。返回错误。400 OTSSequenceNumberNotMatch ...
版本更新记录
0.43.4-public 功能增强 支持指定Tunnel的连接和查询超时时间。修复Tunnel Endpoint无效的问题。v0.43.3-public 新功能 支持创建ExternalVolume。Antler版本升级。v0.37.10-public 新功能 支持上传或下载超大资源文件（500 MB~2 GB）。v0....
Python SDK示例：Configuration
odps2_extension 启用MaxCompute 2.0语言扩展 False 数据上传或下载配置 选项 说明 默认值 tunnel.endpoint Tunnel Endpoint None tunnel.use_instance_tunnel 使用Instance Tunnel获取执行结果 True tunnel.limited_instance_tunnel 限制...
使用MaxCompute独享Tunnel进行数据同步
注意事项 若在配置MaxCompute数据源时配置了 Tunnel Endpoint 属性，则在DataWorks上配置同步任务时，不支持指定独享传输资源组，实际同步任务运行时会使用指定地址对应的传输资源。若同步任务需要使用独享传输资源，则您在配置MaxCompute...
SQL
在部分环境中（例如DataWorks），options.tunnel.limit_instance_tunnel 可能默认被置为True，此时，如果想要读取所有数据，需要为 open_reader()方法增加 tunnel=True 和 limit=False 参数，例如 open_reader(tunnel=True,limit=False)。...
使用客户端（odpscmd）或Studio
MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载，本文为您概要介绍如何在对应的工具中使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。使用Tunnel命令下载数据 Tunnel命令主要有 Upload...
查看选项
返回结果 Commands:alter Alter table 更新表信息 clear Clear the screen 清空屏幕 config Setup the configuration to access Tablestore 配置接入信息 consume_tunnel Consume tunnel and print stream data.消费通道并打印stream数据 ...
- 产品推荐
- 这些文档可能帮助您