Tunnel命令常见问题
java.io.IOException:Error writing request body to server 产生原因 这是上传数据到服务器时产生的异常，通常是因为上传过程中的网络连接断开或超时导致的：当您的数据源并非是本地文件，需要从数据库等地方获取时，数据在写入的过程中还...
区域统计
车辆位置：车辆位置信息是实时上传的流数据，可以实时保存在Kafka Topic中。Lindorm流引擎将读取Kafka Topic中的实时数据，基于地理围栏进行实时计算，并将计算结果保存在Lindorm宽表中。前提条件 已将客户端IP地址添加至Lindorm白名单。...
轨迹生成
因为位置点是实时上传的且数据量较大，所以数据库在处理追加数据的操作时通常会消耗大量的IO。为解决这一问题，Lindorm Ganos时空服务结合Lindorm流引擎的实时计算能力，提供了轨迹生成方案。本文介绍轨迹生成的技术实现和实际操作步骤。...
JavaSDK实现数据流分片上传的代码样例
详细信息 数据流分片上传中，需要对数据流进行clone操作，其中inputstream是不能重复读。以下是数据流分片上传的代码样例。说明 说明：代码中cloneInputStream是复制数据流的实现。import java.io.ByteArrayInputStream;import java.io....
数据流运维
您可以在数据流运维中心查看数据流的发布状态、发布详情、运行记录等。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。单击画布右上方 前往运维。在数据流运维...
自建Greenplum迁移到AnalyticDB PostgreSQL版
将导出的数据上传到阿里云OSS上，如何将数据上传到阿里云OSS，请参见 控制台上传文件。说明 阿里云OSS需要和AnalyticDB PostgreSQL版实例在同一地域。使用OSS外表将数据导入到AnalyticDB PostgreSQL版实例中。具体操作，请参见 导入OSS数据...
发布数据流
完成数据流的配置或变更后，您需要通过发布操作将最新的数据流发布，有效避免部分变更未经确认被直接发布。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。可选：...
MySQL数据源
MySQL数据源为您提供读取和写入MySQL的双向通道，本文为您介绍DataWorks的MySQL数据同步的能力支持情况。支持的MySQL版本 离线读写：支持MySQL 5.5.x、MySQL 5.6.x、MySQL 5.7.x、MySQL 8.0.x，兼容 Amazon RDS for MySQL、Azure MySQL。离...
数据流管理
本文介绍如何创建数据流、查看或删除数据流、滚动更新数据流等。背景信息 数据流管理功能适用于日志、事件、指标和其他连续生成数据的场景。如果您将索引和请求直接提交到数据流，数据流会自动将请求路由到存储数据流数据的后备索引上。您...
CREATE STREAM
创建一张数据流表，表示一个无界的事件集合。数据流表仅支持新增数据，不支持更新数据和删除数据。数据流表中的最小单元为Record，Record有预定义的Schema。数据流表的物理数据存储在流存储的某个指定的Topic上，具体的存储格式可以在With...
快速搭建移动应用直传服务
应用服务器：即提供该Android/iOS应用的开发者开发的App后台服务，用于管理App上传和下载的Token，以及用户通过App上传数据的元数据。实现步骤如下：移动应用向应用服务器申请一个临时上传凭证。Android和iOS应用不能直接存储AccessKey，...
数据上传
本文为您介绍如何使用数据上传功能上传数据。使用限制 数据来源限制：仅支持上传 本地文件、DataWorks数据分析的电子表格、阿里云对象存储OSS 的数据。本地文件：支持 CSV、XLSX 格式，CSV 文件最大支持上传数据的数据量为5GB，XLSX 文件...
使用MaxCompute控制台（离线）
使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件：支持上传CSV或XLSX格式的文件数据。CSV格式：最大支持上传5 GB数据 XLSX格式：最大支持上传100 MB数据。阿里云对象存储OSS：仅支持上传CSV格式的文件...
入门概述
新建自定义工作流 将原始数据上传至MaxCompute或OSS中，并配置工作流数据源。数据准备与预处理 对原始数据进行预处理，生成模型训练集和模型预测集。数据可视化 对源数据或中间结果数据进行可视化处理，以获取数据分析结果。算法建模 使用...
离线集成概述
数据管理DMS离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。支持的数据库类型 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB...
DROP STREAM
删除数据流表。语法 DROP STREAM(IF EXISTS)table_name;参数 参数 是否必选 说明 table_name 是 数据流表的名称。示例 DROP STREAM users_original;
使用Tunnel命令或Tunnel SDK
MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载，本文为您介绍如何使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。前提条件 已经创建好MaxCompute项目，并用对应的工具连接MaxCompute。...
上传数据
上传数据操作入口 您可以在数据开发的头部菜单栏、业务流程下的表分组或表管理页面中进行上传数据的操作，入口如下所示。在 数据开发 页面的头部菜单栏中。在 数据开发 页面业务流程下的表分组中。标准模式下，在 表管理 页面中，对开发表...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
包年包月
计费公式 在包年包月模式下，您按需选择数据流服务Confluent版本、磁盘容量等配置项完成实例购买，计费从您成功下单开始。数据流服务Confluent版本不同所产生的费用也会存在差异。计算资源：用于Broker读取数据或ksqlDB创建作业，按CU计量...
添加体验空间数据库
在体验空间模块，单击右上角的 上传数据，打开上传数据文件窗口。在 选择文件 页签，将文件拖拽至添加处或单击 浏览 从本地文件选择需要上传的文件。说明 支持Shapefiles文件和GeoJSON文件。Shapefiles格式文件需要将.shp、.dbf、.prj、....
概述
背景信息 Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了更高抽象层的API以便您编写分布式任务。Flink（VVR）完全兼容开源Flink，相关内容请...
上传数据
单击 矢量 页签右上角的 上传数据 按钮，在下拉列表中选择 CSV。在弹出的 添加数据 对话框中，您可通过以下两种方式上传数据。本地上传 单击 方法一：本地上传 下方的空白区域，即可在本地PC中选择一个CSV数据文件，单击对话框右下方 上传 ...
上传数据
单击 矢量 页签右上角的 上传数据 按钮，在下拉列表中选择 CSV。在弹出的 添加数据 对话框中，您可通过以下两种方式上传数据。本地上传 单击 方法一：本地上传 下方的空白区域，即可在本地PC中选择一个CSV数据文件，单击对话框右下方 上传 ...
数据加密
上传数据时，OSS对收到的用户数据进行加密，然后再将得到的加密数据持久化保存下来；下载数据时，OSS自动对保存的加密数据进行解密并把原始数据返回给用户，并在返回的HTTP请求Header中，声明该数据进行了服务器端加密。OSS通过服务器端...
UploadSession
本文为您介绍 UploadSession 接口，此接口用于上传数据到表中。UploadSession 接口定义 UploadSession接口定义如下。public class UploadSession { UploadSession(Configuration conf,String projectName,String tableName,String ...
将时空数据写入宽表引擎
value_format 是 指定数据源写入Lindorm流引擎的数据格式，取值如下：CSV Avro JSON key_value 是 指定数据流表的主键列。创建计算任务，将数据流表中的数据写入到宽表中。不使用时空函数。CREATE CQ gps_data_cq INSERT INTO gps_data ...
服务器端加密
上传数据时，OSS对收到的用户数据进行加密，然后再将得到的加密数据持久化保存下来。下载数据时，OSS自动对保存的加密数据进行解密并把原始数据返回给用户，并在返回的HTTP请求Header中，声明该数据进行了服务器端加密。背景信息 OSS有如下...
通过流引擎实现地理围栏监控
将车辆的实时点位数据写入Lindorm流引擎的input_stream数据流表中，将车辆点位数据和地理围栏数据进行关联并判断车辆点位是否在地理围栏内，并将异常车辆数据输出到output_stream数据流表，同时也可以订阅异常数据进行报警。场景实现的原理...
空间数据管理概览
空间数据管理页面内提供了我的主页、我的项目、我的数据和空间档案四大功能模块，用户可以在这里创建项目，上传数据和添加模型等。本文为您介绍空间数据管理页面的结构与功能，帮助您快速使用空间构建平台。进入空间构建平台 空间构建平台...
空间数据管理概览
空间数据管理页面内提供了我的主页、我的项目、我的数据和空间档案四大功能模块，用户可以在这里创建项目，上传数据和添加模型等。本文为您介绍空间数据管理页面的结构与功能，帮助您快速使用空间构建平台。进入空间构建平台 空间构建平台...
概述
Tunnel主要用于批量上传数据至离线表，适用于离线计算的场景。DataHub DataHub数据迁移功能通过Connector实现。DataHub Connector可以将DataHub中的流式数据同步至MaxCompute。您只需要向DataHub中写入数据，并在DataHub中配置同步功能，便...
配置转换组件
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 DAG。单击 确认。完成数据源信息的配置，配置方法请参见 配置源库信息。重要 需要配置两个源库。在页面左侧，将 表 Join 节点拖拽至页面右侧...
数据传输服务（上传）场景与工具
功能介绍 批量数据通道上传 使用批量数据通道上传数据时，可以通过单个批量操作将数据上传到MaxCompute中。例如上传数据源可以是外部文件、外部数据库、外部对象存储或日志文件。MaxCompute中批量数据通道上传包含如下方案。Tunnel SDK：您...
用户管理
作为集群安全的一部分，数据流服务Confluent提供了用户管理功能。您可以在用户管理页面完成新增用户、修改密码、删除用户等操作。本文介绍用户管理的具体操作步骤。查看用户列表 首先登录 流数据服务Confluent管控页，点击集群管理>进入...
Tunnel操作
类型 功能 角色 操作入口 上传数据 将本地文件的数据上传至MaxCompute的表中，以追加模式导入。具备修改表权限（Alter）的用户。本文中的命令您需要在 MaxCompute客户端 执行。下载数据 将MaxCompute表数据或指定Instance的执行结果下载至...
系统管理
上传数据至MaxCompute引擎：支持使用公共资源组及独享资源组，且需确保数据上传任务使用的数据源与所选资源组网络连通。所选独享资源组需绑定至待接收数据的表所在的DataWorks工作空间。上传数据至EMR Hive、Hologres引擎：仅支持使用独享...
管理数据树
上传数据 在左侧数据树中单击已添加的数据库名称。单击右上角的 上传数据。在 选择文件 页签，将文件拖拽至添加处或单击 浏览 从本地文件选择需要上传的文件。说明 支持Shapefiles文件和GeoJSON文件。Shapefiles格式文件需要将.shp、.dbf、...
SELECT
流引擎兼容Apache Flink SQL的SELECT语句。Apache Flink V1.17.1 SELECT语句详情如下表所示。...Top-N 去重 从数据流中去除重复的行数据。Deduplication 说明 如果您需要查看其它版本Queries语句，请注意切换到对应版本。
ACL授权
ACL授权主要有两种方式：使用数据流服务Confluent控制台实现ACL授权。本文详细介绍这一授权方式。使用Confluent CLI实现ACL授权。操作指引请参见 使用Confluent CLI进行ACL管理。管控侧ACL授权步骤 首先登录 流数据服务Confluent管控页，...
- 产品推荐
- 这些文档可能帮助您