导出数据
本文将为您介绍如何导出表结构、SQL查询结果集、整个数据库。前提条件 数据库关联的安全规则已开启 结果集是否支持导出 规则（系统默认开启）。更多信息，请参见 SQL窗口-关系型数据库。具有目标数据库的查询、导出等权限。更多信息，请...
TensorFlow常见问题
通常首先将数据预处理逻辑存放在某个Python文件中，然后将模型定义在另一个Python文件中，最后通过一个Python文件串联整个训练过程。例如，在test1.py中定义函数，如果test2.py文件需要使用test1.py中的函数，且将test2.py作为程序入口文件...
基于HBase非Java API的应用开发
访问Lindorm宽表引擎（以Python语言为例）Thrift安装包的使用请参见 Apache Thrift官方文档，通过Thrift访问 云原生多模数据库 Lindorm 宽表引擎的步骤如下：使用HBase Thrift2定义文件来生成对应语言的接口文件。命令语句如下：thrift-gen...
配置数据传输中转节点
使用新购ECS作为数据传输中转节点 上传下载文件数据需要占用ECS公网带宽，建议您新购一台ECS实例专门负责文件数据的上传与下载，避免占用业务带宽。新购ECS挂载NAS文件系统有以下限制：镜像：仅支持ECS官方自营镜像配置自动挂载NAS。如果...
插入或更新Doc
本文介绍如何通过Python SDK向Collection中插入或更新Doc。说明 若调用本接口时Doc Id已存在，则等同于 更新Doc；Doc Id不存在，则等同于 插入Doc。若调用本接口时不指定Doc Id，则等同于 插入Doc，DashVector会自动生成Doc Id，并在 返回...
概述
Federated表结构如下：当在本地 PolarDB MySQL版 集群的Federated表上执行SQL时，通常会从本地 PolarDB MySQL版 集群插入数据文件，更新或删除数据文件的操作被发送到远程 PolarDB MySQL版 集群或社区MySQL服务器执行，在远程集群或服务器...
通过HBase非Java SDK访问Lindorm宽表引擎
访问Lindorm宽表引擎（以Python语言为例）Thrift安装包的使用请参见 Apache Thrift官方文档，通过Thrift访问云原生多模数据库Lindorm宽表引擎的步骤如下：使用HBase Thrift2定义文件来生成对应语言的接口文件。命令语句如下：thrift-gen...
设置透明数据加密TDE
在安全合规或静态数据加密等场景下，推荐使用透明数据加密TDE（Transparent Data Encryption）功能，对数据文件执行实时I/O加密和解密，确保敏感数据在写入磁盘之前进行加密，从磁盘读入内存时进行解密，阻止可能的攻击者绕过数据库直接从...
PyMySQL 连接 OceanBase 数据库示例程序
本文将介绍如何使用 PyMySQL 库和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入数据、查询数据和删除表等。点击下载 python-pymysql 示例工程 前提条件 您已安装 Python 3.x 和 pip。您已安装 OceanBase ...
安装宽表SQL Driver
Python Lindorm面向Python语言应用开发提供了遵循Python语言 DB-API 接口规范的Driver。关于该Driver的安装和使用，请参见 使用Python DB-API的应用开发。SQL的开发与测试 需要编写在应用逻辑中的SQL语句建议在开发阶段先进行充分验证后再...
新建离线物理表
参数 描述 上传文件 单击 选择文件，上传需导入的数据文件。仅支持.txt,.csv类型的文件，文件不超过10MB。分隔符 数据的分隔符，支持逗号（，）、水平制表符（\t）、竖划线（｜）、斜线（/）。也可以输入指定其他分隔符。字符集编码 选择...
新建离线物理表
参数 描述 上传文件 单击 选择文件，上传需导入的数据文件。仅支持.txt,.csv类型的文件，文件不超过10MB。分隔符 数据的分隔符，支持逗号（，）、水平制表符（\t）、竖划线（｜）、斜线（/）。也可以输入指定其他分隔符。字符集编码 选择...
上传数据
三维数据资源上传 在 方法三：三维数据资源上传 下方的输入框中，输入三维瓦片数据文件的三维数据资源链接地址（目前仅支持iServer发布的S3M缓存切片地址），单击对话框右下方 上传 即可上传一个三维瓦片数据文件。添加完成数据文件后，在...
上传数据
三维数据资源上传 在 方法三：三维数据资源上传 下方的输入框中，输入三维瓦片数据文件的三维数据资源链接地址（目前仅支持iServer发布的S3M缓存切片地址），单击对话框右下方 上传 即可上传一个三维瓦片数据文件。添加完成数据文件后，在...
数据流动概述
例如，执行 ls 命令列出与OSS Bucket链接的目录时，会按需从OSS加载目录项的元数据，在访问文件时会按需从OSS加载文件的数据块。数据的导入与导出 您可以创建数据流动任务实现CPFS与OSS之间的数据导入和导出，以便在计算任务开始前将数据...
功能特性
数据库文件存储 功能集 功能 功能描述 参考文档 DBFS特性 原子写 支持DIRECT IO的原子写，需按4K，8K，16K对齐-共享读写 一份数据可共享式多点挂载并进行读写，读写可线性扩展-存储加密 通过对数据库文件存储实施加密，可以确保数据库文件...
部署作业
Python作业文件的路径需要填写为完整路径，/flink/usrlib/不能省略，且不能更改。附加依赖文件（推荐）选择您已上传的目标附加依赖文件。您需要提前通过Flink全托管开发控制台左侧 资源管理 或部署作业的 附件依赖文件 右侧的 上传附件依赖...
数据源管理常见问题
您可以在DataV控制台单击 我的数据>数据源管理，选择+添加数据，进入 添加数据 对话框，选择 CSV文件 类型，输入 自定义数据源名称 并上传一个本地电脑中的CSV文件。上传完成后，您可以在画布编辑器中添加组件，在右侧 数据 面板中的 设置...
数据源管理常见问题
您可以在DataV控制台单击 我的数据>数据源管理，选择+添加数据，进入 添加数据 对话框，选择 CSV文件 类型，输入 自定义数据源名称 并上传一个本地电脑中的CSV文件。上传完成后，您可以在画布编辑器中添加组件，在右侧 数据 面板中的 设置...
Go-SQL-Driver/MySQL 连接 OceanBase 数据库示例程序
本文将介绍如何使用 Go-SQL-Driver/MySQL 驱动和 OceanBase 数据库构建一个应用程序，实现创建表、插入数据和查询数据等基本操作。点击下载 go-oceanbase 示例工程 前提条件 安装 OceanBase 数据库、Go 语言和相关驱动，并确保已经正确配置...
使用Python操作OSS时出现“No module named oss2”...
解决方案 以Linux系统为例，在脚本文件的环境中，执行以下命令，安装python-devel开发包。sudo yum install-y python-devel 依次执行以下命令，安装oss2模块。sudo yum install-y epel-release sudo yum install-y python-pip pip install ...
数据归档至专属存储
文件合并功能可实现对单次执行归档的数据文件进行重组排列（例如将两个文件合并为一个文件），合并后可以提升本次归档数据的查询性能。费用说明 该功能免费使用。注意事项 已归档数据文件合并后，会额外增加存储量（已归档数据量的0.5~1倍...
通过SkyWalking上报Python应用数据
通过SkyWalking为应用埋点并上报链路数据至 可观测链路 OpenTelemetry 版 后，可观测链路 OpenTelemetry 版 即可开始监控应用，您可以查看应用拓扑、调用链路、异常事务、慢事务和SQL分析等一系列监控数据。本文介绍如何使用SkyWalking ...
通过SkyWalking上报Python应用数据
通过SkyWalking为应用埋点并上报链路数据至 可观测链路 OpenTelemetry 版 后，可观测链路 OpenTelemetry 版 即可开始监控应用，您可以查看应用拓扑、调用链路、异常事务、慢事务和SQL分析等一系列监控数据。本文介绍如何使用SkyWalking ...
通过样本库识别
使用限制 DataWorks仅支持上传大小不超过500KB，UTF-8 格式的 TXT 文本文件做为样本库文件，并且样本文件中的每个数据占用一行。说明 一个 数据识别规则 仅支持识别一种类型的数据，因此，建议您的每个样本库中存放同类型的数据。如果您...
Python SDK概述
PyODPS是MaxCompute的Python SDK，能够方便地使用Python语言与MaxCompute进行交互和数据处理。通过该SDK，可以更高效地开发MaxCompute任务、进行数据分析和管理MaxCompute资源。本文为您介绍PyODPS的使用和常见方法。PyODPS介绍 PyODPS提供...
使用限制
本文介绍CPFS的文件系统限制、客户端限制、Fileset限制、数据流动限制、协议服务限制及容量监控限制。文件系统 限制项 阈值 说明 单个文件系统可创建的挂载点数量 1个 单个CPFS文件系统最多支持创建一个挂载点。单个客户端挂载文件系统个数...
Python库管理
本文介绍在Databricks数据洞察控制台，执行Spark作业时，如何安装自定义的库或者第三方库。添加库 使用阿里云账号登录 Databricks数据洞察控制台。在Databricks数据洞察控制台页面，选择所在的地域（Region）。创建的集群将会在对应的地域...
Spark SQL、Dataset和DataFrame基础操作
示例如下：示例1：Spark支持多种数据格式，本示例读取了JSON格式文件的数据，并输出为Parquet格式。val peopleDF=spark.read.json("examples/src/main/resources/people.json")peopleDF.write.parquet("people.parquet")示例2：通过SQL从...
商品属性提取和多模搜索
插入数据 应用端通过以下步骤向商品库中插入数据。应用端调用OSS服务，将图片插入OSS，获得对应的URL。说明 当前只支持HTTP和HTTPS协议的URL。应用端调用特征提取服务，获得图片抽象后的特征向量。应用端调用分析型数据库MySQL版服务将步骤...
使用OpenAPI示例
本文介绍如何使用阿里云Python语言SDK开发包，调用数据传输服务DTS（Data Transmission Service）的WhiteIpList接口（查询DTS服务的IP地址）。查看OpenAPI文档 在调用OpenAPI前，建议您先阅读对应接口文档，了解、学习调用该接口所需要的...
查询机制
INSERT 当您使用INSERT插入一条数据时，具体过程如下：从数据文件中读取一个数据块到内存中，并将这行数据写入这个数据块，系统生成一条INSERT的WAL日志。当执行COMMIT命令后，系统会产生一条COMMIT的WAL日志。INSERT WAL日志和COMMIT WAL...
导出、分享和下载电子表格
新建MaxCompute表并插入数据 如果您选择的插入模式为 新建MaxCompute表并插入数据，请新建MaxCompute表，并粘贴已复制的SQL语句。详情请参见 创建并使用MaxCompute表。分别单击 提交到开发环境 和 提交到生产环境。如果您使用的是简单模式...
ResizeDbfs-扩容数据库文件系统
调用ResizeDbfs扩容一个数据库文件系统。接口说明 扩容后的数据库文件系统容量必须大于扩容前的容量。数据库文件系统的状态必须为已挂载（attached）。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，...
写入数据到分区表
prod_name|cnt|y|m|+-+|硬盘|10|2019|3|鼠标|1|2019|3|显示器|2|2019|3|键盘|4|2019|3|办公桌|100|2018|12|椅子|150|2018|12| 步骤七：执行INSERT OVERWRITE向分区表插入数据 insert overwrite dla values("电脑",10,"2019","3");...
UDAF概述
MaxCompute支持您通过Java、Python语言编写代码创建UDAF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDAF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDAF为用户自定义聚合函数，适用于多进一出业务...
管理数据流动任务
删除（Evict）将释放CPFS上文件的数据，删除后文件在CPFS上只保留元数据，您仍能看到该文件，但文件的数据块已清除，不占用CPFS上的存储空间，访问该文件数据时，再从源端存储（例如OSS）按需加载。说明 删除前，请务必确认对应文件在OSS上...
Python
前提条件 确保本地已部署 Python 语言运行环境。Python 3.x 连接 OceanBase 数据库 Python 3.x 需要 PyMySQL 驱动进行 OceanBase 数据库连接及使用。步骤一：获取数据库连接参数 参考 获取连接参数 文档，获取相应的租户连接参数，例如：$...
OSS-HDFS数据源
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品，OSS-HDFS数据源为您提供读取和写入OSS-HDFS的双向通道，本文为您介绍DataWorks的OSS-HDFS数据同步的能力支持情况。使用限制 离线读 使用OSS-HDFS Reader时，请注意以下事项：由于...
使用OpenAPI示例（SDK）
本文以Python语言为例，为您介绍如何使用OpenAPI查询文件系统信息的完整示例。查看OpenAPI文档 通过阅读 API概览 得知，查询文件系统信息的OpenAPI为 DescribeFileSystems。请您根据文档，了解调用该接口需要准备的数据和权限。创建RAM用户...
- 产品推荐
- 这些文档可能帮助您