2022年
2022-03-17 全部地域 物化视图操作 MaxCompute支持压缩TEXTFILE格式文件的Skip header和Skip footer MaxCompute支持通过 skip.header.line.count 和 skip.footer.line.count，对CSV格式文件的数据的首尾行进行跳过处理，即不处理CSV格式...
log_fdw
您可以通过log_fdw插件来查询CSV格式的数据库日志。前提条件 PolarDB PostgreSQL版（兼容Oracle）默认不产生CSV格式的数据库日志，需要将GUC参数 log_destination 的值修改为 csvlog。背景信息 log_fdw插件提供如下两个函数，帮助您查询...
CreateDataImportOrder-创建数据导入工单
创建数据导入工单。接口说明 仅管控模式为安全协同的数据库实例可调用此 API。关于该功能的更多说明，请参见 数据导入。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成...
DMS导出数据到CSV文件
本文介绍如何通过DMS导出数据到CSV文件。检查源数据 在DMS中，查询中文显示正常，如下图。查看表的字符集 显示表的创建语句命令如下：show create table<表名>;创建导出任务 在DMS中，选择 数据库开发>数据导出>数据库导出。选择 数据库...
DMS导出数据到CSV文件
本文介绍如何通过DMS导出数据到CSV文件。检查源数据 在DMS中，查询中文显示正常，如下图。查看表的字符集 显示表的创建语句命令如下：show create table<表名>;创建导出任务 在DMS中，选择 数据库开发>数据导出>数据库导出。选择 数据库...
DMS导出数据到CSV文件
本文介绍如何通过DMS导出数据到CSV文件。检查源数据 在DMS中，查询中文显示正常，如下图。查看表的字符集 显示表的创建语句命令如下：show create table<表名>;创建导出任务 在DMS中，选择 数据库开发>数据导出>数据库导出。选择 数据库...
log_fdw
您可以通过log_fdw插件来查询CSV格式的数据库日志。前提条件 PolarDB PostgreSQL版（兼容Oracle）默认不产生CSV格式的数据库日志，需要将GUC参数 log_destination 的值修改为 csvlog。背景信息 log_fdw插件提供如下两个函数，帮助您查询...
log_fdw
您可以通过log_fdw插件来查询CSV格式的数据库日志。前提条件 PolarDB PostgreSQL版（兼容Oracle）默认不产生CSV格式的数据库日志，需要将GUC参数 log_destination 的值修改为 csvlog。背景信息 log_fdw插件提供如下两个函数，帮助您查询...
将Excel的数据导入数据库
操作步骤 将Excel文件另存为.csv格式，并将中文或不符合数据库要求的列名修改为英文。说明 如果您的数据没有唯一的ID列，建议在最前方添加一列作为主键，便于以后进行存储和查询。通过DMS登录RDS数据库。选择目标数据库，在 SQLConsole 中...
数据下载
在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
log_fdw
您可以通过log_fdw插件来查询CSV格式的数据库日志。前提条件 PolarDB PostgreSQL版 默认不产生CSV格式的数据库日志，需要将GUC参数 log_destination 的值修改为 csvlog。支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小...
HBase Thrift Server
本文为您介绍HBase Thrift Server，以及通过示例介绍如何访问EMR HBase集群。背景信息 Thrift是一个可伸缩，跨语言服务RPC框架，集成了强大的软件堆栈及代码生成引擎，使得各种语言做到无障碍，高效通信，目前支持C++、Java、Python、PHP、...
上传本地文件
物联网平台提供上传本地文件的功能，导入本地数据到物联网平台数据服务的自定义存储表，用于分析洞察、数据应用或作为IoT孪生引擎的数据源。本文介绍如何上传本地数据。前提条件 已购买物联网平台的企业版实例，具体操作，请参见 购买企业...
导出和导入安全组规则
CSV格式 CSV文件命名规则示例为：ecs_sgRule_${groupID}_${region_id}_${time}.csv 假设 regionID 是 cn-qingdao ，groupID 是 sg-123，time 是 2020-01-20，导出的CSV文件名称则是 ecs_sgRule_sg-123_cn-qingdao_2020-01-20.csv。...
5.6/5.7/8.0版功能对比
✔️ 本地资源自动变配（秒级扩核）✔️ 增加或删除节点 ✔️ 临时升配 ✔️ 历史库单节点版升级为历史库集群版 ❌ 冷数据归档 功能 集群版 开启冷数据归档 ❌ 归档为CSV或ORC格式 ❌ 生命周期管理（DLM）❌ 高可用 功能 集群版 多可用区...
处理数据
本文档为您介绍如何将CSV格式的文件处理成JSON格式的数据。等值面组件需要的数据格式如下图所示。您需要对数据做进一步的加工处理，让其更符合DataV的数据规范。裁剪面：研究区域的边界数据。这里是全国区域，是一个GeoJSON格式的数据。...
PAI-TF数据转换方法
为了满足模型训练对数据格式的要求，确保数据能够以最适合的方式输入给模型，从而提升模型训练效果和整体训练效率，需要将原始数据转换为适合模型训练的格式。本文为您介绍PAI-TF数据转换方法。警告 公共云GPU服务器即将过保下线，您可以...
COPY
本文为您介绍在Hologres中如何使用COPY命令进行数据导入与导出。使用限制 使用COPY命令的限制说明如下：如果导入的是分区表数据，则Hologres只支持导入数据至分区表子表，不支持导入数据至分区表父表。在v1.1.43+版本中，当使用 COPY FROM ...
基于OSS外表的单表多文件查询
一般情况下，OSS外表存储的数据是冷数据，数据量比较大，当单个CSV格式的数据文件过大时，对其进行查询会非常耗时。因此 PolarDB 支持单表多文件查询功能，您可以将单个OSS外表的数据文件拆分为多个小的数据文件，以加快查询速度。本文介绍...
创建Redis表并读取数据
创建CSV格式表 针对Redis中CSV格式的数据，本示例在 DMS for Data Lake Analytics 中创建表dla_person_csv。CREATE EXTERNAL TABLE dla_person_csv(id int,name varchar,age int)TBLPROPERTIES(COLUMN_MAPPING='id,0;name,1;age,2',TABLE_...
迁移指南
另存为Delta表 将数据读入DataFrame并将其保存为以下delta格式的新目录：Python%pyspark data=spark.read.parquet("/data-pipeline")data.write.format("delta").save("/mnt/delta/data-pipeline/")创建一个Delta表events，该表引用Delta ...
COPY
FORMAT 选择要读取或者写入的数据格式：text、csv（逗号分隔值）或者 binary。默认是 text。FREEZE 请求复制已经完成了行冻结的数据，就好像在运行 VACUUM FREEZE 命令之后复制。这是为了初始数据载入的性能而设计的。只有被载入表已经在...
Python使用说明
E-MapReduce使用的Python 3版本为Python 3.6.4。支持Python 3.6.4 EMR-2.10.0及后续版本和EMR-3.10.0及后续版本，支持Python 3.6.4。Python文件安装目录为/usr/bin/python3.6。EMR-2.10.0和EMR-3.10.0之前版本默认不支持Python 3版本，您...
0016-00000816
当您查询的目标对象类型为CSV，可以通过AllowQuotedRecordDelimiter参数指定CSV内容是否包含引号中的换行符。当AllowQuotedRecordDelimiter参数取值为false时，SelectObject支持添加Range请求头，实现更高效的分片查询。POST/oss-select/...
配置本地文件输入组件
本地文件输入组件可用于将本地文件的TXT、excel、CSV格式的数据。同步至其他数据源的场景中。本文为您介绍如何配置本地文件输入组件。使用限制 仅支持手动任务配置本地文件输入组件。操作步骤 请参见，进入离线管道组件开发页面。按照下图...
配置本地文件输入组件
本地文件输入组件可用于将本地文件的TXT、excel、CSV格式的数据。同步至其他数据源的场景中。本文为您介绍如何配置本地文件输入组件。使用限制 仅支持手动任务配置本地文件输入组件。操作步骤 请参见 离线管道组件开发入口，进入离线管道...
OSS投递（新版）
文件格式 数据被投递到OSS后，支持存储为CSV、JSON、Parquet、ORC四种文件格式。更多信息，请参见 JSON格式、CSV格式、Parquet格式 和 ORC格式。压缩方式 支持snappy、gzip、zstd三种压缩方式以及不压缩。OSS Bucket 只支持投递给已存在且...
配置Python开发环境
MaxCompute Studio支持您在IntelliJ IDEA中完成Python开发，例如UDF和PyODPS脚本。本文为您介绍如何配置Python开发环境。安装PyODPS 您需要在本地安装PyODPS。PyODPS是MaxCompute的Python SDK，安装的操作详情请参见 安装PyODPS。运行...
导入阿里邮箱通讯录错误或导入不完整
问题描述 当使用阿里邮箱Webmail时，将CSV格式的文件导入企业通讯录，存在页面显示导入操作成功，然而实际上只有部分内容被成功的导入的情况。问题原因 CSV文件的格式存在错误。解决方案 1、请参考以下关于CSV文件格式的注意事项，排查您的...
稳定性说明与使用限制
文件格式 数据被投递到OSS后，支持存储为CSV、JSON、Parquet、ORC四种文件格式。更多信息，请参见 JSON格式、CSV格式、Parquet格式 和 ORC格式。压缩方式 支持snappy、gzip、zstd三种压缩方式以及不压缩。OSS Bucket 控制台界面原则上只...
账单导出能力升级公告
2、升级影响：2.1账单导出文件的影响 导出的账单格式 账单获取渠道 现状 升级后 csv格式 在用户中心控制台导出。30万行一个文件，如果文件数量大于1个则生成一个zip压缩包；否则直接输出csv格式的账单文件。1、总数据量小于阈值：维持现状...
媒资数据导出
根据导出任务的媒资类型、时间段及媒资数量，处理导出任务的时间可能会稍长，请您耐心等候，待状态显示为 导出成功 后，单击 下载，将CSV格式的媒资数据信息汇总文件导出到本地。后续步骤 导出过程中，可以取消导出任务；导出任务完成后，...
通过外表导入至数仓版
本文介绍如何通过外表查询OSS数据...不带分区的数据文件创建OSS外表 创建OSS CSV格式外表 语法如下：CREATE TABLE IF NOT EXISTS oss_import_test_external_table(uid string,other string)ENGINE='OSS' TABLE_PROPERTIES='{"endpoint":"oss-...
Dataphin管道任务从本地CSV文件读取汉字显示乱码
产品名称 Dataphin 产品模块 数据集成 概述 本文描述管道任务中从本地CSV文件读取汉字乱码的原因及应对方法。问题描述 数据集成CSV(UTF-8)文件导入HIVE，预览时中文出现乱码。问题原因 因为CSV文件格式是UTF-8。解决方案 需要将CSV文件格式...
通过Copy命令迁移
本文介绍通过 Copy命令 数据的方法。操作步骤：从源集群导出数据到csv文件：连接源集群，在cqlsh中执行如下语句：COPY table_name[(column_list)]TO 'file_name'[,'file2_name',.];语句执行完成后，数据被导出到语句中指定的文件中。2.将...
外部表
本文将为您介绍如何通过DataWorks创建、配置外部表，以及外部表支持的字段类型。外部表概述 使用外部表前，您需要了解下表中的定义。名称 描述 对象存储OSS 提供标准、低频、归档存储类型，能够覆盖不同的存储场景。同时，OSS能够与Hadoop...
HttpFile数据源
否 无 skipHeader 类CSV格式文件可能存在表头为标题情况，同步数据时可选择是否需要跳过表头（即不同步表头数据）。true：跳过。false：不跳过。压缩文件模式下不支持 skipHeader 参数。常见的文件压缩格式为 gzip、bzip2 和 zip。否 false...
Data Exchange数据集用于数据标注
用户可以利用Data Exchange来创建数据集，或者将从云市场订阅的数据集转存为个人数据集。本文介绍通过Data Exchange数据应用功能，扫描和解析数据集文件，生成图片/视频/音频或文本标注所需的manifest文件，从而便于在PAI-iTAG中进行数据...
Quick BI v4.5版本说明
发布日期 2022年11月8日 重点升级概览 自助取数模块优化 支持导出csv格式。支出导出带部分格式。支持按指标筛选内容自由筛选。仪表板创建取数支持预览。数据面板/样式面板升级，支持浅色主题。体验优化 品牌色/主题色-新增&微调。企业门户...
什么是消息解析
物联网平台定义设备消息的标准数据格式为Alink JSON。对于低配置且资源受限或者对网络流量有要求的设备，不适合直接构造JSON数据与物联网平台通信，可将原数据透传到物联网平台。物联网平台提供消息解析功能，可以根据您提交的脚本，将消息...
- 产品推荐
- 这些文档可能帮助您