访问NAS示例
本文提供写入和读取NAS文件的函数代码示例。前提条件 配置NAS文件系统 创建函数 创建写入NAS文件的函数 登录 函数计算控制台，在左侧导航栏，单击 服务及函数。在顶部菜单栏，选择地域，然后在 服务列表 页面，单击目标服务。在 函数管理 ...
Page Cache限制功能
映射文件页允许进程通过访问内存的方式来读取和写入文件数据，从而实现了文件的随机访问。脏页：脏页是指映射文件页中已经被修改过的页。当进程对映射文件页进行写入时，相应的页会被标记为脏页。这表示文件在内存中的副本已经与磁盘上的...
MySQL分库分表同步至Hologres（方案2.0）
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。本实践中创建的数据源名为 doc_mysql1，详情请参见 配置MySQL数据源、配置Hologres数据源。说明 数据源相关能力介绍详情请...
时序数据存储概述
相关概念 名词 说明 时序数据存储IOPS 每秒写入和读取的所有数据的行数之和。说明 一个属性、服务或事件计为一行数据。一条消息中可能包含多个属性、服务或事件，会产生多行数据。每个实例默认赠送IOPS为100，您可在购买或升配实例时，选择...
FS-文件系统
'r+'：打开文件用于读取和写入。如果文件不存在，则会发生异常。'w'（默认）：打开文件用于写入。如果文件不存在则创建文件，如果文件存在则截断文件。'w+'：打开文件用于读取和写入。如果文件不存在则创建文件，如果文件存在则截断文件。...
EFC加速NAS或CPFS文件访问
相比于内核态NFS v3、v4.x客户端和其他基于开源FUSE的客户端，EFC有以下优势：强一致的语义：EFC通过强一致的分布式锁机制实现文件和目录的强一致；文件写入可以立即被其他客户端读取；新文件创建出来后，就可以立即让所有的其他客户端同步...
通过向导模式配置离线同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
数据源资产详情
② 资产详情 为您展示数据源的 读取任务 和 写入任务：在 读取任务 页签，您可以查看读取的 任务名称、任务类型、来源表、目标表、目标数据源/项目/板块、创建人 信息。在 写入任务 页签，您可以查看写入的 任务名称、任务类型、来源数据源...
数据源资产详情
② 资产详情 为您展示数据源的 读取任务 和 写入任务：在 读取任务 页签，您可以查看读取的 任务名称、任务类型、来源表、目标表、目标数据源/项目/板块、创建人 信息。在 写入任务 页签，您可以查看写入的 任务名称、任务类型、来源数据源...
通过脚本模式配置离线同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
整库离线同步至OSS
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步解决方案支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 ...
HDFS数据源
HDFS是一个分布式文件系统，为您提供读取和写入HDFS双向通道的功能，本文为您介绍DataWorks的HDFS数据同步的能力支持情况。支持的版本 目前不支持阿里云文件存储HDFS版。使用限制 离线读 使用HDFS Reader时，请注意以下事项：由于连通默认...
OSS-HDFS数据源
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品，OSS-HDFS数据源为您提供读取和写入OSS-HDFS的双向通道，本文为您介绍DataWorks的OSS-HDFS数据同步的能力支持情况。使用限制 离线读 使用OSS-HDFS Reader时，请注意以下事项：由于...
指标含义与异常处理建议
95%Elasticsearch会为集群中的每个索引强制设置 read_only_allow_delete 属性，此时索引将无法写入数据，只能读取和删除。重要 强烈建议您配置该监控指标，以便在发生报警时，及时扩容磁盘和节点或清理索引数据等，避免影响集群服务。节点...
OSS数据源
OSS数据源为您提供读取和写入OSS的双向通道，本文为您介绍DataWorks的OSS数据同步的能力支持情况。支持的字段类型与使用限制 离线读 OSS Reader实现了从OSS读取数据并转为数据集成协议的功能，OSS本身是无结构化数据存储。对于数据集成而言...
FTP数据源
FTP数据源为您提供读取和写入FTP双向通道的功能，本文为您介绍DataWorks的FTP数据同步的能力支持情况。使用限制 FTP Reader实现了从远程FTP文件读取数据并转为数据同步协议的功能，远程FTP文件本身是无结构化数据存储。对于数据同步而言，...
使用PHP上传程序配置网页上的文件上传功能
如果您想在自己的网站页面实现文件上传功能，本文为您介绍通过PHP上传程序配置网页上的文件上传功能的方法。前提条件 已安装FileZilla客户端。您可以单击 FileZilla官网 下载FileZilla客户端。说明 本文以FileZilla 3.59.1版本为例，请您以...
使用oss_fdw读写外部数据文本文件
说明 目前oss_fdw支持读取和写入OSS中文件的格式为：text/csv、gzip格式的text/csv文件。oss_fdw各参数的值需使用双引号（""）引起来，且不含无用空格。CREATE SERVER 参数 ossendpoint：是内网访问OSS的地址，也称为host。id oss：账号ID...
读写外部数据文本文件（oss_fdw）
compressiontype 设置读取和写入OSS上文件的格式：none：默认的文件类型，即没有压缩的文本格式。gzip：读取文件的格式为gzip压缩格式。compressionlevel 设置写入OSS的压缩格式的压缩等级，范围1到9，默认为6。说明 filepath和dir需要在...
Logtail配置
通过在创建Logtail配置时设置数据源、采集模式等参数，实现定制化的采集策略。本文介绍API模式下Logtail配置相关的参数说明。Logtail配置基础参数说明 参数名称 数据类型 是否必填 示例值 描述 configName string 是 config-sample Logtail...
消息队列Kafka
仅支持读取和写入Apache Kafka 0.11及以上版本的数据。仅支持Apache Kafka 2.8版本的客户端配置项，详情请参见Apache Kafka 消费者 和 生产者 配置项文档。CREATE TABLE AS（CTAS）的使用 仅Flink计算引擎vvr-4.0.12-flink-1.13及以上版本...
数据写入方式概述
云原生数据仓库AnalyticDB PostgreSQL版 提供多种数据写入和加载方式，包括INSERT语句、COPY命令、OSS外表的并行写入和使用Client SDK写入四种方式。其中INSERT语句和COPY命令的写入数据均通过Master节点，INSERT语句每秒支持3 MB的数据...
对象存储OSS
类别 详情 支持类型 源表和结果表 运行模式 批模式和流模式 数据格式 Orc、Parquet、Avro、Csv、JSON和Raw 说明 仅实时计算引擎VVR 6.0.7及以上版本支持读取Parquet格式的数据。特有监控指标 暂无 API种类 Datastream和SQL 是否支持更新或...
通过ASM实现gRPC链路追踪
Java语言读取和写入Headers是通过两个拦截器分别实现的，因此propagate Headers无法在一个顺序的流程里实现，且考虑到并发因素，以及只有读取拦截器知道链路追踪的唯一ID，所以无法通过最直觉的缓存方式搭建两个拦截器的桥梁。Java语言的...
通过ASM实现gRPC链路追踪
Java语言读取和写入Headers是通过两个拦截器分别实现的，因此propagate Headers无法在一个顺序的流程里实现，且考虑到并发因素，以及只有读取拦截器知道链路追踪的唯一ID，所以无法通过最直觉的缓存方式搭建两个拦截器的桥梁。Java语言的...
导入OSS数据
采用OSS元数据索引后，可以在秒级内发现OSS Bucket中的新文件，实现近实时导入Bucket中新写入文件的数据。在使用OSS元数据索引前，需先在OSS侧开通OSS元数据索引管理功能。具体操作，请参见 数据索引。当选择 数据格式 为 CSV 或 跨行文本...
导入Amazon S3文件
如果目标S3文件路径中不再产生新文件，请修改为 永不检查，即导入任务读取完所有符合条件的文件后，将自动退出。日志时间配置 时间字段 当选择 数据格式 为 CSV、单行JSON 时，您可以设置一个时间字段，即设置为文件中代表时间的列名，用于...
应用场景
图片和音视频等应用的海量存储 OSS可用于图片、音视频、日志等海量文件的存储。各种终端设备、Web网站程序、移动应用可以直接向OSS写入或读取数据。OSS支持流式写入和文件写入两种方式。网页或者移动应用的静态和动态资源分离 利用海量...
查看资源和引擎监控
InnoDB读写量 InnoDB每秒读取和写入的数据量，单位：KB。InnoDB缓存请求次数 InnoDB每秒钟的读取和写入的次数。InnoDB日志读/写/fsync InnoDB每秒向日志文件的物理写入次数、日志写请求、向日志文件完成的fsync写数量。临时表数量 数据库...
inventory（清单）
添加清单规则 添加清单规则步骤如下：生成RAM角色，该角色需拥有读取源Bucket所有文件和向目标Bucket写入文件的权限。配置角色的步骤请参见 创建可信实体为阿里云服务的RAM角色。创建本地文件，并在文件中配置XML格式的清单规则。ossutil先...
通过OSS SDK接入开源生态
通过CDH5 Hadoop读取和写入OSS数据 通过配置CDH5实现读写OSS数据。Spark使用OSS Select加速数据查询 通过CDH集成Spark与OSS存储服务，加速数据查询。Apache Impala（CDH6）查询OSS数据 通过配置CDH6环境下的Hadoop、Hive、Spark、Impala等...
Flume插件
产品介绍 Flume-DataHub插件是基于Flume开发的DataHub数据订阅/发布插件，可以将采集到的数据写入DataHub，也可以从DataHub读取数据写入其他系统。该插件遵守Flume插件开发规范，安装方便，可以很方便的向DataHub发布/订阅数据。产品安装 ...
Hudi
同时该框架还支持自动管理及合并小文件，保持指定的文件大小，从而在处理数据插入和更新时，不会创建过多的小文件，引发查询端性能降低，避免手动监控和合并小文件的运维负担。详情请参见 Apache Hudi。类别 详情 支持类型 源表和结果表 ...
上传本地文件到ECS实例
您可以将本地的文件（例如配置文件、脚本等），通过云助手上传到ECS实例。前提条件 ECS实例的状态必须为 运行中（Running）。待上传的文件大小不能超过24 KB。如果您需要上传大于24 KB的文件，建议您通过其他方式上传。详细信息，请参见 ...
表版本控制
较低版本的Databricks Runtime可能无法读取和写入由较高版本的Databricks Runtime写入的数据。如果您尝试使用太低的Databricks Runtime版本来读取和写入表，则会收到一条错误消息，提示您需要升级。创建表时，Delta Lake将根据表特征（例如...
使用OSS外表高速导入OSS数据
TEXT和CSV格式说明 下列几个参数可以在外表DDL参数中指定，用于规定读写OSS的文件格式：TEXT和CSV行分割符号是，也就是换行符。DELIMITER用于定义列的分割符：当用户数据中包括DELIMITER时，则需要和QUOTE参数一同使用。推荐的列分割符有,...
对象存储OSS
OSS和搜索引擎或数据库结合使用可用于精确定位和检索OSS中的文件。为了提升远距离大文件的上传下载体验，满足文件动态更新、非热点文件的下载加速需求，OSS还提供 传输加速功能，通过智能调度的系统、优化的传输链路、调优的协议栈与传输...
OSS存储读写分离最佳实践
通过读写分离优化ossfs数据读取速度 下文以手写图像识别训练应用和OSS SDK为例，介绍如何改造应用实现读写分离。在容器环境中安装SDK，可在构建镜像时，增加以下内容。具体操作，请参见 Python安装。RUN pip install oss2 参考OSS的官方...
远程文件系统
本文主要介绍远程文件系统如何创建及执行数据迁移任务，实现数据从数据源端读取后存入闪电立方本地NAS中。警告 如果迁移过程中设备断网或断电，可能会出现迁移数据遗漏的情况，请谨慎操作。创建迁移任务 一、检查是否有迁移进程存在 输入 ...
远程文件系统
本文主要介绍远程文件系统如何创建及执行数据迁移任务，实现数据从数据源端读取后存入闪电立方本地NAS中。警告 如果迁移过程中设备断网或断电，可能会出现迁移数据遗漏的情况，请谨慎操作。创建迁移任务 一、检查是否有迁移进程存在 输入 ...
- 产品推荐
- 这些文档可能帮助您