整库离线同步至Elasticsearch
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
MySQL分库分表同步至Hologres（方案1.0）
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。本实践中创建的数据源名为 doc_mysql1，详情请参见 配置MySQL数据源、配置Hologres数据源。说明 数据源相关能力介绍详情请...
迁移场景
更多信息，请参见 Make/CMake构建文件 和 C/C++语言迁移。解释型语言：以Java/Python为代表的解释型语言，这些语言源代码编译文件与架构无关，理论上可以跨架构运行。但是，如果解释型语言引入了本地库，比如Java应用通过JNI调用了C开发的...
时序数据存储概述
相关概念 名词 说明 时序数据存储IOPS 每秒写入和读取的所有数据的行数之和。说明 一个属性、服务或事件计为一行数据。一条消息中可能包含多个属性、服务或事件，会产生多行数据。每个实例默认赠送IOPS为100，您可在购买或升配实例时，选择...
配置Kafka输出
例如，列配置为col1、col2和col3，源端某记录这三列的值为a、b和c，写入模式配置为 text、列分隔符配置为#时，对应写入Kafka的记录Value为字符串 a#b#c；写入模式配置为 JSON 时，写入Kafka的记录Value为字符串 {"col1":"a","col2":"b",...
管理接入点
取值：nas:ClientMount：支持挂载文件系统和读取数据。nas:ClientWrite：支持写数据。不单独使用，需要同时授权ClientMount以支持文件系统挂载和读写。nas:ClientRootAccess：允许使用root账号访问。如果没有授权该操作，以root用户身份...
Java SDK快速入门
通过 表格存储 Java SDK使用 表格存储 宽表模型或者时序模型时，您需要先创建表，然后写入数据到表中以及读取表中数据。本文介绍如何快速使用宽表模型和时序模型。背景信息 表格存储 提供了宽表模型、时序模型、消息模型等多种数据模型，...
队列（MessageQueue）
取值：由服务端定义，枚举值如下 6：读写状态，当前队列同时允许写入消息和读取消息操作。4：只读状态，当前队列只允许读取历史消息，不允许向队列写入新的消息。2：只写状态，当前队列只允许写入新消息，不允许读取消息。0：不可读写状态...
配置Kafka输出组件
配置Kafka输出组件，可以将外部数据库中读取数据写入到Kafka，或从大数据平台对接的存储系统中将数据复制推送至Kafka，进行数据整合和再加工。本文为您介绍如何配置Kafka输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道...
配置Kafka输出组件
配置Kafka输出组件，可以将外部数据库中读取数据写入到Kafka，或从大数据平台对接的存储系统中将数据复制推送至Kafka，进行数据整合和再加工。本文为您介绍如何配置Kafka输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道...
HDFS数据源
HDFS是一个分布式文件系统，为您提供读取和写入HDFS双向通道的功能，本文为您介绍DataWorks的HDFS数据同步的能力支持情况。支持的版本 目前不支持阿里云文件存储HDFS版。使用限制 离线读 使用HDFS Reader时，请注意以下事项：由于连通默认...
数据源资产详情
② 资产详情 为您展示数据源的 读取任务 和 写入任务：在 读取任务 页签，您可以查看读取的 任务名称、任务类型、来源表、目标表、目标数据源/项目/板块、创建人 信息。在 写入任务 页签，您可以查看写入的 任务名称、任务类型、来源数据源...
数据源资产详情
② 资产详情 为您展示数据源的 读取任务 和 写入任务：在 读取任务 页签，您可以查看读取的 任务名称、任务类型、来源表、目标表、目标数据源/项目/板块、创建人 信息。在 写入任务 页签，您可以查看写入的 任务名称、任务类型、来源数据源...
通过向导模式配置离线同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
产品优势
支持流式写入和读取。适合视频等大文件的同步读写业务场景。支持数据生命周期管理。您可以通过设置生命周期规则，将到期数据批量删除或者转储为更低成本的低频访问、归档存储、冷归档存储或者深度冷归档存储。存储受硬盘容量限制，需人工扩...
使用DataWorks
选择数据来源和数据去向后，需要指定读取端和写入端列的映射关系，配置字段映射关系后，任务将根据字段映射关系，将源端字段写入目标端对应类型的字段中。具体操作请参见 配置字段映射关系。配置通道控制。您可通过通道配置，控制数据同步...
通过脚本模式配置离线同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
查看资源和引擎监控
InnoDB读写量 InnoDB每秒读取和写入的数据量，单位：KB。InnoDB缓存请求次数 InnoDB每秒钟的读取和写入的次数。InnoDB日志读/写/fsync InnoDB每秒向日志文件的物理写入次数、日志写请求、向日志文件完成的fsync写数量。临时表数量 数据库...
inventory（清单）
添加清单规则 添加清单规则步骤如下：生成RAM角色，该角色需拥有读取源Bucket所有文件和向目标Bucket写入文件的权限。配置角色的步骤请参见 创建可信实体为阿里云服务的RAM角色。创建本地文件，并在文件中配置XML格式的清单规则。ossutil先...
文件
文件类WVFile的JSAPI提供写入、读取文件内容、获取文件信息、文件下载、文件上传的相关能力。WVFile.write 将指定的文件内容写入磁盘。输入参数[string]mode：写入文件的模式。write：表示写文件，若文件不存在则创建文件，若文件已存在则...
Redis数据源
Writer脚本Demo 以下以读取MySQL数据并写入Redis为例，为您示例读取端MySQL Reader和写入端Redis Writer的脚本代码样例。写入Redis的数据同步作业。{"type":"job","version":"2.0",/版本号"steps":[{/以下为读取端代码样例，读取端的参数...
数据库
RelCacheInitLock 正等待读取或者写入关系缓冲区初始化文件。CheckpointerCommLock 正等待管理 fsync 请求。TwoPhaseStateLock 正等待读取或者更新预备事务的状态。TablespaceCreateLock 正等待创建或者删除表空间。BtreeVacuumLock 正等待...
数据库
RelCacheInitLock 正等待读取或者写入关系缓冲区初始化文件。CheckpointerCommLock 正等待管理 fsync 请求。TwoPhaseStateLock 正等待读取或者更新预备事务的状态。TablespaceCreateLock 正等待创建或者删除表空间。BtreeVacuumLock 正等待...
使用写入高可用特性
数据缓冲后将进行批量发送，避免小批次数据频繁写入集群，从而提升了CPU使用率和写入性能。数据回放：当集群丢失部分数据时，可通过数据回放恢复丢失的数据。流量控制：限制数据流量，避免在异常情况下，过大的流量导致集群服务不可用。...
局部事务
具体操作，请参见 写入数据、读取数据 和 删除数据。说明 当前局部事务范围在一个分区键值内。关于分区键的更多信息，请参见 分区键。使用方式 使用局部事务时，您需要先创建数据范围在一个分区键值内的局部事务，然后对局部事务中的数据...
指标含义与异常处理建议
95%Elasticsearch会为集群中的每个索引强制设置 read_only_allow_delete 属性，此时索引将无法写入数据，只能读取和删除。重要 强烈建议您配置该监控指标，以便在发生报警时，及时扩容磁盘和节点或清理索引数据等，避免影响集群服务。节点...
macOS客户端通过VPN访问SMB协议文件系统
而阿里云NAS SMB协议文件系统支持基于AD域的用户身份认证和文件系统级别的权限访问控制。您可以通过以下步骤控制不同用户访问SMB协议文件系统的权限。搭建AD域。具体操作，请参见 使用Windows实例搭建AD域。建立SMB协议文件系统挂载点与AD...
进程监控
在 进程监控 页面，您可以查看拉取进程和写入进程的监控信息，并针对不同状态下的进程进行不同操作。查看进程监控数据 拉取进程监控 在 拉取进程监控 页签下，默认展示所有拉取进程列表及其监控数据。您可以通过切换地域类型，选择数据库...
Beam概述（公测）
Beam自研存储引擎采用统一的存储设计（行存Detla和PAX结构的列存Base），既能够承载OLTP的高并发读写负载，也能够应对OLAP的批量写入和大量扫描场景。Beam是 AnalyticDB PostgreSQL版 基于PostgreSQL 12的Table Access Method开发的下一代...
管理文件访问权限
oss.ACLDefault 私有 文件的拥有者和授权用户有该文件的读写权限，其他用户没有权限操作该文件。oss.ACLPrivate 公共读 文件的拥有者和授权用户有该文件的读写权限，其他用户只有文件的读权限。请谨慎使用该权限。oss.ACLPublicRead 公共...
挂载ConfigFile数据卷
rw-有读取和写入权限，八进制值为6。rwx：具有读取、写入和执行权限，八进制值为7。Volume.N.ConfigFileVolume.ConfigFileToPath.N.Mode Integer 0644 配置文件的权限，如果没有设置，则采用ConfigFileVolume.DefaultMode的值。采用四位八...
高性能
阿里云Elasticsearch基于开源引擎，在多个场景下，提供各类写入和查询性能优化功能，在提升集群整体写入和查询能力的同时，实现了成本优化。本文介绍阿里云Elasticsearch在性能方面做的优化及提供的功能。内核性能优化 阿里云Elasticsearch...
新功能发布记录
2022-04-01 全部 NFS文件系统传输加密 SMB文件系统传输加密 容量监控 通用型NAS支持容量监控，通过云监控服务可实时监控文件系统实例的存储概况，包括通用型NAS数据量（不含低频介质）、低频介质数据量和文件数。2022-03-15 华东2（上海）...
COPY
带一个文件名的 COPY 指示 PolarDB服务器直接从一个文件读取或者写入到一个文件。该文件必须是 PolarDB用户（运行服务器的用户 ID）可访问的并且应该以服务器的视角来指定其名称。当指定了 PROGRAM 时，服务器执行给定的命令并且从该程序的...
查看NAS容量监控
通过容量监控功能，您可以实时查看通用型NAS存储空间中通用型NAS数据量和低频介质数据量以及低频读写数据流量和文件数。本文介绍如何查看通用型NAS的容量监控数据。前提条件 已创建NAS文件系统。具体操作，请参见 创建文件系统。已开通云...
数据源概述
说明 数据同步基于数据源控制任务读写端数据库，您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，以便在同步过程中，可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。...
如何选择合适的文件系统？
阿里云 文件存储 NAS 和文件存储CPFS 提供各种类型的文件系统，您可以根据业务负载选择其中一种或几种文件系统，为业务负载提供必要的可靠性、安全性和持续性。适用的业务场景 通用性能型 NAS：Linux/Windows企业应用、容器...
存储层弹性
新节点Shard日志追平，开始接入新的写入和查询。旧节点Shard采用优雅停方式，待已有的查询结束后下线并清理。EIU扩容具有如下特点：根据业务需要，可随时增加和收缩EIU资源。增加或收缩EIU资源对业务透明，无需停机，不影响读写。
Linux实例在修改文件时遇到“Read-only file system*...
该实例的/etc/fstab 文件中的根文件系统/未配置挂载，导致重启实例后，根文件系统/会被默认为只读挂载 ro，使系统或进程因无法正常写入文件，导致实例启动失败或系统服务无法正常运行。解决方案 修改/etc/fstab中文件系统挂载选项 使用VNC...
EFC加速NAS或CPFS文件访问
文件写入可以立即被其他客户端读取；新文件创建出来后，就可以立即让所有的其他客户端同步访问到，便于您在多节点间管理数据。端上单机读写缓存能力：优化了FUSE的缓存逻辑，利用计算节点上的少量内存，提供了更好的小文件读写性能。相比于...
- 产品推荐
- 这些文档可能帮助您