Tablestore Stream配置同步任务
说明 Tablestore Stream配置同步任务时，请注意以下问题：如果配置任务为日调度，您可以读取当前时间24小时以内的数据，但会丢失当前时间前5分钟的数据。建议您配置任务为小时调度。设置的结束时间不能超过系统显示的时间，即您设置的结束...
配置Kafka输入组件
配置Kafka输入组件后，可以将kafka数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置Kafka输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Kafka数据源。具体操作，...
配置Kafka输入组件
配置Kafka输入组件后，可以将kafka数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置Kafka输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Kafka数据源。具体操作，...
管理时间同步服务
sudo chronyc tracking 返回信息示例如下：NTP服务 执行以下命令可以获取已配置的NTP服务器以及对应的状态指标，其中偏移量 offset 可以大致表示本地时间和服务器时间的差异。sudo ntpq-p 返回信息示例如下：查看时间同步服务器地址确认...
资产中心总览
以下是Agent客户端安装率和在线率的计算方法：安装率=已安装客户端服务器数量/服务器总数量 最新安装率=当前时间已安装客户端服务器数量/服务器总数量 在线率=客户端在线的服务器数量/已安装客户端的服务器数量 最新在线率=当前时间客户端...
高级配置：内存缓存本地目录
在大部分模型推理场景中，业务进程通过OSS或NAS将模型文件挂载到本地目录，进行模型读取、模型切换以及容器的扩缩容等操作时，会受网络带宽的影响，存在较大的延时问题。为了解决这个问题，EAS 提供了本地目录内存缓存加速的功能。通过将...
数据操作
创建数据表后，您可以通过命令行工具在数据表中插入新数据、更新一行数据、读取数据...import-i/tmp/mydata.json 示例2 以下示例用于导入mydata.json文件的数据到当前表，且使用当前时间作为时间戳。import-i/tmp/mydata.json-ignore_version
Postgres CDC（公测中）
Postgres CDC可用于依次读取PostgreSQL数据库全量快照数据和变更数据，保证不多读一条也不少读一条数据。即使发生故障，也能采用Exactly Once方式处理。本文为您介绍如何使用Postgres CDC连接器。背景信息 Postgres CDC连接器支持的信息...
日志类型
12 read_avg_delay 时间窗口内平均每次读取日志数据时，当前偏移量与文件大小差值的平均值。65 read_count 时间窗口内日志读取次数。10 read_offset 当前读取到文件偏移位置，单位：字节。12345 regex_match_failures 正则表达式匹配失败...
Linux系统CPU使用率和负载高排查方法
第一行：显示的内容 17:27:13 up 27 days,3:13,1 user,load average:0.02,0.03,0.05，依次为系统当前时间、系统到目前为止已运行的时间、当前登录系统的用户数量、系统负载。第三行：显示当前CPU资源的总体使用情况，下方会显示各个进程的...
创建VMware无代理迁移任务
重要 预约执行时间最早可设置为当前时间后10分钟。只创建：仅创建迁移任务，需要手动启动迁移任务。默认值：立即执行。迁移任务标签 为迁移任务绑定标签键值，便于查询与管理迁移任务。更多信息，请参见 使用标签管理迁移源和迁移任务。...
创建服务器迁移任务
说明 预约执行时间最早可设置为当前时间后10分钟。只创建：仅创建迁移任务，需要手动启动迁移任务。专家模式（可选）网络模式 传输迁移数据到中转实例使用的网络。中转实例会被创建在所选专有网络（VPC）、交换机（vSwitch）下，因此中转...
各源环境迁移至阿里云
说明 预约执行时间最早可设置为当前时间后10分钟。只创建：仅创建迁移任务，需要手动启动迁移任务。专家模式（可选）网络模式 传输迁移数据到中转实例使用的网络。中转实例会被创建在所选专有网络（VPC）、交换机（vSwitch）下，因此中转...
流表
本文介绍流表的使用方法及示例。概述 流表：流表用于存储随时间发生的事件，仅支持插入数据，...指定历史时间读取数据 SELECT/*+OPTIONS('scan.startup.mode'='timestamp',scan.startup.timestamp-millis'='1647360000000')*/*FROM MyStream;
CDC问题
MySQL CDC全量阶段读取时间过长，导致最后一个分片数据量过大，出现OOM问题，作业Failover后卡住。增加MySQL Source端的并发，加快全量读取的速度。在MySQL CDC在做全量读到增量读的切换时，如果全量读是多并发，则在进入增量前要多等一个...
Tablestore数据源
否 false mode 定义了读取数据的模式，当前支持两种模式：normal：行模式读取数据，数据格式为{主键列值，普通列值}。multiVersion：列模式读取数据，数据格式为{主键列，普通列名，时间戳，普通列名对应列值}。本配置仅在新版Tablestore ...
服务器迁移中问题
本文介绍服务器迁移相关的故障问题及解决方案。日志报错提示子账号权限不足Forbidden.SubUser，怎么办？日志报错提示Forbidden.Unauthorized错误，怎么办？日志报错提示Your Account Haven't Completed Real-name Authentication错误，...
Kafka增量数据同步至MaxCompute
读取起始位点、起始时间 读取结束位点、结束时间 读取起始点位 与 读取结束位点 选择 指定时间，起始时间 与 结束时间 分别设置为调度参数${startTime}、${endTime}。这几个参数明确了后续同步数据时从哪个数据开始同步，同步到哪个数据...
Kafka增量数据同步至MaxCompute
读取起始位点、起始时间 读取结束位点、结束时间 读取起始点位 与 读取结束位点 选择 指定时间，起始时间 与 结束时间 分别设置为调度参数${startTime}、${endTime}。这几个参数明确了后续同步数据时从哪个数据开始同步，同步到哪个数据...
GetShardIterator
调用GetShardIterator接口获取读取当前Shard记录的起始iterator。请求消息结构 message GetShardIteratorRequest { required string stream_id=1;required string shard_id=2;} 名称 类型 是否必选 描述 stream_id string 是 当前Stream的...
GetStreamRecord
调用GetStreamRecord接口读取当前Shard的增量内容。请求消息结构 message GetStreamRecordRequest { required string shard_iterator=1;optional int32 limit=2;} 名称 类型 是否必选 描述 shard_iterator string 是 当前Shard读取的...
超时机制
const runtime=new$Util.RuntimeOptions({/设置链接超时时间 connectTimeout:10000,/设置读取超时时间 readTimeout:10000,});const resp=await client.modifySecurityGroupRuleWithOptions(request,runtime);console.log(resp.headers);...
Python组件常用SDK
入参说明：参数名称 参数说明 参数类型 是否必填 参数范围 points 数据读取测点 List 是 无 start_time 数据读取开始时间（毫秒）Int 是 正整数 end_time 数据读取结束时间（毫秒）Int 是 正整数 date_type 返回结果数据类型，默认为None ...
驱动管理
读取：读取当前驱动的键值对信息。写入：更改当前驱动键值对的配置。查看子设备 在 驱动管理 页面，单击某个驱动右侧的 查看子设备，可查看该驱动下关联的所有子设备信息。子设备管理详情请参见 设备管理。icmsDocProps={'productMethod':'...
DBMS_APPLICATION_INFO
READ_CLIENT_INFO：读取当前会话中 client_info 字段的值。READ_MODULE：读取当前会话中模块和操作字段的值。SET_ACTION：设置当前模块中当前动作的名称。SET_CLIENT_INFO：设置会话的 client_info 字段。SET_MODULE：将当前正在运行的模块...
增量查询
所以增量查询不会读取任何BaseFile，只会读取指定时间区间内的所有DeltaFile，按照指定的策略进行Merge输出。上图以创建一张事务表（src）为例：schema包含一个pk列和一个val列。左边图展示了数据变化过程，t1-t5代表了事务的时间版本，...
Python服务端SDK集成
您可以调用带有connectTimeout和readTimeout的构造方法来自定义设置SDK调用接口的连接超时时间和读取超时时间。初始化IClientProfile IClientProfile是与阿里云验证码服务端交互的接口，所有SDK的操作都需要通过IClientProfile完成。说明 ...
Python服务端SDK集成
您可以调用带有connectTimeout和readTimeout的构造方法来自定义设置SDK调用接口的连接超时时间和读取超时时间。初始化IClientProfile IClientProfile是与阿里云验证码服务端API交互的接口，所有SDK的操作都需要通过IClientProfile完成。...
Python服务端SDK集成
您可以调用带有connectTimeout和readTimeout的构造方法来自定义设置SDK调用接口的连接超时时间和读取超时时间。初始化IClientProfile IClientProfile是与阿里云验证码服务端API交互的接口，所有SDK的操作都需要通过IClientProfile完成。...
场景：配置增量数据离线同步任务
数据库语法 说明 可与调度参数结合实现每日读取指定时间区间的数据。MongoDB Reader query 说明 向导模式配置时，需要配置的界面参数名为：检索查询条件。基本与数据库一致 说明 可与调度参数结合实现每日读取指定时间区间的数据。OSS ...
PHP服务端SDK集成
IClientProfile是与阿里云验证码服务...您可以调用带有connectTimeout和readTimeout的构造方法来自定义设置SDK调用接口的连接超时时间和读取超时时间。初始化IClientProfile 说明 IClientProfile可以复用，建议将其设置成应用程序全局唯一。...
作业启动
即如果您在作业DDL和作业启动界面都指定了读取数据时间，则作业启动界面指定的读取数据时间生效。说明 不是所有连接器都支持 startTime，详情请参见各连接器WITH参数是否包含 startTime，例如 日志服务SLS WITH参数。只有全新启动作业并...
InstallAgent-安装 Agent
Server 端的服务处理时间最长即为 30 秒）：使用 Java SDK 时，Client 端代码中使用该接口时设置读取超时时间方法：InstallAgentRequest request=new InstallAgentRequest();request.setSysReadTimeout(30000);单位毫秒，客户端 API 接口...
SynchronizeResource-同步阿里云基础资源到EDAS
变更内容概要 操作 暂无变更历史 注意事项 该接口在实际执行中，会遇到在 API 接口 Client 程序端在连接 API 网关超时（默认 10 秒）的情况，所以，用户在使用该接口时，须手工设置调用该接口时读取 POP API 网关返回的数据的超时时间...
Tablestore Stream数据源
DataWorks数据集成支持使用Tablestore Stream Reader读取Tablestore的增量数据，本文为您介绍DataWorks的Tablestore Stream数据读取能力。数据同步前准备：Tablestore Stream环境准备 使用Tablestore Stream插件前，您必须确保Tablestore表...
配置Kudu输入组件
配置Kudu输入组件后，可以读取Kudu数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Kudu输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Kudu数据源。具体操作，请参见 创建Kudu数据源。进行...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。说明 组成表的基本单位为行，行由主键和属性列组成。其中主键是必须的，且每一行的主键列的名称和类型相同；属性不是必须的，且每一行的属性...
查看并管理实时任务
参数 描述 读取数据时点 设置来源数据的读取消费时间。测试方式 实时任务为测Flink试方式包括打印日志和写测试表：选择打印日志后，测试结果写入日志，不生成测试表。选择写测试表，则测试结果不写入日志，但会生成对应测试表。重要 需要您...
查看并管理实时任务
参数 描述 读取数据时点 设置来源数据的读取消费时间。测试方式 实时任务为FLINK测试方式包括打印日志和写测试表：选择打印日志后，测试结果写入日志，不生成测试表。选择写测试表，则测试结果不写入日志，但会生成对应测试表。重要 需要您...
Tablestore HBase Client 支持的功能
deleteFamily 和 deleteColumns 会删除小于等于这个时间戳的所有版本 不支持 不指定时间戳时，deleteColumn 会删除最近的版本 不支持 不指定时间戳时，deleteFamily 和 deleteColumns 会删除当前系统时间的版本 不支持 addDeleteMarker 不...
- 产品推荐
- 这些文档可能帮助您