网络接收数据量(作业维度)指定作业的网络接收数据量(MB)。网络发送数据量(作业维度)指定作业的网络发送数据量(MB)。GPU算力使用率(作业维度)指定作业的GPU算力使用率。GPU显存使用率(作业维度)指定作业的GPU显存使用率。GPU SM...
背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台,数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步,扩展消息处理能力,广泛应用于实时数据仓库搭建、数据查询和报表分流等业务场景。前提条件 数据...
禁用报警规则 当您暂时不需要接收 数据库备份DBS 系统事件的报警通知时,可以对其执行禁用操作。重要 报警规则禁用后将不再生效,适用于临时关闭报警设置,请谨慎操作,后续可重新启用。登录 云监控控制台。在左侧导航栏,选择 事件中心>...
数据备份 不支持 物理备份 和 逻辑备份。仅支持 快照备份。说明 快照备份可以保留某一时间点的磁盘数据状态。不支持 快照备份。支持 物理备份 和 逻辑备份。说明 当实例的数据库版本为MongoDB 3.2或MongoDB 3.4时,实例中集合加索引的数量...
数据源 单击 配置数据源,可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果,详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
当数据接口请求失败时 数据接口请求失败时(请求失败的情况可能是:网络问题或接口报错等)返回并经过过滤器处理后抛出的事件,同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
网络数据包 网络数据包 区域显示该应用在指定时间段的Pod的网络数据包情况,包括以下指标:网络发送丢弃的报文数 网络发送的报文数 网络接收丢弃的报文数 网络发送的错误数 网络接收的错误数 可选:在 网络数据包 区域,您可以执行以下操作...
数据库之间不通过网络进行隔离,只能依靠数据库自身的安全策略来阻挡非法访问。VPC:是逻辑隔离的私有网络,用户可以自定义网络拓扑和IP地址,支持通过专线连接。相对经典网络而言,VPC具有更高的安全性和灵活性。新建专有网络 登录 分析型...
配置数据源网络 说明 如果需要连接您VPC内的数据源(如VPC内的RDS、AnalyticDB等),您需要配置数据源网络,如不需要连接,忽略此步骤即可。在配置数据源网络前,您需要授予DLA账户访问您VPC相关API的权限,详细操作步骤请参见 配置数据源...
本文介绍Delta Lake作为数据源和数据接收端如何流式读写数据。Delta Table作为数据源(Source)spark.readStream.format("delta").option("maxFilesPerTrigger",1000).load("/tmp/delta_table")maxFilesPerTrigger 指定了一个批次最多处理...
包括机型、CPU、内存、磁盘(系统盘、元数据盘、随机数据盘、数据接收盘、顺序数据盘)。若您选择的套餐中没有预置机型,也可以通过自定义套餐的方式选择可选机型,磁盘规格等参数。云服务器配置 计费方式 预付费,包年包月 选择本次购买...
数据源网络环境 是否支持访问 数据源处于公网环境 支持 数据源处于经典网络 支持 数据源处于VPC网络 不支持 公共数据集成(调试)资源组 公共数据集成(调试)资源组仅保证支持公网访问能力。白名单设置 公共调度资源组为您提供任务安全...
算法实例是根据算法模板创建的具体实例,可以根据您设置的检测参数结合算法模型,完成对相关数据中异常信息的检测及诊断,协助您更好地解读设备数据,监测设备运行状态,及时发现潜在故障。前提条件 已创建算法实例。具体操作,请参见 创建...
NetworkTime 数据包传输时间(不包括接收后处理时间)。WaitTime 由于发送端队列满而导致的等待时间。NetworkBandwidth 网络带宽。Source 指标 说明 SenderWaitLockTime 等锁时间。BytesReceived 接收的数据大小。DecompressChunkTime 解压...
p_data unsigned char*输出 指向数据接收缓冲区的指针。datalen unsigned int 输入 接收缓冲区的字节大小。timeout_ms unsigned int 输入 阻塞的超时时间,单位ms。返回结果说明:返回结果 说明接收过程中出现错误或异常。0 在指定的 ...
网络 数据源可选的网络类型。说明 当前仅支持外网访问。域名 连接数据库的地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录...
项目 限制说明 数据类型 云数据库 Memcache 版仅支持 Key-Value 格式的数据,不支持 array、map、list 等复杂类型的数据。数据可靠性 云数据库 Memcache 版的数据存储在内存中,服务并不保证缓存数据不会丢失,有强一致性要求的数据不适合...
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源(HDFS、Hive和JDBC)时,可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
在 数据输出预览 窗口,您可以根据需要修改输入数据,或者单击 手工构造数据 按钮自定义输入数据,然后单击 预览 按钮,查看当前数据处理节点对数据的处理结果,当数据处理节点处理异常,或者产生脏数据时,也会实时反馈异常信息,能够帮助...
本文介绍如何使用数据传输服务DTS(Data Transmission Service)配置数据校验任务,帮助您监控源库与目标库数据的差异,以便及时发现数据不一致的问题。前提条件 若您需要在DTS实例中配置 全量校验 功能,DTS实例的 任务步骤 需勾选 全量...
在调用API时,为了防止资源组不能正常访问数据源,您需要在数据源中配置IP白名单,从而确保资源组的网络连通性。本文为您介绍不同资源组类型对应的IP白名单或其获取方式,以及在数据源中配置IP白名单时的注意事项。获取白名单IP地址:公共...
当系统处理速度较慢时,Writer可能长时间接收不到下一批数据,导致导入报错 TabletWriter add batch with unknown id。此时可适当调大该参数。load_process_max_memory_limit_percent 分别为最大内存和最大内存百分比,限制了单个BE上可...
在DMS的SQL窗口中对数据库进行变更操作时,可能由于误更新、误删除、误写入等原因导致数据不符合预期。DMS 的数据追踪功能支持按需查找目标时间段内(数据库Binlog保存时长内)的相关更新信息,并生成回滚脚本,帮助您快速将数据恢复到变更...
当系统处理速度较慢时,Writer可能长时间接收不到下一批数据,导致导入报错 TabletWriter add batch with unknown id。此时可适当调大该参数。load_process_max_memory_limit_percent 分别为最大内存和最大内存百分比,限制了单个BE上可...
算子层计划执行树 算子层执行计划由多个算子组成,图中的每个矩形框代表一个算子,数据流向自下而上,扫描数据过程或接收网络数据由最上游的算子(TableScan和RemoteSource)完成,扫描到的数据和接收到的网络数据经过中间算子层层处理后,...
如果写出数据和目标存储已有数据发生数据约束(主键冲突、唯一键约束、外键约束等),数据库则使用来源数据update更新目标表已有数据行,在目标表存在多个数据约束的情况下,数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
说明 如果存在不一致数据,可单击 查看详情 查看不一致的概览信息,在概览信息对话框中单击 详情 查看不一致的具体数据:如果数据量比较少,可以通过手动修改的方式同步数据,如果数据量比较大,查明数据不一致的原因,清理目标数据库后...
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型,不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型,数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板:在 ...
保障资源组与数据源之间网络连通后,您还需保障资源组与数据源之间不会因为白名单的限制而无法进行数据访问,例如,部分数据源设置白名单后会不允许白名单外的IP访问,您需要将资源组的IP添加至数据源的白名单中。本文为您介绍白名单相关...
Dataphin支持敏感数据的识别和敏感数据的脱敏保护,可以结合权限管控方案一起,构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理,内置了常用的个人信息数据分类,同时支持客户自定义企业的数据分类分级...
如果您的数据库小版本过期或者不在维护列表内,当执行 实例版本升级、数据迁移、变更实例配置、按备份点将备份数据恢复至新建实例、按时间点将备份数据恢复至新建实例 或 恢复云数据库MongoDB单个或多个数据库 等操作时,为保证提供更出色...
网络 数据源可选的网络类型。域名 连接数据库的地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录数据库的密码。数据库 单击 ...
为满足多样化的数据导入需求,云原生数据仓库AnalyticDB MySQL版 提供了多种数据导入方式,包括:通过外表导入数据、使用DataWorks导入数据和利用JDBC通过程序导入数据等。本文介绍各导入方式的特性及适用场景,帮助您选择正确的数据导入...
支持的数据库部署位置(接入方式)阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
第三方云数据库迁移至阿里云数据库MongoDB:使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
如为全量同步和增量同步任务,DTS要求源数据库的数据日志至少保留7天以上(您可在全量同步完成后将数据日志保存时间设置为24小时以上),否则DTS可能因无法获取数据日志而导致任务失败,极端情况下甚至可能会导致数据不一致或丢失。...
第三方云数据库迁移至阿里云数据库MongoDB:使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
同步源数据库 同步目的数据库 RDS MySQL实例 ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过数据库网关接入的自建数据库 通过云企业网CEN接入的自建数据库 RDS MySQL实例 ECS上的自建数据库 通过专线、VPN网关或智能...
第三方云数据库迁移至阿里云数据库MongoDB:使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
第三方云数据库迁移至阿里云数据库MongoDB:使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...