您可以使用DataWorks独享数据集成资源组功能,为数据集成同步任务分配独立的计算资源,从而提高任务的执行效率和稳定性。购买独享资源组后,在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享数据集成资源...
云原生数据仓库 AnalyticDB MySQL 版 数仓版(3.0)集群的运维事件和资源弹性计划接入了云监控系统,您可以为系统事件设置报警规则,通过短信、邮件接收通知或设置报警回调,使您及时收到报警通知,快速分析定位并处理问题,形成线上自动化...
数据源 单击 配置数据源,可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果,详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
默认抛出数据中的 id 和 content 值,具体配置请参见 如何配置数字翻牌器组件的回调ID。蓝图编辑器交互配置 在画布编辑器页面,右键单击组件,选择 导出到蓝图编辑器。单击页面左上角的 图标。在蓝图编辑器配置页面,单击导入节点栏内的 ...
例如单条记录大小为1KB,批量插入字节大小设置为16777216(16MB),批量插入条数设置为20000(大于16MB/1KB=16384),则会通过批量插入字节大小触发写入,每达到16MB写入一次。批量写入ClickHouse异常时 批量写入ClickHouse异常时,可以...
设置 数据传输支持 WHERE 条件实现行过滤,详情请参见 SQL 条件过滤数据。您还可以在 查看列 区域,查看迁移对象的列信息。移除/全部移除 数据传输支持在数据映射时,对暂时选中到目标端的单个或多个对象进行移除操作。移除单个迁移对象 在...
设置 数据传输支持 WHERE 条件实现行过滤,详情请参见 SQL 条件过滤数据。您还可以在 查看列 区域,查看迁移对象的列信息。移除/全部移除 数据传输支持在数据映射时,对暂时选中到目标端的单个或多个对象进行移除操作。移除单个迁移对象 在...
设置 数据传输支持 WHERE 条件实现行过滤,详情请参见 SQL 条件过滤数据。您还可以在 查看列 区域,查看迁移对象的列信息。移除/全部移除 数据传输支持在数据映射时,对暂时选中到目标端的单个或多个对象进行移除操作。移除单个迁移对象 在...
说明 打开数据分组后,数据中需要配置两组及以上的trace字段。漏斗形状 漏斗的形状样式,可选 漏斗 和 金字塔 样式。说明 仅在开启 数据分组 配置项并选择 多组数据 时可配置。当 数据分组 选择 两组对比 时,漏斗形状 默认为 漏斗。漏斗...
默认抛出数据中的 value 值,具体配置请参见 如何配置数字翻牌器组件的回调ID。说明 您可以使用时间轴组件实现数据轮播,使用方法如下。在时间轴的数据面板配置轮播的参数,并在交互中配置该参数作为交互字段。将时间轴组件移到可视化屏幕...
设置 数据传输支持 WHERE 条件实现行过滤,详情请参见 SQL 条件过滤数据。您还可以在 查看列 区域,查看迁移对象的列信息。移除/全部移除 数据传输支持在数据映射时,对暂时选中到目标端的单个或多个对象进行移除操作。移除单个迁移对象 在...
设置 数据传输支持 WHERE 条件实现行过滤,详情请参见 SQL 条件过滤数据。您还可以在 查看列 区域,查看迁移对象的列信息。移除/全部移除 数据传输支持在数据映射时,对暂时选中到目标端的单个或多个对象进行移除操作。移除单个迁移对象 在...
设置 数据传输支持 WHERE 条件实现行过滤,详情请参见 SQL 条件过滤数据。您还可以在 查看列 区域,查看迁移对象的列信息。移除/全部移除 数据传输支持在数据映射时,对暂时选中到目标端的单个或多个对象进行移除操作。移除单个迁移对象 在...
(可选)如果独享调度资源组在后续的应用中可能涉及与数据源或其他网络环境的交互,例如,在调度场景下,需要通过Shell访问自建数据库或某个内部地址;或者使用了EMR、CDH这类必须要使用独享调度资源组的引擎时,您还需了解不同场景下,独...
并发运行组数 并发运行组数用于控制同时有多少个补数据进程在运行。您可以选择并发运行的组数,系统支持最少并发运行 1组,最多并发运行 12组。业务日期的跨度时间小于并发运行组数,则实际并行组数为业务日期天数。业务日期的跨度时间大于...
并发运行组数 并发运行组数用于控制同时有多少个补数据进程在运行。您可以选择并发运行的组数,系统支持最少并发运行 1组,最多并发运行 12组。业务日期的跨度时间小于并发运行组数,则实际并行组数为业务日期天数。业务日期的跨度时间大于...
data_copy_concurrency 用于设置系统中并发执行的数据迁移复制任务的最大并发数。alter system set data_copy_concurrency=200;增量同步 在 选择迁移类型 页面,选中 增量同步,才会显示下述参数。参数 描述 写入并发配置 该参数用于配置...
交互增强:柱状图的数据过多时可设置数据交互增强的样式,单击 图标可开启或关闭交互增强效果。参数 说明 交互方式 数据交互方式,可选 缩略轴 和 滚动条 两种方式。说明 时间型数据暂不支持海量数据交互。默认范围 缩略轴显示的数据范围,...
本文以使用DataWorks实时同步公共数据至Hologres,并通过Hologres进行实时数据分析为例,为您示例DataWorks的数据同步能力与Hologres的实时分析能力。本教程以申请免费资源为例为您示例详细操作步骤,您也可以使用付费资源,操作类似。教程...
更新说明 安全设置 数据引入-离线集成-离线单条管道-组件库开发 离线集成任务运行日志支持展示可读性强,易于理解的结构化信息,包括:预览结果:在集成任务开发时,支持预览数据。日志信息:支持查看运行信息、通道信息、步骤度量和原始...
交互增强:条形图的数据过多时可设置数据交互增强的样式,单击 图标可开启或关闭交互增强效果。参数 说明 交互方式 数据交互方式,可选 缩略轴 和 滚动条 两种方式,时间型 数据类型,暂不支持海量数据交互功能。说明 时间型数据暂不支持...
数据集成本身不支持数组类型,但MongoDB支持数组类型,并且数组类型具有强大的索引功能。您可以通过参数的特殊配置,将字符串转换为MongoDB中的数组。转换类型后,即可并行写入MongoDB。自建MongoDB数据库不支持公网访问,仅支持阿里云内网...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态(项目状态为 失败、已暂停 或 已完成),受增量日志保留时长等影响,项目可能无法恢复。数据传输将主动...
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦(DM)数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
您可以通过数据迁移功能实时迁移其他数据源的数据至 OceanBase 数据库,以及迁移 OceanBase 数据库的数据至其他数据源。本文以迁移 MySQL 数据库的数据至 OceanBase 数据库为例,介绍如何使用数据传输迁移数据。前提条件 在迁移数据之前,...
Interactive型资源组的优先级队列与并发控制 Job型资源组的优先级队列 Job型资源组供了作业优先级队列的能力,您可以设置作业的优先级,使不同作业进入不同的优先级队列(包括LOWEST队列、LOW队列、NORMAL队列和HIGH队列)。优先级高的作业...
数据传输服务DTS(Data Transmission Service)提供的数据投递功能,用户可以通过SDK将各种类型的数据源投递到DTS,再由DTS同步至目标数据库,从而支持更多类型的数据源。应用场景 数据投递功能适用于以下任一场景:源端为DTS同步方案暂不...
最大值 Y轴的最大值,支持自定义输入,也支持系统选择 数据最大值,取数据中的最大值。轴线:区域图的Y轴轴线样式,包括线的形状、线的粗细和线的颜色,可单击 图标控制Y轴轴线样式的显隐。轴标题:区域图的Y轴轴标题样式,可单击 图标控制...
如果导入的源文件无法在规定时间内完成导入,您可以在Stream load请求中设置单独的超时时间或者调整FE的参数 stream_load_default_timeout_second 来设置全局的默认超时时间。BE配置 streaming_load_max_mb:Stream load的最大导入大小,...
从HDFS导入一批数据 file1.txt,指定超时时间和过滤比例,并且将原有数据中与导入数据中 age的列相匹配的行删除,其他行正常导入,示例如下。LOAD LABEL test_db.test_05(MERGE DATA INFILE("hdfs:/hdfs_host:hdfs_port/example/file1.txt...
右键单击 已选择对象 框中待迁移的表,在弹出的对话框中取消选中 全表同步 后,可以设置Shardkey(即用于分区的key)。单击 下一步高级配置,进行高级配置。配置 说明 选择调度该任务的专属集群 DTS默认将任务调度到共享集群上,您无需选择...
迁移对象的选择粒度为表时,右键单击 已选择对象 框中待迁移的表,在弹出的对话框中取消选中 全表同步 后,可以设置Shardkey(即用于分区的key)。单击 下一步高级配置,进行高级配置。配置 说明 选择调度该任务的专属集群 DTS默认将任务...
迁移对象的选择粒度为表时,右键单击 已选择对象 框中待迁移的表,在弹出的对话框中取消选中 全表同步 后,可以设置Shardkey(即用于分区的key)。单击 下一步高级配置,进行高级配置。配置 说明 选择调度该任务的专属集群 DTS默认将任务...
是否限制增量迁移速率 您也可以根据实际情况,选择是否对增量迁移任务进行限速设置(设置 每秒增量迁移的行数RPS 和 每秒增量迁移的数据量(MB)BPS),以缓解目标库的压力。说明 仅当 迁移类型 选择了 增量迁移 时才可以配置。环境标签 您...
高级配置 并发运行组数 并发运行组数用于控制同时有多少个补数据进程在运行。您可以选择并发运行的组数,系统支持最少并发运行 1组,最多并发运行 12组。业务日期的跨度时间小于并发运行组数,则实际并行组数为业务日期天数。业务日期的...
您可通过系统配置:设置数据保护伞的识别内容、识别范围。设置水印文件保存时间。设置是否展示风险识别的数据安全等级。设置告警信息的接收邮件及WebHook地址。以便及时发现并处理潜在安全风险。系统配置 2024年1月更新记录 时间 特性 类别...
高级配置 并发运行组数 并发运行组数用于控制同时有多少个补数据进程在运行。您可以选择并发运行的组数,系统支持最少并发运行 1组,最多并发运行 12组。业务日期的跨度时间小于并发运行组数,则实际并行组数为业务日期天数。业务日期的...
同步对象的选择粒度为表时,右键单击 已选择对象 框中待同步的表,在弹出的对话框中取消选中 全表同步 后,可以设置Shardkey(即用于分区的key)。单击 下一步高级配置,进行高级配置。配置 说明 选择调度该任务的专属集群 DTS默认将任务...
同步对象的选择粒度为表时,右键单击 已选择对象 框中待同步的表,在弹出的对话框中取消选中 全表同步 后,可以设置Shardkey(即用于分区的key)。不支持库名映射。如果使用了对象名(表名或列名)映射功能,可能会导致依赖这个对象的其他...
右键单击 已选择对象 框中待同步的表,在弹出的对话框中取消选中 全表同步 后,可以设置Shardkey(即用于分区的key)。单击 下一步高级配置,进行高级配置。配置 说明 选择调度该任务的专属集群 DTS默认将任务调度到共享集群上,您无需选择...