在ACK集群使用网络策略
去向 每个网络策略可包含一个egress规则的白名单列表。每个规则都允许匹配去向规则和特定端口部分的流量。规则：podSelector：此选择器将在与网络策略同命名空间中选择特定的Pod，并将其允许作为出站流量目的地。namespaceSelector：此选择...
在容器计算服务使用网络策略
去向 每个网络策略可包含一个egress规则的白名单列表。每个规则都允许匹配去向规则和特定端口部分的流量。规则：podSelector：此选择器将在与网络策略同命名空间中选择特定的Pod，并将其允许作为出站流量目的地。namespaceSelector：此选择...
MySQL整库周期性增全量同步至Hive
本实践以MySQL作为来源数据源，以Hive作为去向数据源，因此您需要在DataWorks的工作空间的 数据源管理 页面新增MySQL数据源和Hive数据源，两个数据源支持的数据同步能力请参见 MySQL数据源、Hive数据源。已购买独享数据集成资源组，并为...
导出全量数据到MaxCompute
（推荐）向导模式 在 配置任务 步骤的 配置数据来源与去向 区域，根据实际配置数据来源和数据去向。数据来源配置 参数 说明 表 表格存储 中的数据表名称。主键区间分布（起始）数据读取的起始主键和结束主键，格式为JSON数组。起始主键和...
通过DataWorks将MySQL数据同步到阿里云ES
在 数据去向 区域，数据去向 选择Elasticsearch，数据源名称 选择待同步的数据源名称。单击下一步。配置任务。在 数据来源 区域，选择待同步的表。在 数据去向 区域，配置数据去向的各参数。在 字段映射 区域中，设置 来源字段 与 目标字段...
管理数据同步任务
在新打开页面，即可编辑以下任务参数：任务名称 数据来源信息 数据去向信息 源端目的端字段及其主键 编辑完成后，单击 提交，保存修改。暂停任务 您可以暂停 运行中 的任务。在任务列表中，找到要暂停的任务，单击 暂停。取消任务 您可以...
查看链路详情
单元化部署环境下，在链路详情页单链路时序图中，您还可以查看到该链路的单元化信息，包括服务端和客户端分别所在的机房与单元、该调用链路的来源 Zone 与去向 Zone，如下图所示。单链路拓扑图展示 单击拓扑图图标，即可切换至单链路拓扑图...
Dataphin同步任务速度低
从网络层面判断，来源数据库、去向数据库是否都是一套专线VPC网络。2.region判断，数据库、dataphin是否部署都是在一起，如果有跨国，并且非VPC专网，速度确实可能会慢。3.判断比较WaitReaderTime和WaitWriterTime时间，那边大点，性能瓶颈...
整库迁移与批量上云
去向数据源 来源数据源 操作指导链接 MaxCompute MySQL PostgreSQL SQL Server Oracle PolarDB AnalyticDB for MySQL2.0 AnalyticDB for MySQL 3.0 AnalyticDB for PostgreSQL HybridDB for MySQL DRDS（PolarDB-X）DM Hive DB2 ApsaraDB ...
Kafka增量数据同步至MaxCompute
配置数据去向：MaxCompute侧参数 配置离线同步节点的数据去向相关参数。本实践将Kafka数据增量同步至MaxCompute，数据去向为MaxCompute表，配置要点如下所示。配置项 配置要点 数据源 选择上述新建的MaxCompute数据源或DataWorks工作空间...
Kafka增量数据同步至MaxCompute
配置数据去向：MaxCompute侧参数 配置离线同步节点的数据去向相关参数。本实践将Kafka数据增量同步至MaxCompute，数据去向为MaxCompute表，配置要点如下所示。配置项 配置要点 数据源 选择上述新建的MaxCompute数据源或DataWorks工作空间...
导出全量数据到OSS
（推荐）向导模式 在 配置任务 步骤的 配置数据来源与去向 区域，根据实际配置数据来源和数据去向。数据来源配置 参数 说明 表 表格存储 中的数据表名称。主键区间分布（起始）数据读取的起始主键和结束主键，格式为JSON数组。起始主键和...
通过DataWorks将MaxCompute数据同步到阿里云ES
在 数据去向 区域，数据去向 选择Elasticsearch，数据源名称 选择待同步的数据源名称。单击下一步。配置任务。在 数据来源 区域，选择待同步的表。在 数据去向 区域，配置数据去向的各参数。在 字段映射 区域中，设置 来源字段 与 目标字段...
使用DataWorks数据集成从MySQL导入数据到GDB
说明 图数据库GDB当前仅支持通过脚本模式配置数据去向，具体请参见 通过脚本模式配置任务。单击工具栏提示信息中的 点击转换为脚本。在配置脚本页面，编辑同步任务参数。以下示例配置是同步数据源 mysql_loader 中数据表 comment 到GDB数据...
新增数据同步任务
填写 数据去向信息：数据源：选择云搜数据源。索引名称：默认选择 与源库表名相同 来创建索引；也支持以自定义的方式创建索引。说明：如果填写的索引名称在云搜应用中已存在，则数据同步服务在同步过程中会覆盖目标端索引及其存储的数据，...
同步增量数据到OSS
（推荐）向导模式 在 配置任务 步骤的 配置数据来源与去向 区域，根据实际配置数据来源和数据去向。数据来源配置 参数 说明 表 表格存储 中的数据表名称。开始时间 增量读取数据的开始时间和结束时间，分别配置为变量形式${startTime} 和${...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
数据集成侧同步任务配置
步骤三：网络与资源配置 在此步骤中，您需要选择要同步的来源与去向数据源，以及用于执行同步任务的资源组。并测试资源组与数据源的网络连通。说明 若还未创建数据源，请单击界面的 新建数据源 按钮，新建数据源。详情请参见：数据源概述。...
MySQL整库周期性增全量同步至MaxCompute
本实践以MySQL作为来源数据源，以MaxCompute作为去向数据源，因此您需要在DataWorks的工作空间的 数据源管理 页面新增MySQL数据源和MaxCompute数据源，两个数据源支持的数据同步能力请参见 MySQL数据源、MaxCompute数据源。已购买独享数据...
MaxCompute数据离线同步至ClickHouse
配置数据去向：ClickHouse侧参数 本实践将数据同步至ClickHouse，数据去向是ClickHouse。配置要点如下。配置项 配置要点 数据源 选择上述新建的ClickHouse数据源。表 选择待同步的Clickhouse表。建议对于要进行数据同步的表，ClickHouse...
通过DataWorks将PolarDB-X（DRDS）数据同步到阿里云ES
在 数据去向 区域，数据去向 选择Elasticsearch，数据源名称 选择待同步的数据源名称。单击下一步。配置任务。在 数据来源 区域，选择待同步的表。在 数据去向 区域，配置数据去向的各参数。在 字段映射 区域中，设置 来源字段 与 目标字段...
Kafka单表实时入湖OSS（HUDI）
同步类型：来源数据源选择Kafka，去向数据源选择OSS，并选择 单表实时同步 方案。网络与资源配置：在下拉框中分别选择已创建的Kafka数据源、OSS数据源、独享数据集成资源组，单击 测试所有连通性，保障资源组与数据源之间的网络连通性。...
匹配查找报警
应用场景 交警正在排查车牌为粤 A12345 这辆车的去向，只要它出现在任何一个收费站就报警。使用匹配查找报警，通过车牌粤 A12345 关键字筛选，就能对这辆车进行监控。日志内容：2012-11-1111:11:11粤A123*,广州北收费站,G25,广州,￥50 2012...
天任务依赖分钟任务最佳实践
数据来源 和 数据去向 均创建了 id、name、insert_time 三列字段。insert_time 为时间列，数据可以根据时间来过滤。单击右侧的 调度配置。在 基础属性 页签，为过滤条件中的参数赋值：startTime=[yyyymmddhh24miss−5/24/60]endTime=...
可视化图表概述
漏斗宽度 对比指标 来源去向图 来源去向图可以展示一组数据的来源、过程、去向和占比情况，多用于分析展现流量流转的运营数据。中心节点 节点类型 节点名称 节点指标 桑基图 桑基图是一种特定类型的流图，常用于展示流量分布与结构对比。...
数据开发
数据来源 参数 值 数据源 MySQL：retail_e_commerce_read 表 mbr_user_info 数据过滤-切分键 id 数据去向 参数 值 数据源 ODPS：odps_source 开发项目名 retail_e_commerce_2_dev 生产项目名 retail_e_commerce_2 表 ods_mbr_user_info ...
MySQL分区表写入最佳实践
说明 您也可以通过 数据去向 的 导入前准备语句 配置项，让同步任务在写入数据之前，先创建当天的分区：准备一个调度参数，例如 pt_date=$[yyyymmdd]。在 导入前准备语句 中配置如下SQL：ALTER TABLE `pt_write_test_tb1` ADD PARTITION...
使用DataWorks同步数据
配置数据去向：数据源的类型选择为 ClickHouse。参数含义如下。参数 描述 数据源 数据源的类型与名称，其中，数据源的类型需选择ClickHouse。表 需要同步的表。主键或者唯一键冲突处理 固定选择为 insert into（插入）。导入前准备语句 ...
AnalyticDB for MySQL3.0整库周期性增全量同步至...
本实践以AnalyticDB for MySQL3.0作为来源数据源，以Hologres作为去向数据源，因此您需要在DataWorks的工作空间的 数据源管理 页面新增AnalyticDB for MySQL3.0数据源和Hologres数据源，两个数据源支持的数据同步能力请参见 AnalyticDB for...
Hologres整库周期性增全量同步至MaxCompute
本实践以Hologres作为来源数据源，以MaxCompute作为去向数据源，因此您需要在DataWorks的工作空间的 数据源管理 页面新增Hologres数据源和MaxCompute数据源，两个数据源支持的数据同步能力请参见 Hologres数据源、MaxCompute数据源。...
Kafka实时ETL同步至Hologres
同步类型：来源数据源选择Kafka，去向数据源选择Hologres，并选择 实时ETL同步 方案。网络与资源配置：在下拉框中分别选择已创建的Kafka数据源、Hologres数据源、独享数据集成资源组，单击 测试所有连通性，保障资源组与数据源之间的网络...
Quick BI计费方式
指标看板、指标趋势图、翻牌器、仪表盘、进度条、水波图、交叉表、线图、面积图、...去向、桑基图、指标拆解树、色彩地图、气泡地图、动态条形图、时间轴、Story Bulider、查询控件、复合查询控件、Tab、富文本、图片、内嵌页面、热力图、指标...
配置图表标题区
散点图 分面散点图 漏斗/转化关系 漏斗图 对比漏斗图 来源去向 桑基图 地理 气泡地图 色彩地图 热力地图 飞线地图 符号地图 其他 词云图 时间轴图 自定义背景填充 在组件容器中，配置自定义背景填充。卡片颜色支持纯色和渐变。背景图片支持...
将表格存储时序表中数据同步到另一个时序表
选择离线同步任务的数据来源、数据去向以及用于执行同步任务的资源组，并测试连通性。重要 数据同步任务的执行必须经过资源组来实现，请选择资源组并保证资源组与读写两端的数据源能联通访问。在 网络与资源配置 步骤，选择 数据来源 为 ...
基于DLF数据入湖的MaxCompute湖仓一体实践
去向 数据去向 OSS。数据源名称 已创建的OSS数据源。配置任务。在 配置任务 页签填写表和文件名。参数 说明 表 RDS数据库中已创建的表名。文件名（含路径）格式：中已创建的文件目录名称>/<待导出至OSS的数据文件>。例如 doc-test-01/...
RDS迁移至MaxCompute实现动态分区
说明 默认参数值与 数据去向 中的 分区信息 值对应。调度执行迁移任务时，目标表的分区值会被自动替换为任务执行日期的前一天，默认情况下，您会在当前执行前一天的业务数据，这个日期也叫做业务日期。如果您需要使用当天任务运行的日期...
RDS实时同步至Hologres
在 网络与资源配置 区域配置 数据去向。单击 数据去向 右侧的 新建数据源。在 新增Hologres数据源 对话框中配置如下参数，未提及的参数保持默认。并单击 完成。参数 说明 数据源类型 阿里云实例模式。数据源名称 自定义。实例ID 进入 实例...
LogHub（SLS）实时ETL同步至Hologres
单击页面上返回的 Hologres，编辑Hologres去向源信息。配置基本信息。选择需要写入的Hologres schema。选择需要写入的Hologres表是 自动建表 还是 使用已有表。填写或者选择要写入的Hologres表名。编辑表结构。当选择 自动建表 时，您需要...
将表格存储数据表中数据同步到另一个数据表
选择离线同步任务的数据来源、数据去向以及用于执行同步任务的资源组，并测试连通性。重要 数据同步任务的执行必须经过资源组来实现，请选择资源组并保证资源组与读写两端的数据源能联通访问。在 网络与资源配置 步骤，选择 数据来源 为 ...
使用数据集成迁移数据到AnalyticDB MySQL 2.0
数据集成是阿里集团对外提供的稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间数据高速稳定的数据移动及同步能力。...配置SQLServer数据源 配置分析型数据库MySQL版数据源 配置同步任务中的数据来源和去向
- 产品推荐
- 这些文档可能帮助您