安全设置
在 添加安全模式配置 对话框，选择需开启严格权限模式的项目。参数 描述 项目 选择需配置安全模式的项目，支持多选。跨项目安全模式 开启：禁止从任意项目到当前项目DDL（create、drop、alter）。关闭：允许有权限的账号跨项目执行DDL操作...
安全设置
在 添加安全模式配置 对话框，选择需开启严格权限模式的项目。参数 描述 项目 选择需配置安全模式的项目，支持多选。跨项目安全模式 开启：禁止从任意项目到当前项目DDL（create、drop、alter）。关闭：允许有权限的账号跨项目执行DDL操作...
功能发布记录
基础版、企业双擎版 配置备份 网络域HA模式 新增 新增网络域HA模式，可配置网络域备代理服务器。当主代理服务器异常时，自动切换备代理服务器连接。企业双擎版 网络域 网络域代理 新增 新增网络域代理异常的站内信通知。企业双擎版 消息...
离线模式配置概述
本文为您介绍流批一体任务实时模式配置的相关内容。离线模式配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入 流批一体任务 离线模式 配置面板。配置 离线模式 在离线模式配置面板，您需根据下表配置 流批一体任务...
实时模式配置概述
本文为您介绍实时任务实时模式配置的相关内容。实时模式配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入实时 任务 实时模式 配置面板。配置实时模式 在实时模式配置面板，您需要根据下表配置实时 任务 实时模式的...
离线模式配置概述
本文为您介绍流批一体任务实时模式配置的相关内容。离线模式配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入 流批一体任务 离线模式 配置面板。配置 离线模式 在离线模式配置面板，您需根据下表配置 流批一体任务...
实时模式配置概述
本文为您介绍流批一体任务实时模式配置的相关内容。实时模式配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入 流批一体任务 实时模式 配置面板。配置实时模式 在实时模式配置面板，您需根据下表配置 流批一体任务 ...
失陷感知
相关文档 防护配置功能设置威胁引擎的运行模式，配置威胁情报、基础防御、智能防御和虚拟补丁，帮助您更精准地识别和阻断入侵风险。具体信息，请参见 防护配置。入侵防御IPS能力可以实时主动检测和拦截黑客恶意攻击、漏洞利用、暴力破解、...
实时模式State配置
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中State 配置 区域，配置任务实时模式的 State配置 信息。State的数据过期时间默认为36小时，可选择天、小时、分钟、秒为单位进行设置。若未填写，将默认...
实时模式State配置
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中State 配置 区域，配置任务实时模式的 State配置 信息。State的数据过期时间默认为36小时，可选择天、小时、分钟、秒为单位进行设置。若未填写，将默认...
元数据采集的数据源有白名单访问控制时需要配置的白...
如果您目前数据库设置的为高安全模式IP白名单模式：高安全模式区分经典网络和专有网络白名单分组。说明 在高安全白名单模式下，白名单分组需指定网络隔离模式，例如设置在经典网络的白名单IP地址，不可从专有网络访问RDS实例，反之亦然。...
实时模式Checkpoint配置
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中 Checkpoint配置 区域，配置任务实时模式的 Checkpoint配置 信息。重要 在该处配置Checkpoint并在 运行参数 中填写Checkpoint配置时，将以下逻辑进行...
实时模式Checkpoint配置
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中 Checkpoint配置 区域，配置任务实时模式的 Checkpoint配置 信息。重要 在该处配置Checkpoint并在 运行参数 中填写Checkpoint配置时，将以下逻辑进行...
工作原理
伸缩模式 配置方式 说明 固定数量模式 伸缩组+实例配置来源 ① 该模式的伸缩效果由伸缩组以下配置项决定：最小实例数 最大实例数（可选）期望实例数 健康模式 伸缩组+实例配置来源 ① 该模式需要开启伸缩组中 实例的健康检查 配置项。...
权限管控与隔离
除了基础的人员和数据权限隔离外，还有下面两个安全配置：跨项目安全模式：禁止跨项目DDL，只能在当前项目内进行表的创建和修改等，管理权限更明确。读写权限申请开关：如果项目有非常敏感的数据，不希望被项目外的成员读写，可以关闭读写...
权限管控与隔离
除了基础的人员和数据权限隔离外，还有下面两个安全配置：跨项目安全模式：禁止跨项目DDL，只能在当前项目内进行表的创建和修改等，管理权限更明确。读写权限申请开关：如果项目有非常敏感的数据，不希望被项目外的成员读写，可以关闭读写...
离线模式运行参数配置
操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在配置面板中 资源配置 区域，配置任务离线模式的 资源配置 参数信息。不同计算引擎配置离线模式运行参数的操作路径相同，下图以配置Ververica Flink计算引擎的离线...
离线模式依赖文件配置
操作步骤 请参见 离线模式配置入口，进入任务的 离线模式 配置页面。在配置面板中 依赖文件 区域，配置任务离线模式的 依赖文件 信息。在添加依赖文件下拉选项中选择该任务依赖的资源文件。若选项中无所需的资源文件时，您可前往 资源 上传...
离线模式依赖文件配置
操作步骤 请参见 离线模式配置入口，进入任务的 离线模式 配置页面。在配置面板中 依赖文件 区域，配置任务离线模式的 依赖文件 信息。在添加依赖文件下拉选项中选择该任务依赖的资源文件。若选项中无所需的资源文件时，您可前往 资源 上传...
离线模式运行参数配置
操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在配置面板中 资源配置 区域，配置任务离线模式的 资源配置 参数信息。不同计算引擎配置离线模式运行参数的操作路径相同，下图以配置Ververica Flink计算引擎的离线...
实时模式时间参数配置
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中 时间参数 区域，配置任务实时模式的时间参数信息。实时任务的时间参数为 stat_date，可用于实时计算任务的运行时间偏移。例如：您需要计算当天某个指标...
实时模式时间参数配置
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中 时间参数 区域，配置任务实时模式的时间参数信息。实时任务的时间参数为 stat_date，可用于实时计算任务的运行时间偏移。例如：您需要计算当天某个指标...
场景：配置分库分表离线同步任务
DataWorks支持通过向导模式或脚本模式配置离线同步任务，您可以将分库分表数据同步至目标单表。本文以同步MySQL分库分表数据为例进行说明。前提条件 已准备好要同步的多个数据源，详情请参见 支持的数据源与读写插件。背景信息 分库分表...
模式
配置 模式名称，单击 确认，其中 实例名 和 数据库名称 默认填充当前模式所在的实例和数据库名称，无需修改配置。新建成功的模式会展示在已登录数据库的列表中。管理模式 您可以对模式进行刷新、编辑、新建内部表、新建外部表、批量创建...
查看数据安全配置
数据安全配置说明 离线样本被授权到多方安全分析项目时，数据所有方会定义离线样本的目标字段是否为关联键或分组键，并选择是否开启目标字段的保护开关，从而完成数据安全配置，关于关联键和分组键的介绍请参见 基本概念。联合分析的过程中...
配置Kafka输出
列分隔符 当写入模式配置为 text，将源端列按照该配置项指定列分隔符拼接作为写入Kafka记录的Value，支持配置单个或者多个字符作为分隔符，支持以 \u0001 格式配置 unicode 字符，支持 \t、等转义字符。默认值为 \t。配置参数 创建Kafka...
ECS安全配置
ECS具备安全组的安全设置，通过安全组配置和阿里云提供丰富的云服务器及应用安全防护产品，可从多维度提高ECS的安全性。安全组及安全产品 安全组：安全组是一种虚拟防火墙，具备状态检测和包过滤功能。安全组用于设置单台或多台实例的网络...
集成组件库开发说明
IBM DB2 配置IBM DB2输入组件 OceanBase 配置OceanBase输入组件 Teradata 配置Teradata输入组件 脚本模式 配置本地文件输入组件 Hologres 配置Hologres输入组件 ClickHouse 配置ClickHouse输入组件 Kafka 配置Kafka输入组件 DataHub 配置...
BigQuery数据源
BigQuery数据源为您提供读取BigQuery的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的BigQuery数据同步能力支持情况。支持的版本及地域 BigQuery使用的SDK版本是 google-cloud-bigquery 2.29.0，...
数据导出到OSS概述
一个同步操作需要新建一个离线任务节点、4 配置离线同步任务并启动 DataWorks数据集成提供了向导模式和脚本模式用于配置离线同步任务，请根据实际选择合适的配置模式。向导模式：通过可视化的填写和下一步的引导，帮助您快速完成数据同步...
同步数据到时序表
value.converter=org.apache.kafka.connect.json.JsonConverter value.converter.schemas.enable=false 此处以配置standalone模式为例介绍，distributed模式的配置步骤与同步数据到数据表时的distributed模式配置步骤类似，只需按照上述...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
配置堡垒机
配置安全组 通过配置安全组，可允许堡垒机访问该安全组内的服务器。登录 堡垒机控制台。在左侧导航栏，单击 实例。在 实例 页面，定位到目标堡垒机实例，选择 配置>安全组。在 网络设置 面板，选择ECS对应的安全组，单击 下一步。说明 支持...
云平台配置检查常见问题
如何通过云安全中心提升数据库的配置安全？数据库是企业管理和存储数据资源的系统，数据库中存放大量有价值和敏感的信息，所以数据库也是黑客攻击的主要目标，数据库的安全对业务的正常运行和企业的发展有着重要的影响。云安全中心提供了云...
配置Kafka输出组件
当写入模式配置为JSON、目标表字段配置为["col1","col2","col3"]时，写入Kafka的记录Value为字符串{"col1":"a","col2":"b","col3":"c"}。值分隔符 Value分隔符配置。当 写入模式 为 json 时，不支持Value分隔符配置。当 写入模式 为 text ...
配置Kafka输出组件
当写入模式配置为JSON、目标表字段配置为["col1","col2","col3"]时，写入Kafka的记录Value为字符串{"col1":"a","col2":"b","col3":"c"}。值分隔符 Value分隔符配置。当 写入模式 为 JSON 时，不支持Value分隔符配置。当 写入模式 为 Text ...
实时模式依赖关系配置
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中 依赖关系 区域，配置任务实时模式的依赖关系信息。重要 实时模式下，依赖关系 不实际产生调度依赖。离线模式下，则须配置调度依赖。参数 描述 开始解析...
实时模式依赖关系配置
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中 依赖关系 区域，配置任务实时模式的依赖关系信息。重要 实时模式下，依赖关系 不实际产生调度依赖。离线模式下，则须配置调度依赖。参数 描述 开始解析...
Amazon Redshift数据源
Amazon Redshift数据源为您提供读取和写入Amazon Redshift的双向通道，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍Amazon Redshift数据同步能力支持情况。支持的Amazon Redshift版本 Amazon Redshift使用的驱动...
使用DataWorks
通过向导模式配置并运行数据同步任务 或 通过脚本模式配置并运行数据同步任务 以可视化或脚本模式配置并运行离线同步任务。确认同步结果 在目标数据源侧确认数据同步结果。添加MaxCompute数据源 具体操作请参见 创建MaxCompute数据源。添加...
- 产品推荐
- 这些文档可能帮助您