一键实时同步至AnalyticDB for MySQL 3.0

配置表分类 在 表类型 列,确认及修改目标表类型,关于分区表和维度表的相关介绍请参见:基本概念。选择分布字段列 在 分布字段列,单击 按钮为目标表选择合适的分布键,默认使用源端表主键作为目标 AnalyticDB for MySQL 3.0表的分布键。...

配置并管理实时同步任务

配置表分类 在 表类型 列,确认及修改目标表类型,关于分区表和维度表的相关介绍请参见:基本概念。选择分布字段列 在 分布字段列,单击 按钮为目标表选择合适的分布键,默认使用源端表主键作为目标AnalyticDB for MySQL3.0表的分布键。...

一键实时同步至MaxCompute

支持通过目标表配置规则实现源端多表数据写入至目标端单表。任务组成 当前方案将分别创建用于全量数据初始化的离线同步子任务,和用于增量数据实时同步的数据集成实时同步子任务,方案产生的离线同步子任务个数与最终读取的表个数有关。...

一键实时同步至MaxCompute

支持通过目标表配置规则实现源端多表数据写入至目标端单表。任务组成 当前方案将分别创建用于全量数据初始化的离线同步子任务,和用于增量数据实时同步的数据集成实时同步子任务,方案产生的离线同步子任务个数与最终读取的表个数有关。...

MySQL一键实时同步至MaxCompute

同时,您可以修改建立方式、为目标在源有表字基础上增加附加字段。说明 目标名将根据您在 设置(库)名的映射规则 阶段配置名转换规则自动转换。功能 描述 为非主键选择主键 由于当前方案不支持无主键同步,所以您需要...

MySQL一键实时同步至MaxCompute

同时,您可以修改建立方式、为目标在源有表字基础上增加附加字段。说明 目标名将根据您在 设置(库)名的映射规则 阶段配置名转换规则自动转换。功能 描述 为非主键选择主键 由于当前方案不支持无主键同步,所以您需要...

整库离线同步至MaxCompute

单击 刷新源和MaxCompute映射 将根据您在步骤三配置的目标名映射规则来生成目标,若步骤三未配置映射规则,将默认写入与源同名的目标,若目标端不存在该同名,将默认新建。同时,您可以修改建立方式、为目标在源有表字...

整库离线同步至MaxCompute

单击 刷新源和MaxCompute映射 将根据您在步骤三配置的目标名映射规则来生成目标,若步骤三未配置映射规则,将默认写入与源同名的目标,若目标端不存在该同名,将默认新建。同时,您可以修改建立方式、为目标在原有字段...

配置并管理实时同步任务

单击 刷新源和MaxCompute映射 将根据您在步骤三配置的目标名映射规则来生成目标,若步骤三未配置映射规则,将默认写入与源同名的目标,若目标端不存在该同名,将默认新建。同时,您可以修改建立方式、为目标在源有表字...

一键实时同步至DataHub

单击 刷新源和DataHub Topic映射 将根据您在步骤三配置名到Topic的映射规则 来生成目标Topic,若步骤三未配置映射规则,将默认写入与源同名的目标Topic,若目标端不存在该同名Topic,将默认新建。同时,您可以修改Topic建立方式、...

一键实时同步至Kafka

单击 刷新源和Kafka Topic映射 将根据您在步骤三配置的 设置名到Topic的映射规则 来生成目标Topic,若步骤三未配置映射规则,将默认写入与源同名的目标Topic,若目标端不存在该同名Topic,将默认新建。同时,您可以修改Topic建立方式...

整库离线同步至Elasticsearch

步骤四:设置目标索引 单击 刷新源和Elasticsearch 索引映射 将根据您在步骤三配置的 设置名到索引名的映射规则 来生成目标索引,若步骤三未配置映射规则,将默认写入与源同名的目标索引,若目标端不存在该同名索引,将默认新建。...

配置并管理实时同步任务

单击 刷新源和Kafka Topic映射 将根据您在步骤3配置的 设置名到Topic的映射规则 来生成目标Topic,若步骤3未配置映射规则,将默认写入与源同名的目标Topic,若目标端不存在该同名Topic,将默认新建。同时,您可以修改Topic建立方式、...

通过脚本模式配置离线同步任务

当您需要实现更精细化的配置管理时,您可以使用脚本模式配置离线同步任务,通过编写数据同步的JSON脚本并结合DataWorks调度参数使用,将源端单或分库分表的全量或增量数据周期性同步至目标数据。本文为您介绍脚本模式配置离线同步任务...

通过向导模式配置离线同步任务

背景信息 数据集成离线同步,为您提供数据读取(Reader)和写入插件(Writer)实现数据的读取与写入,您可通过向导模式和脚本模式配置离线同步任务,实现源端单同步至目标端单、源端分库分表同步至目标端单两类数据同步场景。...

逻辑调度配置概述

逻辑表调度配置 在逻辑表 调度配置 对话框,您需根据下表配置逻辑表任务的调度相关信息。配置项 描述 数据延迟 用于自动重跑逻辑表在 最大延迟天数 周期内的全部数据。调度属性 逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则,...

开启多归并

根据业务需求,进入 配置任务对象及高级配置 阶段,并完成 多归并 上方的所有参数配置。勾选 多归并 下方的 是。可选:勾选 自定义_dts_data_source标签列的值 的 否。说明 仅在先购买后配置模式支持自定义标签列名和标签列值。在 源库...

数据投递

配置 说明 目标已存在的处理模式 预检查并报错拦截:检查目标数据库中是否有同名的。如果目标数据库中没有同名的,则通过该检查项目;如果目标数据库中有同名的,则在预检查阶段提示错误,数据同步任务不会被启动。说明 如果目标库...

统计

单击右上角 新建表配置>统计表,进入 新建统计表数据配置 页面。选择要导入的计算源、数据表。数据表可以选择表,也可以选择视图。若您选择的是表,则系统会自动识别该表是否包含时间分区。若表包含时间分区,请选择时间分区字段,并输入...

数据加密

配置数据表名称、表主键、是否允许更新等。打开 是否加密 开关后,选择 加密类型 为 kms服务主密钥。单击 确定。创建数据表后,单击数据表名称,您可以在 表管理 页面中 基本详情 页签,确认表的 是否加密 取值为 是-kms服务主密钥,表示...

创建加密

创建数据时您可以配置数据加密。表格存储提供基于密钥管理服务(Key Management Service,简称KMS)密钥加密和基于自带密钥(Bring Your Own Key,简称BYOK)自定义密钥加密两种加密方式,请根据实际需要选择。前提条件 已通过表格存储...

逻辑运行配置

您可根据业务场景为维度逻辑表配置任务级的运行超时时间和任务运行失败时的重跑策略,杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置逻辑表运行设置。操作步骤 请参见 数据开发入口,...

多实体管理

不同实体支持新增表的类型如下:用户实体:用户标签、统计表、用户行为、订单明细、订单汇总、临时标签表、商品标签 其他实体:标签表、行为表 新增表配置完成后,在配置 调度任务 时,也需要按照不同实体进行调度任务的配置。二、多实体的...

数据操作

read_cu 否 0 为数据表配置预留读吞吐量或预留写吞吐量。默认值均为0,即完全按量计费。单位为CU。容量型实例中的数据表的预留读/写吞吐量只能设置为0,不允许预留。当预留读吞吐量或预留写吞吐量大于0时,表格存储会根据配置为数据表预留...

批量创建质量规则

权限说明 超级管理员、质量管理员支持批量配置质量规则、新建及删除异常归档配置打分权重。质量负责人支持在自己所负责的监控对象下配置质量规则、新建及删除异常归档配置打分权重。质量负责人、普通用户需具有数据表、数据源的...

批量创建质量规则

权限说明 超级管理员、质量管理员支持批量配置质量规则、新建及删除异常归档配置打分权重。质量负责人支持在自己所负责的监控对象下配置质量规则、新建及删除异常归档配置打分权重。质量负责人、普通用户需具有数据表、数据源的...

配置数据质量监控

在数据质量左侧导航栏,单击 规则管理>按表配置 根据如下参数定位目标表。数据源:E-MapReduce。数据库:您当前的生产项目。表:本案例需要为dwd_log_info_di_emr表设置监控规则。在搜索结果中找到目标表,单击操作列的 监控配置,进入该表...

数据质量入门

背景信息 数据质量支持以表为维度,为某个表配置质量规则;或以规则模板为维度,批量为多个表配置某个质量规则。本文仅以配置单表的质量规则示例。使用模板批量为多个表配置质量规则,详情请参见 配置规则:按模板(批量)。更多数据质量...

创建数据

reservedThroughtput 为数据表配置预留读吞吐量或预留写吞吐量。容量型实例中的数据表的预留读/写吞吐量只能设置为0,不允许预留。默认值为0,即完全按量计费。单位为CU。当预留读吞吐量或预留写吞吐量大于0时,表格存储会根据配置为数据表...

宜搭创建大屏实操

本文主要介绍如何使用企业经营管理系统中客户库及签约表单数据,来创建并配置企业经营管理大屏。宜搭创建大屏实操视频,请参见:宜搭创建大屏实操视频。创建企业经营管理系统 操作步骤如下:登录宜搭系统,通过空白应用创建名称为 企业...

API概览

配置中心 API 标题 API概述 在线表配置 在线表配置 ModifyOnlineConfig 修改在线表配置 修改在线表配置。ListOnlineConfigs 获取在线表配置的详情 获取在线表配置的详情。索引结构 索引结构 CreateIndex 创建索引信息 创建索引信息。...

页面变量

数据表配置 选中后,对页面变量或脚本处理之后的结构化数据进行解析并排序,以决定在组件上具体显示数据。详细信息,请参见 数据过滤器。处理后结果 当勾选了 数据过滤脚本 或 数据表配置 时出现的参数。经过脚本处理以及数据表配置优化...

数据质量概述

规则配置 数据质量支持按表配置或按模板配置质量监控规则,详情请参见:配置规则:按表(单)、配置规则:按模板(批量)。任务查询 在任务查询页面您可以通过表或节点搜索表历史校验记录及校验详情。配置数据质量规则去噪 去噪管理功能...

配置表资产属性

本文介绍如何配置表资产属性值。前提条件 已创建自定义扩展属性,具体操作,请参见 自定义扩展属性。操作步骤 登录 数据资源平台控制台。在页面左上角,单击 图标,选择 运营。在顶部菜单栏,单击 资产管理。在左侧菜单栏,选择 系统资产...

配置表资产属性

本文介绍如何配置表资产属性值。前提条件 已创建自定义扩展属性,具体操作,请参见 自定义扩展属性。操作步骤 登录企业数据智能平台。在页面左上角,单击 图标,选择 运营。在顶部菜单栏,单击 资产管理。在左侧菜单栏,选择 系统资产管理>...

查看并管理实时任务

查看元表配置,请参见 新建元表。元表的开发环境测试时读取参数选中开发表。任务中使用的是 Project_Name_dev.元表名,则读取开发环境测试元表。任务中使用的是 Project_Name.元表名,则读取生产元表。如果您没有生产环境测试元表权限,则...

新建数据探查任务

探查结果 支持给不同数据表配置探查报告的查看权限,以便更好的管控敏感数据。支持2种配置方式:公开:有权限查看该数据表详情页的用户均可查看探查报告。仅管理员和负责人可见:支持超级管理员、运营管理员、当前数据表所在项目管理员及...

配置数据质量监控

2、配置监控规则 表ods_raw_log_d用于接收从OSS同步过来的网站访问记录,为用户画像分析场景源头表,所以为避免后续无效加工及质量问题,我们针对该表配置表行数大于0的强监控规则,来判断同步任务是否往该表该分区写入数据。当监控到ods_...

配置示例:MaxCompute

在左侧导航栏,单击 规则管理>按表配置。选择 引擎/数据源 为 MaxCompute,显示当前数据源下所有的表。您也可以输入目标表名(支持表名首字母模糊搜索),查找对应的表。单击相应表后的 配置监控规则。配置分区表达式 数据质量通过分区表达...

数据质量风险监控

在 数据质量 页面的左侧导航栏,选择 规则管理>按表配置,在 规则配置-按表配置 页面找到表ods_user_trace_log,单击 操作 列的 配置监控规则。添加分区。单击+,选择 分区表达式 为 dt=$[yyyymmdd-1],对应表ods_user_trace_log的分区格式...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
配置审计 应用配置管理 (文档停止维护) 云服务器 ECS 微服务引擎 DDoS防护 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用