数据接口配置说明

在区块编辑器中,配置的数据接口内容,进行预览和测试数据接口内容,接口测试无误后,发布区块,详情请参见 预览区块 和 发布区块。切换到控制台上的 我的可视化 页面,将鼠标悬浮至一个可视化应用上方,单击 编辑 进入画布编辑器。单击 ...

运维阶段

开发人员根据影响分析的结果判断是否线上的数据应用有影响。如果有影响,需要开发人员及时推送告警信息至任务责任人,并判断原因、确定可行性解决方案。如果无影响,则无需处理。制定与实施方案。开发人员提交线上变更申请。审批人员...

快照备份

对实例性能的影响 资源占用实例性能影响略大,建议在业务低峰期执行备份。仅占用实例的极小部分I/O资源,对实例性能几乎无影响,随时可执行备份。下载备份 支持 不支持 前提条件 RDS实例需满足以下条件:存储类型:ESSD云盘、通用云...

数据方案概览

无锁数据变更 将结合表中的主键或非空唯一键,分批对表中的目标数据进行操作,在保证执行效率的同时,尽可能地减小了对数据库性能、空间的影响。历史数据清理 支持历史数据清理,可以根据设定的规则定期清理历史数据。可编程对象 支持存储...

配置同步任务

数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、PostgreSQL、AnalyticDB for PostgreSQL 开源大数据数仓存储 Hive、TDH Inceptor 说明 HBase作为数据源或者目标数据源,支持的版本为HBase V1.1.x、HBase V0.94.x。...

词云

数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型,灵活配置组件数据数据映射 当您需要自定义图表字段配置时,可以在 数据映射 模块设置不同的字段映射内容,将这些...

配置同步任务

速度上限会影响整个调度的资源情况,速度上限设置的越高,运行任务的调度资源量会越。并发数 启动并发抽取数据的任务的并发数。出错限制 指数据同步过程中,出错的记录数超过多少条则任务中止。默认为0条,即不允许出错。配置同步任务的...

功能特性

普通数据变更 无锁数据变更 可以将单个SQL拆分成多个批次执行,能更好地满足业务方变更大量表数据且不锁表的需求,例如历史数据清理、全表更新字段等,保证执行效率,减小对数据库性能、数据库空间等的影响。无锁数据变更概览 无锁变更 ...

使用方法

您可以使用数据过滤器,自定义数据过滤代码,实现数据结构转换、数据筛选展示和一些简单的计算。本文介绍新版DataV资产数据过滤器的使用方法。背景信息 新版数据过滤器与旧版过滤器相比,取消了全局过滤器的概念(即各可视化应用共享过滤器...

等值面层(v2.x版本)

权重:插值点周围点的影响,范围为0.5~3。权重越影响越,渲染效果越好,但渲染时间越长。渲染方式:等值面层的渲染方式,系统提供 线性渲染 和 分段渲染 两种方式。线性渲染 参数 说明 中断值 线性渲染的中断值。DataV会根据您设置...

配置敏感数据分类分级

数据分类分级支持您按照数据的价值、内容敏感程度、影响和分发范围对数据进行敏感级别和类型的划分,不同敏感级别的数据其管控原则和数据开发要求存在差异,划分分类分级后,后续可通过分类分级管控不同程度的敏感数据。本文为您介绍如何...

Tair持久化与备份恢复

AOF_FSYNC_EVERYSEC 策略Redis服务性能的影响较小,同时也能极地降低意外情况下的数据损失风险。Tair-Binlog Tair 内存型不仅支持上述两种持久化策略,还优化了基于AOF(Append-only-file)的持久化机制,实现AOF增量归档,避免了AOF ...

Redis持久化与备份恢复

AOF_FSYNC_EVERYSEC 策略Redis服务性能的影响较小,同时也能极地降低意外情况下的数据损失风险。Tair-Binlog Tair 内存型不仅支持上述两种持久化策略,还优化了基于AOF(Append-only-file)的持久化机制,实现AOF增量归档,避免了AOF ...

创建同步任务

错误记录数控制(脏数据控制)用于定义脏数据阈值,及任务的影响。重要 当脏数据过多时,会影响同步任务的整体同步速度。不配置时默认允许脏数据,即任务产生脏数据时不影响任务执行。配置为0,表示不允许脏数据存在。如果同步过程中产生...

备份大小

方法 三:减少不必要的增删改,减少对大字段的更新 对数据库的增删改操作都会导致日志备份大小增加。说明 使用 SQL洞察 功能可以查看数据库的增删改查记录。关闭日志备份 访问 RDS实例列表,在上方选择地域,然后单击目标实例ID。在左侧...

新功能发布记录

OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...

功能概览

普通数据变更 无锁变更 DML无锁变更基于强大的DMS引擎将单个SQL拆分成多个批次执行,能更好地满足业务方大量数据变更的需求,例如历史数据清理、全表更新字段等,保证执行效率,减小对数据库性能、数据库空间等的影响。DDL无锁变更可以...

数据库变更管理

背景信息 ODC 支持对数据库中的数据进行变更。用户可以通过数据库变更任务运行耗时较高的 SQL 语句以避免语句执行超时。注意事项 只支持 UPDATE 和 DELETE 变更语句自动生成回滚语句。支持的变更影响行数上限为 100W,超过则不支持自动...

采集数据

本教程以MySQL中的用户基本信息(ods_user_info_d)表及OSS中的网站访问日志数据(user_log.txt)文件,通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例,为您介绍如何通过DataWorks数据集成实现异构...

Teradata迁移至云原生数据仓库 AnalyticDB PostgreSQL...

类型 说明 源库限制 带宽要求:源库所属的服务器需具备足够出口带宽,否则将影响数据迁移速率。待迁移的表需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别,且需进行编辑(如表列名...

词云

数据源 单击 配置数据源,可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果,详情请参见 配置资产数据数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...

通过向导模式配置离线同步任务

错误记录数控制(脏数据控制)用于定义脏数据阈值,及任务的影响。重要 当脏数据过多时,会影响同步任务的整体同步速度。不配置时默认允许脏数据,即任务产生脏数据时不影响任务执行。配置为0,表示不允许脏数据存在。如果同步过程中产生...

文档修订记录

Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南,为您介绍数据安全治理的常见思路、DataWorks产品的安全能力,以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...

采集数据

确认字段映射及通用配置 DataWorks通过配置源端与目标端字段映射关系,实现源端指定字段数据写入目标端指定字段,同时提供并发设置并发读写数据、提供限速功能避免同步对数据库造成影响、提供脏数据影响定义及分布式执行任务等功能。...

生命周期管理介绍

功能说明 您可以通过生命周期管理对数据湖中的数据库、数据表配置数据管理规则,可以基于数据最后访问时间、分区值、分区/表最后修改时间、分区/表创建时间四种规则类型,对数据定期进行存储类型转换,从而节省数据存储成本。同时,可以...

DataStudio侧实时同步任务配置

完成数据源、网络、资源的准备配置后,您可创建实时同步节点,将多种输入及输出数据源搭配组成同步链路,进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务,并在创建完成后查看任务运行情况。前提...

管理数据库资产

在审计数据库前,您必须在数据库审计系统中添加要审计的数据库。本文介绍如何在数据库审计系统中管理数据库。背景信息 关于数据库审计支持的数据库类型,请参见 支持的数据库类型。添加数据库 您可以参考以下步骤在数据库审计系统中添加要...

迁移时源库为PolarDB MySQL版的注意事项及限制

3.0 PolarDB MySQL版迁移至自建Oracle PolarDB MySQL版迁移至DataHub PolarDB MySQL版间的迁移 具体注意事项及限制如下:类型 说明 源库限制 带宽要求:源库所属的服务器需具备足够出口带宽,否则将影响数据迁移速率。待迁移的表需具备主键...

拓展组件

数据绑定 单击 数据编辑器,打开数据编辑面板。单击 新增行,增加需要添加的参数字段。确认无误后,单击 保存。查看当前对象的数据绑定结果。变量绑定 单击 变量编辑器,打开变量编辑面板。单击 新增行,增加需要添加的变量名称、变量类型...

场景:切换调度时区

切换大致分为以下几步:用户侧:存量数据的影响面评估。平台侧:存量数据的迁移。平台侧:设置新时区。用户侧:存量数据的恢复/新时区的验证。建议您各类型任务进行多次验证以确认任务运行无误。确认时区切换是否成功 您可前往数据开发的...

自定义SQL Console的使用规范

DMS提供功能强大的SQL Console,轻松实现对数据库读、写操作。同时,您可以结合安全规则,自定义配置SQL Console查询规范。本文将以 POC_dev 实例(相关配置参见 准备工作 和 结构设计)为操作对象向您介绍SQL Console的部分使用规范。前提...

模型查看器

数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型,灵活配置组件数据数据映射 当您需要自定义图表字段配置时,可以在 数据映射 模块设置不同的字段映射内容,将这些...

通过脚本模式配置离线同步任务

errorLimit(错误记录数控制)用于定义脏数据阈值,及任务的影响。重要 当脏数据过多时,会影响同步任务的整体同步速度。不配置时默认允许脏数据,即任务产生脏数据时不影响任务执行。配置为0,表示不允许脏数据存在。如果同步过程中产生...

功能发布记录(2023年)

2023-12 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发(DataStudio)绑定数据源 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务,需先将已创建的数据源或集群绑定至数据开发(DataStudio)...

添加静态数据

本文档介绍在DataV中添加静态数据文件的方法。前提条件 已准备好待添加的静态数据文件。...将静态数据文件内容粘贴到上图的数据编辑框区域。重要 文件大小需要小于512KB。单击 查看数据返回结果,查看数据源的返回结果样式。

全增量实时同步至Hologres

限流:考虑到速度过高可能对数据库造成过的压力从而影响生产,数据集成同时提供了限速选项,您可以通过限流控制同步速率,从而保护读取端数据库,避免抽取速度过,给数据库造成太的压力。限速最小配置为1MB/S,最高上限为30MB/s。离...

等值面层(v1.x版本)

权重:插值点周围点的影响,范围为0.5~3。权重越影响越,渲染效果越好,但渲染时间越长。渲染方式:等值面层的渲染方式,系统提供 线性渲染 和 分段渲染 两种方式。线性渲染 最小颜色:value 值最小的插值点的颜色,请参见 颜色选择...

PolarDB PostgreSQL版(兼容Oracle)间的迁移

类型 说明 源库限制(PolarDB 1.0)带宽要求:源库所属的服务器需具备足够的出口带宽,否则将影响数据迁移速率。待迁移的表需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别,且需...

配置数据识别规则

背景信息 DataWorks支持您按照数据的敏感级别和所属分类定义数据识别规则,帮助您识别组织内的敏感数据,对于识别结果不准确的数据,您可以 手动修正数据,并在 敏感数据概况 模块为您展示最近的通过数据识别规则命中的、按照项目细分的...

数据资产定级

数据的资产等级,可以根据数据质量不满足完整性、准确性、一致性、及时性业务的影响程度进行划分。数据等级定义如下:毁灭性质:数据一旦出错,将会引起重大资产损失,面临重大收益损失等。标记为A1。全局性质:数据直接或间接用于企业级...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 Redis 版 云数据库 RDS 数据传输服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用