为了更好地指导您使用数据管理DMS(Data Management),DMS推出解决方案系列文档,旨在通过最佳实践(Step by Step)的形式向您介绍DMS研发流程、数据安全、数据开发的解决方案。研发流程解决方案 DMS为在线流程化系统,可统一管理企业内...
如果源或目标数据库是ECS上的自建数据库,DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中,您还需确保自建数据库没有限制ECS的访问(若数据库是集群部署在多个ECS实例,您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
由于全量数据迁移会并发执行INSERT操作,导致目标数据库的表产生碎片,因此全量迁移完成后目标库的表存储空间会比源库的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
私有定制RDS 实例创建后,您还需要设置 私有定制RDS 实例的IP白名单,以允许外部设备访问该实例。设置白名单并不会影响实例的正常运行。您可以通过定期维护白名单,保证实例得到高级别的访问安全保护。本文将介绍白名单的相关操作。注意...
在数据同步任务配置前,您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
800万/小时入库速率 10亿条在线SQL语句存储 350亿条归档SQL语句存储 支持审计25个数据库实例 20,000元/月 240,000元/年 说明 可以通过需要使用的数据库实例的数量来选择需要开通的数据库审计版本,数据库实例通过 数据库IP+数据库端口号 ...
本文为您介绍典型场景下,使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS(Elastic Compute Service)作为集群的节点,每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
DataWorks在多个行业中均有典型的案例落地,帮助多个行业的企业解决数据痛点,挖掘数据价值,本文为您介绍典型行业中已落地的客户案例。新零售行业:大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型,拥抱新零售,...
本文介绍如何在数据库自治服务DAS中接入阿里云ECS自建数据库。前提条件 DAS目前支持接入的ECS自建数据库引擎有:MySQL PostgreSQL MongoDB Redis 说明 目前DAS仅支持接入6.0及以下版本的自建Redis。部署数据库实例的ECS与DAS属于同一个阿里...
关注与入会有什么区别 关注 入会 形式不同 成为店铺的粉丝 成为店铺的会员 开户门槛不同 无门槛 需要CEM客户运营平台开通B版,可以设置无门槛入会 数据沉淀位置不同 沉淀在品牌数据银行 沉淀在数据银行和CEM 拉新后营销方式不同 可以在数据...
本文介绍如何在数据库自治服务DAS上接入除阿里云外的其他自建数据库,包括用户本地机房数据库、其他云厂商的数据库和其他云厂商虚拟机上的自建数据库。前提条件 DAS目前支持接入的自建数据库引擎:MySQL MongoDB PostgreSQL Redis 说明 ...
在进行数据同步前,您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据源的网络连通性。本文为您介绍数据源与DataWorks工作空间同阿里云主账号时如何进行网络连通。背景信息 网络连通方案选择取决于数据...
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力,本文以一个零售电商行业的数仓搭建实验为例,为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现,帮助您深入了解阿里云...
背景信息 Oracle 数据源的实例类型包括 VPC 内自建数据库、数据库网关 和 公网 IP 自建数据库。公网 IP 是 OMS 服务的公网出口,仅访问公网数据源时,需要添加白名单。使用其它类型的数据源时,无需添加公网服务的白名单。操作步骤 如果您...
dp 数据库IP。dt 数据库端口。dc 数据库MAC地址。tm 会话动作时间。at 会话动作。取值:1:失败 0:登录 1:退出 rc 数据库应答码。rt 数据库应答信息。um 数据库用户名。tl 工具和应用。om OS用户。im 服务(实例)名。
如果数据库业务量较大或服务器规格较低,可能会加重数据库压力,甚至导致数据库服务不可用。建议您在执行数据迁移前谨慎评估,在业务低峰期执行数据迁移。如果目标数据库内存不足,触发数据逐出时,由于 云原生内存数据库Tair 的默认数据...
本文为您介绍如何使用MaxCompute分析IP来源,包括下载、上传IP地址库数据、编写UDF函数和编写SQL四个步骤。前提条件 开通MaxCompute和DataWorks。在DataWorks上完成创建业务流程,本例使用DataWorks简单模式。详情请参见 创建业务流程。...
如果数据库业务量较大或服务器规格较低,可能会加重数据库压力,甚至导致数据库服务不可用。建议您在执行数据迁移前谨慎评估,在业务低峰期执行数据迁移。若目标数据库内存不足,触发数据逐出时,由于 云数据库Redis版 的默认数据逐出策略...
本文为您介绍如何使用MaxCompute分析IP来源,包括下载、上传IP地址库数据、编写UDF函数和编写SQL四个步骤。前提条件 开通MaxCompute和DataWorks。在DataWorks上完成创建业务流程,本例使用DataWorks简单模式。详情请参见 创建业务流程。...
在安全性上有较大缺陷。本文介绍如何指定账号从特定的IP地址访问数据库。前提条件 已创建高权限账号,创建方法,请参见 创建高权限账号。注意事项 通过本文的操作步骤为账号指定IP地址后,再通过控制台或者API接口管理该账号(删除账号、...
在日志服务控制台查看会话日志 日志服务存储了数据库审计系统审计到的数据库操作日志,在数据库审计系统查看到的会话日志来源是日志服务,您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的会话日志数据。...
本文介绍如何使用数据传输服务DTS(Data Transmission Service),将自建Oracle迁移至阿里云消息队列Kafka。前提条件 已创建源数据库自建Oracle和目标实例 阿里云消息队列Kafka版。说明 源数据库和目标实例支持的版本,请参见 迁移方案概览...
调用ListPublicIpAddressPoolCidrBlocks接口查询IP地址池中的IP地址网段信息。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应...
说明 数据同步基于数据源控制任务读写端数据库,您需要在数据集成同步任务配置前,配置好您需要同步的源端和目标端数据库或数据仓库的相关信息,以便在同步过程中,可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。数据源...
使用审计日志功能,您可以查询所有审计数据。本文介绍了如何在云盾数据库审计系统和在日志服务控制台查询审计日志。在数据库审计系统查看审计日志 登录云盾数据库审计系统。具体操作,请参见 登录数据库审计系统。在左侧导航栏,选择 查询...
将数据库添加到数据库审计系统后,您可以为数据库配置安全规则(即审计规则),当数据库的审计记录命中审计规则时,数据库审计系统会触发告警。本文介绍如何配置审计规则。背景信息 审计规则支持内置规则和自定义规则。内置规则即数据库...
因为 VPC 可能在 ECS 平台进行访问限制,而作为数据迁移或数据同步的数据源,需要被数据传输服务器 IP 访问。在 VPC 下拉列表中选择目标 VPC 后,单击右侧的复制图标,复制并保存 VPC ID。进入云服务器 ECS 控制台的 安全组 页面,在 创建...
调用ModifyDrdsIpWhiteList接口修改PolarDB-X数据库的IP白名单。请求参数 参数名 类型 是否必须 说明 Action String 是 系统规定参数,取值:ModifyDrdsIpWhiteList。DrdsInstanceId String 是 PolarDB-X实例ID。DbName String 是 数据库名...
调用DescribeDrdsDBIpWhiteList接口查询PolarDB-X数据库的IP白名单。请求参数 参数名 类型 是否必须 说明 Action String 是 系统规定参数,取值:DescribeDrdsDBIpWhiteList。DrdsInstanceId String 是 PolarDB-X实例ID。DbName String 是 ...
联合以UC为核心营销阵地,依托阿里数据技术,营销能力整合,帮助您的营销更简单,更有效。营销引擎云码 效果营销活动 UC-阿里重要的内容分发平台 UC-大规模高质量的用户汇聚 生态流量多场景精准营销转化 游戏题材占比分析 下图为游戏类型和...
由于全量数据迁移会并发执行INSERT操作,导致目标数据库的表产生碎片,因此全量迁移完成后目标库的表存储空间会比源库的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
本文介绍如何使用数据传输服务DTS(Data Transmission Service)将自建PostgreSQL迁移至 云原生数据仓库AnalyticDB PostgreSQL版。前提条件 已创建目标 AnalyticDB PostgreSQL 实例,详情请参见 创建实例。目标 AnalyticDB PostgreSQL 实例...
数据地图 为什么数据地图数据总览页存储量和存储趋势图相差较大?数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游?哪些类型的Hive表支持在数据地图中预览?数据保护伞 数据保护伞为什么有时候查询脱敏有...
背景信息 MySQL 数据源的实例类型包括 RDS 实例、PolarDB 实例、VPC 内自建数据库、数据库网关 和 公网 IP 自建数据库。公网 IP 是 OMS 服务的公网出口,仅访问公网数据源时,需要添加白名单。使用其它类型的数据源时,无需添加公网服务的...
如为增量迁移任务,DTS要求源数据库的数据日志保存24小时以上,如为全量迁移和增量迁移任务,DTS要求源数据库的数据日志至少保留7天以上(您可在全量迁移完成后将数据日志保存时间设置为24小时以上),否则DTS可能因无法获取数据日志而导致...
如果源或目标数据库是ECS上的自建数据库,DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中,您还需确保自建数据库没有限制ECS的访问(若数据库是集群部署在多个ECS实例,您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
如为增量迁移任务,DTS要求源数据库的数据日志保存24小时以上,如为全量迁移和增量迁移任务,DTS要求源数据库的数据日志至少保留7天以上(您可在全量迁移完成后将数据日志保存时间设置为24小时以上),否则DTS可能因无法获取数据日志而导致...
如果源或目标数据库是ECS上的自建数据库,DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中,您还需确保自建数据库没有限制ECS的访问(若数据库是集群部署在多个ECS实例,您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
如为增量迁移任务,DTS要求源数据库的数据日志保存24小时以上,如为全量迁移和增量迁移任务,DTS要求源数据库的数据日志至少保留7天以上(您可在全量迁移完成后将数据日志保存时间设置为24小时以上),否则DTS可能因无法获取数据日志而导致...
如果源或目标数据库是ECS上的自建数据库,DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中,您还需确保自建数据库没有限制ECS的访问(若数据库是集群部署在多个ECS实例,您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...