模块名称 功能说明 存储引擎 MaxCompute为您提供MaxCompute存储引擎(内部存储)用于存储MaxCompute表、资源等,同时您也可以通过外表的方式直接读取存储在OSS、TableStore、RDS等其他产品中的数据。其中MaxCompute存储引擎主要采用列压缩...
数据传输服务DTS(Data Transmission Service)支持将 PolarDB MySQL版 集群迁移至ClickHouse集群,帮助您实现数据地流转,将企业数据集中分析。前提条件 已创建20.8及以上版本的目标ClickHouse集群,详情请参见 新建集群。说明 ClickHouse...
如果离线计算任务运行失败,可通过重新调度对应时间周期的任务,补充节点数据。任务中心支持在任务流、节点任务和离线计算任务中补数据。本文以在任务流和离线计算任务中补数据为例,介绍如何新建补数据计划。在任务流中新建补数据计划 ...
如果离线计算任务运行失败,可通过重新调度对应时间周期的任务,补充节点数据。任务中心支持在任务流、节点任务和离线计算任务中补数据。本文以在任务流和离线计算任务中补数据为例,介绍如何新建补数据计划。在任务流中新建补数据计划 ...
名称 数据源的显示名称,可以自由命名。指定VPC域名 Hologres实例的指定VPC网络域名。进入 Hologres管理控制台 的实例详情页,从 网络信息 的指定VPC的 域名 列获取指定VPC的域名。用户名 登录实时数仓Hologres实例账号的AccessKey ID。...
名称 数据源的显示名称,可以自由命名。域名 Hologres实例的域名。进入 Hologres管理控制台 的实例详情页,从 网络信息 的指定VPC的 域名 列获取域名。用户名 登录实时数仓Hologres实例账号的AccessKey ID。密码 登录实时数仓Hologres实例...
参数 说明 名称 数据源的显示名称,可以自由命名。域名 连接数据库的外网地址。注意 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。例如使用外网环境下的阿里云PolarDB for Oracle,域名示例为:...
参数 说明 名称 数据源的显示名称,可以自由命名。域名 连接数据库的外网地址。注意 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。例如使用外网环境下的阿里云PolarDB for MySQL,域名示例为:...
参数 说明 名称 数据源的显示名称,可以自由命名。VPC ID VPC实例的ID,此VPC为您的PolarDB for Oracle实例所在的VPC。可进入 PolarDB 控制台,在实例基本信息页面中获取,您可以配置添加实例所在区域的DataV VPC内网地址的白名单,即可...
参数 说明 名称 数据源的显示名称,可以自由命名。VPC ID VPC实例的ID,此VPC为您的PolarDB for MySQL实例所在的VPC。可进入 PolarDB 控制台,在实例基本信息页面中获取,您可以配置添加实例所在区域的DataV VPC内网地址的白名单,即可获取...
参数 说明 名称 数据源的显示名称,可以自由命名。域名 连接数据库的外网地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。例如使用外网环境下的阿里云PolarDB for PostgreSQL,域名示例为:...
参数 说明 名称 数据源的显示名称,可以自由命名。VPC ID VPC实例的ID,此VPC为您的PolarDB for PostgreSQL实例所在的VPC。可进入 PolarDB 控制台,在实例基本信息页面中获取,您可以配置添加实例所在区域的DataV VPC内网地址的白名单,...
参数 说明 名称 数据源的显示名称,可以自由命名。域名 连接数据库的外网地址。注意 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。例如使用外网环境下的阿里云OceanBase for MySQL,域名示例为:...
参数 说明 名称 数据源的显示名称,可以自由命名。VPC ID VPC实例的ID,此VPC为您的OceanBase实例所在的VPC。可进入 OceanBase控制台,在 租户详情 页面中获取,您可以配置添加实例所在区域的DataV VPC内网地址的白名单,即可获取查看到...
关于支持的产品名称,请参见 支持识别敏感数据的数据类型。RDS PageSize integer 否 分页查询时,设置列表中每页显示的数据资产实例的最大条数。默认值:10。10 CurrentPage integer 否 分页查询时,设置当前页面的页码。默认值:1。1 返回...
参数 说明 名称 数据源的显示名称,可以自由命名。域名 连接数据库的地址。重要 该地址是需要DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。例如使用DLA的外网地址:umxxxxxxxx-31xxxxxx....
参数 说明 名称 数据源的显示名称,可以自由命名。域名 连接数据库的地址。重要 该地址是需要DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。用户名 登录数据库的用户名。密码 登录数据库的密码。端口 数据库...
参数 说明 名称 数据源的显示名称,可以自由命名。域名 连接数据库的地址。重要 该地址是需要DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录...
配置敏感数据掩码可以防止审计到的日志信息中包含敏感数据信息,使用掩码可以防止敏感信息在查询审计日志时泄露。本文介绍如何对审计到的客户敏感数据(例如:身份证号、银行卡号等)添加掩码“*”后再呈现。登录云盾数据库审计系统。具体...
1 ProductId long 否 数据对象所属的产品名称对应的 ID。取值:1:MaxCompute 2:OSS 3:ADB-MYSQL 4:TableStore 5:RDS 6:SELF_DB 7:PolarDB-X 8:PolarDB 9:ADB-PG 10:OceanBase 11:MongoDB 25:Redis 5 Id string 是 设置要查询的...
数据应用层ADS(Application Data Service):存放数据产品个性化的统计指标数据。根据CDM与ODS层加工生成。该数据分类架构在ODS层分为三部分:数据准备区、离线数据和准实时数据区。整体数据分类架构如下图所示。在本教程中,从交易数据...
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源(HDFS、Hive和JDBC)时,可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
源产品 是 选择包含脱敏数据的文件来源的产品名称。支持选择的产品包括:RDS、PolarDB-X、OceanBase、MaxCompute、ADB-MySQL、PolarDB 或 自建数据库。源数据库/项目名 是 选择包含脱敏数据的表所在的项目名称。源表名 是 选择脱敏数据所在...
涉及产品 本案例涉及以下产品:一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集,加工,质量监控,与数据可视化展现,您需提前开通该服务。详情请参见 开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...
涉及产品 本案例涉及以下产品:一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、加工、质量监控,以及数据可视化展现,您需提前开通该服务。详情请参见 开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...
规划数据库对象 二级目录 文档名称 规划数据对象 创建数据库 创建表 创建索引 数据写入 二级目录 文档名称 数据写入 插入数据 更新数据 删除数据 替换数据 数据读取 二级目录 文档名称 文档名称 数据读取 关于查询 单表查询 条件查询 排序...
数据开发更简单:平台提供的各种工具产品能够极大的简化数据开发过程,缩短数据治理周期,降低数据治理成本。通过标准化、精细化、规格化的智能数据生产流程,完成流水线式的数据生产作业,提升数据资源生产效率、消除数据供应品质差异。...
查看已生成实例列表 补数据实例运维列表页面展示当前 补数据名称-业务日期、补数据状态、补数据任务、补数据提交人、业务日期、提交时间、运行时长、节点数 及支持的操作。已生成实例的单个已生成实例包括三层,如下图所示。区域 描述 ① ...
查看已生成实例列表 补数据实例运维列表页面展示当前 补数据名称-业务日期、补数据状态、补数据任务、补数据提交人、业务日期、提交时间、运行时长、节点数 及支持的操作。已生成实例的单个已生成实例包括三层,如下图所示。区域 描述 ① ...
案例背景 本案例将为您演示如何使用流式ETL功能,将实时交易数据(订单号、客户ID、产品/商品编码、交易金额、交易时间)与业务维度数据(产品编码、产品单价、产品名称等)相结合,并将满足过滤条件的数据(如统计单笔超3000的实时交易...
③ 已提交实例列表 已提交实例页面以列表形式为您展示周期任务生成的已提交实例,包括 补数据名称-业务日期、补数据状态、补数据任务、补数据提交人、业务日期、提交时间、运行时长、节点数 及支持的 操作。更多信息,请参见 查看已提交...
③ 已提交实例列表 已提交实例页面以列表形式为您展示周期任务生成的已提交实例,包括 补数据名称-业务日期、补数据状态、补数据任务、补数据提交人、业务日期、提交时间、运行时长、节点数 及支持的 操作。更多信息,请参见 查看已提交...
命名规则为<数据板块名称>.dim_<业务对象名称>_<数据时效>。根据上述选择的数据时效,<数据时效>展示信息不同,详细说明如下:df:T+1时效,日全量,每天存储历史截止当天的全量数据。hf:T+h时效,小时全量,每小时存储历史截止当前小时的全量...
本文为您介绍如何新建HttpFile和MySQL数据源来访问本教程所提供的用户信息与网站日志数据,配置数据同步链路至私有OSS数据源,并通过EMR Hive节点建表去查询同步后的数据,完成数据同步的操作过程。前提条件 开始本文的操作前,请准备好...
OSS TargetProductCode string 否 数据流转异常类型事件中的目标产品名称,取值:MaxCompute、OSS、ADS、OTS、RDS等。RDS UserName string 否 子账号用户名。name WarnLevel integer 否 异常事件的危险等级。1:低危。2:中危。3:高危。1 ...
DataWorks作为阿里云一站式大数据开发与治理平台,通常会与计算引擎产品联合使用,此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下,使用DataWorks时通常会使用到的其他云产品。计算...
配置项 说明 名称 数据脱敏规则的名称。长度为1~64个字符,支持中英文字符、数字、半角句号(.)、下划线(_)和短划线(-)。状态 选择 启用 或 禁用 数据脱敏规则。正则表达式 设置数据脱敏规则的正则表达式。过滤范围 设置需脱敏数据的 ...
数据应用集市:面向数据产品需求的集市。公共集市:如果您希望创建各集市需要通用的应用层模型,则可以选择该类型。所属业务分类 数据集市所属的业务分类。详情请参见 业务分类。负责人 创建数据集市的负责人。默认为当前登录账号。备注 ...
数据源名称 数据源名称必须以字母、数字、下划线组合,且不能以数字和下划线开头。数据源描述 对数据源进行简单描述,不得超过80个字符。适用环境 可以选择 开发 或 生产 环境。说明 仅标准模式工作空间会显示该配置。地区 选择相应的区域...
本文介绍数据安全中心的主要...Mysql、RDS-PG 仅支持OceanBase、RDS-Mysql、RDS-PG 政务云 地域名称 数据洞察 数据脱敏 数据审计 数据安全态势 华北2 阿里政务云1 仅支持审计OceanBase、RDS-Mysql、RDS-PG 仅支持OceanBase、RDS-Mysql、RDS-PG