调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权...
调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。接口说明 本接口一般用于敏感数据资产信息表中列数据的查看,便于用户准确的对敏感数据进行分析。注意事项 DescribeColumns 接口已修订为 ...
Serverless Spark要挂载用户VPC网络的虚拟网卡,只需要在Spark作业配置中配置VPC网络中的安全组ID和虚拟交换机ID即可。如果用户的ECS本来就可以访问目标数据,只需要在Spark作业配置中配置该ECS所在的安全组ID和虚拟交换机ID即可。说明 ...
性能观测使用声明 性能观测提供的网络时延等性能数据仅供您参考,阿里云不对数据的准确性、实时性提供任何形式的承诺或保证,实际网络性能以真实运行效果为准。性能观测展示的网络时延,来自阿里云单独构建的探测集群。探测集群会在网络上...
全球数据库网络(Global Database Network,简称GDN)是由分布在同一个国家不同地域的多个 PolarDB 集群组成的网络,网络中所有集群的数据均保持同步。当您的业务部署在多个地域时,利用GDN可以实现应用访问数据库的低延迟和高稳定性。本文...
GDN网络中所有集群的数据保持同步,网络中每个集群均提供读服务(写服务会被转发到主集群处理),并且提供异地灾备能力,可满足如下应用场景:异地多活 如果业务部署在多个地域,传统网络下,数据库在主地域,其它地域的应用需要跨地域访问...
下图通过转账测试给出了全局一致性的示例:PolarDB-X 中存放了一张用户的账户余额表,该表的数据分布在两个数据节点中,总的账户金额是200元。业务持续地使用分布式事务在不同的账号间进行转账。某一时刻(2021-07-25 16:14:20),账户B向...
您授权允许 数据安全中心(DSC...部署在经典网络中的阿里云数据产品外网地址未放行流量的访问控制,导致网络不通。MaxCompute连接授权失败有哪些原因?MaxCompute项目名称输入错误。MaxCompute项目中添加 DSC 账号失败。相关文档 数据资产授权
网络中所有集群的数据保持同步,完全一致。更多详情,请参见 创建与删除全球数据库网络。主集群(Primary Cluster)全球数据库网络(GDN)中只有一个集群拥有读写权限,这个可读可写的集群叫做主集群。从集群(Secondary Cluster)全球数据...
GDN网络中所有集群的数据保持同步,网络中每个集群均提供读服务(写服务会被转发到主集群处理),并且提供异地灾备能力。支持 不支持 高压缩引擎(X-Engine)阿里巴巴自研的基于LSM-tree架构的存储引擎X-Engine提供了强大的数据压缩能力,...
本文介绍敏感数据扫描和识别的常见问题及解决方法。数据扫描会影响我的数据库性能吗?DSC支持扫描的数据源有哪些?数据源授权完成后需要多长时间...会对所有已授权的数据源中的全部数据进行自动扫描。对所有已授权的数据源收取全量扫描费用。
业务挑战 大部分阿里云用户会将阿里云关系型数据库RDS、PolarDB for MySQL、MongoDB或者云服务器ECS自建数据库作为业务系统数据库,随着业务数据的增长,业务数据库存储的数据也越来越多。但RDS、PolarDB for MySQL、MongoDB或者ECS自建...
后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、Elasticsearch和MongoDB数据源中数据表的元数据。背景信息 HBase、Elasticsearch和MongoDB数据源为非关系型数据源,基于这三种数据源创建服务单元时无法直接...
在管理数据页面中,数据的类型分为 ...上传数据 管理数据页面中的数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六大类,不同类型的数据可上传的数据格式互不相同,具体三种类型数据上传数据的详细说明请参见 上传数据。
在管理数据页面中,数据的类型分为 ...上传数据 管理数据页面中的数据类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六大类,不同类型的数据可上传的数据格式互不相同,具体三种类型数据上传数据的详细说明请参见 上传数据。
如果您需要对RDS实例中的敏感数据进行管控和脱敏,可以使用数据管理DMS提供的敏感数据保护功能。费用 请参见 敏感数据保护功能定价。功能介绍 数据管理DMS的敏感数据管理提供如下功能:提供敏感数据资产大盘,解决企业敏感数据分布的统一纳...
分析型数据库MySQL版支持多种数据加载方式,包括但不限于:通过阿里云数据传输服务DTS将MySQL/DRDS中的数据导入分析型数据库MySQL版,其中MySQL可为RDS for MySQL、其他云厂商或线上IDC的自建MySQL以及ECS自建MySQL。详细操作步骤请参见 ...
背景信息 项目管理员创建一个项目成员后,项目成员可以创建数据源,并在项目中添加数据源中的数据库后,即可进行数据库变更任务。系统管理员在 Web 版 ODC 中创建项目,并为该项目指定成员。系统管理员或者拥有新建数据源角色权限的项目...
3~22列不等 字段类型 测试数据库中一个记录的各个字段的数据类型,包括MySQL基础数据类型,如int、varchar、datetime等。覆盖MySQL基础数据类型 测试结果 全量备份 规格 RPS(Record Per Second)MBPS(MByte Per Second)large 42,855.7 ...
背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中,以解决因线上数据增多影响查询性能与业务运作的问题。本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置...
CSV文件上传完成后,您可以在画布编辑器添加组件,以 基本折线图 组件为例,选中组件,在组件右侧的 数据 面板中的 设置数据源 模块,单击 数据源类型,选择已经配置好的CSV文件,选择已有数据源 处将选择CSV进行配置。说明 X轴需要在 配置...
CSV文件上传完成后,您可以在画布编辑器添加组件,以 基本折线图 组件为例,选中组件,在组件右侧的 数据 面板中的 设置数据源 模块,单击 数据源类型,选择已经配置好的CSV文件,选择已有数据源 处将选择CSV进行配置。说明 X轴需要在 配置...
数据域是联系较为紧密的数据主题的集合,通常是根据业务类别、数据来源、数据用途等多个维度,对企业的业务数据进行的区域划分,将同类型...如果您的数据域中已经添加了业务过程,则您需要将数据域中的所有业务过程删除后,才能删除该数据域。
数据安全中心扫描数据源中的字段名称、字段值综合判断该数据是否为敏感数据,只通过字段值无法判断数据是否敏感。例如:年龄数据。敏感数据识别是如何实现的?敏感数据识别是在完成数据资产授权后,采用内置的检测规则在RDS或OSS数据库中...
数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型,灵活配置组件数据。数据映射 当您需要自定义图表字段配置时,可以在 数据映射 模块设置不同的字段映射内容,将这些...
数据是由特定的环境产生的,这些环境因素包括生产者、时间、系统等,从而造成了同一个语义的数据,有多种不同的定义方法,给后期进行数据汇集和整合带来障碍。因此,数据处理的前奏就是数据标准化,数据标准作为一个统一的数据共识,在标准...
数据库迁移功能通过产品化解决方案的封装,实现数据库迁移、校验和清理的闭环操作。本文介绍如何通过创建工单实现数据库迁移。前提条件 支持的数据库类型:RDS...在延时时间区间内,如果需要恢复,可通过一键回滚功能恢复来源数据库中的数据。
数据分析与处理:完成数据的同步后,可以对MaxCompute中的数据进行加工(MaxCompute SQL、MaxCompute MR)、分析与挖掘(数据分析、数据挖掘)等处理,从而发现其价值。数据提取:分析与处理后的结果数据,需要同步导出至业务系统,以供...
DataV通过与DataWorks数据服务的对接,通过交互式分析Hologres连接DataWorks数据服务开发并生成API,快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
您可以将数据库中的表或单条SQL查询结果作为数据集,在仪表盘或大屏中对数据集中的数据以表格、折线图、饼图等图形或组件展现出来,并对这些图形或组件进行自由组合、布局,以某种分析思路对业务进行直观呈现。数据分析概述 访问数据分析...
重要 该配置项为一个数组,配合数据分级使用,从类型1到类型n为递增的设置,例:类型1设置为10,则表示value值为0~10的数据将展示为10的大小,类型2设置为20,则表示value值为11~20的数据将展示为20的大小,如果数据分级配置项设置为3级,...
数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型,灵活配置组件数据。数据映射 当您需要自定义图表字段配置时,可以在 数据映射 模块设置不同的字段映射内容,将这些...
基本概念 内部数据:保存在StarRocks中的数据。外部数据:保存在外部数据源(例如Apache Hive、Apache Iceberg和Apache Hudi)中的数据。Catalog StarRocks 2.3及以上版本支持Catalog功能,方便您轻松访问并查询存储在各类外部源的数据。...
数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型,灵活配置组件数据。数据映射 当您需要自定义图表字段配置时,可以在 数据映射 模块设置不同的字段映射内容,将这些...
无值:系统在获取区域热力边界数据时,如果缺少了某个区域的数据(当区域热力图数据中没有对应的地理边界数据中的adcode值时),这个区域的颜色就会展示为无值的颜色。面透明度:区域面的透明度。边线颜色:区域边界线的颜色,请参见 颜色...
AnalyticDB PostgreSQL版 的企业数据智能平台是数据资产定义、加工、管理、服务的全流程平台,提供数据同步、数据查询、数据建模、数据开发、质量评估、资产管理等功能,为智能数据应用持续稳定供给全量、标准、干净、智能的数据资源。...
将应用程序中的相关数据同时写入源和目标实例数据库B中。登录源和目标实例数据库B,根据数据库类型选择下述命令查看会话信息,确保有新的会话执行写入操作。MySQL show processlist;SQL Server select*from sys.dm_exec_connections;Oracle...
创建经典网络中的ECS实例到数据库审计系统所在VPC的ClassicLink连接。在数据库审计系统所在VPC中,开启ClassicLink功能,具体请参见 开启ClassicLink功能。说明 此处操作的VPC实例,请参见 步骤1 中查看结果。在经典网络的ECS中,建立...
任务编排中的跨库Spark SQL节点,主要针对各类跨库数据同步和数据加工场景,您可以通过编写Spark SQL,完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型:MySQL:RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
在使用Dataphin前,您可将需要引入Dataphin的数据源接入到Dataphin中,已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入,支持对接如MaxCompute、Hive等数据仓库,也支持对接企业传统数据库...