DBS沙箱功能概览

背景信息 在海量数据场景下,传统数据库备份服务面临两越来越严重的困难:存储成本:为了保障数据恢复点目标(Recovery Point Objective,RPO),周期性的全量和增量备份产生大量重复数据,导致存储成本过高。使用成本:您必须待数据完成...

数据

数据库备份场景下,有4个概念:数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为:购买时选择的存储...

DataWorks On EMR使用说明

数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面,帮助用户落地数据安全治理事项。安全中心概述 ...

使用DataWorks连接

DataWorks基于MaxCompute等引擎,提供统一的全链路大数据开发治理平台。本文为您介绍如何通过DataWorks使用MaxCompute服务。背景信息 DataWorks支持将计算引擎绑定至DataWorks的工作空间,绑定计算引擎后,您即可在DataWorks上创建对应引擎...

查看敏感数据识别结果

仅支持在 结构化数据、半结构化数据、非结构化数据大数据 分类下分别选择一个或多个数据类型,不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型,数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板:在 ...

产品简介

DLA Ganos是基于云原生数据湖分析(Data Lake Analytics,DLA)系统设计开发的,面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化(Serverless)数据湖分析服务与内置的Spark计算引擎,DLA Ganos打通了阿里云各个存储系统,如...

限制说明

数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB,Value 最大不超过 1 MB,过数据不适合存储。事务支持 云数据库 Memcache 版不支持事务,有事务性要求的数据不适合写入,而应该直接写入数据库。使用场景 当...

产品概述

产品描述 功能 描述 Dataphin全托管 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎,为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。关于Dataphin的更多介绍,请参见 什么是...

新建TDengine数据

在 新建数据源 对话框的 大数据存储 区域,选择 TDengine。如果您最近使用过TDengine,也可以在 最近使用 区域选择TDengine。同时,您也可以在搜索框中,输入TDengine的关键词,快速搜索。在 新建TDengine数据源 对话框中,配置数据源的...

新建TDengine数据

在 新建数据源 对话框的 大数据存储 区域,选择 TDengine。如果您最近使用过TDengine,也可以在 最近使用 区域选择TDengine。同时,您也可以在搜索框中,输入TDengine的关键词,快速搜索。在 新建TDengine数据源 对话框中,配置数据源的...

什么是数据资源平台

阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台,提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能,为智能数据应用持续稳定供给全量、标准、干净、智能的数据...

创建Teradata数据

通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata,在对接Dataphin进行数据开发或导出...

版本发布记录

深度集成的生态 接入融合分析和数据回流能力 目前支持如下数据源的接入融合分析和数据回流能力,包括对象存储OSS上7种以上结构化、半结构化、以及多种压缩格式的数据文件,表格存储,AnalyticDB,云数据库版或自建数据库(MySQL、...

Quick BI连接MaxCompute

背景信息 智能分析套件Quick BI是一个专为云上用户量身打造的易上手、性能强的大数据分析及可视化平台,可以让每个人都能成为数据分析师。Quick BI不仅是业务人员查看数据的工具,更是数据化运营的助推器。更多Quick BI信息,请参见 Quick ...

新建Doris数据

数据源配置 基于业务数据源是否区分生产数据源和开发数据源:如果业务数据源区分生产数据源和开发数据源,则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源,则选择 生产数据源。标签 您可根据标签给数据源进行分类...

功能发布记录(2023年)

2023.4.18 所有地域 所有DataWorks用户 SQL查询 大数据公共数据集上线 基于大数据AI公共数据集(淘宝、飞猪、阿里音乐、Github、TPC等),通过DataWorks与MaxCompute快速完成TB级别大数据分析。2023.4.11 所有地域 所有DataWorks用户 SQL...

数据集成

数据源支持情况 数据集成目前支持40种以上的数据源类型(包括关系型数据库、非结构化存储、大数据存储、消息队列等),通过定义来源与去向数据源,并使用数据集成提供的数据抽取插件(Reader)、数据写入插件(Writer),实现任意结构化、...

配置MaxCompute输出

大数据计算服务MaxCompute(原名ODPS)为您提供完善的数据导入方案,能够快速解决海量数据的计算问题。前提条件 配置MaxCompute输出节点前,您需要先配置好相应的输入或转换数据源,详情请参见 实时同步能力说明。背景信息 写入数据不支持...

Transaction Table2.0概述

随着当前数据处理业务场景日趋复杂,很多业务场景并不要求延时秒级更新可见或者行级更新,更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景,MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储...

数据重排

在MaxCompute的使用过程中,如果已经积累了大量数据占用了大量存储资源,且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理,在您的存储预算有限,计算资源还有冗余的情况下,可以考虑使用数据重排方式对存储空间进行优化。...

什么是MaxCompute

随着数据收集手段不断丰富,行业数据大量积累,数据规模已增长到了传统软件行业无法承载的海量数据(TB、PB、EB)级别。MaxCompute提供离线和实时的数据接入,支持规模数据计算及查询加速能力,为您提供面向多种计算场景的数据仓库解决...

数据上传

DataWorks的数据上传功能,支持将多种来源(例如,本地文件、OSS文件)的数据上传至MaxCompute大数据引擎进行分析处理及相关管理操作,致力于为您提供高效、便捷的数据传输服务,助力您快速实现数据驱动业务。使用限制 目前仅支持基于 本地...

Iceberg概述

您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务,并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题,经过多年迭代...

测试数据构建

RDS MariaDB、其他来源MariaDB OceanBase MySQL模式 PolarDB PostgreSQL版(兼容Oracle)背景信息 功能测试或者性能测试时,往往需要准备测试数据,通常有以下几种方法:手工编写:效率低,不适用于大数据量场景。维护生成测试数据脚本:成...

DataWorks On CDP/CDH使用说明

一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力,您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源,实现将其他数据源的数据同步至Hive或HBase数据源,或将Hive或HBase数据...

MapReduce

自然语言处理:基于大数据的训练和预测。基于语料库构建单词同现矩阵,频繁项集数据挖掘、重复文档检测等。广告推荐:用户单击(CTR)和购买行为(CVR)预测。MapReduce流程说明 MapReduce处理数据过程主要分成Map和Reduce两个阶段。首先...

识别任务说明

文件或表扫描限制 为了避免数据源中文件或表过影响整体扫描进度,数据安全中心对可以扫描的文件大小或表的字段大小做了限制,请您在进行敏感数据扫描前了解以下规则:结构化数据(RDS MySQL、RDS PostgreSQL、PolarDB等)、大数据...

如何处理Tair集群数据倾斜

您可以在 性能监控 的 数据节点 页面中查看各数据分片节点的对应指标,通常情况下,若某数据分片节点(最高)的性能指标高出其他数据分片节点(最低)20%及以上时,可认为已产生数据倾斜,差值越数据倾斜程度越严重。下图介绍两个典型...

如何处理Redis集群数据倾斜

您可以在 性能监控 的 数据节点 页面中查看各数据分片节点的对应指标,通常情况下,若某数据分片节点(最高)的性能指标高出其他数据分片节点(最低)20%及以上时,可认为已产生数据倾斜,差值越数据倾斜程度越严重。下图介绍两个典型...

数据质量概述

数据质量帮助您第一时间感知源端数据的变更与ETL(Extract Transformation Load)中产生的脏数据,自动拦截问题任务,有效阻断脏数据向下游蔓延。避免任务产出不符合预期的问题数据,影响正常使用和业务决策。同时也能显著降低问题处理的...

DataWorks On MaxCompute使用说明

DataWorks基于 云原生大数据计算服务MaxCompute 轻松构建离线数仓分析系统。MaxCompute可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理,保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发...

T+1多库合并建仓

上述方案可解决因数据而导致的用户体验问题,但在对分库分表数据进行大数据分析时,逻辑上的一个表被拆成了多张表,由于没有类似TDDL中间件来屏蔽物理表的拆分,进行数据分析时变得十分复杂。解决方案 T+1多库合并建仓是指通过DLA控制...

风险识别管理(新版)

规则名称 规则类型 规则等级 规则配置 非工作时间查询大数据量敏感数据 数据访问风险 低 如下时间段查询数据量大于10000时命中该规则。周一至周五:22:00~24:00。周六至周日:00:00~24:00。相似SQL查询 数据访问风险 低 十分钟内查询相似...

创建Hologres数据

在 新建数据源 对话框的 大数据存储 区域,选择 Hologres。如果您最近使用过Hologres,也可以在 最近使用 区域选择Hologres。同时,您也可以在搜索框中,输入Hologres的关键词,快速筛选。在 新建Hologres数据源 对话框中,配置连接数据源...

IoT数据自动化同步至云端解决方案

大数据分析是大数据完成数据价值化的重要手段之一,而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...

审批中心概述

您可以直接使用DataWorks官方提供的扩展程序来对高危行为进行管控,也可以基于DataWorks开放平台自行开发、部署能够应对更加复杂场景的扩展程序作为风险识别规则,从而将自身企业内部风控平台能力延伸至云上DataWorks大数据平台。...

什么是RDS MySQL

为了实现读取能力的弹性扩展,分担数据库压力,您可以创建一个或多个只读实例,利用只读实例满足大量的数据库读取需求,增加应用的吞吐量。读写分离:读写分离功能是在只读实例的基础上,额外提供了一个读写分离地址,联动主实例及其所有...

DataWorks On Hologres使用说明

数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面,帮助用户落地数据安全治理事项。安全中心概述 ...

功能概览

订阅方案概览 数据集成 数据同步 帮助您实现数据源之间的数据实时同步,适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。数据同步方案概览 离线集成 离线集成是一种低...

需求分析

本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用,所有数据均为人工Mock数据。业务背景 为了更好的制定企业经营策略,现需要从用户网站行为中获取网站用户群体基本画像数据,例如,用户群体地理属性、社会属性等,...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 云数据库 Redis 版 数据传输服务 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用