数据仓库研发规范概述

大数据时代,规范地进行数据资产管理已成为推动互联网、数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范,可以切实提高研发效率,保障数据研发工作有条不紊地运作。而不完善的研发流程,会...

客户案例

视频介绍 社交媒体行业:欢聚时代大规模数据湖建设 客户简介 欢聚时代成立于2005年,是全球领先的社交媒体企业,旗下运营多款社交娱乐产品,包括即时通讯、电商业务等。目前基于Hadoop+HDFS开源架构进行离线(HDFS+Spark)、实时计算...

简介

随着AI技术的发展,Data Fabric与AI的融合不仅增强了数据交付的灵活性,也降低了数据分析的难度,使得数据分析对所有人来说都变得更加易行,开启了人人参与数据分析的新时代。DMS数据分析与应用介绍 DMS通过Data Fabric+模型构建数据管理...

互联网、电商行业离线大数据分析

概述 电商网站的销售数据通过大数据进行分析后,可以在屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据,触控大屏支持您自助查询数据,极地提高数据的可读性。应用场景 电商...

DataWorks on EMR数据安全方案

大数据领域,阿里云为企业用户提供了一整套数据安全方案,包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例,为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...

使用Fluid加速Lindorm S3协议兼容的数据访问

步骤二:创建Dataset和Runtime 说明 为了方便管理数据,Fluid定义了数据集Dataset(数据集是逻辑上相关的一组数据的集合,会被计算引擎使用)和Runtime(实现数据集安全性、版本管理和数据加速等能力的执行引擎,定义了一系列生命周期的...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力,本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业:全行业...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中,虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的...

DMS支持的数据库

关系型数据库 MySQL SQL Server PostgreSQL MariaDB OceanBase MySQL模式 OceanBase Oracle模式 OceanBase ODP Oracle DB2 达梦数据库 OpenGauss 数据仓库 ClickHouse SelectDB NoSQL数据库 Redis MongoDB 大数据 Hive 录入他云/自建数据库...

数据标准

数据是由特定的环境产生的,这些环境因素包括生产者、时间、系统等,从而造成了同一个语义的数据,有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模,但物理建模仅支持MaxCompute和Hive两种大数据引擎,不支持自定义数据源类型。

如何恢复误删除的数据

详细信息 恢复大量数据方法 恢复MySQL数据 恢复SQL Server数据 恢复PostgreSQL数据 恢复MariaDB数据 恢复少量数据方法 阿里云的 数据管理(DMS)提供的数据追踪功能可以逐条恢复数据,且会自动生成回滚语句,便于少量数据的恢复。...

Dataphin支持的实时数据

Ververica Flink支持的实时数据源 存储类型 数据源类型 读 写 维表读 大数据存储 MaxCompute 支持 支持 支持 DataHub 支持 支持-Hologres 支持 支持 支持 数据湖 Hudi 支持 支持-Iceberg 支持(仅支持原生DDL方式)支持(仅支持原生DDL方式...

RestAPI(HTTP形式)数据

举2个示例如下:以接口返回数据body如下举例,其中业务数据DATA内,且接口一次返回了多行数据DATA是一个数组):{"HEADER":{"BUSID":"bid1","RECID":"uuid","SENDER":"dc","RECEIVER":"pre","DTSEND":"202201250000"},"DATA":[{"SERNR...

数据迁移和同步方案概览

使用场景 数据源 文档链接 从Kafka同步 Kafka 从Kafka同步 从Flink导入 Flink 从JDBC connector导入 从Flink SQL导入 从大数据导入/同步 DataWorks 从DataWorks同步 MaxCompute 从MaxCompute外表导入(19.15.2.2)从MaxCompute外表导入(20...

离线集成支持的数据

离线集成支持的数据数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hologres 支持 支持 Impala 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 GreenPlum 支持 支持 文件数据源 FTP 支持 支持 OSS 支持 ...

数据分析作业

MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库,支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业,推荐您使用SQL查询或DataWorks的临时查询等工具,高效便捷地完成数据分析...

使用说明

上传下载表数据 在操作之前,您需要准备待上传的数据文件 data.txt,保存路径为 d:\data.txt。文件内容如下所示。shopx,x_id,100 shopy,y_id,200 shopz,z_id 说明 data.txt文件中第三行数据与下文中创建的分区表sale_detail的表定义不符,...

使用数据集成迁移数据到AnalyticDB MySQL 2.0

支持的数据源类型 数据集成提供丰富的数据源支持,如下所示:文本存储(FTP/SFTP/OSS/多媒体文件等)数据库(RDS/DRDS/MySQL/PostgreSQL等)NoSQL(Memcache/Redis/MongoDB/HBase等)大数据(MaxCompute/云原生数据仓库AnalyticDB MySQL版 ...

数据导入概览

从阿里云对象存储OSS导入数据至图数据库GDB实例 图数据库GDB服务端集成有数据导入模块,可以获取您提供的.csv格式的OSS数据文件,并将其解析为图中的点数据和边数据,然后将点数据和边数据导入至图数据库GDB实例。步骤 步骤说明 ① 将需要...

概述

DataWorks的安全中心作为云上大数据体系的安全门户,致力于向您提供面向数据安全生命周期全过程的安全能力,同时在符合安全规范要求的前提下,提供各类安全诊断的最佳实践。其核心功能如下:数据权限管理 安全中心为您提供精细化的数据权限...

挂载磁盘

命令行工具 使用命令行工具创建集群挂载数据盘样例:bcs sub"echo 123"-disk system:cloud_efficiency:40,data:cloud_efficiency:500:/home/my-data-disk 说明:系统盘挂载格式:system:系统盘类型:系统盘大小 数据盘挂载格式:data:数据盘...

创建Data Science集群

集群类型 Data Science:主要面向大数据+AI场景,提供Hive和Spark离线大数据ETL和TensorFlow模型训练,您可以选择CPU+GPU的异构计算框架,通过英伟达GPU对部分深度学习算法进行高性能计算。产品版本 默认最新的软件版本。组件版本 展示集群...

数据源白名单配置

产品名称 操作说明 云原生大数据计算服务MaxCompute 设置白名单 实时数仓Hologres IP白名单 云数据库ClickHouse 设置白名单 消息队列Kafka版 配置白名单 云原生分布式数据库PolarDB-X 设置白名单 云原生分布式数据库PolarDB-X(2.0)设置白...

配置学区地图单选框交互

本文档为您介绍通过 单选框 实现不同类型学校的散点层数据的切换展示,以及 Tab列表 和 单选框 的双重触发判断方法。例如 Tab列表 选择 小学,单选框 选择 公办,那么最终实现在可视化应用上展示所有 公办小学 的散点层信息。前提条件 完成...

配置学区地图单选框交互

本文档为您介绍通过 单选框 实现不同类型学校的散点层数据的切换展示,以及 Tab列表 和 单选框 的双重触发判断方法。例如 Tab列表 选择 小学,单选框 选择 公办,那么最终实现在可视化应用上展示所有 公办小学 的散点层信息。前提条件 完成...

数据

数据库备份场景下,有4个概念:数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为:购买时选择的存储...

查看敏感数据识别结果

仅支持在 结构化数据、半结构化数据、非结构化数据大数据 分类下分别选择一个或多个数据类型,不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型,数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板:在 ...

创建Teradata数据

通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata,在对接Dataphin进行数据开发或导出...

数据分析概述

功能概述 SQL查询 SQL查询是使用标准的SQL语句,来查询和分析存储在MaxCompute中的大数据,详情请参见 SQL查询。您可以通过编写SQL语句,对有查询权限的数据源进行快速的数据查询与分析操作,详情请参见 功能概览。DataWorks SQL查询提供了...

数据集成

数据源支持情况 数据集成目前支持40种以上的数据源类型(包括关系型数据库、非结构化存储、大数据存储、消息队列等),通过定义来源与去向数据源,并使用数据集成提供的数据抽取插件(Reader)、数据写入插件(Writer),实现任意结构化、...

数据上传

DataWorks的数据上传功能,支持将多种来源(例如,本地文件、OSS文件)的数据上传至MaxCompute大数据引擎进行分析处理及相关管理操作,致力于为您提供高效、便捷的数据传输服务,助力您快速实现数据驱动业务。使用限制 目前仅支持基于 本地...

自建Milvus迁移至AnalyticDB PostgreSQL版

Milvus作为专门用于处理对输入向量查询的数据库,能够对万亿级向量进行索引,支持通过Python编程语言将本地Milvus集群数据迁移到 AnalyticDB PostgreSQL版 实例中。前提条件 已创建2.3.x及以上版本的Milvus集群。已安装3.8及以上版本的...

什么是备份数据

本文介绍数据库备份DBS中备份数据量的概念。名词解释 备份数据量,是指通过DBS备份链路的数据量。常见概念 在数据库备份DBS业务场景下,含有常见以下几个概念:数据库磁盘空间、数据文件空间、备份数据量、存储数据量等。概念 说明 数据库...

通过DataV展示数据

通过DataV的SQL语句功能,处理数据,并将结果展示在大屏上。添加DataV数据源。参考 配置数据库白名单,根据您数据库的网络类型,将DataV的白名单添加到您的RDS数据库中。登录 DataV控制台。选择 我的数据>添加数据。填写RDS实例的相关信息...

技术发展趋势

这表明注重数据价值的时代已经来临,并逐渐取代了从模拟数据向数字化转变的时期;产生、使用和管理对生活产生重要影响的数据信息,对于消费者、政府和企业的正常生活和运转必不可少。消费者和企业将持续在不同设备和云之间产生、分享和访问...

配置DataV数据

本文档为您介绍在DataV中使用RDS MySQL数据源的方法。操作步骤 登录 Datav控制台。选择 我的数据>添加数据。填写您已经创建完成的数据库的相关信息,单击 确定。说明 进入 云数据库RDS控制台,单击RDS MySQL实例链接,进入实例的 基本信息 ...

数据表-数据概况

功能说明 在数据表详情的数据概况标签页,基于对元数据及存储数据的统计,为您提供了数据表更加详细的指标信息,比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小,分区文件数,分区最后更新时间等...

DataHub通过数据集成批量导入数据

本文以Stream同步数据至DataHub的脚本模式为例,为您介绍如何通过数据集成导入离线DataHub数据。前提条件 准备阿里云账号,并创建账号的访问密钥。详情请参见 开通DataWorks服务。开通MaxCompute,自动产生一个默认的MaxCompute数据源,并...

DataHub数据

DataHub数据源作为数据中枢,为您提供读取和写入DataHub数据库的双向通道,能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DataHub数据同步的能力支持情况。支持的版本 DataHub Reader通过DataHub的Java SDK读取DataHub中的数据...

MySQL整库离线同步到OSS

并发数,同步任务速率高,但相对也会消耗更多的资源组槽位,并发数小,同步速率相对较低,相对消耗的资源组槽位也较少 离线任务是否开启限流 您可以通过限流控制同步速率,以保护读取端数据库,避免抽取速度过,给源库造成太的压力,...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 数据库备份 云数据库 Redis 版 数据传输服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用