什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起,DataWorks不断沉淀阿里巴巴大数据建设方法论,支撑数据中台建设,同时与...

引擎简介

典型场景 大数据场景:海量数据存储与分析 广告场景:海量广告营销数据的实时存储 金融&零售:海量订单记录与风控数据的实时存储 车联网:车辆轨迹与状况数据的高效存储处理 互联网社交:高效、稳定的社交Feed流信息存储 访问方式 通过...

简介

典型案例&架构 航海船舶大数据平台 场景:全球AIS船舶实时位置数据,每天上亿条轨迹写入,要求轨迹时空/时序查询秒级响应,具体包括:监管区域实时地理围栏判断。轨迹区域回放(指定区域+指定时间段)。轨迹回放(指定时间段查询)。架构...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力,本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业:全行业...

大数据安全治理的难点

存储 众所周知,大数据系统以数据类型多(结构化、非结构化、半结构化)、数据(动辄PB级别)著称,某些巨头组织一天就能新增数十万甚至数百万张表,如此体量给数据分级分类带来了极挑战,通过人工进行数据分级分类显然是不现实的,...

相关的云服务

DataWorks作为阿里云一站式大数据开发与治理平台,通常会与计算引擎产品联合使用,此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下,使用DataWorks时通常会使用到的其他云产品。计算...

应用场景

本文为您介绍Databricks数据洞察适用的典型应用场景。数据湖分析 Databricks数据洞察支持计算存储分离的数据湖架构。使用阿里云对象存储OSS作为云上存储,DDI集群提供灵活的计算资源,OSS上的数据可以被多个DDI集群共享,减少数据冗余。...

JindoFS介绍和使用

JindoFS是基于阿里云对象存储OSS,为开源大数据生态构建的Hadoop兼容文件系统(Hadoop Compatible File System,HCFS)。JindoFS提供兼容对象存储的纯客户端模式(SDK)和缓存模式(Cache),以支持与优化Hadoop和Spark生态大数据计算对OSS...

典型场景

典型场景 数据仓库服务 您可以通过数据传输服务(DTS)或数据集成服务(DataX),将云数据库(例如RDS、PolarDB)或自建数据库批量同步到 云原生数据仓库AnalyticDB PostgreSQL版。云原生数据仓库PostgreSQL版支持对海量数据的复杂ETL进行...

典型使用场景

典型数据源包括:MySQL/SQL Server/PostgreSQL/Oracle等OLTP业务数据库,业务App产生的日志数据,在OSS/Hadoop上的归档数据,以及来自Kafka/Flink等系统的流式数据。在库中对ODS层数据进行加工,形成CDM(Common Data Model)和ADS...

客户案例

然而大数据的并行查询不能拖垮系统中的高优先级的小请求,并且当 MySQL 单表数据规模超过 2000 万时,其查询性能就出现断崖式的下跌,这也是业务无法容忍的一缺陷,因此,我们在系统选型上更倾向于 OceanBase 这样具有高吞吐,数据读写...

阶段一:基础防护建设

专有数据(Proprietary Data)影响组织核心竞争力、一旦泄露会对组织造成损害的数据典型例子有设计图纸、药物配方、客户信息等。管理员可以根据上述敏感数据类型及本企业的数据属性,定义本企业/组织的数据敏感级别,一般情况下可以参考...

实施步骤

本文主要介绍搭建DataV数据大屏的操作步骤。步骤一:购买DataV基础版 登录 DataV管理控制台,本教程使用 兼容MySQL 方式连接DLA服务,所以购买DataV基础版即可满足要求。步骤二:添加DLA数据源 在添加数据源之前,您必须先为您的DLA配置白...

将云消息队列 Kafka 版的数据迁移至MaxCompute

本文介绍如何使用DataWorks数据同步功能,将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute,方便您对离线数据进行分析加工。前提条件 在开始本教程前,确保您在同一地域中已完成以下操作:云消息队列 Kafka 版 ...

DBS沙箱功能概览

背景信息 在海量数据场景下,传统数据库备份服务面临两越来越严重的困难:存储成本:为了保障数据恢复点目标(Recovery Point Objective,RPO),周期性的全量和增量备份产生大量重复数据,导致存储成本过高。使用成本:您必须待数据完成...

数据迁移

本文为您介绍数据迁移的最佳实践,包含将其他业务平台的业务数据或日志数据迁移至MaxCompute,或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据,如果您的数据存放在传统的关系型数据库且数据量庞大...

LTS(原BDS)服务介绍

数据订阅 典型场景 不停机迁移(HBase1.x、HBase2.x、HBase增强版、Phoenix4.x、Phoenix5.x)不停服数据迁移,同时搞定历史数据迁移、实时增量数据的同步。迁移过程中不会和源集群的HBase交互,只读取源集群的HDFS,尽可能减少对源集群在线...

应用案例

您可以在GitHub上获取时空数据分析的典型案例,以便快速熟悉DLA Ganos的各项功能。栅格代数运算 栅格代数运算是指使用数学运算符对栅格数据进行加减乘除等代数计算的操作。例如,您可以应用简单的数学运算(例如加法或乘法)来更新栅格像元...

我是安全管理员

解决方案 数据归档概述 数据归档功能支持定时将表的数据归档至其他数据库,同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库,数据在秒级的延迟下,同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建...

低成本历史库

在移动互联网高度发达的今天,每天都会有大量的业务数据产生,随着时间的积累和业务的发展数据量急剧增长,同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。重要 2023年3月10日后...

低成本RDS历史库

云原生多模数据库 Lindorm 和关系型数据库同时使用时可以满足低存储成本,方便运维,弹性伸缩等需求,本文介绍其方案架构和优势。重要 2023年3月10日后购买的LTS 不再支持低成本RDS历史库场景,2023年3月10日前购买的LTS仍支持该场景。背景...

应用场景:低成本历史库

云原生多模数据库 Lindorm 和关系型数据库同时使用时可以满足低存储成本,方便运维,弹性伸缩等需求,本文介绍其方案架构和优势。重要 2023年3月10日后购买的LTS 不再支持低成本历史库场景,2023年3月10日前购买的LTS仍支持该场景。背景...

数据集成

数据源支持情况 数据集成目前支持40种以上的数据源类型(包括关系型数据库、非结构化存储、大数据存储、消息队列等),通过定义来源与去向数据源,并使用数据集成提供的数据抽取插件(Reader)、数据写入插件(Writer),实现任意结构化、...

我是DBA

解决方案 数据归档 数据归档功能支持定时将表的数据归档至其他数据库,同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库,数据在秒级的延迟下,同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建工单...

我是管理员

数据归档 数据归档功能定时将表的数据归档至其他数据库,支持源表数据删除、表空间整理回收等功能。数据库迁移 通过创建工单实现数据库迁移、校验和清理的闭环操作。运维管理 通知管理 可根据您的业务需求,订阅不同功能模块的消息事件,...

典型慢查询

本文介绍 AnalyticDB MySQL版 中几种典型的慢查询以及导致慢查询的原因。消耗内存的慢查询 查询的峰值内存(Peak Memory)可以帮助您评估内存的消耗情况。通常来说,查询峰值内存越,内存消耗越。您可以通过SQL诊断功能来检索某个时间...

Quick BI连接MaxCompute

MaxCompute支持您将MaxCompute项目数据接入阿里云Quick BI,对海量数据进行实时在线分析服务,同时支持拖拽式操作和丰富的可视化效果,帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。本文为您介绍如何使用Quick BI连接...

Transaction Table2.0概述

现状分析 当前典型数据处理业务场景中,对于时效性要求低的规模数据全量批处理的单一场景,直接使用MaxCompute足以很好的满足业务需求,对于时效性要求很高的秒级实时数据处理或者流处理,则需要使用实时系统或流系统来满足需求。...

如何处理Tair集群数据倾斜

在 Tair 集群中,若个别数据分片节点(Data Node)的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片,该 Tair 集群可能已产生数据倾斜。数据倾斜严重时,会导致实例在整体内存使用率不高的情况下,发生内存逐出...

如何处理Redis集群数据倾斜

在 Redis 集群中,若个别数据分片节点(Data Node)的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片,该 Redis 集群可能已产生数据倾斜。数据倾斜严重时,会导致实例在整体内存使用率不高的情况下,发生内存逐出...

MapReduce

自然语言处理:基于大数据的训练和预测。基于语料库构建单词同现矩阵,频繁项集数据挖掘、重复文档检测等。广告推荐:用户单击(CTR)和购买行为(CVR)预测。MapReduce流程说明 MapReduce处理数据过程主要分成Map和Reduce两个阶段。首先...

内存型

云原生内存数据库Tair 内存型(简称内存型)适合并发量、读写热点多、高性能场景,内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 创建实例 主要优势 类别 说明 兼容性 100%兼容原生Redis,无需修改业务代码,提供 ...

支持的云服务

MaxCompute和DataWorks提供完善的ETL、数据分析、数据地图、数据治理和数据仓库管理能力,并支持SQL、MapReduce、Graph等多种经典的分布式计算模型,能够更快速地解决用户海量数据计算问题,有效降低企业成本,保障数据安全。更多DataWorks...

采集数据

本教程以MySQL中的用户基本信息(ods_user_info_d)表及OSS中的网站访问日志数据(user_log.txt)文件,通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例,为您介绍如何通过DataWorks数据集成实现异构...

文档修订记录

Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南,为您介绍数据安全治理的常见思路、DataWorks产品的安全能力,以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...

产品架构

按照传统方案,为了满足多种类型数据的存储、查询和分析需求,在设计IT架构时,需要针对不同种类的数据,采用不同的存储分析技术,如下图:这种技术方案,是一种典型的技术碎片化的处理方案。针对不同的数据,使用不同的数据库来处理。有...

计费逻辑说明

资源费用明细:数据服务API调用 数据质量 数据质量可对任务产出的表数据进行数据质量监控,DataWorks将根据数据质量规则实例数量计费。资源费用明细:数据质量 OpenAPI DataWorks提供OpenAPI,您可基于OpenAPI实现业务定制化开发,...

接入数据库

在使用 数据安全中心DSC(Data Security Center)检测云产品(包括OSS、RDS、PolarDB等)中存在的敏感数据或审计数据库活动前,您需要先将数据库接入DSC。本文介绍如何将数据库接入DSC。背景信息 DSC 支持的数据库类型详情,请参见 支持的...

功能特性

计算 MaxCompute向用户提供了多种经典的分布式计算模型,提供TB、PB、EB级数据计算能力,能够更快速的解决用户海量数据计算问题,有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...

离线同步任务运维

数据质量监控 数据集成部分目标端数据源支持配置产出表的数据质量监控,您可以进入数据质量规则页面,对数据同步写入的目标表配置数据质量校验规则。对于配置了数据质量监控规则的表,当表关联的调度节点运行(执行节点代码逻辑)完成后...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 数据传输服务 云原生大数据计算服务 MaxCompute 云数据库 RDS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用