面临的业务挑战
数据散乱不一致 传统企业的数据具有多样性，包括结构化、半结构化以及非结构化的数据。数据来源上包含数据库数据、日志数据、对象数据以及已有数仓上的存量数据等。这些不同来源、不同格式的数据，各自又有不同的访问和分析方式，而大量...
DataWorks On EMR使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
什么是云数据库HBase
使用场景 云数据库HBase全面提供海量半结构/非结构化数据下的实时存储、高并发吞吐、轻SQL分析（参见 云原生多模数据库Lindorm）、全文检索（参见Lindorm产品）等能力，结合完备的工具服务，丰富的生态融合，一站式高效满足企业在大数据量...
离线集成概述
解决企业复杂大数据批处理难题，支持企业精细化运营、数据营销、智能推荐等大数据业务场景。离线集成功能底层基于Spark开发，支持提升Hadoop平台运行速度的应用场景。说明 如果您在使用该功能的过程中有任何疑问或问题，请使用钉钉搜索钉钉...
内置时空数据引擎Ganos
相比传统需要跨库信息提取再汇总，在性能及程序开发效率上都有大幅度的提高，为用户应对5G、卫星遥感、行业时空大数据、智慧城市建设等提供云化和多结构、多模式的信息服务支撑。PolarDB PostgreSQL版（兼容Oracle）Ganos当前版本提供了...
互联网、电商行业离线大数据分析
方案介绍 实现互联网、电商行业离线大数据分析的流程如下：同步用户订单等数据至MaxCompute。通过DataWorks对原始数据进行处理，并形成开放API。以API的形式通过DataV在大屏上展示结果数据。方案优势 大规模存储：超大规模存储且自动扩容，...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
Napatech案例
在网络和安全性应用领域率先使用基于FPGA的技术，通过FPGA可重构计算平台，向电信、金融行业客户及互联网公司提供网络管理和安全应用数据交付解决方案。业务挑战 随着网络数据流量的爆增以及业务可用性要求的不断提升，Napatech公司的用户...
减灾与应急时空解决方案与案例
方案背景 华宁环球（北京）减灾与应急科技有限公司专注于自然灾害风险、灾害应急预警领域全栈数据、模型及平台研发，面向保险等行业及各级政府提供技术服务，数据及模型研发及成果应用处于行业领先水平。公司主营OpenRIS灾害风险大数据平台...
什么是数据资源平台
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
什么是EMR on ECS
产品优势 EMR为您提供了相对方便可控的企业级开源大数据服务。您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。100%采用社区开源组件，适配并优化开源组件，性能远高于开源版本。基于时间的弹性伸缩能力，抢占...
新零售：杭州数云信息技术有限公司
所属行业：新零售 网站地址：数云信息技术有限公司 公司介绍 杭州数云信息技术有限公司成立于2011年，伴随着电子商务、大数据应用和零售企业互联网化的趋势快速发展，目前已成为国内领先的数据化营销软件产品和服务提供商。数云致力于为...
规格及选型
16C128G ESSD云盘 PL2 适合企业级平台建设，适用于高并发场景，大规模企业核心数据平台推荐选择。高性能（基础版）2C8G ESSD云盘 PL0 POC测试。个人学习使用，体验测试产品能力。4C16G ESSD云盘 PL0 ESSD云盘 PL1 适合计算存储均衡场景，...
无感集成（Zero-ETL）
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
使用流程
数据库备份DBS 提供全量备份、增量备份和数据恢复能力。本文介绍如何创建和配置DBS备份计划、备份数据库以及恢复数据库，帮助您快速了解和上手数据库备份与管理操作。若您初次使用数据库备份DBS，请先了解 什么是数据库备份DBS。如需了解...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
数据建模：智能数据建模
如何打破部门或业务领域之间的信息孤岛是企业数据管理的一大难题。数据标准整合，统一灵活对接 同一数据不同描述，企业数据管理难、内容重复、结果不准确。如何制定统一的数据标准又不打破原有的系统架构，实现灵活对接上下游业务，是标准...
云数据库ClickHouse企业版兼容性指导
企业版架构 云数据库 ClickHouse 企业版 极大地简化了运营开销，并降低了大规模运行ClickHouse的成本。您不需要提前部署集群规格、设置高可用性的副本以及手动数据分片，当工作负载增加时扩展服务器或者工作负载降低时缩减服务器，这些都是...
管理DAS经济版和企业版
DAS经济版和企业版提供强大的数据库运维功能，可以协助您迅速定位并解决数据库问题、优化性能、提高效率，同时显著降低运营成本。本文介绍如何开通和管理DAS经济版和企业版。前提条件 如果您使用的是RAM账号，并且需要购买DAS经济版和企业...
敏感数据保护概览
背景信息 通过敏感数据保护功能，可帮助企业及时有效地发现与识别敏感数据资产，避免敏感数据滥用，有效保护企业的敏感数据资产，防止数据泄露造成企业经营资损或者罚款。敏感数据保护结构图如下图所示：支持的数据库 关系型数据库：MySQL...
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
什么是阿里云Cloudera CDP
企业数据云平台Cloudera Data Platform（简称阿里云CDP），是阿里云和Cloudera联合打造的阿里云上的大数据平台。Cloudera CDP企业数据云平台 Cloudera企业数据云是社区版CDH的全新商业化升级产品，是阿里云和Cloudera联合打造阿里云上的大...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
为RAM账号授权
CDP企业数据云经常使用的系统策略：AliyunCDPFullAccess：管理CDP企业数据云的权限，主要包括对CDP企业数据云资源的所有操作权限，例如配置实例、扩容、续费等操作。AliyunCDPReadOnlyAccess：CDP企业数据云只读权限，与...
数据库采集器问题
采集主要收集数据库本身记录的一些统计信息，主要的数据量来自数据库对象的DDL和记录的历史SQL文本信息，所有大小取决于客户的对象数量、大小和SQL文本大小，一般都不会超过1G。终端提示“connection to database fail,please check ...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
管理敏感数据
如果您需要对RDS实例中的敏感数据进行管控和脱敏，可以使用数据管理DMS提供的敏感数据保护功能。费用 请参见 敏感数据保护功能定价。功能介绍 数据管理DMS的敏感数据管理提供如下功能：提供敏感数据资产大盘，解决企业敏感数据分布的统一纳...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
新建补数据计划
在任务流中新建补数据计划 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 运维监控。在左侧导航栏，单击 图标，选择 任务流。在 任务流列表 中，单击目标任务流 操作 列的 运...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
DMS支持的数据库
关系型数据库 MySQL SQL Server PostgreSQL MariaDB OceanBase MySQL模式 OceanBase Oracle模式 OceanBase ODP Oracle DB2 达梦数据库 OpenGauss 数据仓库 ClickHouse SelectDB NoSQL数据库 Redis MongoDB 大数据 Hive 录入他云/自建数据库...
产品系列概述
大中型企业的生产数据库。互联网、物联网、零售电商、物流、游戏等行业的数据库。集群系列 一主多备的高可用架构，支持自动故障切换。备节点可访问，提升读能力。可增加更多备节点进一步扩展读能力。大中型企业的生产数据库。互联网新零售...
相关的云服务
DataWorks作为阿里云一站式大数据开发与治理平台，通常会与计算引擎产品联合使用，此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下，使用DataWorks时通常会使用到的其他云产品。计算...
产品系列概述
一主多从架构适用于有大量流量高峰读请求和数据智能分析需求的大中型企业的生产数据库场景，如互联网新零售行业、汽车制造行业、教育行业、企业大型ERP系统等。MySQL 8.0 MySQL 5.7 高可用版 一主一备的高可用架构和七个只读节点，购买时...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有多种不同的定义方法，给后期进行数据汇集和整合带来障碍。因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准...
准备工作
开通企业数据智能平台 企业数据智能平台默认为关闭状态，使用前需要前往 AnalyticDB PostgreSQL版 控制台开通。登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，选择实例所在地域。单击左侧导航栏中的 数据平台。单击 ...
数据模型概述
DDM目前支持逻辑模型和物理模型建模，其中物理模型又分为关系型数据模型和非关系型数据模型，支持的大数据引擎为MaxCompute、Hive。说明 Hadoop的MR调优参数属于底层，DDM是数据建模工具，支持设置表、字段等物理属性。
- 产品推荐
- 这些文档可能帮助您