产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
数据库上云实施支持服务
阿里云数据库交付与架构团队在数据库上云咨询的基础上，提供Oracle数据库上云实施支持服务，满足客户在大型系统迁移阿里云数据库过程中，所需的数据库产品技术咨询需求，并为客户解决实施过程遇到的迁移工具、数据库使用的问题。阿里云数据...
DataWorks On EMR使用说明
开始使用 一、数据建模与开发 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
背景信息以及准备工作
DataV数据可视化（简称DataV）旨在让更多的人看到数据可视化的魅力，并帮助非专业的工程师通过图形化的界面轻松搭建具有专业水准的可视化应用。DataV提供了丰富的可视化模板，极大程度满足您会议展览、业务监控、风险预警、地理信息分析等...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
通过阿里云百炼搭建专属大模型应用
快速入门 本文基于企业文档的大模型问答为例，带您快速搭建一个大模型应用并在自己的业务中调用。更多能力请参见 阿里云百炼快速开始。导入企业专属知识。登录 阿里云百炼控制台。在左侧导航栏，单击 应用中心>企业数据，并单击 向量数据库...
数据管理DMS中服务器监控数据的采集频率
本文对数据管理控制台中服务器监控数据刷新频率进行说明。通过“登录服务器”，进入到服务器管理界面，“实时监控”显示的数据，是每隔5秒左右获取一次数据，如下图。关闭、退出服务器管理界面，会自动停止“实时监控”数据的采集。数据...
功能特性
DBFS特性 原子写 支持DIRECT IO的原子写，需按4K，8K，16K对齐-共享读写 一份数据可共享式多点挂载并进行读写，读写可线性扩展-存储加密 通过对数据库文件存储实施加密，可以确保数据库文件存储上的所有数据（包括静态存储和动态传输中的...
实施步骤
本文主要介绍搭建DataV数据大屏的操作步骤。步骤一：购买DataV基础版 登录 DataV管理控制台，本教程使用 兼容MySQL 方式连接DLA服务，所以购买DataV基础版即可满足要求。步骤二：添加DLA数据源 在添加数据源之前，您必须先为您的DLA配置白...
离线集成概述
数据管理DMS离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。支持的数据库类型 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB...
RDS与自建数据库对比优势
云数据库RDS提供高可用、高可靠、高安全、可扩展的托管数据库服务，在性能等同于商业数据库的同时，其价格相比ECS自建数据库和自购服务器搭建数据库更加低廉，能够节约大量部署及维护成本。价格对比 费用 云数据库RDS ECS自建数据库 自购...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
从RDS MySQL迁移至自建Kafka
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
创建实例
通过创建StarRocks实例，您可以快速获取一个托管的且高性能的环境，无需自行搭建和维护基础设施，轻松进行大规模数据分析和查询。操作步骤 进入EMR Serverless StarRocks实例列表页面。登录 E-MapReduce控制台。在左侧导航栏，选择 EMR ...
2023年
使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region...
搭建订单系统
说明 控制台 项目样例 中插入了1亿条数据，您可以通过控制台插入少量测试数据。步骤四：读取数据 数据读取分为两类：主键读取 基于原生表格存储的主键列获取，例如getRow、getRange、batchGetRow等。主键读取用于索引（自动）反查，用户也...
DataWorks On Hologres使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
基于SLS+OSS+DLA构建海量、低成本日志分析方案
方案介绍 对于数据分析人员、开发人员或者运维人员而言，日志数据对分析和诊断问题以及了解系统活动等有着非常重要的作用，日志都是其工作过程中必不可缺的数据来源。为了节约成本，通常情况下日志会被设定一定的保存时间，此类日志称之为...
区块概述
区块接口节点说明 区块定义内部和外部的数据传输，依靠蓝图编辑器中的 数据接口 节点、事件接口 节点和 动作接口 节点进行配置，不同接口的区别如下：数据接口：用于接收外部数据源传入区块的数据，再通过蓝图编辑器分发数据给内部的组件。...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
DataWorks On MaxCompute使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
DataWorks On CDP/CDH使用说明
二、数据建模与开发 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
创建集群
本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。说明 如果您在2022年12月19日17点（UTC+8）以后第一次创建EMR集群，则不能选择Hadoop、Data Science、Presto、Zookeeper集群类型。前提条件 已...
通过MySQL分析实例同步至数仓版
此时，您可以在RDS MySQL控制台上创建一个MySQL分析实例，MySQL分析实例的复杂分析性能约为MySQL的100倍，系统自动通过DTS将RDS MySQL主实例中的全量数据和增量数据实时同步到MySQL分析实例中。您无需关注数据如何入库，无需担心分析卡顿，...
DMS数据管理预案助力业务大促
开启数据水印功能 您可以在DMS中开启 防泄露数字水印 功能，系统将在整个控制台中同时提供水印，保障您的数据信息安全，防止截图等数据泄露事件。具体操作，请参见 防泄露数字水印。敏感数据管控 有效识别敏感数据的分布，进行细粒度权限...
ETL工作流快速体验
零售电商GMV分析 DataWorks MaxCompute 数据集成 数据开发 基于DataWorks提供的 智能数据建模 产品，使用该产品内置零售电子商务数仓模型，为您介绍DataWorks在数仓搭建过程中的技术栈及流程实现。案例相关文档：零售电商数据建模。视频...
图扑案例
现有解决方案中，通常依赖自建单ElasticSearch检索引擎或OpenTSDB、Prometheus等时序引擎搭建数据存储，而采集数据类型多样化使得单模引擎存储方案技术复杂且运维成本高，市场需要新一代云原生且具备多模检索能力的存储系统。某著名IT咨询...
自助建站方式汇总
搭建Magento电子商务网站 Magento是一款开源的电子商务网站，其丰富的模块化架构体系及拓展功能可为大中型站点提供解决方案。Magento使用PHP开发，并使用MySQL存储数据。网站类型 部署方式 说明 搭建Magento电子商务网站 使用云市场镜像...
分析实例简介
RDS MySQL提供分析实例功能，可以将RDS MySQL主实例中的数据自动同步到分析实例中，解决RDS MySQL复杂分析与查询时卡顿的问题，实现毫秒级针对万亿级数据进行即时的多维分析透视和业务探索。使用场景 随着企业业务发展，精细化实时运营诉求...
技术原理
高可用与容灾 在生产环境部署数据库时往往会搭建多个副本（Replica），保证数据库实例的高可用性以及数据的持久性。为了保证副本间的强一致性，现代数据库往往采用以Paxos算法为代表的多数派复制协议，它要求实例中至少存在3个节点，每次...
查看与减少数据备份
本文介绍如何在DBS中查看备份数据大小，同时提供减少备份的方法。查看备份大小 备份大小=全量数据备份的大小+增量数据备份的大小 登录 DBS控制台。单击左侧导航栏中的 备份计划，然后在上方选择目标地域。单击目标备份计划名称，进入 备份...
产品优势
本文介绍 云原生多模数据库 Lindorm 与其他开源数据库的区别。背景信息 云原生多模数据库 Lindorm 兼容HBase、Cassandra、S3、TSDB、HDFS、Solr等多种标准接口，支持宽表、时序、对象、文本、队列、空间等多种数据模型，适用于日志、账单、...
从RDS同步至MaxCompute
通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS MySQL Serverless 的数据同步至MaxCompute，帮助您快速搭建数据实时分析系统。前提条件 您已完成以下操作：开通MaxCompute 创建项目 注意事项 DTS在执行全量...
从RDS同步至MaxCompute
通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS MySQL Serverless 的数据同步至MaxCompute，帮助您快速搭建数据实时分析系统。前提条件 您已完成以下操作：开通MaxCompute 创建项目 注意事项 DTS在执行全量...
搭建BI分析组件并配置数据集案例
本文以创建 气泡图 为例，按步骤介绍搭建一个BI分析组件并使用数据集字段数据的方法。前提条件 数据集管理面板中已添加所需数据集内容，详情请参见 添加数据集。背景信息 数据集仅可在BI分析组件中使用。步骤一：添加气泡图 登录 DataV控制...
消费-搭建监控系统
日志服务是阿里云一个重要的基础设施，支撑着阿里云所有集群日志数据的收集和分发。众多应用比如OTS、ODPS、CNZZ等利用日志服务logtail收集日志数据，利用API消费数据，导入下游实时统计系统或者离线系统做分析统计。作为一个基础设施，...
无感数据集成（Zero-ETL）
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
方案背景
基于表格存储搭建的店铺搜索系统页面一览，样例内嵌在表格存储控制台中，用户可登录控制台体验系统（若为表格存储的新用户，需要单击开通服务后体验，开通免费，订单数据存储在公共实例中，体验不消耗用户存储、流量、CU）。表格存储方案 ...
- 产品推荐
- 这些文档可能帮助您