高压缩引擎（X-Engine）介绍
大量数据共享数据库系统的内存、缓存空间、磁盘IOPS等，导致性能问题。数据量太大导致数据备份时间过长甚至备份失败；同时如何存放备份数据也是一个问题。针对如上问题，一种做法是对历史数据做归档，将长期不使用的数据迁移至以文件形式...
数据卷概述
大数据分析场景 NAS提供了较高的数据吞吐能力，能满足大批量作业对共享存储访问的需求。Web应用场景 为Web应用、内容管理系统提供存储支撑。保存日志场景 如果您希望将日志持久化存储，推荐使用NAS数据卷。支持 支持 OSS OSS是阿里云提供的...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
2019年
概述 通过Tunnel迁移日志数据至MaxCompute 通过DataHub迁移日志数据至MaxCompute 通过DataWorks数据集成迁移日志数据至MaxCompute 通过日志服务迁移日志数据至MaxCompute 2019-12-25 新增开源地理空间UDF。新功能 您可以将开源地理空间UDF...
开通或关闭数据共享
AnalyticDB PostgreSQL版Serverless模式 实例开通数据共享后，可以实现跨实例联合查询，在保证数据实时性的同时，有效减少数据冗余。使用限制 实例资源类型为Serverless版本。所有实例必须属于同一个阿里云账号。所有实例需要在同一地域下...
选型推荐
SSD云盘/ESSD云盘 推荐场景 小规模日志/数据共享存储、小型网站、自建FTP 日志/数据共享存储、共享目录、自建FTP、小型网站、数据归档、多地数据共享、备份数据仓库 中型网站，日志/数据统一存储，共享目录（VDI），大规模数据归档，...
数据共享监控
您可以通过 AnalyticDB PostgreSQL版 控制台查看数据共享的Share数量以及共享的数据量。操作步骤 登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，选择实例所在地域。在左侧导航栏中，单击 数据共享。在 数据共享 页面...
2022年
2022年07月05日（V1.0.2.0）类别 功能 功能描述 相关文档 新增 数据共享 数据共享支持复制表、随机表和分区表。开通或关闭实例的数据共享 数据类型 Serverless模式的数组支持VARCHAR和TIMESTAMP类型。Serverless模式 缺陷修复 修复刷新物化...
数据共享
AnalyticDB PostgreSQL版Serverless模式 提供了数据共享功能，可以实现跨实例查询共享数据。本文将指导您快速完成数据共享的创建和使用的全流程。教程说明 请准备两个Serverless版本实例：实例A和实例B。实例A和实例B属于同一个阿里云账号...
数据共享SQL
实例开通数据共享后，还需要通过SQL创建共享并授权，才能实现实例间的数据共享。本文介绍 AnalyticDB PostgreSQL版Serverless模式 数据共享相关SQL操作。注意事项 源库和目标库所属的实例在同一地域下，且已加入数据共享。如何将实例加入...
SetDataShareInstance-将实例加入或移出数据共享
将AnalyticDB PostgreSQL版实例加入数据共享或从数据共享中移除。接口说明 仅 Serverless 实例支持数据共享功能。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码...
快速入门概览
本教程将帮助您快速掌握 AnalyticDB PostgreSQL版 实例的创建、连接、开发到管理运维的整体流程。...创建初始账号 登录数据库 加载样本数据集 查询数据 实例扩缩容 数据共享 说明 数据共享仅支持 AnalyticDB PostgreSQL版Serverless模式。
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
DescribeDataSharePerformance-查看数据共享的性能...
查看数据共享的性能指标。接口说明 目前仅 Serverless 实例支持数据共享功能。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应...
什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
2022年
查看并管理计划内事件 事件类型 2022年02月 功能 功能描述 相关文档 数据共享 AnalyticDB PostgreSQL版Serverless模式 支持数据共享功能，采用一存多读的使用模式，打破了传统数仓之间数据访问需要先导入再访问的孤岛，简化操作，提高效率...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
DescribeDataShareInstances-查看数据共享详细信息
查看数据共享的状态。接口说明 目前仅 Serverless 实例支持数据共享功能。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
应用场景
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
数据服务：低成本快速发布API
DataWorks的数据服务功能模块是灵活轻量、安全稳定的数据API构建平台，旨在为企业提供全面的数据共享能力，帮助用户从发布审批、授权管控、调用计量、资源隔离等方面实现数据价值输出及共享开放。功能概述 作为数据仓库与上层应用系统间的...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
逻辑订阅
RDS PostgreSQL提供逻辑订阅功能，支持在多个RDS PostgreSQL实例之间实现准实时表级单向同步，可以用于数据共享、数据汇总、数据拆分等业务场景。如果您在全国多个地域部署业务，可以通过逻辑订阅共享数据，例如将中心数据共享给其他地域，...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
基于MaxCompute进行大数据BI分析
本实践以电商行业为例，通过MaxCompute、DataWorks对业务数据和日志数据进行ETL处理，并同步至分析型数据库MySQL（AnalyticDB MySQL）进行实时分析，再通过Quick BI进行可视化展示。背景信息 MaxCompute：用于进行大规模数据计算，详情请...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
相关的云服务
DataWorks作为阿里云一站式大数据开发与治理平台，通常会与计算引擎产品联合使用，此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下，使用DataWorks时通常会使用到的其他云产品。计算...
手动启停
如果暂停的Serverless实例为数据共享的共享源，已经订阅该共享的实例不受影响，未订阅的实例将无法订阅该共享。费用说明 AnalyticDB PostgreSQL版 实例的费用由计算费用和存储费用两个部分组成，不同实例状态的收费情况如下表所示。具体...
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
生成数据API
实现低成本、易上手、安全稳定的数据共享与开放。背景信息 为了将最终分析的结果加速查询后开放出API接口对接三方服务，本次实验将对Hologres数据源中的挂载MaxCompute的Hologres外表（ads_ec_ec360_gmv_kpi_overview_bi）生成API。说明 ...
概述
再如，在合作营销等场景下，存在组织间的既合作又竞争的复杂关系，难以进行明文数据共享。功能介绍 支持所有已有的SQL算子，且应用透明无感知，升级“0”成本。仅需几行配置即可切换到全密态客户端驱动EncJDBC，已有业务代码无需任何修改...
东软案例
如下图所示，阿里Lindorm数据库在赋能政企数字运维团队更强大的运维大数据分析能力的同时，大幅度提升了政府、企业数字系统性能和在线服务的客户数字体验，降低了低价值密度监控数据存储管理成本。图 1.阿里云Lindorm数据库驱动的IT运维...
云产品集成
您可以使用 DMS 录入云数据库 OceanBase 的数据，通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。什么是数据管理DMS 支持的数据库...
- 产品推荐
- 这些文档可能帮助您