应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
ECS实例说明
大数据型 使用本地SATA盘作存储数据，存储性价比高，是大数据量（TB级别的数据量）场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点；Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
数据迁移与同步FAQ
什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
基于MaxCompute进行大数据BI分析
背景信息 MaxCompute：用于进行大规模数据计算，详情请参见 什么是MaxCompute。AnalyticDB MySQL：用于进行海量数据实时高并发在线分析，详情请参见 云原生数据仓库AnalyticDB MySQL版。DataWorks：可实现ETL功能，对复杂数据集进行采集、...
保险行业解决方案与案例
需求背景 某保险公司（中国前三）核心及业务系统迁移是当前保险业机构最大规模的数据库国产化改造项目。该公司依托云计算技术和互联网技术构建了分层清晰的数字化平台，推动技术架构和技术标准的统一，实现系统间整合和内通外联，同时，...
文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
实时同步常见问题
实时同步MySQL数据常见问题 实时同步MySQL数据源的数据时，一开始读到数据，一段时间后无法读到数据，怎么处理？实时同步Oracle、PolarDB、MySQL常见问题 实时同步Oracle、PolarDB、MySQL任务重复报错 报错信息与解决方案 报错信息与解决...
透明数据加密概述
什么是透明数据加密 透明数据加密指对数据文件执行实时I/O加密和解密。通过在数据库层执行静态数据加密，阻止可能的攻击者绕过数据库直接从存储中读取敏感信息。经过数据库身份验证的应用和用户可以继续透明地访问应用数据（不需要更改应用...
创建Aliyun HBase数据源
更多信息，请参见 什么是云数据库HBase。前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 附录：数据源白...
创建ClickHouse数据源
阿里云数据库ClickHouse的更多信息，请参见 什么是云数据库ClickHouse。前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体...
SmartData常见问题
基本概念 什么是JindoFS？已经有阿里云OSS，为什么还要使用JindoFS？JindoFS有哪些使用方式？使用场景是什么？JindoFS SDK和缓存模式的区别是什么？JindoFS缓存模式和Block模式的区别是怎么？JindoFS Block模式可以通过OSS API读取数据吗？...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
RDS术语
更多信息，请参见 什么是数据库备份DBS。DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL...
RDS术语
A AliPG 阿里云支持一系列兼容PostgreSQL的云数据库服务产品，这些云数据库服务采用统一的数据库内核（简称AliPG），AliPG兼容PostgreSQL开源数据库，于2015年正式商用，支持PostgreSQL主流大版本，已稳定运行多年，支撑了大量阿里巴巴集团...
基本概念
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
RDS术语
更多信息，请参见 什么是数据库备份DBS。DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL...
RDS术语
更多信息，请参见 什么是数据库备份DBS。DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL...
RDS术语
更多信息，请参见 什么是数据库备份DBS。DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL...
伯俊软件
上海伯俊软件科技有限公司 公司介绍 伯俊软件是国内老牌数字化服务商，创立20余年，已为3000多家大中型企业提供数字化管理产品、解决方案、“业务+数据”中台、培训及专业的技术服务，客户覆盖零售、制造、金融、互联网及政府机构等领域。...
数据归档
RDS MySQL实例数据量较大时，存储成本会随之增高。业务数据通常分为冷数据和热数据，将对象存储（OSS）作为归档冷数据的存储介质，能够大幅降低用户的存储成本。功能简介 在开启RDS MySQL通用云盘的数据归档OSS功能后，用户可通过执行下面...
一键建仓
数据管理DMS一键建仓功能可以实现一键创建实时同步的数据仓库，数据可在秒级的延迟下，同步至AnalyticDB MySQL版数据库中，帮助您更实时、准确地掌握业务情况，以便更好地进行业务分析和决策，提升业务效果。本文介绍如何在数据管理DMS中...
数据安全治理的常见思路
阶段三：建设能力 根据阶段二产出的评估报告，对如下三个体系进行建设：管理体系建设：着重对组织人员、制度流程、职责权力、资源分配、能力培训进行建设，最终产出各类机构、各类管理办法与规范。技术体系建设：基于数据全生命周期的识别...
从Oracle迁移应用至阿里云PolarDB全流程指南
数据传输DTS：数据传输服务（Data Transmission Service）DTS支持关系型数据库、NoSQL、大数据（OLAP）等数据源间的数据传输。它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下，...
整体架构
AnalyticDB MySQL版 从2014年开始正式对外提供服务，覆盖十多个行业，既包括传统的大中型企业和政府机构，也包括众多的互联网公司。AnalyticDB MySQL版 是基于数据库大数据一体化的理念和趋势，在工程上深度打磨出的云原生数据仓库。技术...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
数据源权限管理
什么是私有模式的数据源？哪些用户能够收回数据源的分享权限？如何检查数据源分享关系的移除、关联情况？分享数据源后，其资源组的连通状态是否会被同步分享？分享数据源后，引用过该数据源的任务关联信息是否会被同步分享？哪些角色可以...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
行业趋势与背景
基于这些技术探索和沉淀，我们开始思考基于云架构的分布式数据库应该是什么样的形态。从用户角度来看，需要满足用户使用云的一些期望，比如用户的数据库数据永远不会丢，即使主机异常宕机，这里需要有数据强一致以及高可用容灾等能力；比如...
数据加工过程卡点校验
您可以通过培训等方式，将离线数据的诉求、离线数据的加工过程、数据产品的应用方式告知在线业务开发人员，使其了解数据的重要性、价值及风险。确保在线开发人员在完成业务目标时，也要考虑数据的目标，做到业务端和数据端一致。离线系统卡...
基于Delta lake的一站式数据湖构建与分析实战
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
内表数据源
本文为您介绍什么是内表数据源（Default Catalog），以及如何使用Default Catalog查询StarRocks内部数据。Default Catalog StarRocks 2.3及以上版本提供了Internal Catalog（内部数据目录），用于管理StarRocks的内部数据。每个StarRocks...
数据治理
数据地图 为什么数据地图数据总览页存储量和存储趋势图相差较大？数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游？哪些类型的Hive表支持在数据地图中预览？数据保护伞 数据保护伞为什么有时候查询脱敏有...
操作指南
二、服务流程说明 用户可以根据自己实际需要，提前或者在问题发生时购买大数据专家服务，服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶培训、专家运维保障综合服务、...
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
Catalog概述
本文为您介绍什么是Catalog（数据目录），以及如何使用Catalog查询内外部数据。基本概念 内部数据：保存在StarRocks中的数据。外部数据：保存在外部数据源（例如，Apache Hive、Apache Iceberg和Apache Hudi）中的数据。Catalog StarRocks ...
- 产品推荐
- 这些文档可能帮助您