数据分析整体趋势
随着Google等互联网企业崛起，以Hadoop为代表的基于传统x86服务器集群的大数据技术迅速发展，同时开源分布式数据库如Greenplum等也成为相应替代方案，为广大中小企业，尤其是互联网行业大大降低了数据分析的技术和成本门槛，还有分布式技术...
数据模型概述
DDM目前支持逻辑模型和物理模型建模，其中物理模型又分为关系型数据模型和非关系型数据模型，支持的大数据引擎为MaxCompute、Hive。说明 Hadoop的MR调优参数属于底层，DDM是数据建模工具，支持设置表、字段等物理属性。
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
JindoFS介绍和使用
支持数据加密。使用方式 仅支持 oss:/<oss_bucket>/<oss_dir>/方式，支持跨产品访问该文件路径。默认使用方式 oss:/<oss_bucket>/<oss_dir>/，支持跨产品访问该文件路径，可以打开缓存开关。支持多Namespace使用方式 jfs:/<your_namespace>...
常见问题
答：大数据专家服务方式可以选择【现场】+【远程】技术支持方式提供服务，一般在服务需求沟通阶段与用户就服务方式达成共识，若因疫情等不可抗原因仅提供远程技术支持的方式提供服务。4.大数据专家服务范围是覆盖阿里云所有大数据产品技术...
购买数据安全中心
支持选择以下版本：企业版：满足等保2.0关于数据审计与个人信息保护的要求，支持对云原生的数据类型（包括RDS、OSS、MaxCompute、ADB、OTS、OceanBase等）进行全面的安全审计，识别其中保存的敏感信息并进行分类分级，并支持数据泄漏告警，...
Dataphin支持的数据源
不支持 创建Impala数据源 StarRocks 支持 支持 不支持 支持 不支持 创建StarRocks数据源 Hudi 不支持 支持 不支持 不支持 不支持 创建Hudi数据源 Doris 支持 支持 不支持 不支持 不支持 新建Doris数据源 GreenPlum 支持 不支持 不支持 不...
产品和业务限制
限制项 描述 例外申请方式 购买分析型数据库MySQL版的限制 账户余额大于等于500元现金 请联系技术支持 开通分析型数据库MySQL版的用户限制 用户需实名认证 无 可创建的最大分析型数据库MySQL版数 3个 联系技术支持申请更多 单个分析型数据...
大数据上云及巡检服务内容说明
大数据平台迁移服务提供计算平台迁移相关的迁移方案设计和迁移实施过程（包括数据迁移、任务迁移）中的技术支持。帮助客户制定满足客户业务系统的大数据平台迁移改造技术方案，快速高效的实现数据/作业的迁移，保证数据的一致性。以解决...
升级数据库大版本
本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项 升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低...
MongoDB数据库大版本升级说明
支持升级的数据库大版本 云数据库 MongoDB 版 控制台可以直接升级数据库大版本，但不同产品架构、不同版本的实例支持升级的版本不同，具体情况如下：产品架构 规格类型 实例的数据库大版本 可升级到的数据库大版本 单节点架构 通用型云盘版...
离线同步并发和限流之间的关系
限制和最佳实践：分布式执行模式下，配置较大任务并发度可能会对您的数据存储产生较大的访问压力，请评估数据存储的访问负载。如果您的独享资源组机器台数为1，不建议使用分布式执行模式，因为执行进程仍然分布在一台Worker节点上，无法...
Dataphin支持的数据源
不支持 不支持 不支持 不支持 不支持 不支持 创建Kudu数据源 StarRocks 支持 不支持 不支持 支持 不支持 不支持 不支持 创建StarRocks数据源 Hudi 支持 不支持 不支持 支持 不支持 不支持 不支持 创建Hudi数据源 Doris 支持 不支持 不支持 ...
数据方案概览
数据变更 普通数据变更 支持数据库进行数据更新。无锁数据变更 将结合表中的主键或非空唯一键，分批对表中的目标数据进行操作，在保证执行效率的同时，尽可能地减小了对数据库性能、空间的影响。历史数据清理 支持历史数据清理，可以根据...
数据类型
本文介绍了 PolarDB-X 1.0 支持的数据类型。PolarDB-X 1.0 支持四种主要数据类型：数值类型 字符串类型 日期时间类型 JSON 数据类型 不支持的数据类型：空间数据类型 关于数据类型的详细信息可参考 MySQL 数据类型 文档。
如何选择备份方式
数据库备份DBS 支持逻辑备份和物理备份两种备份方式，为数据库提供连续数据保护、低成本的备份服务，您可以在评估业务后选择最符合您需求的备份方式。逻辑备份与物理备份的区别 参照项 逻辑备份 物理备份 概念 数据库对象级备份，备份内容...
典型场景
一键建仓：支持数据库一键入湖，T+1天。文件上传：数据上传后，DLA元数据发现功能可自动发现并构建好元数据体系。数据ETL：DLA支持Spark，提供强大的数据ETL能力，把ODS层的原始数据清洗为结构化的DW数据。机器学习：DLA支持Spark，支持...
互联网、电商行业离线大数据分析
DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商网站数据看板。全国、全球业务的态势分析。互联网、金融行业的风险数据监控。方案介绍 实现互联网、电商行业离线大数据分析的...
2019年
支持的地域列表 2019年11月 支持迁移Oracle数据库的分区表结构至MySQL数据库。从自建Oracle迁移至阿里云 2019年10月 支持迁移MongoDB Atlas，同时支持事务日志。说明 DTS通过SSL加密连接至MongoDB Atlas，可建立更加安全可靠的迁移链路。...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
导入概述
本文为您介绍Doris数据导入支持的数据源、支持的数据格式以及特性。支持的数据源 Doris提供多种数据导入方案，可以针对不同的数据源选择不同的数据导入方式。Stream Load Broker Load Insert Into Routine Load Spark Load JSON格式导入 ...
数据源概述
说明 目前只有标准模式的工作空间支持数据源隔离。使用域名配置数据源 如果您的数据源IP地址经常变动，或者无法通过IP直接访问数据源，您可通过为独享数据集成资源组绑定Host方式解决此问题。独享数据集成资源组配置Host详情请参见：绑定...
支持的数据源及同步方案
Lindorm数据源-LogHub（SLS）数据源-MaxCompute数据源-MariaDB数据源-Maxgraph数据源-Memcache（OCS）数据源-MetaQ数据源-MongoDB数据源-MySQL数据源-OpenSearch数据源-Oracle数据源-OSS数据源-OSS-HDFS数据源-PolarDB数据源-PolarDB-X 2.0...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
JindoData概述
JindoFSx存储加速系统 JindoFSx（JindoData服务）是原JindoFS Cache模式的全新升级版本，是面向大数据和AI生态的云原生数据湖存储加速系统，为大数据和AI应用访问各种云存储提供访问加速，支持数据缓存、元数据缓存和P2P加速等功能。...
入仓解决方案
支持的数据库部署位置 有公网IP的自建数据库 无公网IP:Port的数据库（通过数据库网关DG接入）通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
数据服务概述
同时，支持数据服务的运维监控和告警，便于开发运维人员根据异常数据或告警通知，及时发现并修正问题。数据服务产品价值能力，概括为以下两点：数据服务创建能力：支持将单个物理表或多个物理表进行关联形成一张逻辑表，后续开发可以基于该...
场景：配置增量数据离线同步任务
离线同步任务支持您通过配置类似的数据过滤功能来决定同步全量数据还是增量数据，配置过滤条件时，将只同步满足过滤条件的数据。同时，过滤条件可以结合调度参数使用，实现过滤条件随任务调度时间的动态变化，进而实现增量数据的同步。该...
实例间的数据库复制
RDS SQL Server部分实例支持实例间复制数据库功能，您可以通过RDS控制台或者OpenAPI将一个实例中的数据库复制到另外一个实例中。前提条件 RDS实例必须满足以下条件：源实例和目标实例必须在一个阿里云账号下。源实例和目标实例的版本必须...
使用MaxCompute控制台（离线）
MaxCompute控制台提供数据上传功能，支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线（非实时）上传至MaxCompute进行分析处理及相关管理操作。使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件...
Tair命令概览
Cpc 无 TairCpc是基于CPC（Compressed Probability Counting）压缩算法开发的数据结构，支持仅占用很小的内存空间对采样数据进行高性能计算，支持滚动窗口和滑动窗口，可以更好地支持流式运算，支持大数据分析中常用的聚合算子，如：...
Tair扩展数据结构概览
Cpc 无 TairCpc是基于CPC（Compressed Probability Counting）压缩算法开发的数据结构，支持仅占用很小的内存空间对采样数据进行高性能计算，支持滚动窗口和滑动窗口，可以更好地支持流式运算，支持大数据分析中常用的聚合算子，如：...
数据源支持概述
本文介绍Spark SQL支持的数据源类型，以及支持数据源的方式。支持的数据源 数据源 批量读 批量写 流式读 流式写 Kafka 有 无 有 有 Loghub 有 有 有 有 Tablestore 有 有 有 有 DataHub 无 无 有 有 HBase 有 有 无 有 JDBC 有 有 无 有 ...
在工作空间创建数据源或注册集群
工作空间创建完成后，您需要先将您的数据库或数据仓库，通过创建数据源的方式添加至DataWorks工作空间，或将您的集群注册至DataWorks工作空间，以便进行数据同步、数据分析与开发、数据调度等操作。本文主要以使用正式开发环境为例，为您...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
数据源管理概述
② 功能区 管理标签：Dataphin支持数据源的标签管理，以支持您可以通过业务场景划分数据源进行管理。如需创建，请参见 管理数据源标签。新建数据源：若您需要新建数据源。具体操作，请参见 Dataphin支持的数据源。刷新：单击 可以刷新当前...
数据源管理概述
② 功能区 管理标签：Dataphin支持数据源的标签管理，以支持您可以通过业务场景划分数据源进行管理。如需创建，请参见 数据源管理标签。新建数据源：若您需要新建数据源。具体操作，请参见 Dataphin支持的数据源。刷新：单击 可以刷新当前...
约束和限制
目录下面采样最新和最老的文件，每个文件读取前1000行 元数据发现SLS数据源发现历史投递数据 如果投递中途修改了分区格式，不会发现修改前的数据 一键建仓/多库合并支持的数据源网络类型 VPC 一键建仓/多库合并支持的数据源 PolarDB MySQL ...
- 产品推荐
- 这些文档可能帮助您