应用场景
访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
发现并处理大Key和热Key
因此，在读、写压力都较大且对数据一致性要求很高的场景下，读写分离架构并不是最优方案。使用阿里云Tair的QueryCache特性 云原生内存数据库Tair 会根据高效的排序和统计算法识别出实例中存在的热点Key（通常热点Key的QPS大于3,000），开启...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
产品优势
安全合规 满足外部审计对审计数据内容增量备份和存储时长的要求，满足网络安全法对日志数据存储的要求。全量审计 支持对RDS云数据库、ECS自建数据库等多种数据库的审计，满足云上用户数据库审计需求。快速识别 可实现99%的应用关联审计、...
JindoFS介绍和使用
JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS的访问；提供块存储模式（Block），以充分利用OSS的海量存储能力和优化文件系统元数据的操作。JindoFS纯客户端模式（SDK...
备份与恢复方案概览
适用于恢复整个实例，且对数据的时效性要求不高的场景。按Key闪回 MongoDB 5.0及以上的分片集群云盘版实例。适用于小部分数据错乱或意外丢失场景，根据数据的闪回Key可对这部分数据进行回档，快速恢复数据。下载备份文件 下载备份文件 ...
概述
您可以将数据库中的表或单条SQL查询结果作为数据集，在仪表盘或大屏中对数据集中的数据以表格、交叉表、折线图、柱条形图、饼图、双轴图等图形或组件展现出来，并对这些图形或组件进行自由组合、布局，以某种分析思路对业务进行直观呈现。...
功能特性
配置管理 数据保护 敏感数据管理 DMS的敏感数据保护能力能根据所选的敏感数据扫描模板、敏感数据识别模型以及脱敏算法对数据进行脱敏处理，以避免敏感数据滥用，有效保护企业的敏感数据资产，防止数据泄露造成企业经营资金损失或罚款。...
适用场景
按应用类型选择 PolarDB-X 1.0 产品在高并发、分布式事务、复杂SQL优化、并行计算等方面都有比较好的用户沉淀和技术发展，适用于如下场景：对超高并发和大规模数据存储有较高要求的互联网在线事务类业务场景。传统企业级应用因业务发展导致...
Tunnel SDK常见问题
使用Tunnel SDK上传数据时，编写完UDF打成JAR包后上传，对JAR包大小有要求吗？使用Tunnel SDK上传数据时，是否有分区数量限制？使用Tunnel SDK上传数据时，报错StatusConflict，如何解决？使用Tunnel SDK上传数据时，报错Blocks Not Match...
Transaction Table2.0概述
现状分析 当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
识别任务说明
文件或表扫描限制 为了避免数据源中文件或表过大影响整体扫描进度，数据安全中心对可以扫描的文件大小或表的字段大小做了限制，请您在进行敏感数据扫描前了解以下规则：结构化数据（RDS MySQL、RDS PostgreSQL、PolarDB等）、大数据...
新零售：杭州数云信息技术有限公司
PolarDB 采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍杭州...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
敏感数据保护
敏感数据的数据集成加解密 如果在数据上云、数据交换等场景，需要对传输中的数据进行加解密保护，则可以使用Dataphin的集成加解密能力，对集成的数据进行加解密保护。加密后的数据只有拥有密钥权限的用户才能够进行查看，从而更好地保护...
敏感数据保护
敏感数据的数据集成加解密 如果在数据上云、数据交换等场景，需要对传输中的数据进行加解密保护，则可以使用Dataphin的集成加解密能力，对集成的数据进行加解密保护。加密后的数据只有拥有密钥权限的用户才能够进行查看，从而更好地保护...
新零售：特步
业务挑战 线下零售数千家门店，订单量很大，对在线交易数据库的高并发写入、海量存储能力要求较高。特步的业务属性决定了促销是一个常态，经常发生业务突变，大促期间单日订单量最高可达几百万，需要一定的弹性能力以支撑成倍订单增长带来...
Tair选型指南
2 选择部署架构 云原生内存数据库Tair 支持 标准架构、集群架构 和 读写分离架构，可满足不同业务场景对业务读写能力、数据量和性能的要求。3 选择容灾方案 云原生内存数据库Tair 实例若因不可预料的原因（例如设备故障、机房断电等）发生...
数据质量保障原则
不同行业有不同的评估数据质量的标准。对于MaxCompute，数据质量可以从完整性、准确性、一致性和及时性共四个角度进行评估。完整性 完整性是指数据的记录和信息是否完整，是否存在数据缺失情况。数据缺失主要包括记录的缺失和具体某个字段...
云数据库Redis版产品选型必读
选择部署架构 云数据库Redis支持 标准架构、集群架构 和 读写分离架构，可满足不同的业务场景对业务读写能力、数据量和性能的要求。选择容灾方案 当云数据库Redis实例因不可预料的原因（例如设备故障、机房断电等）发生故障，容灾机制可...
添加数据集
DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，提供高效实用的数据建模能力，可用的算子包括常见的数据聚合函数、按不同时间粒度划分、地理信息处理等。本文为您介绍如何在...
配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
PolarDB PostgreSQL版间的迁移
是否限制全量迁移速率 全量迁移时会开启对源库的多并发读取及对目标库的多并发写入，这一行为可能对用户的数据库造成一定的压力，如果不希望对数据库影响太大，可以限制迁移的速率上限。是否限制增量同步速率 增量迁移时会开启对源库的多...
Oracle同步至Tablestore
本实践以Oracle作为来源数据源，以Tablestore作为去向数据源，因此您需要在DataWorks的工作空间的 数据源管理 页面新增Oracle数据源和Tablestore数据源，两个数据源支持的数据同步能力请参见 Oracle数据源、Tablestore数据源。已购买独享...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
离线同步任务调优
在数据库性能限制的情况下，同步速度并非越快越好，考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成支持了限速选项，您可根据业务合理配置该值。详情请参见：限制同步速度。数据同步速度的影响因素 数据同步速度受来源与...
全增量实时同步至Hologres
限流：考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成同时提供了限速选项，您可以通过限流控制同步速率，从而保护读取端数据库，避免抽取速度过大，给数据库造成太大的压力。限速最小配置为1MB/S，最高上限为30MB/s。离...
标准版-单副本
标准版-单副本采用单节点架构，可以在没有数据可靠性要求的纯缓存场景充分发挥性能优势。架构简介 标准版-单副本采用单个数据库节点部署架构，没有可实时同步数据的备用节点，适用于数据可靠性要求不高的纯缓存业务场景使用。单副本架构...
常见问题
在数据水印的基础上，数据安全中心通过系统内置的异常事件检测，对运维高危操作、异常访问、拖库攻击、数据库注入、数据库外联、数据库高危操作等行为进行监控告警，覆盖传统数据库的基础上，还支持对象存储OSS、大数据平台MaxCompute以及...
面临的业务挑战
越来越多的企业大数据分析已不再局限于传统的T+1场景，对数据的实时性分析和处理要求提出了更高要求。传统的批处理模式往往有数小时甚至数天的延迟，不能满足T+0的业务需要，用户要求在秒级，甚至毫秒级完成对海量数据分析。系统极复杂 大...
备份集查询功能概览
通过 Hive 的方式直接对文件进行查询，但是这种方式对数据文件格式有严格的要求，且技术成本较高。数据库备份服务DBS提供了云上备份数据查询功能，您只需要简单的SQL语句，即可查询到您的备份数据，且备份数据不会被修改，该功能只针对查询...
常见问题
分区索引的适用场景：单表数据量较大，例如超过10亿，或查询RT和查询QPS无法满足要求时，推荐您使用分区索引。分区索引主要由HASH分区、时间分区或HASH分区和时间分区的组合组成，您可以根据以下场景和建议合理设置分区索引：业务数据有...
SmartData常见问题
Block模式：特殊场景，例如对元数据操作性能和一致性要求高时，使用此模式。JindoFS SDK和缓存模式的区别是什么？JindoFS SDK和缓存模式完全兼容阿里云OSS，通过这两种方式您可以通过OSS产品提供的API和SDK，直接读取写入OSS的文件。缓存...
离线同步日志分析
若您对同步速度有要求，建议您先处理脏数据问题。脏数据介绍详情请参见 离线同步任务配置相关能力。您可以通过配置脏数据容忍条数控制同步产生的脏数据是否影响任务正常执行。离线同步任务默认允许脏数据，您可在任务配置界面进行修改。...
配置备份计划
本文将向您介绍如何配置备份计划。通过配置备份计划，您可以设置备份的库或表、备份频率、存储方式、备份周期等...数据库备份DBS 对数据库执行备份时会造成一定影响，建议选择业务低峰期执行备份任务。更多详情，请参见 备份对数据库的影响。
常见问题
由于DTS的传输性能受DTS内部、源端和目标端数据库实例的负载、待传输的数据量、DTS实例是否存在增量任务、网络等多种因素影响，所以无法预估DTS任务所需的时间，若对性能有较高要求，建议选择性能上限较大的规格。关于规格的更多信息，请...
- 产品推荐
- 这些文档可能帮助您