RDS增量数据同步至MaxCompute
增量同步的场景配置了自动调度，把增量数据在15日凌晨同步至分区ds=20161114中。数据中的时间字段 optime 用来表示该数据的修改时间，从而判断这条数据是否为增量数据。使用说明 部分数据源暂无增量同步方案，例如HBase、OTSStream数据源等...
使用INSERT ON CONFLICT覆盖写入数据
表t1中的非主键列进行了更新，返回示例如下：a|b|c|d-+-+-+-0|2|2|2(1 row)除了上述两种情况，覆盖写入功能支持更多使用场景，场景如下：主键冲突的情况下，在部分列中覆盖写入数据（适用于基于冲突数据覆盖部分列的场景）：例如主键冲突后...
基于Delta lake的一站式数据湖构建与分析实战
其中大部分的在线存储都面向在线事务型业务，并不适合在线分析的场景，所以需要将数据以无侵入的方式同步至成本更低且更适合计算分析的对象存储。常用的数据同步方式有基于DataX、Sqoop等数据同步工具做批量同步；同时在对于实时性要求较高...
配置匹配规则
说明 选择 忽略，全量校验将使用 IN 模式拉取数据，无法校验目标端多数据的场景，并且校验性能存在一定程度降级。如果表存在重命名映射，则优先重命名映射。例如，同时存在规则 a.b[0-3]和 a.b[3-5]=a.c，则表 a.b3 重命名为 a.c。执行 ...
分区索引
在数据写入量较大的场景中可以很好地实现数据均衡。搜索索引默认按照Lindorm宽表的主键进行HASH分区，同时也支持自定义分区键。HASH分区的语法示例如下：创建搜索索引，默认按照Lindorm宽表的主键进行HASH分区，默认设置的分区数量为 搜索...
流程控制
使用场景：定时器 适用于需要定时的场景需求。当时间计数到达配置项设定的时间点时，定时器节点抛出 当到计时点时 事件，输出上游节点的输出结果，触发后续动作。添加 定时器 节点至蓝图画布中，可查看 定时器 节点支持的事件/动作，以及...
支持的云服务
AnalyticDB for MySQL 云原生数据仓库 AnalyticDB MySQL 版（AnalyticDB for MySQL）是海量数据实时高并发在线分析（Realtime OLAP）云计算服务，与MaxCompute结合应用于大数据驱动业务系统的场景。通过MaxCompute离线计算挖掘，产出高质量...
应用场景
互联网类应用 Cassandra能够支持大并发低延时的访问需求，具备高...在一些需要应用大量数据对用户行为进行分析的场景中，可以通过整合多种数据来源，存储用户行为数据，构建用户画像，实时存储在Cassandra中，提供大数据风控、推荐等服务。
集群版-单副本
使用场景 数据量较大 集群版可以有效地扩展数据规模量大小，相比标准版可提供更大的存储量，例如64 GB、128 GB、256 GB集群版，可以有效的满足数据扩展需求。纯缓存应用 单副本集群版的分片服务器由单节点组成，分片服务器某节点出现故障时...
应用场景
数据本地处理 场景说明 场景示例 使用云盒的优势 某些场景下需要使用大量数据，这些数据传输到云上处理不仅会受到带宽或时间等限制，还会产生传输费用，因此需要在本地处理大量数据。AI模型训练和渲染、交通视频数据分析等 云盒可以帮忙您...
方案背景
大数据计算场景：推荐系统，订单类业务等 实时数据计算场景：监控系统，电商数字大屏等 样例场景 某电商公司为了完成电商运营数据的分析和展示，使用表格存储统一存储电商数据，通过Spark的流批处理离线聚合或实时统计电商数据，最终在...
适用场景
按应用类型选择 PolarDB-X 1.0 产品在高并发、分布式事务、复杂SQL优化、并行计算等方面都有比较好的用户沉淀和技术发展，适用于如下场景：对超高并发和大规模数据存储有较高要求的互联网在线事务类业务场景。传统企业级应用因业务发展导致...
云数据库Cassandra版应用场景
Cassandra能够支持大并发低延时的访问需求，具备高可用和弹性扩容能力，适合消息、feed流、订单查询、网站等各种大数据量的互联网在线应用场景。在线应用场景 方案优势 高可用：单点故障不影响业务。低延时：延迟在毫秒级别。弹性：可随着...
JindoFS实战演示
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
基本介绍
云数据库HBase增强版适用于在规模、吞吐、性能、可用性等方面有更高要求的企业级场景，面对大数据（无限扩展、高吞吐）、在线服务（低延时、高可用）、多功能查询的诉求，其可为用户提供无缝扩展、高吞吐、持续可用、毫秒级稳定响应、强弱...
数据分析整体趋势
随着Google等互联网企业崛起，以Hadoop为代表的基于传统x86服务器集群的大数据技术迅速发展，同时开源分布式数据库如Greenplum等也成为相应替代方案，为广大中小企业，尤其是互联网行业大大降低了数据分析的技术和成本门槛，还有分布式技术...
概述
适用场景 数据库表中每一行数据对应一个模型推理输出结果的场景。AI模型依赖于数据更新，无法频繁将数据导出数据库进行推理的场景。AI模型推理使用的SQL语句能够结合复杂查询功能（如Group By、Subquery、Join等）。利用数据库中的表数据...
数据可视化概览
背景信息 DMS为您提供了数据库数据管理的能力，同时通过SQL Console控制台为您提供以表格形式查询数据的方式，但对于需要通过分析数据去发现业务特性，比如分析趋势、增长对比等场景，单纯的表格无法满足需求，需要把数据可视化才可以支撑...
IO加速
本文档将详细介绍该技术的优势、适用场景和工作原理，帮助您在面临大规模或频繁数据读写需求时显著提升数据库性能。背景 RDS PostgreSQL在数据处理过程中，数据会从磁盘读取到内存，在内存中处理完成后，数据再从内存写入到磁盘中。与内存...
独享数据服务资源组
因此，如果您的实际业务场景与上述数据有较大出入，请加入 DataWorks钉钉群 咨询技术支持，我们会根据您的实际业务场景推荐合适的资源组规格。计费与相关操作 如您需要专业的售前购买指导，请前往查看 DataWorks购买指引。可以使用钉钉扫描...
资源规划和配置
因此，如果您的实际业务场景与上述数据有较大出入，请加入 DataWorks钉钉群 咨询技术支持，我们会根据您的实际业务场景推荐合适的资源组规格。根据上表两种类型的对比，推荐您使用独享资源组来进行API调用。资源组配置引导 使用公共资源组...
企业版产品系列
适用场景 大中型企业的生产数据库。互联网、物联网、零售电商、物流、游戏等行业的数据库。对数据安全性要求非常高的金融、证券、保险行业的核心数据库。节点规格与定价 集群版 支持 独享规格 和 通用规格。更多详情，请参见 计费项概览。...
如何在较大结果集中使用ORDER BY
本文介绍在数据量较大的结果集场景中Lindorm SQL ORDER BY的使用解决方案以及最佳案例。使用场景 常见Lindorm SQL的ORDER BY语法使用场景如下：在数据量较小（10万内的数据量）的结果集场景中，使用ORDER BY可以在内存中计算，没有任何使用...
PolarDB HTAP实时数据分析技术解密
在按列进行海量数据分析时，按行从磁盘读取数据存在非常大的IO带宽浪费，其次，行式存储格式在处理大量数据时会大量拷贝不必要的列数据，对内存读写效率也存在冲击。PolarDB 并行查询突破CPU瓶颈 PolarDB团队开发的并行查询框架（Parallel ...
输入节点
当选择数据表时，需保证模型与下游节点的输入数据模型相同，适用于已创建数据模型的场景。当选择*（任意结构）时，代表数据结构为任意结构，适用于未创建数据模型的场景。说明 模型名称支持复制，将鼠标移动至已选择模型时，单击 图标，...
输入节点
当选择数据表时，需保证模型与下游节点的输入数据模型相同，适用于已创建数据模型的场景。当选择*（任意结构）时，代表数据结构为任意结构，适用于未创建数据模型的场景。说明 模型名称支持复制，将鼠标移动至已选择模型时，单击 图标，...
选型配置说明
大数据使用场景 E-MapReduce各集群的场景和核心组件如下表。说明 具体各集群类型支持的组件以控制台实际展示为准。集群类型 场景介绍 核心组件 DataLake 云原生数据湖场景，提供Hive和Spark计算引擎，适用于数据湖场景和离线数据分析等情况...
概述
面向企业数据消费者，数据大屏通过自由画布、信息图类组件、动效等能力，将可视化和场景叙事技术结合，运行在非接触式连接的酷炫大屏上，满足CXO业务大屏、业务监控数字屏、项目会议演示屏，以及对外PR媒体大屏等场景。数据大屏仅适用于...
Transaction Table2.0概述
随着当前数据处理业务场景日趋复杂，很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储...
背景
了解表格存储表设计最佳实践的背景。选择使用表格存储后，根据实际业务场景，选择直接使用表格存储提供的数据模型或者根据最佳实践进行表设计。...对于复杂的场景，例如数据规模很大且查询方式多样，此时需要进行表结构和查询方案的设计。
ECS实例说明
本文介绍E-MapReduce（简称EMR）支持的ECS实例类型，以及各实例类型适用的场景。EMR支持的ECS实例类型 通用型 vCPU:Memory=1:4。例如，8核32 GiB，使用云盘作为存储。计算型 vCPU:Memory=1:2。例如，8核16 GiB，使用云盘作为存储，提供了更...
支持的数据脱敏算法
保留前n后m n、m 敏感类型：个人敏感 适用场景：数据使用 数据分享 保留自x至y x、y 遮盖前n后m n、m 遮盖自x至y x、y 特殊字符前遮盖（针对首次出现该字符）“@”、”&”、“.”特殊字符后遮盖（针对首次出现该字符）“@”、”&”、“.”...
快速入门
当前入湖模板支持5种数据抽取方式，可以根据数据抽取的场景选择并创建入湖模板。入湖模板需要指定抽取数据的具体位置。指定RAM角色，数据湖构建服务所代理的角色，默认为AliyunDLFWorkFlowDefaultRole。选择运行抽取任务所需的资源，并指定...
应用场景
数据传输服务DTS（Data Transmission Service）支持数据迁移、数据订阅和数据实时同步功能，帮助您实现多种典型应用场景。不停机迁移数据库 传输方式：数据迁移 为了保证数据的一致性，传统的迁移过程需要您在迁移数据时停止向源数据库写入...
配置MaxCompute输出组件
同步其他数据源的数据至MaxCompute数据源的场景中，完成源数据源的信息配置后，需要配置MaxCompute输出组件写入数据到目标数据源。本文为您介绍如何配置MaxCompute输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的...
配置MaxCompute输出组件
同步其他数据源的数据至MaxCompute数据源的场景中，完成源数据源的信息配置后，需要配置MaxCompute输出组件写入数据到目标数据源。本文为您介绍如何配置MaxCompute输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的...
配置MongoDB输入组件
同步MongoDB数据源的数据至其他数据源的场景中，您需要先配置MongoDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置MongoDB输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建MongoDB数据源...
配置Hive输出组件
同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg...
灾备方案介绍
云数据库Redis作为高性能的Key-Value数据库，在业务场景中往往承载着大量的重要数据，为保障数据安全性，云数据库Redis提供了多种灾备方案供您选择。云数据库Redis容灾架构演进 当云数据库Redis实例因不可预料的原因（例如设备故障、机房...
冷热分离
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
- 产品推荐
- 这些文档可能帮助您