Transaction Table2.0概述
现状分析 当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...
LTS（原BDS）服务介绍
在线离线业务分离 通过LTS，将在线业务数据实时同步到HDFS或者OSS等存储，结合Spark、MR等大数据组件进行数据分析，从而不影响在线业务的查询。主备容灾 通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群...
LTS（原BDS）服务介绍
在线离线业务分离 通过LTS，将在线业务数据实时同步到HDFS或者OSS等存储，结合Spark、MR等大数据组件进行数据分析，从而不影响在线业务的查询。主备容灾 通过LTS在主备集群之间实现实时数据的双向同步，当主集群出现问题，可以切换到备集群...
背景信息以及准备工作
DataWorks是基于MaxCompute作为计算和存储引擎的用于工作流可视化开发和托管调度运维的海量数据离线加工分析平台，支持按照时间和依赖关系的任务全面托管调度。DLA用户可以通过DataWorks强大的任务托管调度功能，调度执行DLA任务，使用...
数据集成侧同步任务能力说明
DataWorks为您提供多种数据源之间进行不同数据同步场景的全增量同步任务，包括实时数据同步、离线全量同步、离线增量同步等同步场景，助力企业数据更高效、更便捷的一键上云。背景信息 实际业务场景下，数据同步通常不能通过一个或多个简单...
FeatureStore概述
离线KV数据同步到线上存储场景：该场景下的特征数据包括商品属性表、用户属性等，通过使用FeatureStore，简化离线数据到线上存储的同步调度任务。功能特性 数据源能力 FeatureStore封装了整个特征到模型的流程，支持多种离线和实时数据源，...
应用场景
访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
产品优势
Hologres兼容PostgreSQL生态，支持快速查询分析MaxCompute的数据、实时查询实时写入的数据、联邦分析实时数据与离线数据，帮助您快速搭建企业实时数据仓库。Hologres专注实时数仓需求，从以下几个方面创新，提高数仓开发效率，降低应用门槛...
功能特性
OSS数据湖加速 MaxCompute 在Hologres中可以创建MaxCompute外表，加速离线数据查询，也可以通过SQL方式将MaxCompute数据离线导入至Hologres，实现进一步的数仓快速查询，满足BI分析等业务。通过创建外部表加速查询MaxCompute数据 Holo ...
数据导入方式介绍
离线数仓加速 离线数据运行在MaxCompute等离线数仓上，单天数据增量达到几十GB甚至TB级，需要每天导入数据到 AnalyticDB MySQL 进行数据加速分析。使用方法 数据导入方式分为常规导入（默认）和弹性导入。常规导入在计算节点中读取源数据，...
支持的数据源及同步方案
Lindorm数据源-LogHub（SLS）数据源-MaxCompute数据源-MariaDB数据源-Maxgraph数据源-Memcache（OCS）数据源-MetaQ数据源-MongoDB数据源-MySQL数据源-OpenSearch数据源-Oracle数据源-OSS数据源-OSS-HDFS数据源-PolarDB数据源-PolarDB-X 2.0...
概述
数据上传后会保存到实时表，后续会在几分钟内通过定时任务的形式同步到MaxCompute离线表，供离线计算使用。LogHub 日志服务SLS提供数据投递功能，将LogHub实时采集的日志投递至MaxCompute。详情请参见 通过LogHub迁移日志数据至MaxCompute...
分析外部OSS上的数据
典型应用场景 以一个典型数仓架构为例，通过ETL将在线数据（关系数据库或者应用服务日志）导入离线分析平台做计算分析，分析的结果（如数仓模型的数据集市层ADS）再导入关系数据库中，用于对接BI报告、监控和广告计算等应用。该架构有几个...
离线同步任务调优
数据同步慢的场景及解决方案 说明 离线同步任务日志详情请参见：离线同步日志分析。数据同步慢的场景 现象 可能原因 解决方案 等待调度资源 现象1：同步任务日志显示等待gateway。现象2：实例属性页面显示等待资源时间长。离线任务由调度...
组件使用常见问题
使用场景：DataV支持多屏协作和大屏拼接，同时支持8K以及更高的分辨率等特性，适用于展览、实时数据监控、地理数据分析和多维数据展示等场景。展示媒介：DataV项目可以在大屏、电视、电脑和移动终端进行展示。视觉效果：DataV可提供精美的...
组件使用常见问题
使用场景：DataV支持多屏协作和大屏拼接，同时支持8K以及更高的分辨率等特性，适用于展览、实时数据监控、地理数据分析和多维数据展示等场景。展示媒介：DataV项目可以在大屏、电视、电脑和移动终端进行展示。视觉效果：DataV可提供精美的...
受众与核心能力
总之，使用DataWorks，您不仅可以进行海量数据的离线加工分析，还能完成数据的汇聚集成、开发、生产调度与运维、离线与实时分析、数据质量治理与资产管理、安全审计、数据共享与服务、机器学习、应用搭建等覆盖大数据全生命周期的最佳实践...
Iceberg概述
删除或更新数据 大部分数仓都难以实现较为高效的行级数据删除或更新，通常需要启动离线作业把整个表原始数据读取出来，然后变更数据后，写入到一个原始表。而Iceberg成功把变更的范围从表级别缩小到了文件级别，从而可以通过局部变更来完成...
概述
同时由于并行方式的多样化，可以适用于多种广泛而灵活的应用场景：海量数据分析场景 在中等及更大规模数据量的情况下，分析类业务的报表查询SQL通常复杂且比较耗费时间，通过开启并行查询可以线性降低查询的响应时间。资源负载不均衡场景 ...
典型场景
ETL离线数据处理 面对复杂SQL优化和海量数据大规模聚合分析等挑战，云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势：支持标准SQL、OLAP窗口函数和存储过程。ORCA分布式SQL优化器，复杂查询免调优。MPP多节点全并行计算，PB级数据...
数据集成概述
全增量同步任务简介 实际业务场景下，数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个 离线同步、实时同步 和 数据处理 等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。为了解决上述问题，...
配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
PolarDB-X 2.0数据源
如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的Reader参数和Writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务，以下为您介绍脚本模式下的数据源的Reader参数...
客户案例
迁移完成后，飞天大数据平台覆盖数据采集>存储&计算>实时/离线分析等游戏数据运营全链路。游戏行业：37手游重构数据体系建设 客户简介 37手游致力于手机游戏发行业务，在中国大陆地区，存在近10%的市场占有率。迄今为止，成功发行二十余款...
典型应用
云数据库ClickHouse应用场景介绍。交互式报表 基于ClickHouse和BI...访客来源分析展示 通过批量离线计算对用户访问日志中的用户行为进行关联，生成用户行为路径大宽表同步到ClickHouse，基于ClickHouse构建交互式访客来源探索分析可视化系统。
离线同步常见问题
脏数据实时场景分析：场景一：报错现象：{"message":"写入 ODPS 目的表时遇到了脏数据:第[3]个字段的数据出现错误，请检查该数据并作出修改或者您可以增大阈值，忽略这条记录.","record":[{"byteSize":0,"index":0,"type":"DATE"},{...
什么是Quick Tracking
分析：Quick Tracking将常用的分析场景抽象成不同的分析模型，利用各分析模型，客户可以根据自身需要进行自助数据提取。具体介绍见 分析概述。用户画像 可根据用户行为创建用户行为标签，并支持根据标签值圈选人群和查看人群洞察报告。性能...
DataWorks产品安全能力介绍
MaxCompute Information Schema：大数据计算服务内的所有操作会被记录至离线元数据仓库Information Schema，您可随时调用。实时操作日志 支持使用OpenEvent将DataWorks关键操作变更情况以消息的方式发送至用户，便于用户订阅消息并做出个性...
概述
配置DTS数据迁移节点 离线数据集成 用于数据迁移、数据传输等场景，实现数据源之间的数据同步。配置离线数据集成节点 数据加工 单实例SQL 将SQL语句发放到指定的关系型数据库上并执行。说明 如果目标实例已开启无锁结构变更，单实例SQL任务...
最佳实践概览
通过Logstash将PolarDB-X（DRDS）数据同步至Elasticsearch 通过DataWorks将PolarDB-X（DRDS）数据离线同步至Elasticsearch 通过DTS将PolarDB MySQL数据同步至Elasticsearch 通过Monstache实时同步MongoDB数据至Elasticsearch 大数据云产品...
基本概念
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
外部表概述
背景信息 MaxCompute SQL作为分布式数据处理的主要入口，可实现EB级别离线数据的快速处理和存储。随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大...
全增量实时同步至Hologres
配置区域 参数 说明 读端配置 离线任务源端最大连接数 支持您通过该参数控制当前同步方案所产生的所有离线子同步任务可占用的源端数据库连接数，即同一时间内，当前同步解决方案所产生的所有离线子同步任务读取数据库的并发数上限。...
我是安全管理员
支持安全管理员用户的功能总览 类目 功能 说明 SQL窗口 单库查询 在单库查询中可以手动写SQL进行单库查询，适用于业务代码上线数据验证、产品效果数据分析、线上问题排查定位等场景。逻辑数仓 逻辑数仓提供快速进行数据分析、访问服务和跨...
大数据安全治理的难点
因此，其存在错综复杂的数据流转链路，包括但不限于即席查询链路、离线传输链路、实时传输链路、数据服务API链路、其他底层API/SDK流出通道。这些链路都是数据机密性受损的直接渠道，数据流转安全策略定义不清楚或未定义、底层链路未禁用、...
MySQL分库分表同步至Hologres（方案1.0）
需求分析 场景描述：MySQL实例有三个分库分表数据库 order_db01、order_db02、order_db03。业务上有两种逻辑表：订单表 t_order 和用户表 t_user，其中每张逻辑表分别对应三个数据库下的两张物理表。如下图所示总共3个物理库，12张分表，...
发现并处理大Key和热Key
离线全量Key分析 优点：可对历史备份数据进行分析，对线上服务无影响。缺点：时效性差，RDB文件较大时耗时较长。对 Tair 的RDB备份文件进行定制化的分析，帮助您发现实例中的大Key，掌握Key在内存中的占用和分布、Key过期时间等信息，为您...
什么是EMR Serverless StarRocks
在数据湖分析场景中，StarRocks主要负责数据的计算分析，而数据湖则主要负责数据的存储、组织和维护。使用数据湖的优势在于可以使用开放的存储格式和灵活多变的Schema定义方式，可以让BI、AI、AdHoc、报表等业务维持在统一的单点身份可信...
功能特性
实时性能 全量KEY离线分析 支持对全量数据进行离线分析，能够发现所有存在的大Key，分析过程不会对实例带来任何额外负担。离线全量Key分析 大、热Key分析 实时跟踪请求并分析其中涉及的大、热Key，帮助快速定位问题。实时Top Key统计 ...
MaxCompute表数据
浏览次数：统计30天内在数据地图浏览此表详情页的次数，此数据为离线统计，有T+1的延迟。读取次数：统计近30天内生产环境发起的读取MaxCompute表的任务计数，读取表的任务类型包括但不限于SQL、Tunnel Download、数据集成等。目前仅统计与...
- 产品推荐
- 这些文档可能帮助您