离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
Napatech案例
基于Lindorm的解决方案，用户在采用到100Gbps+流量产生的大量数据包元数据直接通过Lindorm存储，在数据的存储和索引性能方面得到极大的提升，同时也极大地降低整个系统的运维成本。客户价值 支持多个100G数据流量采集点的数据包元数据存储...
DataWorks模块使用说明
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
数据集成概述
但在进行上述网络环境下的数据同步前，您需要确保数据集成用于执行数据同步的资源组与您将同步的数据来源端与目标端网络环境的连通，数据集成支持您根据数据源所在网络环境，选择对应的网络同步任务，关于网络连通方案选择与配置资源组与...
新建事实逻辑表
来源表类型说明：有主键来源表：有主键的逻辑表允许配置多个来源,第一个固定为主来源,逻辑表的数据总量（行数）由此来源决定。无主键来源表：无主键的逻辑表仅允许配置一个来源,。若来源是多个表，请使用自定义SQL预先完成多表的关联。说明...
新建事实逻辑表
来源表类型说明：有主键来源表：有主键的逻辑表允许配置多个来源,第一个固定为主来源,逻辑表的数据总量（行数）由此来源决定。无主键来源表：无主键的逻辑表仅允许配置一个来源,。若来源是多个表，请使用自定义SQL预先完成多表的关联。说明...
配置数据源网络
本文主要介绍Serverless Spark如何配置数据源网络来访问用户VPC网络中的数据。这些数据包括RDS系列、ADB系列、PolarDB系列、MongoDB、Elasticsearch、HBase、E-MapReduce、Kafka以及用户在ECS上自建的各种数据服务等。背景信息 Serverless ...
东软案例
东软基于Lindorm打造，面向政企互联网化数字信息系统运维监控场景的新一代IT智能运维系统部署架构如下图所示，其中Lindorm作为核心运维数据存储、检索引擎全量接收来自移动终端、网络嗅探器、业务监控探针、日志采集器等多种数据来源实时...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
管理全局变量
测试数据 来源 全局变量的来源，包括 静态值 和 数据源请求。静态值 初始值 全局变量选择变量类型时的默认值。datav"过滤器 可选，通过添加数据过滤器进一步筛选所需数据。详情请参见 使用数据过滤器。数据响应结果 在全局变量的参数设置...
基于Delta lake的一站式数据湖构建与分析实战
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...
基本概念
本文将为您介绍数据服务的Dataphin数据源...网络配置 应用能够成功调用API或Dataphin数据源的基础网络配置，包括域名配置和VPC白名单配置。说明 如果您是公共云用户，则需要配置VPC白名单。调用示例 应用调用API和Dataphin数据源的调用说明。
安全白皮书
云数据库Redis版 从网络、存储、备份、容灾等方面，提供全面的安全加固功能来保障您的数据安全。包括但不限于：网络：白名单、VPC网络、TLS加密 等。存储：开启透明数据加密TDE、自动或手动备份 等。容灾：自动主备切换、同城容灾（双可用...
安全白皮书
Tair 从网络、存储、备份、容灾等方面，提供全面的安全加固功能来保障您的数据安全。包括但不限于：网络：白名单、开启TLS加密 等。存储：开启透明数据加密TDE、自动或手动续费 等。容灾：自动主备切换、同城容灾（双可用区实例）、全球多...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
EMR Hive数据整库离线同步至MaxCompute
背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成...
EMR Hive数据整库离线同步至MaxCompute
背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成...
概述
事实上，鉴于数据库研究在数据发现、数据管理、版本控制、数据清理和数据集成方面积累的专业知识，PolarDB for AI 可以为数据驱动的智能应用提供一站式的数据（包括：数据、特征和模型）服务来解决这种割裂状态，大大减少数据驱动的智能...
告警事件
来源系统 包括：数据质量 实时计算 数据服务 离线计算 告警原因 告警事件发生的原因，详情请参见 查看告警事件。推送方式 告警事件推送给您方式。推送方式 包括：电话 短信 邮件 钉钉 告警频率 告警推送给您的频率。首次告警时间 该告警...
告警事件
来源系统 包括：数据质量 实时计算 实时集成 数据服务 离线计算 告警原因 告警事件发生的原因，详情请参见 查看告警事件。推送方式 告警事件推送给您方式。推送方式 包括：电话 短信 邮件 钉钉 告警频率 告警推送给您的频率。首次告警时间 ...
离线同步任务运维
说明 在离线同步任务产出表配置数据质量规则的情况下，请注意任务所使用的调度资源组与目标数据源的网络问题。查看离线任务运行日志 进入运维中心，待周期实例、补数据实例、测试实例执行完成后，您可以在实例DAG面板查看任务 运行日志。...
Lindorm实时入湖建仓分析
方案介绍 DLA Lakehouse的Lindorm实时入湖建仓分析助力企业构建大数据离在线一体化，主要包括三方面。Lindorm实时入湖建仓引擎：支持T+10min近实时入湖，同时支持Schema推断、动态列增加、分区管理、小文件合并及Clustering等能力。Lindorm...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
Bucket Shuffle Join
如果Join语句命中了表的数据分布列，则应该使用数据分布信息来减少Join语句的网络与内存开销，这就是Bucket Shuffle Join的思路来源。上图展示了Bucket Shuffle Join的工作原理。在SQL语句中，A表与B表进行了Join操作，并且Join的等值表达...
查看性能监控指标
PolarDB 控制台提供了丰富的性能监控项和秒级监控频率，方便您掌握集群的运行状态并通过细粒度的监控数据快速定位运维问题。操作步骤 登录 PolarDB控制台。在左侧导航栏单击 集群列表。在左上角，选择集群所在地域。找到目标集群，单击集群...
DLA Lakehouse实时入湖
创建RDS MySQL数据订阅通道 说明 由于DLA Lakehouse只支持专有网络，故订阅任务的网络类型请选择 专有网络。由于DLA Lakehouse无法自动更新元数据信息，故需要订阅的数据类型请选择 数据更新 和 结构更新。新增消费组 查看订阅Topic和消费...
阶段一：基础防护建设
例如：《金融数据安全分级指南 JR/T 0197-2020》《网络安全标准实践指南——网络数据分类分级指引》《信息安全技术个人信息安全规范 GB/T 35273—2020》《信息技术大数据数据分类指南 GB/T 38667-2020》《基础电信企业数据分类分级方法 YD/...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
折线图
重要 在画布编辑器中添加BI分析组件时，图层栏内会自动在当前BI组件上方对应生成一个分析器，且需要提前创建数据集以供BI分析组件选择并配置使用，创建数据集和分析器交互使用说明详情，请参见 添加数据集 和 BI分析器交互使用说明。...
8.0.1和8.0.2版功能对比
PolarDB for MySQL 8.0.1版和8.0.2版在功能上存在一些差异，包括Warm Buffer Pool、Hash Join、弹性并行查询、执行器增强、优化器增强、分区表、多主集群（库表）、Blink Tree等方面的差异。本文介绍这两个版本的功能区别，以便您基于业务...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
应用场景
数据传输服务DTS（Data Transmission Service）支持数据迁移、数据订阅和数据实时同步功能，帮助您实现多种典型应用场景。不停机迁移数据库 传输方式：数据迁移 为了保证数据的一致性，传统的迁移过程需要您在迁移数据时停止向源数据库写入...
区域图
重要 在画布编辑器中添加BI分析组件时，图层栏内会自动在当前BI组件上方对应生成一个分析器，且需要提前创建数据集以供BI分析组件选择并配置使用，创建数据集和分析器交互使用说明详情，请参见 添加数据集 和 BI分析器交互使用说明。...
什么是数据库审计
数据库审计服务符合等级保护三级标准，帮助您满足合规性要求，包括但不限于：中国银监会、工业和信息化部、公安部、国家互联网信息办公室制定的《网络借贷信息中介机构业务活动管理暂行办法》中第十八条指出需要进行信息安全检查和审计。...
基本概念
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
整库离线同步至Elasticsearch
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至Elasticsearch为例，为您讲解如何将整库数据离线同步至Elasticsearch。前提条件 已...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
- 产品推荐
- 这些文档可能帮助您