产品优势
数据安全中心DSC（Data Security Center）可扫描和识别海量数据，帮您实时获取数据的安全状态。本文介绍 数据安全中心 的产品优势。合规性 使用数据安全中心产品，可以帮助企业满足等保2.0对“云计算环境下安全审计”及“个人信息保护”的...
新建实时自定义源类型
Dataphin支持自定义实时数据源类型，您可以基于自定义的实时数据源类型，创建实时数据源实例、实时数据源类型的元表以及访问自定义实时数据源的Flink SQL任务，以满足实际数据需求开发。本文为您介绍如何自定义实时数据源类型。使用限制 ...
新建实时自定义源类型
Dataphin支持自定义实时数据源类型，您可以基于自定义的实时数据源类型，创建实时数据源实例、实时数据源类型的元表以及访问自定义实时数据源的Flink SQL任务，以满足实际数据需求开发。本文为您介绍如何自定义实时数据源类型。使用限制 ...
版本发布记录
计费项 数据字典 支持控制台配置数据字典，当业务中有常量数据或者业务数据可以划分为业务事实表和业务维度表，通过数据字典来替代维度表，直接查询字典获得维度数据，增加查询效率。数据字典 资源队列 解决开源版中单个大查询消耗资源过多...
应用场景
该应用场景在阿里巴巴内部得到了广泛的应用，例如淘宝订单系统每天有上万个下游业务，通过数据订阅获取订单系统的实时数据更新，触发自身的变更逻辑。横向扩展读能力 传输方式：数据同步 对于有大量读请求的应用场景，单个数据库实例可能...
典型使用场景
而接合LindormStreams+Blink/Spark，可以构建出一套完整的实时数据系统：应用解耦-实时同步到消息队列 通常业务发生之后，应用系统产生的数据需要被其他应用使用或根据这个事件驱动其他应用的业务逻辑，应用之间一般通过消息队列进行消息...
功能特性
自建MySQL同步至RDS MySQL 数据订阅 数据订阅功能可以帮助您获取数据库的实时增量数据，您可以根据自身业务需求自由消费增量数据，并写入目标端，实现各类业务场景，例如缓存更新、业务异步解耦、异构数据源数据实时同步及含复杂ETL的多种...
数据订阅操作指导
数据订阅功能可以帮助您获取数据库的实时增量数据，适用于缓存更新策略、业务异步解耦、异构数据源的数据实时同步和复杂ETL的数据实时同步等多种业务场景。本文介绍数据订阅功能的具体使用流程，帮助您快速掌握创建、监控、管理数据订阅...
什么是数据库备份DBS
快照：基于快照技术获取指定数据集合的一个完全可用拷贝，随后可以选择仅在本机上维护快照，或者对快照进行数据跨机备份，常见工具为文件系统Veritas File System、卷管理器Linux LVM、存储子系统NetApp NAS等。说明 DBS暂不支持快照。数据...
实时数据订阅概述
云原生多模数据库 Lindorm 支持实时数据订阅功能，实时数据订阅功能帮助您获取Lindorm的实时增量数据，您可以根据自身业务需求自由消费增量数据，搭建或实现多种业务场景。背景信息 云原生多模数据库 Lindorm 数据订阅功能支持任何一个表的...
数据传输加密
浏览器与服务器端访问统一使用SSL加密，即使用HTTPS协议访问。Dataphin内部服务接口权限控制：内部RPC接口调用采用密钥和白名单方式进行控制，数据内容是二进制传输。公共云SaaS下的数据服务支持HTTPS协议访问。支持配置使用公有云的阿里云...
概述
本文主要介绍需要实时获取HBase表的数据变更场景。数据写入HBase之后，很多业务场景下需要实时获取或者订阅HBase表的数据变更。当数据被更新时，触发其他应用的业务处理，如物流订单生成后触发仓库作业。对接实时计算，用于业务数据驱动的...
应用场景
云上自建数据库 DBFS为数据库场景量身打造的特性，非常适合云上用户自建数据库（例如：MySQL，PostgreSQL等），实现存储计算分离：对比项 DBFS 本地盘 极致性能 帮助用户实现数据库存储计算分离，为数据库可在云端存储可获得的最佳性能收益...
功能特性
基于DLA+DTS同步RDS数据来构建实时数据湖 DLA Serverless Presto DLA Serverless Presto是云原生数据湖团队基于Presto打造的交互式分析引擎，Presto开发的初衷就是为了解决使用Hive来进行在线分析速度太慢的问题，因此它采用全内存流水线化...
资产注册
资产注册针对管理的数据表类型，实现资产信息注册的全面自动化，在工作组中注册成功待管理的存储计算资源，系统自动执行元数据信息的扫描获取，完成实时数据资产发现，为后续资产...可选：如想获取最新数据，可单击 手动刷新 进行元数据同步。
资产注册
资产注册针对管理的数据表类型，实现资产信息注册的全面自动化，在工作组中注册成功待管理的存储计算资源，系统自动执行元数据信息的扫描获取，完成实时数据资产发现，为后续资产...可选：如想获取最新数据，可单击 手动刷新 进行元数据同步。
视频点播VOD的审计事件
视频点播VOD已与操作审计...DescribeVodDomainRealTimeByteHitRateData 获取域名实时字节命中率数据。DescribeVodDomainRealTimeHttpCodeData 获取域名实时HTTP代码数据。DescribeVodDomainRealtimeLogDelivery 查询域名实时日志投递信息。...
使用全局变量
过滤器引用 说明 新版DataV服务中的 getCallbackValue 和 getLocalValue 的数据获取效果一样，为了兼容旧版DataV服务，保留了 getLocalValue，建议您优先使用 getCallbackValue。在 画布编辑器 页面，单击上方 快捷搜索 框。输入 按钮 和 ...
时空数据库版本发布记录
新增 ST_HasBinData 函数是否具有用户定义二进制数据获取。新增 ST_ClearBinData 函数支持二进制数据的清除。ST_Affine 函数使用根节点变换矩阵方式替代实际坐标值变换。SFMesh对象中Node节点允许使用NULL对象作为空节点，支持占位操作。ST...
时空数据库版本发布记录
新增 ST_HasBinData 函数是否具有用户定义二进制数据获取。新增 ST_ClearBinData 函数支持二进制数据的清除。ST_Affine 函数使用根节点变换矩阵方式替代实际坐标值变换。SFMesh对象中Node节点允许使用NULL对象作为空节点，支持占位操作。ST...
数据安全
全球加速提供数据传输加密能力和容灾能力，可有效防止数据在云端的潜在安全风险。数据传输加密 绑定SSL证书安全访问HTTPS域名 为标准型全球加速实例配置基于HTTPS协议的监听时，需要添加服务器SSL证书以确保您的业务受到加密保护并得到权威...
2020年
无 2020年5月 oss_fdw插件 新增oss_fdw插件，用于Aliyun OSS外部表支持，您可以通过OSS外部表将数据库数据写入到OSS，也可以通过OSS外部表将OSS数据加载到数据库中，OSS外部表支持并行和压缩，极大提高了导入和导出数据的性能，同时也可以...
2020年
本文介绍 PolarDB PostgreSQL版（兼容Oracle）的产品功能动态，分别为内核小版本、控制台、时空数据库和API的更新说明。说明 您可通过如下语句查看 PolarDB PostgreSQL版（兼容Oracle）的内核小版本的版本号：show polar_version;2020年12...
开通HTTPS协议
您可以通过HTTPS协议启用SSL（Secure Sockets Layer）加密，实现数据的加密传输。本文介绍如何开通HTTPS协议。开通后，您可以通过HTTPS协议连接 云数据库ClickHouse 集群。背景信息 SSL是Netscape公司所提出的安全保密协议，在客户端和Web...
配置MySQL输入
DataWorks的数据集成实时同步MySQL数据是基于实时订阅MySQL实现的，实时同步MySQL数据目前仅支持配置MySQL数据源为RDS的 5.x 或 8.x 版本的MySQL，如果需要同步DRDS的MySQL，请不要将DRDS的MySQL配置为MySQL数据源，您可以参考 配置DRDS...
Hologres结果表
实时数据API的描述，详情请参见 实时数据API。使用限制如下：Hologres当前版本仅支持List分区。创建分区表时，需要显示指定的分区列，分区列的类型仅支持 text 和 int4。如果设置了主键，分区列必须为主键的一部分。创建分区子表时，子表...
HTTP API 概览
TSDB 实例支持通过 HTTP 协议进行数据写入和查询等操作。TSDB 提供了一个基于 HTTP 的应用程序编程接口，以便与外部系统集成。几乎所有 TSDB 的特性都可以通过 API 来访问，比如查询时间序列数据、管理元数据和存储数据点。TSDB 的 HTTP ...
HTTP相关
简介 HTTP相关的核心类型，主要服务于基于HTTP协议的连接器节点。类型主要为：HttpRequest、HttpRespoonse、HttpHeader、HttpCookie等类型。HttpRequest 简介 引擎用来描述发送HTTP Request请求时的数据结构。基于HTTP协议的连接器节点...
Dataphin支持的实时数据源
本文为您介绍Dataphin各实时计算引擎支持的实时数据源及对应的读写支持。Ververica Flink支持的实时数据源 存储类型 数据源类型 读 写 维表读 大数据存储 MaxCompute 支持 支持 支持 DataHub 支持 支持-Hologres 支持 支持 支持 数据湖 ...
入仓解决方案
主要用于两个数据源之间的数据实时同步，适用于异地多活、数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等场景。它属于持续性任务，任务创建后会一直同步数据，保持数据源和数据目标的数据一致性。支持的数据库 请参见 迁移...
什么是ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
流式ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
功能简介
提供完善的实时数据接入配置等功能，有效保障实时任务接入的稳定性和可控性。配置化同步 支持通过自定义脚本配置离线、实时同步任务，支持引用数据源端Reader读取规范和目标端Writer写入规范快速配置同步任务脚本。支持配置脚本同步任务...
国产化支持
针对数据库系统国产化，主要技术挑战有：基于国产化芯片的数据库架构升级和改造、对国产化操作系统的适配、对原有基于商业数据库应用生态的兼容和迁移。国产化数据库已经有比较长的发展历史，但目前整体的产品成熟度比较低、商业化市场规模...
使用场景
实时数据处理 DMS任务编排可以设置定时任务，实现对实时数据的处理和分析。业务流程自动化 结合DMS任务编排的调度和依赖管理功能，可以实现业务流程的自动化处理，提高工作效率和数据处理的准确性。数据治理与数据管控 DMS任务编排提供了...
基于Hadoop集群支持Delta Lake或Hudi存储机制
您可以通过MaxCompute查询到实时数据，即时洞察业务数据变化。背景信息 MaxCompute基于开源的Hadoop集群和阿里云EMR（E-MapReduce）提供了支持Delta Lake或Hudi存储机制的湖仓一体架构，架构图如下。涉及模块 对应阿里云产品 说明 开源...
Hudi概述
针对Merge On Read类型的表，查询时需要在线合并列存中的Base数据和日志中的实时数据；针对Copy On Write表，可以查询最新版本的Parquet数据。Copy On Write和Merge On Read表支持该类型的查询。Incremental Queries 支持增量查询的能力，...
实时物化视图
本文介绍了 PolarDB PostgreSQL版（兼容Oracle）的实时物化视图功能。背景信息 物化视图区别于普通视图，可以直接存储查询的结果，在复杂查询的场景下，使用物化视图保存查询的结果可以大幅度加速查询的效率。但物化视图的数据不会随着依赖...
实时物化视图
本文介绍了 PolarDB PostgreSQL版（兼容Oracle）的实时物化视图功能。背景信息 物化视图区别于普通视图，可以直接存储查询的结果，在复杂查询的场景下，使用物化视图保存查询的结果可以大幅度加速查询的效率。但物化视图的数据不会随着依赖...
实时物化视图
本文介绍了 PolarDB PostgreSQL版 的实时物化视图功能。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.8.11.0及以上）PostgreSQL 11（内核小版本1.1.27及以上）说明 您可通过如下语句查看 PolarDB ...
- 产品推荐
- 这些文档可能帮助您