入仓解决方案
数仓开发的项目空间由入仓解决方案和业务场景两部分组成。入仓解决方案可添加和运行多个实时同步任务、实时迁移任务，实现全量或近实时增量迁移和集成数据，用于满足项目空间内业务场景的数据迁移和集成需求。根据所需的同步效率、同步数据...
词权重
例：查询词：“OpenSearch好不好”：未使用词权重改写前的query为：query=default:'opensearch' AND default:'好不好' 经过词权重处理后改写query为：query=default:'opensearch' RANK default:'好不好' 因此，只要包含“opensearch”的...
Flink CDC技术
相关文档 数据库实时入仓快速入门 日志实时入仓快速入门 CDC问题
配置DTS位点检查节点
名词解释 DTS任务：项目空间入仓解决方案中的实时同步任务和实时迁移任务。说明 实时同步任务和实时迁移任务基于DTS的数据传输服务开发，支持库表结构同步、全量同步和增量同步，同时增量同步可长期运行。DTS位点：为了便于检查DTS任务的...
数据库实时入仓快速入门
已准备好测试数据，并配置好白名单。详情请参见 准备测试数据 和 配置IP白名单。准备测试数据 单击 tpc_ds.sql、user_db1.sql、user_db2.sql 和 user_db3.sql 下载测试数据到本地。在DMS数据管理控制台上，准备RDS MySQL的测试数据。通过...
一站式分析体验
此外，AnalyticDB MySQL 在深化自身湖仓能力建设的同时，推出了APS（AnalyticDB Pipeline Service）数据管道组件，为您提供实时的数据流服务，支持SLS和Kafka等数据源低成本、低延迟入湖入仓，单链路吞吐可达到4 GB/秒。数据管道支持白屏化...
2024年
镜像管理 2024年01月更新记录 时间 特性 类别 描述 产品文档 2024-01-05 新增MaxCompute+DLF+OSS湖仓一体的湖查询和湖数据入仓实践 新说明 MaxCompute、DLF和OSS是阿里云提供的一体化解决方案，可以实现数据湖查询和湖数据入仓。...
2023-02-20版本
功能介绍 特性 详情 相关文档 Flink CDC 实时数据入湖入仓支持非严格的类型对应 您在使用CDAS、CTAS语法进行数据入湖入仓时上下游的列类型可以在兼容的情况下不严格对应，避免不必要的报错，目前支持此功能的下游为Hologres。管理Hologres ...
Flink SQL上手示例
相关文档 Flink SQL作业快速入门 数据库实时入仓快速入门
类目预测
东西好不好收到摸一摸手感才知道，大公司出品，品质一流，只有一年一次内部特供款才享受此价格，活动仅限七天！现回馈活动力度超前给力！面料：一级优等品贡棉 130g磨毛 尺寸：被套200*230 床单230*250 枕套48*74*2只 每套重4.5斤！body ...
集成与开发概览
您可以通过流批一体的数据集成对在线数据进行入仓、加工处理，通过数据开发模块对数仓数据进行分层开发，之后结合数据服务和可视化能力对外提供数据使用和分析服务。您也可以将这些功能作为基础能力集成到您自己的数据平台中使用，建设属于...
2022-03-04版本
优化诊断界面的，协助您更好地查看问题。作业诊断 数据同步支持新增计算列 CTAS语句支持在Source表上新增计算列，并修改目标表的主键为新增列。在进行数据入仓入湖时，CTAS语句允许指定新增计算列的位置，并把它作为目标表的物理列，实时地...
MaxCompute+DLF+OSS湖仓一体的湖查询和湖数据入仓实践
MaxCompute、DLF和OSS是阿里云提供的一体化解决方案，可以实现数据湖查询和湖数据入仓。通过配置DLF，将数据从OSS导入到MaxCompute中，并使用MaxCompute进行数据湖查询。该方案可以方便地进行数据分析和处理，并保证数据的可靠性和安全性。...
创建项目空间
项目空间由入仓解决方案和业务场景组成，业务场景下可以创建任务流。管理 查看项目空间的基本信息和数仓引擎。单击页面右上角的 编辑，您可以编辑这些信息。空间成员：成员权限，请参考 项目空间权限体系。单击 空间成员 页签，添加、移除...
功能与优势
更好的引擎性能和更细粒度资源配置使得整体TCO优于开源，且灵活的付费模式以及智能扩缩容，进一步提高了资源使用的精细程度。核心性能提升 GeminiStateBackend是阿里自研的后端存储系统，采用全新的架构和数据结构设计，支持存储计算分离，...
产品优势
支持数据湖场景，支持JSON等半结构化数据，OSS、DLF简易入湖入仓。MaxCompute查询加速 快速查询分析MaxCompute的数据，Hologres与MaxCompute无缝连接，您无需导入导出即可查询MaxCompute表的数据，快速获取查询结果。支持MaxCompute对接BI...
Flink SQL作业快速入门
数据库实时入仓完整的操作流程示例，请参见 数据库实时入仓快速入门。完成SQL作业部署上线后，您可以使用自动调优功能，提升资源利用率，请参见 配置自动调优。基于Flink+Hologres搭建实时数仓。基于Flink+Paimon搭建流式湖仓。
MySQL分库分表实践
同时阿里云Flink也提供了丰富强大的数据实时入仓入湖能力，支持将多种数据源方便快捷的写入至Hologres。前提条件 开通Hologres，详情请参见 购买Hologres。开通RDS MySQL数据库，详情请参见 创建RDS MySQL实例。如果选择使用DataWorks同步...
2021-12-16版本
详情请参见 CREATE TABLE AS（CTAS）语句、CREATE DATABASE AS（CDAS）语句 和 数据实时入仓入湖快速入门。支持Gemini Statebackend将state存储到OSS上。优化作业资源管理方案。优化DataStream Connector。详情请参见 MySQL CDC DataStream...
日志实时入仓快速入门
Flink全托管产品提供丰富强大的日志数据实时入仓能力。本文为您介绍如何在Flink全托管控制台上快速构建一个从Kafka到Hologres的数据同步作业。背景信息 假设消息队列Kafka实例中有一个名称为users的Topic，其中有100条JSON数据，代表通过...
Flink JAR作业快速入门
本文带您快速体验Flink JAR流作业和批作业的创建、部署和启动，以了解实时计算Flink版JAR作业的操作...数据库实时入仓完整的操作流程示例，请参见 数据库实时入仓快速入门。基于Flink+Hologres搭建实时数仓。基于Flink+Paimon搭建流式湖仓。
基于Flink+Hologres搭建实时数仓
使用Flink+Hologres搭建实时数仓可以充分利用Flink强大的实时处理能力和Hologres提供的Binlog、行列共存和资源强隔离等能力，实现高效、可扩展的实时数据处理和分析，帮助您更好地应对不断增长的数据量和实时业务需求。本文介绍如何通过...
意图
这里的前提是仍勾选“严格匹配“）[请问|查下|告诉我]${date}${city}[的]天气[预报|情况|状况][如何|怎么样|好不好]为了对应这样的需求，LGF也支持通配符，表示方式是“.{下限,上限}“，例子如下：.{0,3}${date}${city}[的]天气[预报|情况|...
2024年
2024-03-21 全部地域 ECS资源复用版 操作审计事件迁移入仓功能发布 当您需要分析更长时间（超过最近90天）的操作事件时，可以通过操作审计创建跟踪，将操作事件投递至MaxCompute，方便进行查询和分析。2024-03-14 全部地域 操作审计事件...
基于Flink+Hologres搭建实时数仓
使用Flink+Hologres搭建实时数仓可以充分利用Flink强大的实时处理能力和Hologres提供的Binlog、行列共存和资源强隔离等能力，实现高效、可扩展的实时数据处理和分析，帮助您更好地应对不断增长的数据量和实时业务需求。本文介绍如何通过...
数据集成：全领域数据汇聚
适用场景 DataWorks数据集成适用于数据入湖入仓、分库分表、实时数据归档、云间数据流转等数据传输场景。计费 运行数据集成任务可能产生的费用由以下几部分组成：运行数据集成任务所需的 数据集成资源组 费用。计费详情请参见 独享数据集成...
Flink Python作业快速入门
本文带您快速体验Flink Python流作业和批作业的创建、部署和启动，以了解实时计算Flink版Python作业的...数据库实时入仓完整的操作流程示例，请参见 数据库实时入仓快速入门。基于Flink+Hologres搭建实时数仓。基于Flink+Paimon搭建流式湖仓。
数仓开发任务流
数仓开发的项目空间由入仓解决方案和业务场景两部分组成。每个项目空间内可以创建多个业务场景，每个业务场景下又可添加多个任务流，用于实现复杂的数据处理和任务调度。前提条件 已创建项目空间。具体操作，请参见 创建项目空间。创建数仓...
物联网数据处理分析架构参考
Java应用无需轮询调用物联网平台的数据API，直接集成入仓后同步到RDS指标库。带来的好处 按需规划高性能存储时长，合理选择离线和实时业务所需存储，大大降低了整体数据存储成本。存储成本计算公式：高性能存储空间（1年）*T1元/TB/月-[高...
支持的数据源
数据入仓 类别 数据源 导入方式 产品系列 文档链接 数据库 RDS MySQL 外表 数仓版（3.0）通过外表导入至数仓版 湖仓版（3.0）通过外表导入至湖仓版 DTS 数仓版（3.0）通过DTS导入数据 湖仓版（3.0）通过DTS导入数据 DataWorks 数仓版（3.0...
什么是阿里云实时计算Flink版
提供了丰富的数据实时入湖入仓和实时风控场景能力。在使用过程中，已有开源Flink任务可平滑迁移上云，无缝对接主流开源大数据生态，具备三十余种上下游连接器，极大节约企业的人力支出与资源投入成本。关于产品功能与优势的更多信息，请...
意图
比如下面的表达中，开发者想覆盖更多的多样的前后缀[请问|查下|告诉我]${date}${city}[的]天气[预报|情况|状况][如何|怎么样|好不好]为了对应这样的需求，LGF也支持通配符，表示方式是“.{下限,上限}“，例子如下：.{0,3}${date}${city}[的...
意图管理
天气[预报|情况|状况][如何|怎么样|好不好]为了对应这样的需求，LGF也支持通配符，表示方式是“.{下限,上限}”，例子如下：.{0,3}${date}${city}[的]天气[预报|情况|状况].{0,3}比如“.{0,3}”表示能匹配0个（没有）到3个任意字符（UTF字符...
2022-05-16版本
在本次新版本中，在源库为分库分表的数据同步场景中，实时数据入湖入仓能力提供了更为强大便捷的分库合并同步功能，可以将上游多个分库下相同表名的数据合并同步到Hologres目标库对应表名的同一张表中；提供了全新的Kafka Catalog，您可以...
电商行业
在构建类似电商平台建设中，有一块重要的业务要求是可通过关键字搜索的方式对商品信息中不同属性进行搜索，同时可对搜索出的商品列表进行分类的过滤，采用阿里云OpenSearch产品实现一个商品搜索的原型，能很好的满足项目的需求。...
什么是实时数仓Hologres
Hologres无缝对接MaxCompute，支持外部表透明加速查询和元数据自动导入，相比原生MaxCompute访问加速5-10倍，支持冷热数据关联分析，同时支持MaxCompute与Hologres之间百万行每秒高速同步，支持OSS数据湖格式读写，简化数据入湖入仓。...
2023年
2023-06-27 全部地域 更新或删除数据（UPDATE|DELETE）新增Transaction Table2.0表类型 MaxCompute新增Transaction Table2.0表类型，做到分钟级别的数据同步入仓，支持增量查询与历史版本数据查询。2023-06-27 全部地域 Transaction Table2...
基于Flink+Paimon搭建流式湖仓
构建ODS层：业务数据库实时入仓 MySQL有orders（订单表），orders_pay（订单支付表）和product_catalog（商品类别字典表）三张业务表，这三张表通过Flink实时写入OSS，并以Paimon格式进行存储，作为ODS层。构建DWD层：主题宽表 将订单...
逻辑数仓
应用场景 不同用户角色使用逻辑数仓支持的应用场景：数据库及数仓开发人员：跨库查询与开发，业务数据逻辑归档、数据准备与供应、轻量数仓、数仓构建模拟、敏捷建仓、入仓等。运营分析及BI人员：数据准备与分析、跨库查询、查询与分析加速...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
配置页面的右侧为源端数据库表的预览，是根据上述步骤中配置的数据源预览出来的待同步的数据库表和已选择好要同步的数据库表的预览情况。您可根据待同步的源端数据库表的数量，参考以下操作建议，快速选择要同步的库表。如果您的数据库表...
- 产品推荐
- 这些文档可能帮助您