冷启动版数据规范
数据准备完成后，若您需要使用MaxComepute导入历史数据，请使用本文结尾处sql建表语句进行建表，注意不可缺失字段。对于这三张表的选填字段，我们建议您尽量上传。在保证选填字段有效性的条件下，这些选填字段越多越准确，模型的效果越好。...
隔离等级
表的隔离级别定义了必须将某事务与并发事务所做的修改隔离的程度。Databricks上的Delta Lake支持两种隔离级别：Serializable和WriteSerializable。说明 详细内容可参考Databricks官网文章：隔离等级 Serializable：最强的隔离级别。它确保...
使用SQL导入MaxCompute的数据至Hologres
业务日期 如果MaxCompute表使用日期进行分区，则您可以选择具体的分区日期，系统将会导入指定日期的数据至MaxCompute表。索引配置 存储模式 列存，适用于各种复杂查询。行存，适用于基于主键的点查询和Scan。如果不指定存储模式，则默认为 ...
Iceberg概述
Iceberg是一种开放的数据湖表格式。您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决...
通过历史数据启动实例
您可以通过MaxCompute上传CSV文件格式的历史数据在启动时使用，按照文档创建项目空间后，在对应项目空间的MaxCompute选项处，选择新建表 为表命名，并选择对应引擎实例（如果有多个的话）建表完成后，选择使用DDL模式建立表结构，注意，...
MySQL
同一作业包含多个MySQL CDC源表（非CTAS）当作业中包含多个MySQL CDC源表，且不是使用CTAS语句同步时，数据源无法进行复用，需要为每一个CDC源表提供不同的Server ID。同理，如果开启增量快照框架且并行度大于1，需要指定Server ID范围。...
Maxwell
在很多情况下，利用这个特性非常的有用，例如：将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 数据库表的temporal join变更历史 Flink还支持将Flnk SQL中的INSERT、UPDATE或DELETE消息编码为Maxwell格式的JSON消息，...
通过导入实现列更新
在Memtable下刷的时候，会查找历史数据，用历史数据补齐一整行，并写入数据文件中，同时将历史数据文件中相同Key的数据行标记删除。当出现并发导入时，SelectDB会利用MVCC机制来保证数据的正确性。如果两批数据导入都更新了一个相同Key的...
表删除，更新和合并
在这个部分：写入Delta表时的重复数据删除 缓慢将数据（SCD）类型2操作更改为Delta表 将更改数据写入Delta表 使用Upsert 从流式处理查询foreachBatch 写入Delta表时的重复数据删除 一个常见的ETL用例是通过将日志附加到表中来将日志收集到...
常见问题
A：PolarDB 采用分布式集群架构，一个集群包含一个主节点和最多15个只读节点（至少一个，用于保障高可用）。Q：多个只读节点间负载不均衡的原因是什么？A：只读节点间负载不均衡的原因有只读节点连接数较少、自定义集群地址分配时未包括...
表结构设计
在选择表类型时，需要注意如下几点：复制表会在集群的每个节点存储一份数据，因此建议复制表中的数据量不宜太大，每张复制表存储的数据不超过2万行。普通表（即分区表）能够充分利用分布式系统的查询优势，提高查询效率。普通表可存储的...
维度建模
本实验使用默认分层结构，并且为了规范模型的命名，将同一分层中表名称的命名格式统一，系统为每个数仓分层配置对应的表名“检查器”，开启并设置默认检查器，在进行模型设计时，表名会按照检查器设置自动填充，设计师仅需补充自定义内容...
文档修订记录
计算组详情 DisableHiveAccess-关闭数据湖加速 2024.02.02 新增通过DataWorks操作Hologres的多个分区子表 新说明 当您需要对Hologres中分区父表的多个分区子表进行操作（例如执行INSERT、DELETE或UPDATE）时，可以通过DataWorks的for-each...
CREATE TRIGGER
何时 事件 行级 语句级 BEFORE INSERT/UPDATE/DELETE 表和外部表 表、视图和外部表 TRUNCATE—表 AFTER INSERT/UPDATE/DELETE 表和外部表 表、视图和外部表 TRUNCATE—表 INSTEAD OF INSERT/UPDATE/DELETE 视图—TRUNCATE—一个触发器定义...
文本向量场景快速入门
或至少一个索引表分片数为1，其余索引表分片数一致 数据更新资源数：数据更新所用资源数，每个索引默认免费提供2个4核8G的更新资源，超出免费额度的资源将产生费用，详情可参考 向量检索版计费概述 场景模板：向量检索版内置了3种模板可供...
离线UV计算
创建一张历史用户映射表，存放历史每个访问过的用户ID（uid）和对应的int32数值，其中int32主要是 Serial类型，便于与明细表做用户uid映射。说明 RoaringBitmap类型要求用户ID必须是32位int类型且越稠密越好（用户ID最好连续），而常见的...
创建多元索引
使用CreateSearchIndex接口在数据表上创建一个多元索引。一个数据表可以创建多个多元索引。创建多元索引时，您需要将要查询的字段添加到多元索引中，您还可以配置多元索引的数据生命周期、预排序等高级选项。前提条件 已初始化Client。具体...
Debezium
在很多情况下，利用这个特性非常的有用，例如：将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 数据库表的temporal join变更历史 Flink还支持将Flink SQL中的INSERT、UPDATE或DELETE消息编码为Debezium格式的JSON消息或...
系统管理函数
这一节描述的函数被用来控制和监视一个本数据库安装。配置设定函数 下表展示了那些可以用于查询以及修改运行时配置参数的函数。配置设定函数 current_setting(setting_name text[,missing_ok boolean])→text 返回设置的 setting_name 的...
采集部署
profiler.app.port=8080#应用启动端口，应用有很多个不同功能的端口，只配请求的那个端口即可，一个JVM下无论是否一个应用都只配置一个 profiler.applicationservertype=TOMCAT#应用中间件容器类型，TOMCAT\JBOSS\WEBLOGIC等。以下非必选...
2023年
数据组织优化 2023-06-26 新增TimeTravel查询与Incremental查询 新说明 对于Transaction Table2.0类型的表，MaxCompute支持查询回溯到源表某个历史时间或者版本进行历史Snapshot查询（TimeTravel查询），也支持指定源表某个历史时间区间...
常见问题
ClickHouse每次写入都会生成一个data part，如果每次写入一条或者少量的数据，那会造成ClickHouse内部有大量的data part（会给merge和查询造成很大的负担）。为了防止出现大量的data part，ClickHouse内部做了很多限制，这就是too many ...
Postgres CDC（公测中）
Postgres CDC可用于依次读取PostgreSQL数据库全量快照数据和变更数据，保证不多读一条也不少读一条数据。即使发生故障，也能采用Exactly Once方式处理。本文为您介绍如何使用Postgres CDC连接器。背景信息 Postgres CDC连接器支持的信息...
消息队列Kafka
本文为您介绍如何使用消息队列Kafka连接器。背景信息 Apache Kafka是一款开源的分布式消息队列系统，广泛用于高性能数据处理、流式分析、数据集成等大数据领域。Kafka连接器基于开源Apache Kafka客户端，为阿里云实时计算Flink提供高性能的...
实时消费Kafka数据
当您需要将Kafka数据写入 云原生数据仓库AnalyticDB PostgreSQL版，且不希望使用其他数据集成工具时，可以通过实时数据消费功能直接消费Kafka数据，减少实时处理组件依赖，提升写入吞吐。Apache Kafka是一个容错、低延迟、分布式的发布-...
边界生成器功能介绍
说明 几何图形被分割后，将由一个多边几何图形分割为一（多）个多边图形，也就是其仍为一个整体要素，需要将其拆分为多个要素则需要进行打散操作。打散 单击地图面板左侧的 图标，在地图中单击某个由多个多边几何图形组成的整体要素后再...
边界生成器功能介绍
说明 选区被分割后，将由一个多边选区分割为一（多）个多边图形，也就是其仍为一个整体要素，若需将其拆分为多个要素则需要进行打散操作。放大缩小地图 使用鼠标滚轮或者单击地图面板右侧的 和 图标，放大或缩小地图面板中的地图大小。删除...
常见问题
使用lindorm bulk方式写入数据，是否每次都会替换掉历史数据？如何查询一个ES索引下的所有字段？离线同步场景及解决方案 离线同步任务如何自定义表名？配置离线同步节点时，无法查看全部的表，该如何处理？读取MaxCompute（ODPS）表数据时...
流式入库
支持流式入库的系统都基本遵循了一个思路，流式数据按照小批量数据写小文件到存储系统，然后定时合并这些文件。例如，Hive和Delta Lake。Kudu也支持流式入库，但是Kudu的存储是自己设计的，不属于基于大数据存储系统之上的解决方案。本文以...
功能更新动态（2023年）
新增表名校验功能，可校验并展示目标库中已存在的同名目标表，若存在同名表，可配置表名置换或勾选自动删除数据源同名表。同步方式优化，选择每日同步，则生成每日调度的周期任务；选择单次同步，则生成手动任务；选择每日同步和单次同步，...
动态分区管理
创建动态分区表 示例：设置每天一个分区，动态保留最近7个历史分区在热存储介质，超过7天之后的23个分区在冷存储介质，同时删除超过该范围的分区创建，代码示例如下。BEGIN;CREATE TABLE tbl2(c1 text not null,c2 text)PARTITION BY LIST...
通过控制台使用多元索引
如果实际业务中要用到非主键列查询、多条件组合查询等多种查询功能，您可以通过控制台为数据表创建多元索引，然后使用多元索引查询数据。前提条件 已创建数据表，且数据表的最大版本数（max Versions）必须为1，数据生命周期（Time to Live...
Canal
在很多情况下，利用Canal这个特性非常的有用，例如：将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 数据库表的temporal join变更历史 Flink还支持将Flink SQL中的INSERT、UPDATE或DELETE消息编码为Canal格式的JSON消息...
文档更新动态（2023年）
新增表名校验功能，可校验并展示目标库中已存在的同名目标表，若存在同名表，可配置表名置换或勾选自动删除数据源同名表。同步方式优化，选择每日同步，则生成每日调度的周期任务；选择单次同步，则生成手动任务；选择每日同步和单次同步，...
表结构变更
当您需要对 云数据库 SelectDB 版 数据库表结构进行调整以适应新的业务需求时，本文档提供了详细的变更表结构操作指南以及注意事项，以帮助您完成表结构变更。概述 通过结构（Schema）变更操作来修改已存在表的结构（Schema），支持以下几...
常见问题
用Spark Streaming写数据到Delta，本质上是执行一系列的mini batch，一个batch会产生一个或者多个文件。由于batch size通常较小，因此Spark Streaming连续运行会产生相当数量的小文件。解决方法有两种：如果实时性要求不高，建议增大mini ...
Hologres开发规范
taobao_dim.tmp_camp_01 常用缩写词 统计周期 缩写 最近一天 1d 最近多天 nd 累计 td 自然周 cw 自然月 cm 截止当前累计 dtr 截止当前小时累计 dhr 表开发规范 内表规范 创建表之前必须按照数据模型规范确定表和字段的命名，并根据需求确认...
数仓场景：增量数据实时统计
操作流程 示例操作如下：步骤一：创建MySQL源数据表 步骤二：创建Kafka的Topic 步骤三：创建StarRocks表和导入任务 步骤四：执行Flink任务，启动数据流 步骤五：查看数据库和表信息 步骤六：场景演示，查询插入后的数据 步骤一：创建MySQL...
名称解释
分区表（一级分区）HybridDB for MySQL中的表从建模的维度看，可以分为事实表（fact table）和维度表（dimension table），事实表是指分区表（通常是一级分区表），即需要被拆分到不同节点去存储的表，在建表的时候指定分区键就可以生成...
API概览
ListTables 获取数据库的表详情列表 调用ListTables获取一个库下面的表详情列表。ListColumns 获取表的列信息 返回表的列信息。ListIndexes 获取表的索引信息 调用ListIndexes返回表索引信息。GetDatabase 获取具体库详情信息 调用...
- 产品推荐
- 这些文档可能帮助您