批量数据合并
功能说明 批量数据合并组件是将两个输入的数据按照指定的索引进行合并。计算逻辑原理 内连接：使用两个数据中索引列的交集，类似于SQL内部连接。外连接：使用两个数据中索引列的并集（外连接合并时可能会产生空值（值为NaN）），类似于SQL...
交集、并集和补集
您可以通过MaxCompute对查询结果数据集执行取交集、并集或补集操作。本文为您介绍交集（intersect、intersect all、intersect distinct）、并集（union、union all、union distinct）和补集（except、except all、except distinct、minus、...
交集（INTERSECT）、并集（UNION）和补集（EXCEPT）
您可以通过MaxCompute对查询结果数据集执行取交集、并集或补集操作。本文为您介绍交集（intersect、intersect all、intersect distinct）、并集（union、union all、union distinct）和补集（except、except all、except distinct、minus、...
边界生成器功能介绍
空间关系判断与分析 空间关系是空间分析的一个重要组成部分，在地图面板中，支持三种空间关系功能，分别是 合并、交集 和 差集，您可以使用这三种空间关系功能，分析地图中多个几何图形之间的联系。合并：单击地图左侧的 图标，在地图中...
多表合并
用途 多表合并算子可以将多张数据表按照设置的对齐字段进行数据合并。多表合并 算子是 两表并集 算子的高级版本，满足多张数据表合并的需求。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是...
边界生成器功能介绍
空间关系判断与分析 空间关系是空间分析的一个重要组成部分，在地图面板中，支持三种空间关系功能，分别是 合并、交集 和 差集，您可以使用这三种空间关系功能，分析地图中多个选区之间的联系。合并：单击地图左侧的 图标，在地图中单击...
DQL操作常见问题
交集、并集和补集 如何合并两个没有任何关联关系的表？在执行UNION ALL操作时，报错ValidateJsonSize error，如何解决？JOIN 在执行JOIN操作时，报错Both left and right aliases encountered in JOIN，如何解决？在执行JOIN操作时，报错...
2023年
SkewJoin Hint可以通过自动或手动方式获取两张表的热点key，分别计算热点数据和非热点数据的Join结果并合并，加快Join的执行速度。SKEWJOIN HINT 2023年11月更新记录 时间 特性 类别 描述 产品文档 2023-11-24 新增迁移服务（MMA）新说明 ...
通过函数计算节点实现GitHub实时数据分析与结果发送
DataWorks提供“Github十大热门编程语言”模板，通过对GitHub中公开数据集进行加工和分析，并将分析结果以邮箱的方式发送给指定用户。运行本案例后，您将得到Github中Top10编程语言每小时被提交的次数与排行。说明 手动配置与实际应用中的...
新建AIPL模型
相邻规则间支持交集和并集两种关联方式，默认为交集，单击相邻规则间的交集符号 或并集符号 可进行切换。四类人群的规则都配置完成后，单击 完成。在弹窗中输入AIPL模型名称和保存位置，单击 确认。页面将跳转至数据集管理页面，可以在数据...
表删除，更新和合并
通过合并的SQL语义，它将新数据与表中的现有数据进行匹配并删除重复数据，但是如果新数据集中存在重复数据，则将其插入。因此，在合并到表之前，对新数据进行重复数据删除。如果您知道几天之内可能会得到重复的记录，则可以通过按日期对表...
BITMAP精准去重
概述 云数据库 SelectDB 版 支持Bitmap类型，在Aggregate数据模型中，Bitmap类型的Value字段可以和集合的交并集聚合函数配合，实现数据的精确去重功能。传统数据仓库中的Bitmap去重功能，对亿级别以上Bitmap大基数的交并集计算性能较差，有...
两表并集
本文介绍两表并集算子的使用方法及注意事项。...去重合并 两表并集算子默认不做去重合并，输出的数据包含来源节点的所有记录。勾选去重合并后，节点的输出数据将会过滤重复的记录。去重合并的效果示例参考 合并条件 中的示意图。
功能特性
功能集 功能 功能描述 参考文档 安全 备份与恢复 MaxCompute提供数据备份与恢复功能，系统会自动备份数据的历史版本（例如被删除或修改前的数据）并保留一定时间，可以对保留周期内的数据进行快速恢复，避免因误操作丢失数据。备份与恢复 ...
数据集成概述
离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。...
项目编辑器页面管理
选择地图数据集数量 单击地图右下角的数据集下拉列表，为当前地图选择显示一个合适的地图数据集数量值，可选 200条/数据集、400条/数据集600条/数据集、800条/数据集 和 1000条/数据集。重新加载 单击地图右下角的 重新加载，即可重新加载...
项目编辑器页面管理
选择地图数据集数量 单击地图右下角的数据集下拉列表，为当前地图选择显示一个合适的地图数据集数量值，可选 200条/数据集、400条/数据集 600条/数据集、800条/数据集 和 1000条/数据集。重新加载 单击地图右下角的 重新加载，即可重新加载...
版本及存储引擎
自动合并 MongoDB 7.0为自动均衡器（Balancer）实现了一个新的自动合并器（AutoMerger），当数据或索引分布不均衡、存在过多分片或进行数据迁移时，自动合并器会合并Chunks，以均衡数据并提高性能。MongoDB 7.0默认开启该功能，您也可以...
数据集成概述
通过离线单条管道构建同步任务 离线的数据管道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据输入组件、数据输出组件及流程和转换组件，并基于此框架设计一套简化版的中间数据传输格式，从而实现数据源之间数据传输。...
FineBI
添加表 单击左侧导航栏中的 数据准备>实时数据>业务包>添加表，选择之前配置的 AnalyticDB MySQL版 链接，选择表的种类，将数据集添加进数据决策系统，进行后续的数据分析和仪表板展示。数据库表：即直接添加 AnalyticDB MySQL版 中的表。...
FineReport
添加表 连接AnalyticDB新建数据集：数据集通过SQL查询语句从已经建立连接的数据库中取数，将数据以二维表的形式保存并显示在数据集管理面板处。数据集管理面板选择 模板数据集，单击上方的+。在弹出的下拉列表中，选择 数据库查询。在弹出...
新功能发布记录
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 Oracle 租户 同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 Oracle 租户 数据库至数据库的数据同步项目新增支持匹配规则能力，可以助力用户在数据同步项目中通过简单的配置通配符...
Quick BI如何接入TSDB
通过电子表格或仪表板功能，以拖拽的方式进行数据的可视化呈现。连入成功后，您可以在Quick BI上进行数据的分析与展示。前提条件 已创建阿里云时间序列数据库实例。背景信息 为避免因数据源白名单限制导致数据对接访问失败，您需将Quick BI...
ADAM概览
实时收集待迁移应用的数据库访问SQL，进行兼容性分析并将分析结果实时反馈给用户，指导您按照正确的方式进行代码的迁移工作。实时收集待迁移应用的数据库访问返回数据和性能数据，与原应用进行对比，保证迁移后的应用在功能和性能上可以与...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
2024年
2024-03 功能名称 功能描述 发布时间 发布地域 相关文档 镜像管理功能发布 MaxCompute提供镜像管理功能，内置数据分析、科学计算、机器学习（如Pandas、Numpy、Scikit-learn、Xgboost）等各类常用镜像，并已对镜像进行预先加热，您可在SQL ...
Insert Into
不建议使用 Insert Into Values 方式进行数据导入，尤其是大数据的线上生产环境。如果必须这样使用，请将多行数据合并到一个Insert Into语句中进行批量提交，单个批次建议1000~1000000条数据。部分列更新。Insert Into的默认行为是整行写入...
Oracle永久增量备份
合成数据：通过SQL命令 RMAN RECOVER COPY OF DATABASE WITH TAG 'DBS专属TAG'，读取上个步骤中的增量备份数据，并将其与全量备份数据合并，将合成的结果写入（覆盖）到全量备份数据中。说明 合并后的备份集不会影响上一次的全量备份集。卸...
表详情
背景信息 DMS在表详情中引入表的元数据，可以让开发人员与业务人员更好地理解数据的上下游关系及其本身含义，减少理解数据的时间成本，精准定位需要查找的数据，提高开发与管理效率。元数据包括：技术元数据：表在库中的物理信息，包括所属...
设置列索引的排序键
遍历完成后，对合并文件按段两两排序，并将排序后的数据保存在临时文件中，随后将合并文件与临时文件进行切换；重复执行步骤3，直到合并文件有序排列，然后读取合并文件中的每一行记录，根据偏移值读取数据文件中对应的记录并追加到列存...
文档修订记录
MySQL整库数据离线同步至Hive 2023.4.12 更新功能 数据集成 补充 行模式、列模式 两种数据读取与写入方式，可针对宽表与时序表进行数据读取与写入。Tablestore数据源 Tablestore Stream数据源 2023.4.7 新增功能 数据集成 DataWorks数据...
2020年
2020-09-10 全部区域 使用Logview 2.0查看作业运行信息 备份与恢复功能商业化发布 MaxCompute提供数据备份与恢复功能，系统会自动备份数据的历史版本（例如被删除或修改前的数据）并保留一定时间，您可以对保留周期内的数据进行快速恢复，...
功能发布记录（2023年）
2023-12 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发（DataStudio）绑定数据源 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）...
新建及管理数据标准
数据标准是为业务、技术和管理提供服务和支持，数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。本文为您介绍如何新建及管理数据标准。权限说明 超级管理员、数据标准管理员可以在所有标准集下新建或克隆数据...
数据集成侧同步任务能力说明
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
备份集查询功能概览
DBS备份数据查询功能，可以在不恢复备份数据的情况下，直接查询云存储中备份集的数据。背景信息 传统的备份数据查询有两种方式：将备份数据文件导入至数据库，再通过数据库操作对数据进行查询，但是这种方式耗费时间长，且可能会导致数据...
MaxFrame概述
背景信息 基于Python语言的易读性、高效开发及开放生态等优势，Python已经成为科学计算、机器学习以及AI开发领域的事实标准和主流编程语言，其整合了数据分析、机器学习等各类第三方包，如Pandas（数据处理与分析）、NumPy（数值计算）、...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
数据模型
BITMAP_UNION BITMAP类型的列的聚合方式，进行位图的并集聚合。向 example_tbl1 表中写入 如下 数据。user_id date city age sex last_visit_date cost max_dwell_time min_dwell_time 10000 2017-10-01 北京 20 0 2017-10-01 06:00:00 20 ...
- 产品推荐
- 这些文档可能帮助您