概览
支持 使用OSS外表高速导入OSS数据 AnalyticDB PostgreSQL版 支持通过OSS外部表（gpossext功能），将数据并行从OSS云存储导入到 AnalyticDB PostgreSQL版。支持 Hadoop生态外表联邦分析 您可以在 AnalyticDB PostgreSQL版 中通过gphdfs协议...
图像度量学习训练（raw）
支持以下取值：数据并行的度量学习 模型并行的度量学习 数据并行的度量学习 保存训练输出的oss目录 是 存储训练模型的OSS目录，比如：oss:/examplebucket/yun*/designer_test。无 训练数据标注结果文件路径 否 如果您没有通过输入桩配置...
补数据
产生原因 补数据并行控制是，补一段以天为维度的业务日期区间的数据以及几天的实例是否同时执行。此功能不控制小时、分钟任务当天的所有实例是否并发执行，当天小时分钟任务的实例是否并发执行与您小时分钟任务是否设置了自依赖有关。自...
使用OSS外表高速导入OSS数据
云原生数据仓库AnalyticDB PostgreSQL版 支持通过OSS外部表（gpossext功能），将数据并行从阿里云对象存储OSS导入到 AnalyticDB PostgreSQL。功能介绍 目前gpossext支持读写TEXT、CSV格式的文件以及GZIP压缩格式的TEXT、CSV文件。gpossext...
使用OSS外表高速导出数据到OSS
云原生数据仓库AnalyticDB PostgreSQL版 支持通过OSS外部表（即gpossext功能），将数据并行导出到阿里云对象存储OSS，并支持通过GZIP进行OSS外部表文件压缩，大量节省存储空间及成本。功能介绍 目前gpossext支持读写TEXT、CSV格式的文件...
数据处理
不同处理方法可连接不同的上游节点，实现数据并行处理。参数 说明 处理方法 编写JavaScript函数体，返回结果可为任意类型。表格中仅提供 其他配置 中的参数说明，其他参数配置请参见 公共参数说明。输出结果：每个处理方法对相应上游节点的...
LLM on DLC-Megatron on DLC最佳实践
常见的大模型训练技术包括：数据并行技术、模型并行技术（包括张量并行技术和流水并行技术）、优化器状态并行技术、序列并行技术、激活重算技术等：数据并行技术（Data Parallel）：在多个GPU组上有相同的模型参数副本，但读取不同的样本。...
2021年
无 2021年5月 时空数据库（V3.7）类别 名称 描述 相关文档 发布时间 新增 时空并行查询 支持空间索引并行查询，提升查询效率。开启时空并行查询 2021年5月 优化 栅格图像处理 ST_SubRaster函数支持栅格像元类型转换以及像元值拉伸。支持多...
2021年
2021-09-23 收费地域（第一批）自动备份MongoDB数据 手动备份MongoDB数据 并行批量添加Mongos节点或Shard节点。分片集群实例支持并行批量添加Mongos节点或Shard节点。说明 分片集群实例默认最多支持32个Mongos节点和32个Shard节点。2021-09...
2021年
无 时空数据库（V3.7）类别 名称 描述 相关文档 新增 时空并行查询 支持空间索引并行查询，提升查询效率。开启时空并行查询 优化 栅格图像处理 ST_SubRaster函数支持栅格像元类型转换以及像元值拉伸。支持多波段遥感影像转三波段图像的AI...
构建数据仓库
用户的应用场景复杂，对非结构化的语音、自然语言文本进行语音识别、语义分析、情感分析等，同时融合结构化数据搭建企业级的数据管理平台，并且计算和存储成本最低。平台支撑多种形式的应用，包括使用机器学习算法进行复杂数据分析、使用BI...
时空引擎版本发布记录
修复由于栅格数据带有 NAN 和 INF 等数据，在导入和统计值会出错的问题。4.3 新特性 ST_PixelAsPolygon：将栅格像素转换为Polygon对象。ST_PixelAsPolygons：将栅格像素转换为Polygon对象集合。ST_PixelAsPoint：将栅格像素转换为基于点...
开通DataV服务
本文为您介绍开通DataV服务的方法。操作步骤 登录 DataV控制台。阅读相关协议，并选中 同意使用协议，单击 立即开通。...后续步骤 购买成功后，可进入DataV数据可视化控制台，使用 模板搭建数据看板 或者 空白画布搭建数据看板。
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级网格分解成高层级...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版（兼容Oracle）时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级...
可视分析创作间和传统BI软件差异比较
预定义的报告 需要行业数据经验专家，搭建数据报表 分析过程需要理解：维度、度量、数据类型等统计知识 可视化数据的图表配置也需要专业数据分析人员支持 支持二次分析 不支持二次分析 数据分析结果 数据集产生的所有见解，提炼在数据...
从这里开始
DataV旨在让更多的人看到数据可视化的魅力，帮助非专业的工程师通过图形化的界面轻松搭建专业水准的数据看板，满足您会议展览、业务监控、风险预警和地理信息分析等多种业务的展示需求...开通DataV服务 模板搭建数据看板 空白画布搭建数据看板
异构数据源访问
功能说明 外部数据源管理提供高性能的结构化和非结构化数据并行传输服务。其中，异构数据源访问支持通过 AnalyticDB PostgreSQL版 数据库以统一的SQL接口查询和分析存储在外部系统中的数据。提供以下功能：多种数据存储访问：支持多种数据...
准备工作
本文为您介绍在使用空白画布搭建数据看板前，需要完成的准备工作。准备内容 已开通DataV服务。已确定最终效果图样式。已根据效果图计算出需要添加的组件名称和数量。开通DataV服务 请参见 开通DataV服务。数据看板-最终效果图 数据看板-...
RDS与自建数据库对比优势
云数据库RDS提供高可用、高可靠、高安全、可扩展的托管数据库服务，在性能等同于商业数据库的同时，其价格相比ECS自建数据库和自购服务器搭建数据库更加低廉，能够节约大量部署及维护成本。价格对比 费用 云数据库RDS ECS自建数据库 自购...
产品优势
产品功能全 功能涵盖数据传输、开发、生产、治理、安全全领域，每个领域深度覆盖大数据全生命周期，轻松帮助企业应对在搭建数仓、搭建数据中台、数字化转型项目中遇到的难题。支持复杂网络环境、常见数据源的数据同步上云以及实时、历史...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
使用限制
搭建数据库复制 提供主备复制架构，其中的备（slave）实例不对用户开放，用户应用不能直接访问。重启RDS实例 必须通过控制台或API重启实例。实例数量 按量付费实例数量限制为30个。您可以前往 配额中心 申请提升配额。
数据建模
Excel导入：支持将Excel里的逻辑表表名、字段信息、所属层级、关联信息导入数据模型管理，便于客户快速搭建数据仓库。Excel导出：支持将数据模型设计模块中的逻辑表及信息以Excel的形式导出，并提供按全量模型与按查询条件的方式进行导出。...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
填充数据库
第一次填充数据库时可能需要插入大量的数据。本节包含一些如何让这个处理尽可能高效的建议。1.禁用自动提交 在使用多个 INSERT 时，关闭自动提交并且只在最后做一次提交（在普通 SQL 中，这意味着在开始发出 BEGIN 并且在结束时发出 COMMIT...
功能简介
Excel导入：支持将Excel里的逻辑表表名、字段信息、所属层级、关联信息导入数据模型管理，便于客户快速搭建数据仓库。Excel导出：支持将数据模型设计模块中的逻辑表及信息以Excel的形式导出，并提供按全量模型与按查询条件的方式进行导出。...
功能简介
Excel导入：支持将Excel里的逻辑表表名、字段信息、所属层级、关联信息导入数据模型管理，便于客户快速搭建数据仓库。Excel导出：支持将数据模型设计模块中的逻辑表及信息以Excel的形式导出，并提供按全量模型与按查询条件的方式进行导出。...
自建数据库与RDS性能对比的注意事项
您可以自行搭建数据库，或者购买阿里云RDS实例。推荐您购买RDS实例，因为它完全由阿里云托管，而且有完备的安全、备份、恢复、扩容、性能优化等机制，您无需执行各种安全措施（如搭建备库）和维护工作，只需专注于业务的发展和创新。关于自...
自建数据库与RDS性能对比的注意事项
您可以自行搭建数据库，或者购买阿里云RDS实例。推荐您购买RDS实例，因为它完全由阿里云托管，而且有完备的安全、备份、恢复、扩容、性能优化等机制，您无需执行各种安全措施（如搭建备库）和维护工作，只需专注于业务的发展和创新。关于自...
自建数据库与RDS性能对比的注意事项
您可以自行搭建数据库，或者购买阿里云RDS实例。推荐您购买RDS实例，因为它完全由阿里云托管，而且有完备的安全、备份、恢复、扩容、性能优化等机制，您无需执行各种安全措施（如搭建备库）和维护工作，只需专注于业务的发展和创新。关于自...
操作流程
通过Excel导入 将Excel表里的逻辑表表名、字段信息、所属层级、关联信息导入数据模型管理，便于客户快速搭建数据仓库。具体操作，请参见 通过Excel导入逻辑表。配置逻辑表关联标准字段 通过关联数据标准中的标准字段，实现字段值的统一和...
操作流程
通过Excel导入 将Excel表里的逻辑表表名、字段信息、所属层级、关联信息导入数据模型管理，便于客户快速搭建数据仓库。具体操作，请参见 通过Excel导入逻辑表。配置逻辑表关联标准字段 通过关联数据标准中的标准字段，实现字段值的统一和...
什么是数据资源平台
解决方案：对数据资源平台中已沉淀的数据标准、数据模型、数据加工场景、数据服务API配置、云计算资源配置等数据资产进行导入导出，便于在不同环境中快速搭建数据治理工作的初始化。运营 资产注册：支持平台侧需管理的数据表资产自动化注册...
图扑案例
现有解决方案中，通常依赖自建单ElasticSearch检索引擎或OpenTSDB、Prometheus等时序引擎搭建数据存储，而采集数据类型多样化使得单模引擎存储方案技术复杂且运维成本高，市场需要新一代云原生且具备多模检索能力的存储系统。某著名IT咨询...
客户案例
客户需求 通过DataWorks+MaxCompute搭建数据中台，打破数据孤岛。通过Realtime Compute+MaxCompute交互式分析（Hologres）提升数据中台实时性。通过DataWorks进行全链路数据治理，提升数据质量与应用能力。价值体现 打造B2B智慧营销系统，...
概述
但RDS、PolarDB for MySQL、MongoDB或者ECS自建数据库的计算能力有限，如果直接使用RDS、PolarDB for MySQL、MongoDB或者ECS自建数据库搭建数据仓库，会占用线上业务的计算资源从而会影响业务的运行。如果使用自建开源大数据生态体系，例如...
应用场景
3.实时数据仓库 3.1 数据总线替换传统数据库，构建实时数仓 从Lambda架构到Kappa架构，通过数据总线搭建原始数据层，实时明细层和实时汇总层，打造实时数据仓库。3.2 收益 统一的Kappa架构 传统Lambda架构的两条链路缩减为一条，大大降低...
备份集查询功能概览
搭建离线数据仓库：您可以将DBS备份数据作为数据湖存储，搭建离线数据仓库，实现湖仓一体，挖掘数据价值。应对审计需求：全量备份数据保存在DBS中，若有临时审计需求，可以快速过滤出需要的数据进行审计分析。快速定位数据：库-表-分区的新...
通过Push模式创建数据订阅
本文介绍通过创建Lindorm Streams实现数据订阅功能，数据订阅功能的Push模式是将 云原生多模数据库 Lindorm 表格的增量数据推送至下游消息队列Kafka，您可以根据自身业务需求自由消费增量数据，搭建或实现多种业务场景。推送流程 数据订阅...
- 产品推荐
- 这些文档可能帮助您