BulkLoad数据导入
22.600000|22.900000|555000 3.2 csv数据格式 csv格式数据需要先将csv数据转成SSTable格式，Cassandra给我们提供了CQLSSTableWriter工具，用于生成SSTable，通过它可以将任意格式数据转化成SSTable格式。因为csv格式也是需要自己预先组织，...
数据分析整体趋势
另一方面，分布式数据库也快速发展，融合了部分大数据技术和存储格式，在扩展性层面获得了很好提升。在数据分析场景，两者解决的都是相同问题。市场趋势 数据规模高速增长（全球2010-2025年复合增长达到27%，中国则大于30%）带来了强劲的...
UTL_ENCODE
UTL_ENCODE内置包提供了一组进行数据编解码的函数，方便数据在不同主机之间的传输。UTL_ENCODE子程序总览 子程序 描述 BASE64_DECODE Function 读取BASE64编码的RAW类型输入数据，并将其解码为原始的RAW类型数据。BASE64_ENCODE Function ...
基本概念
S3M：S3M(Spatial 3D Model)是一种开放式、可扩展的空间三维数据格式，旨为海量多源异构三维地理空间数据在不同终端之间的传输、交换与共享提供数据格式的具体规范。该格式由中国地理信息产业协会提出并形成的空间三维模型数据格式团体标准...
添加数据
背景信息 空间数据支持添加的 数据类型与格式有：数据类型 数据格式 矢量 Shapefile GeoJSON CSV GDB PostGIS 栅格 GeoTIFF Images NetCDF 倾斜摄影 OSGB S3M 3DTiles BIM RVT DGN IFC 点云 LAS PCD 三维模型 OBJ 3DS glTF FBX 栅格瓦片 ...
概述
技术原理 列存索引的构建 列存索引是由列存引擎节点来构造的，构建的数据最终会以CSV+ORC两种数据格式存储在共享对象上。其中CSV往往存储的是实时的增量数据，过多的增量数据会及时进行compaction，转储成ORC格式。不管是CSV还是ORC格式，...
新建实时自定义源类型
Dataphin支持自定义实时数据源类型，您可以基于自定义的实时数据源类型，创建实时数据源实例、实时数据源类型的元表以及访问自定义实时数据源的Flink SQL任务，以满足实际数据需求开发。本文为您介绍如何自定义实时数据源类型。使用限制 ...
归档为CSV或ORC格式
本文介绍了将冷数据归档为CSV或ORC格式的方法，以及将OSS表数据导回至PolarStore的方法。前提条件 归档为 CSV 格式的文件，企业版 集群版本需满足以下要求，您可以通过 查询版本号 来确认集群版本。产品系列为 集群版，且版本为以下版本之...
Delta Lake 快速开始一
该Notebook展示了如何将JSON数据转换为Delta Lake格式，创建Delta表，在Delta表中Append数据，最后使用Delta Lake元数据命令来显示表的历史记录、格式和详细信息。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请...
Hudi概述
Apache Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。Hudi表类型 Hudi支持如下两种表类型：Copy On Write 使用Parquet格式存储数据。Copy On Write表的更新操作需要通过重写...
应用场景
数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-HDFS，集群的YARN服务不再依赖集群本地的HDFS，也不需要使用Core节点组，从而提高了集群的弹性和灵活...
数据探索简介
支持数据湖内多种存储格式，包括Delta、Hudi、CSV、Parquet、JSON、ORC等数据格式。准备工作 已开通OSS。已开通DLF，并创建了 元数据库。通过 元数据发现/入湖任务管理 或者API等方式创建了元数据表。运行查询 登录 数据湖构建控制台，在...
应用场景
支持多种数据湖格式，例如Hudi、Iceberg、DeltaLake和Paimon。步骤如下：实时摄入：屏蔽了底层数据源的细节，支持异构数据源数据联合分析，同时支持实时和离线数据的联合分析。查询加速：采用了就近计算策略，例如表达式下推和聚合下推，...
JSON格式导入
本文为您介绍进行JSON格式数据导入时的参数说明和注意事项。支持的导入方式 目前只有以下导入方式支持JSON格式的数据导入：将本地JSON格式的文件通过 Stream Load 方式导入。通过 Routine Load 订阅并消费Kafka中的JSON格式消息。说明 暂不...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
湖格式管理
策略 所属类型 默认阈值 描述 AutoOptimizeByCommitVersion Optimize 17 每间隔固定的版本，触发Optimize任务 AutoVacuumByCommitVersion Clean 13 每间隔固定的版本，触发过期文件的Clean任务 说明 目前仅支持Delta Lake数据湖格式，更多...
手动下载备份集
全量数据 支持如下数据库引擎：MySQL SQL Server MariaDB PostgreSQL Oracle MongoDB 说明 MongoDB的数据格式为 json，其余的数据格式均为 CSV。支持如下数据库引擎：MySQL SQL Server 说明 MySQL的数据为Xtrabackup产生的数据格式，并进行...
DataWorks数据服务对接DataV最佳实践
这是因为DataV对数据格式有一定要求，不能识别结构较深的字段，因此需要添加一个数据过滤器，过滤掉不必要的字段，在本例中直接返回rows数组即可。勾选 使用过滤器，单击 新建 图标。此处支持编写JS代码对数据结果进行二次过滤和处理，过滤...
概述
归档后的数据格式会转变为CSV或ORC格式并分成多个文件存储在OSS上，PolarStore中的这部分数据会被自动删除，存储费用也会随着存储空间容量的降低而减少。说明 冷数据归档完成后，PolarStore中的原表会转变为OSS上的归档表，归档表不支持...
Redis数据源
本文介绍如何使用Redis数据源进行数据分析或者交互式开发。建表语法 CREATE TABLE tbName[(columnName dataType[,columnName dataType]*)]USING redis OPTIONS(propertyKey=propertyValue[,propertyKey=propertyValue]*);Table Schema 创建...
按扫描量付费
DLA支持多种高性能数据格式，例如Apache ORC、Apache Parquet、Avro格式。您可以根据不同的业务需求，把原始数据转换为上述三类格式，然后只扫描您需要的数据列，无需扫描所有数据，从而节省扫描费用。压缩数据：对原始数据进行压缩来减少...
时空检索
时空检索是指基于空间元数据从空间和时间两个范围统一检索数据，检索结果支持查看详情和下载。...数据类型和格式 选择数据类型和格式。单击 检索，即可弹出结果列表。在查询结果 操作 列，可以查看空间元数据详情、预览数据，并支持下载数据。
什么是备份数据量
与备份数据量不同，存储数据量取决于备份数据量、备份数据存储格式、压缩算法等因素。空间大小 在单次全量备份情况下，数据库磁盘空间（RDS/ECS）>数据文件空间（实际使用）>备份数据量（DBS）>存储数据量（OSS）。综上所述，您可通过调整...
数据量
存储数据量 存放存储介质的实际数据大小，与备份数据量不同，存储数据量取决于备份数据量、备份数据存储格式、压缩算法等因素。空间大小：数据库磁盘空间（RDS/ECS）>数据文件空间（实际使用）>备份数据量（DBS）>存储数据量（内置存储）。
客户端FAQ
常见问题 Q：JDBC读取数据报错：java.lang.NumberFormatException:For input string:"xxxx"A：尝试按照普通数据类型解析密文数据，例如 getInt/getBigDecimal/getBoolean/getLong/getFloat/getDouble，由于密文不符合普通数据类型格式要求...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
创建同步OSS
同步说明 1）目前DataHub支持将TUPLE和BLOB数据同步到OSS中 TUPLE:采用csv数据格式，每个Record中的column数据以逗号分隔，Record之间采用 换行符' ' 分隔 BLOB:采用Append方式进行数据追加，如果用户需要拆分OSS数据，用户需要自己往...
数据集成概述
数据集成的实时同步包括实时读取、转换和写入三种基础插件，各插件之间通过内部定义的中间数据格式进行交互。一个实时同步任务支持多个转换插件进行数据清洗，并支持多个写入插件实现多路输出功能。同时针对某些场景，支持整库实时同步全...
概述
基础版和高性能版Spark全密态计算引擎的对比如下：版本 密态数据的格式 性能（对比开源社区Spark）兼容性（对比开源社区Spark）工具依赖 密钥机制 基础版 EncBlocksSource格式 0.5倍 SQL语法兼容 数据格式不兼容 依赖Spark提供的客户端工具...
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块：数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织，其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...
备份集查询功能概览
背景信息 传统的备份数据查询有两种方式：将备份数据文件导入至数据库，再通过数据库操作对数据进行查询，但是这种方式耗费时间长，且可能会导致数据文件被修改。通过 Hive 的方式直接对文件进行查询，但是这种方式对数据文件格式有严格的...
访问CDC数据
云原生多模数据库 Lindorm 计算引擎提供Lindorm CDC（Change Data Capture）数据源，您可以通过该数据源使用Spark SQL查询Lindorm实例其他引擎变更的数据。前提条件 Lindorm实例已开通LTS（Lindorm Tunnel Service）服务，具体请参见 购买...
移动图标层
数据面板 该组件数据为GeoJson格式，关于数据格式以及数据获取方法，请参见 地图数据格式。其中移动图标的移动位置可在 coordinates 字段中配置。表 1.配置项说明 配置项 说明 受控模式 打开开关，资产 初始化状态下不请求数据，仅通过回调...
近实时增量导入
数据切分Bucket的优势可详细参考 表数据格式。Tunnel SDK提供的数据写入接口目前只支持upsert和delete。commit接口调用代表原子提交这段时间写入的数据。如返回成功就代表写入数据查询可见，满足读写快照隔离级别。如返回失败，可支持重试...
热力线层
数据面板 该组件数据为GeoJson格式，关于数据格式以及数据获取方法，请参见 地图数据格式。其中每条线的 value 值可在 properties 字段中配置。说明 根据数据的 value 区间得出scale区间，从而计算从最大到最小的颜色渐变区间。表 1.配置项...
基于Delta lake的一站式数据湖构建与分析实战
企业级数据湖架构 数据湖存储与格式 数据湖存储主要以云上对象存储作为主要介质，其具有低成本、高稳定性、高可扩展性等优点。数据湖上我们可以采用支持ACID的数据湖存储格式，如Delta Lake、Hudi、Iceberg。这些数据湖格式有自己的数据...
配置ArgoDB输入组件
使用限制 ArgoDB输入组件支持数据格式为orc、parquet、text、holodesk、rc、seq的ArgoDB数据表。不支持ORC格式的事务表集成。操作步骤 请参见 离线管道组件开发入口，进入离线管道脚本的开发页面。按照下图指引，进入 ArgoDB 输入配置 页面...
路网轨迹层
数据面板 该组件数据为GeoJson格式，关于数据格式以及数据获取方法，请参见 地图数据格式 和基础平面地图的 地理边界geojson数据接口。配置字段说明 字段 说明 geometry 定义type类型为"LineString。coordinates 定义两个或多个经纬度坐标...
存储格式与SerDe
DLA内置了处理各类数据文件的Serialize/Deserilize（简称SerDe，用于序列化和反序列化），您无需编写程序，直接选用一款或多款SerDe来匹配OSS上的数据文件格式。通过SerDe，DLA可以对OSS上的多种格式的文件进行查询分析，包括纯文本文件...
数据消费格式
本文介绍实时数据订阅功能的数据消费格式定义说明和示例，默认格式为Debezium Format V2.0。数据消费定义说明 数据消费格式如下代码，字段说明如下表所示。{"payload":{"op":"u","ts_ms":1465491411815,"before":{"id":1004,"name":"Jane"}...
- 产品推荐
- 这些文档可能帮助您