创建与管理下载任务
说明 字段重命名在字段显示内容里设置：如果配置自助取数或交叉表的 数据展示格式 为 自动，且没有设置对齐方式、字段重命名等，则导出的Excel中的数据不带格式，此时选择带格式Excel或纯数据Excel，效果一致。如果配置自助取数任务或者...
如何优化数据导入导出
sed 's/\t/,/g'>/home/data_1000w.csv#csv文件以逗号分隔，数据格式：188092293,27267211,59775766593-64673028018-.-09474402685,01705051424-.-54211554755 原始数据格式适合load data语句导入数据，使用方法可参考：LOAD DATA 语句，...
通过Excel导入逻辑表
标准格式：待导入文件的格式，当选择该值时，表示导入的是Excel格式的数据包括逻辑表和规则数据。Visual Paradigm格式：待导入文件的格式，当选择该值时，需要通过Visual Paradigm工具建立逻辑表，将导出的VP格式文件进行导入。说明 文件...
通过Excel导入逻辑表
标准格式：待导入文件的格式，当选择该值时，表示导入的是Excel格式的数据包括逻辑表和规则数据。Visual Paradigm格式：待导入文件的格式，当选择该值时，需要通过Visual Paradigm工具建立逻辑表，将导出的VP格式文件进行导入。说明 文件...
SQL查询概述
下载数据：单击 可以下载运行结果为CSV或Excel格式的数据文件。说明 数据文件格式及是否需要下载审批由 管理中心->数据下载 决定。更多信息，请参见 数据下载配置。行列转化：单击 可以切换运行结果的行列展示方式。可视化分析：支持将运行...
SQL查询概述
下载数据：单击 可以下载运行结果为CSV或Excel格式的数据文件。说明 数据文件格式及是否需要下载审批由 管理中心->数据下载 决定。更多信息，请参见 数据下载配置。行列转化：单击 可以切换运行结果的行列展示方式。可视化分析：支持将运行...
外部表概述
但这两种方法都有不足之处：第一种方法需要在MaxCompute系统外部做一次中转，如果OSS数据量太大，还需要考虑如何并发来加速，无法充分利用MaxCompute的大规模计算能力。第二种方法通常需要申请UDF网络访问权限，还需要开发者自己控制作业...
概述
技术原理 列存索引的构建 列存索引是由列存引擎节点来构造的，构建的数据最终会以CSV+ORC两种数据格式存储在共享对象上。其中CSV往往存储的是实时的增量数据，过多的增量数据会及时进行compaction，转储成ORC格式。不管是CSV还是ORC格式，...
管理模型
导出模型 DDM可以将模型直接保存，也可以将模型导出为Excel数据字典、ERwin模型文件和PNG图片等格式。导出Excel数据字典。右键单击选中的模型名称，在弹出的菜单中单击 导出数据字典。您可以在 导出元数据设置 页面，过滤选择需要导出的...
使用MaxCompute控制台（离线）
查看上传记录 提交上传后，若数据量较大，需要耗费一些时间，您无需在提交页面一直等待，可后续通过单击 数据上传 页面右上角的 查看上传记录 查看通过该功能上传数据的详情记录。说明 通过该页面的 查看上传记录 查询到的记录详情也包含...
数据组织优化
Clustering 当前痛点 Transactional Table 2.0支持分钟级近实时增量数据导入，高流量场景下可能会导致增量小文件数量膨胀，从而引发存储访问压力大、成本高，并且大量的小文件还会引发meta更新以及分析执行慢，数据读写IO效率低下等问题，...
新功能发布记录
数据格式说明 新增支持 8 个 OpenAPI 接口，主要覆盖 RDS PostgreSQL 数据源、加减表、传输实例等功能模块。数据传输 API 参考指南 2023 年 10 月 20 日 功能名称 功能描述 相关文档 新增功能 ARM 架构新规格发布 发布标准版（云盘）系列 ...
使用数据订阅功能传输数据后日期数据格式发生变化
概述 本文主要介绍MySQL中数据类型为Date的数据，通过数据订阅传输数据后，数据格式由 YYYY-MM-DD 格式变化为 YYYY:MM:DD 的原因。详细信息 DTS默认数据存储格式为 YYYY:MM:DD，YYYY-MM-DD 是展现出来的格式，实际存储是 YYYY:MM:DD 格式。...
输入和输出数据的格式
云数据库ClickHouse输入和输出数据格式的详细信息，请参见 输入和输出数据的格式。
Excel导入
简介 Excel导入组件用于向数据库批量上传相关业务数据。组件内置两个按钮下载导入模板和批量提交。下载导入模板会下载Excel导入组件数据源对应实体的Excel模板文件。批量提交按钮会触发文件上传，并按Excel导入组件数据源对应实体字段解析...
配置自动下载备份集
全量数据 支持如下数据库引擎：MySQL SQL Server MariaDB PostgreSQL Oracle MongoDB 说明 MongoDB的数据格式为 json，其余的数据格式均为 CSV。支持如下数据库引擎：MySQL SQL Server 说明 MySQL的数据为Xtrabackup产生的数据格式，并进行...
范围选择器功能介绍
选择数据格式 在选中地图中的区域范围后，可自定义选择所需的范围数据格式内容，可选数据格式内容包括如下几种：JSON API：单击链接右侧的 图标，即可复制JSON数据的API链接。JEOJEON API：单击链接右侧的 图标，即可复制JEOJEON数据的API...
范围选择器功能介绍
选择数据格式 在选中地图中的区域范围后，可自定义选择所需的范围数据格式内容，可选数据格式内容包括如下几种：JSON API：单击链接右侧的 图标，即可复制JSON数据的API链接。GeoJSON API：单击链接右侧的 图标，即可复制GeoJSON数据的API...
地图数据格式
本文档为您介绍DataV地图组件主要使用的GCJ-02坐标系和GeoJSON地理数据格式，以及通过坐标拾取器快速获取基于GCJ-02坐标位置的方法。GCJ-02坐标系 目前，DataV的地图组件主要使用GCJ-02坐标系。GCJ-02是由中国国家测绘局（G表示国家Guojia...
地图数据格式
本文档为您介绍DataV地图组件主要使用的GCJ-02坐标系和GeoJSON地理数据格式，以及通过坐标拾取器快速获取基于GCJ-02坐标位置的方法。GCJ-02坐标系 目前，DataV的地图组件主要使用GCJ-02坐标系。GCJ-02是由中国国家测绘局（G表示国家Guojia...
配置本地文件输入组件
本地文件输入组件可用于将本地文件的TXT、excel、CSV格式的数据。同步至其他数据源的场景中。本文为您介绍如何配置本地文件输入组件。使用限制 仅支持手动任务配置本地文件输入组件。操作步骤 请参见，进入离线管道组件开发页面。按照下图...
配置本地文件输入组件
本地文件输入组件可用于将本地文件的TXT、excel、CSV格式的数据。同步至其他数据源的场景中。本文为您介绍如何配置本地文件输入组件。使用限制 仅支持手动任务配置本地文件输入组件。操作步骤 请参见 离线管道组件开发入口，进入离线管道...
数据分析整体趋势
另一方面，分布式数据库也快速发展，融合了部分大数据技术和存储格式，在扩展性层面获得了很好提升。在数据分析场景，两者解决的都是相同问题。市场趋势 数据规模高速增长（全球2010-2025年复合增长达到27%，中国则大于30%）带来了强劲的...
导入概述
本文为您介绍Doris数据导入支持的数据源、支持的数据格式以及特性。支持的数据源 Doris提供多种数据导入方案，可以针对不同的数据源选择不同的数据导入方式。Stream Load Broker Load Insert Into Routine Load Spark Load JSON格式导入 ...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
新建Spark Batch类型的公共节点
输入数据格式 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
JSON格式导入
JSON参数 streaming_load_json_max_mb 参数 一些数据格式，如JSON，无法进行拆分处理，必须读取全部数据到内存后才能开始解析，因此，这个值用于限制此类格式数据单次导入最大数据量。默认值为100，单位MB，详情请参见 BE参数配置 修改此...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
创建同步OSS
同步说明 1）目前DataHub支持将TUPLE和BLOB数据同步到OSS中 TUPLE:采用csv数据格式，每个Record中的column数据以逗号分隔，Record之间采用 换行符' ' 分隔 BLOB:采用Append方式进行数据追加，如果用户需要拆分OSS数据，用户需要自己往...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
新建Flink SQL类型的公共节点
输入数据格式 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
新建Flink Vvp SQL类型的公共节点
输入数据格式 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
数据处理
数据导入后，GDB Automl提供数据解析器对数据进行解析，可以自动配置解析数据源，解析器（支持CSV、ARFF、XLS、XLSX、ORC等多种数据格式的解析）。在 数据解析器 页面，选择导入数据对应的 解析器、分离、列标题 和 选项。单击 解析 以生成...
新建Flink Vvr SQL类型的公共节点
输入数据格式 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
通过Kettle导入至数仓版
本文以Excel为例，介绍如何通过Kettle将本地Excel数据导入至 AnalyticDB MySQL版 数仓版（3.0）。背景信息 Kettle是一款非常受欢迎的开源ETL工具软件，主要用于数据整合、转换和迁移。Kettle不仅支持各类关系型数据库和NoSQL数据源（HBase...
通过实时计算订阅数据
说明 如果数据格式不匹配，需要进行相应的 数据格式转换 工作，例如使用 from_unixtime 函数等。示例代码如下：INSERT INTO target_table SELECT t.dts_order_id,t.dts_buyer_id,t.dts_buyer_name,t.dts_product_id,t.dts_product_name,t....
近实时增量导入
数据切分Bucket的优势可详细参考 表数据格式。Tunnel SDK提供的数据写入接口目前只支持upsert和delete。commit接口调用代表原子提交这段时间写入的数据。如返回成功就代表写入数据查询可见，满足读写快照隔离级别。如返回失败，可支持重试...
CREATE STREAM
tableProperties 是 指定数据流表的属性，包括以下配置项：VALUE_FORMAT：必选项，指定数据源写入Lindorm流引擎的数据格式，包括CSV、Avro、JSON等格式。KEY_VALUE：必选项，指定数据流表的主键列。STREAM_TOPIC：必选项，指定数据流表的...
- 产品推荐
- 这些文档可能帮助您