业务添加DDoS高防后通过HTTP和HTTPS协议上传大文件...
解决方案 您先确认上传的文件大小，根据文件的大小，选择对应的解决方法：上传的文件大于2GB 解决DDoS高防最大能上 传2GB文件限制的解决方法如下：您可以给您的业务添加打包压缩功能，将您的文件压缩至小于2GB，然后上传压缩后文件。...
JindoDistCp使用说明
JindoDistCp可以使用-codec选项帮助您在线高效地存储数据和压缩文件。codec用来指定文件压缩编解码器，支持gzip、gz、lzo、lzop和snappy编码器以及关键字none和keep（默认值）。关键字含义如下：none：保存为未压缩的文件。如果文件已压缩...
正排索引压缩
自适应Offset 由于每个多值 Attribute 都是单独存储的，Schema 中多少多值 Attribute 就要产生多少 Offset 文件，如果每个 Offset 都使用 8Bit 长度，将是一种极大的浪费。因此，我们支持了一种叫做自适应 Offset 的功能，当产生的 Data ...
正排索引压缩
自适应Offset 由于每个多值 Attribute 都是单独存储的，Schema 中多少多值 Attribute 就要产生多少 Offset 文件，如果每个 Offset 都使用 8Bit 长度，将是一种极大的浪费。因此，我们支持了一种叫做自适应 Offset 的功能，当产生的 Data ...
任务类型列表
CreateArchiveFileInspectionTask ArchiveFileInspection 查看文件压缩内容任务。CreateFileUncompressionTask FileUncompression 文件解压任务。CreateCompressPointCloudTask PointCloudCompress 点云压缩任务。CreateImageToPDFTask ...
导入OSS数据
目前日志服务只支持导入5 GB以内的OSS文件，压缩文件大小按照压缩后的大小计算。前提条件 已上传日志文件到OSS Bucket中。具体操作，请参见 控制台上传文件。已创建Project和Logstore。具体操作，请参见 创建项目Project 和 创建Logstore。...
导出结构和数据
导出文件格式 ODC 导出工具会将导出数据到以.zip 结尾的压缩文件包中，压缩包中包含元数据文件 MANIFEST.bin 和 Schema 下导入导出对象的结构定义文件和数据文件。创建导出任务时，如果您指定 数据格式 为 SQL 格式，那文件包中的结构定义...
使用OSS Foreign Table进行数据湖分析
仅支持标准格式的SNAPPY压缩，暂不支持HADOOP-SNAPPY压缩文件。说明 filetype参数仅支持CSV、TEXT、JSON和JSONLINE格式的文件。其中snappy选项不支持JSON和JSONLINE格式的文件。log_errors 布尔型 否 是否将错误记录到日志文件。默认值为...
OSS数据源
后期将考虑在非压缩文件情况下针对单个Object可以进行多线程并发读取。当指定多个OSS Object时，OSS Reader支持使用多线程进行数据抽取。可以根据具体要求配置线程并发数。当指定通配符时，OSS Reader尝试遍历出多个Object信息。例如配置为...
使用限制
产品规格 限制项 说明 每个账号在单个地域内可创建的文件系统数量 通用型NAS：20个 极速型NAS：200个 单个文件系统可创建挂载点的数量 通用型NAS：2个 极速型NAS：1个 单个文件系统最大文件数 通用型NAS：10亿 极速型NAS：5亿 单个文件系统...
Jindo DistCp场景化使用指导
distcp-<version>.jar-src s3a:/yourbucket/-dest oss:/destBucket/hourly_table-s3Key yourkey-s3Secret yoursecret-s3EndPoint s3-us-west-1.amazonaws.com --parallelism 10 场景九：如果需要写入文件至OSS并压缩文件（LZO和GZ格式等）...
Jindo DistCp场景化使用指导
distcp-<version>.jar-src s3a:/yourbucket/-dest oss:/destBucket/hourly_table-s3Key yourkey-s3Secret yoursecret-s3EndPoint s3-us-west-1.amazonaws.com --parallelism 10 场景九：如果需要写入文件至OSS并压缩文件（LZO和GZ格式等）...
Jindo DistCp场景化使用指导
distcp-<version>.jar-src s3a:/yourbucket/-dest oss:/destBucket/hourly_table-s3Key yourkey-s3Secret yoursecret-s3EndPoint s3-us-west-1.amazonaws.com --parallelism 10 场景九：如果需要写入文件至OSS并压缩文件（LZO和GZ格式等）...
Jindo DistCp场景化使用指导
distcp-<version>.jar-src s3a:/yourbucket/-dest oss:/destBucket/hourly_table-s3Key yourkey-s3Secret yoursecret-s3EndPoint s3-us-west-1.amazonaws.com --parallelism 10 场景九：如果需要写入文件至OSS并压缩文件（LZO和GZ格式等）...
Jindo DistCp场景化使用指导
hadoop jar jindo-distcp-<version>.jar-src s3a:/yourbucket/-dest oss:/yang-hhht/hourly_table-s3Key yourkey-s3Secret yoursecret-s3EndPoint s3-us-west-1.amazonaws.com --parallelism 10 场景九：如果需要写入文件至OSS并压缩文件...
Jindo DistCp场景化使用指导
hadoop jar jindo-distcp-<version>.jar-src s3a:/yourbucket/-dest oss:/yang-hhht/hourly_table-s3Key yourkey-s3Secret yoursecret-s3EndPoint s3-us-west-1.amazonaws.com --parallelism 10 场景九：如果需要写入文件至OSS并压缩文件...
Jindo DistCp场景化使用指导
hadoop jar jindo-distcp-<version>.jar-src s3a:/yourbucket/-dest oss:/yang-hhht/hourly_table-s3Key yourkey-s3Secret yoursecret-s3EndPoint s3-us-west-1.amazonaws.com --parallelism 10 场景九：如果需要写入文件至OSS并压缩文件...
Jindo DistCp场景化使用指导
hadoop jar jindo-distcp-<version>.jar-src s3a:/yourbucket/-dest oss:/yang-hhht/hourly_table-s3Key yourkey-s3Secret yoursecret-s3EndPoint s3-us-west-1.amazonaws.com --parallelism 10 场景九：如果需要写入文件至OSS并压缩文件...
Jindo DistCp使用说明
jindo distcp-src/data/incoming/hourly_table-dest oss:/<yourBucketName>/hourly_table-deleteOnSuccess-parallelism 20-outputCodec-outputCodec 可以在线高效地存储数据和压缩文件。jindo distcp-src/data/incoming/hourly_table-dest ...
Jindo DistCp使用说明
jindo distcp-src/data/incoming/hourly_table-dest oss:/<yourBucketName>/hourly_table-deleteOnSuccess-parallelism 20-outputCodec-outputCodec 可以在线高效地存储数据和压缩文件。jindo distcp-src/data/incoming/hourly_table-dest ...
Jindo DistCp使用说明
jindo distcp-src/data/incoming/hourly_table-dest oss:/<yourBucketName>/hourly_table-deleteOnSuccess-parallelism 20-outputCodec-outputCodec 可以在线高效地存储数据和压缩文件。jindo distcp-src/data/incoming/hourly_table-dest ...
Jindo DistCp使用说明
jindo distcp-src/data/incoming/hourly_table-dest oss:/<yourBucketName>/hourly_table-deleteOnSuccess-parallelism 20-outputCodec-outputCodec 可以在线高效地存储数据和压缩文件。jindo distcp-src/data/incoming/hourly_table-dest ...
路由到对象存储OSS
无需压缩 文件内容 完整事件：Connector通过 CloudEvent协议包装了原始消息，完整事件表示包含CloudEvent协议后的数据。如下示例中，data字段内容为数据信息，其他字段为CloudEvent协议附加的Meta信息。{"specversion":"1.0","id":"8e215af...
创建OSS Sink Connector（新版）
无需压缩 文件内容 完整事件：Connector通过 CloudEvent协议包装了原始消息，完整事件表示包含CloudEvent协议后的数据。如下示例中，data字段内容为数据信息，其他字段为CloudEvent协议附加的Meta信息。{"specversion":"1.0","id":"8e215af...
创建OSS外部表
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...
迁移HDFS数据到OSS
如果文件已压缩，则Jindo DistCp会将其解压缩。keep（默认值）：不更改文件压缩形态。说明 如果您需要在开源Hadoop集群环境中使用lzo的压缩方式，请确保已安装gplcompression的native库和hadoop-lzo包。如果缺少相关环境，建议使用其他压缩...
iOS 符号表管理
Module Name：iOS App 二进制文件名称，存储在符号表文件里面用来标识出对应的 App 二进制文件，以方便用户匹配 App 二进制文件和 App 的符号表文件。此处填写 App 主 module 的 moduleName，例如打出的包是 Produce.app,那么 moduleName ...
使用OSS外表高速导出数据到OSS
云原生数据仓库AnalyticDB PostgreSQL版 支持通过OSS外部表（即gpossext功能），将数据并行导出到阿里云对象存储OSS，并支持通过GZIP进行OSS外部表文件压缩，大量节省存储空间及成本。功能介绍 目前gpossext支持读写TEXT、CSV格式的文件...
HDFS数据源
HDFS是一个分布式文件系统，为您提供读取和写入HDFS双向通道的功能，本文为您介绍DataWorks的HDFS数据同步的能力支持情况。支持的版本 目前不支持阿里云文件存储HDFS版。使用限制 离线读 使用HDFS Reader时，请注意以下事项：由于连通默认...
添加体验空间数据库
Shapefiles格式文件需要将.shp、.dbf、.prj、.shx 格式的文件压缩为一个.zip 文件进行上传。GeoJSON格式文件支持以.json 或.geojson 后缀的文件进行上传。确认无误后，单击 下一步。在 文件存储目录 页签，自定义 数据表名称 并选择需要...
通过控制台提交作业
说明 OSS中的作业文件或作业文件压缩包，都会在作业执行前下载到以作业名命名的目录中，例如作业名为JobName，那么作业文件会被下载到/home/user/JobName目录下，压缩包会被下载并解压到/home/user/JobName目录下。编辑作业文件 单击 作业...
同步配置
说明 导入配置功能兼容开源新版导出和旧版导出的配置文件压缩包，导出配置只导出兼容开源新版导出的配置文件压缩包。参数 描述 目标命名空间 需要导入配置的目标命名空间。默认为在 配置列表 页面选择的目标命名空间。相同配置 遇到相同...
OSS-HDFS数据源
离线写 OSS-HDFS Writer提供向OSS-HDFS文件系统指定路径中写入TextFile文件、ORCFile文件以及ParquetFile格式文件。OSS-HDFS支持的数据类型，如下表所示。类型分类 OSS-HDFS数据类型 整数类 TINYINT、SMALLINT、INT和BIGINT 浮点类 FLOAT和...
MaxCompute UDF（Python）常见问题
假设PY文件位于文件夹resource_dir/path1/path2中，如果将文件夹resource_dir内的所有文件压缩为resource-of-A.zip，sys.path.insert 中填写的路径为 work/resource-of-A.zip/path1/path2/。说明 ARCHIVE资源默认放在MaxCompute UDF执行...
管理数据树
Shapefiles格式文件需要将.shp、.dbf、.prj、.shx 格式的文件压缩为一个.zip 文件进行上传。GeoJSON格式文件支持以.json 或.geojson 后缀的文件进行上传。确认无误后，单击 下一步。在 文件存储目录 页签，自定义 数据表名称 并选择需要...
索引表配置
file_compress：声明各种文件压缩方式的参数和别名，可供正排，倒排，summary使用文件级别的压缩。enable_ttl：是否使用 TTL(time to live)功能，过期数据会被自动清理。默认为 false。ttl_field_name：指定表中字段作为ttl的字段，原始...
索引表配置
file_compress：声明各种文件压缩方式的参数和别名，可供正排，倒排，summary使用文件级别的压缩。enable_ttl：是否使用 TTL(time to live)功能，过期数据会被自动清理。默认为 false。ttl_field_name：指定表中字段作为ttl的字段，原始...
CSV格式
oss:/oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.suffix Snappy压缩文件的打开方式，请参见 打开Snappy压缩文件。如果未自定义文件后缀，则文件后缀为.snappy.csv。oss:/oss-shipper-chengdu/ecs_test/2022/...
JSON格式
oss:/oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.json 如果使用了snappy压缩，解压缩的详细说明请参见 解压Snappy压缩文件。如果未自定义文件后缀，则文件后缀为.snappy。oss:/oss-shipper-chengdu/ecs_test/...
配置HDFS输出组件
导出压缩文件 支持是否将文件以压缩文件格式导入目标库，可选择 不压缩，直接以所选文件类型导出、gzip 压缩格式、zip 压缩格式。导出列头 选择是否导出列头：导出：会在每一个文件中的第一行输出字段名。不导出：则文件的第一行为数据。...
- 产品推荐
- 这些文档可能帮助您