Parquet（推荐）
例：读取在存储空间名称为databricks-demo-hangzhou文件路径为demo/The_Sorrows_of_Young_Werther.txt的文件/从oss地址读取文本文档 val dataRDD=sc.textFile("oss:/databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt...
PAI-TF数据IO方式介绍
权限名称（Action）权限说明 oss:PutObject 上传文件或文件夹对象 oss:GetObject 获取文件或文件夹对象 oss:ListObjects 查询文件列表信息 oss:DeleteObjects 删除对象 TensorFlow读取OSS数据的方法：低效的IO方式 本地执行TensorFlow代码...
Logtail采集详情
采集过程 Logtail采集数据的过程如下：监听日志 读取日志 处理日志 过滤日志 聚合日志 发送日志 说明 更多关于Logtail采集原理的介绍，请参见 Logtail技术分享。监听日志 在服务器上安装Logtail及在日志服务控制台上创建Logtail采集配置后...
SQL命令管理数据库
您可以执行以下命令，查询SQL Server实例的所有数据库的数据文件和日志文件的路径信息：SELECT db_name(database_id),physical_name FROM sys.master_files;删除数据库 执行如下命令，删除数据库：DROP DATABASE[TestDb]需注意，若您在删除...
access-monitor（访问跟踪）
如果您希望配置基于最后一次访问时间（Last Access Time）策略的生命周期规则来自动监测Bucket中Object的访问模式并识别冷数据，然后将识别出来的冷数据进行存储类型转换，最终降低存储成本。您需要先通过 access-monitor 命令为Bucket开启...
快速开始
工程配置 配置 AndroidManifest 在 AndroidManifest.xml 文件中添加以下权限：在 AndroidManifest.xml 文件中添加以下配置。将通配符${applicationId} 替换为真实的包名。例如，将${applicationId}.fileprovider 替换为 ...
约束和限制
目录下面采样最新和最老的文件，每个文件读取前1000行 元数据发现SLS数据源发现历史投递数据 如果投递中途修改了分区格式，不会发现修改前的数据 一键建仓/多库合并支持的数据源网络类型 VPC 一键建仓/多库合并支持的数据源 PolarDB MySQL ...
配置Gremlin请求超时时间
图数据库GDB支持修改客户端向图数据库GDB发送请求数据时的超时时间，您可以根据业务场景和数据量等修改超时时间。本文介绍不同语言环境中配置Gremlin请求超时时间的方法。超时时间简介 客户端向图数据库GDB发送请求数据时，如果请求时间...
SQL审核最佳实践
本文以对XML文件中多个SQL语句进行审核为例，向您展示配置SQL审核规则、审核目标文件中SQL语句的流程。背景信息 在项目正式发布到线上之前，需要对涉及的SQL进行全面的审核，避免不符合数据库开发规范的SQL发布到线上影响生产服务。而所有...
HDFS
如果您的数据存储在HDFS中，需先确认HDFS源访问正常，测试闪电立方与HDFS源端之间网络连通性，并在闪电立方设备上进行数据迁移。本文介绍配置业务IP地址及挂载HDFS至闪电立方设备连通性测试的操作步骤。前提条件 源端HDFS已通过网线直连...
HDFS
如果您的数据存储在HDFS中，需先确认HDFS源访问正常，测试闪电立方与HDFS源端之间网络连通性，并在闪电立方设备上进行数据迁移。本文介绍配置业务IP地址及挂载HDFS至闪电立方设备连通性测试的操作步骤。前提条件 源端HDFS已通过网线直连...
2024年
该版本调整了文件读取逻辑，增强了对文件块损坏或不可读状态的容错处理，确保数据读取过程的稳定性和可靠性。修复查询监控工具异常崩溃的问题。该版本对底层实现进行了优化，增强了错误处理能力和稳定性，避免在处理过程中发生崩溃。2024年...
背景信息以及准备工作
您还可以在DLA中创建 云数据库 Redis 版（简称Redis）的数据库连接（映射数据库），然后通过MySQL客户端或者MySQL命令行工具连接DLA，使用标准SQL语句操作Redis数据库数据。本文档将以DLA读取Redis中CSV和JSON两中类型的数据为例，介绍如何...
PTS在并发和RPS模式下读取多文件参数的方式
本文介绍在并发模式和RPS模式下，PTS读取多文件参数的方式。并发模式下某API文件读取示例 说明如下：若使用的参数来源于多个文件时，可以指定基准参数，PTS会先按照基准参数的行数进行组装。若为某参数设置轮询一次后，则以该参数为基准。...
TensorFlow常见问题
Python不支持读取OSS数据，因此所有调用Python Open()及 os.path.exist()等文件和文件夹操作函数的代码都无法执行。例如 Scipy.misc.imread()及 numpy.load()等。通常采用以下两种方式在PAI中读取数据：使用tf.gfile下的函数，适用于简单...
本地开发环境准备
这里有以下几种方式可以参考 全局配置方式：放到上文列举的 settings.xml 文件位置，作为全局配置，将覆盖任意在当前账号执行 Maven 时使用的仓库地址。命令行参数方式：将 settings 文件保存到任意方便使用的位置，比如/example/abc/，...
事务与Read/Write Concern
与Write Concern一样，Read Concern可以应用于对数据库执行的任何查询，而不管操作是对单个或一组文档进行常规读取，还是封装在多文档读取事务中。一般场景尽量使用"majority"级别的Read Concern 为了确保隔离和一致性，建议将Read Concern...
配置项说明
default_database 默认数据库。默认值为default。uncompressed_cache_size 表引擎使用MergeTree时，为解压后的block所建立的Cache大小。默认值为0。如果设置为0，则表示不启用Cache。timezone 设置服务器的时区。默认值为 Asia/Shanghai。...
快速入门
当您在 文件存储 HDFS 版 中写入文件数据产生实际存储容量，则开始计费。文件系统用于计费的计费存储量是如何计算的？按每小时计费存储量的最大值（峰值）计费。计费存储量=MAX[核算存储量,实际存储量]实际存储量是指文件系统中所有文件...
迁移指南
说明 详情可参考Databricks官网文章：迁移指南 将工作负载迁移到Delta Lake 当您将工作负载迁移到Delta-Lake时，您应该注意到以下简化和与apachespark和apachehive提供的数据源相比的区别。Delta Lake自动处理以下操作，您永远不要手动执行...
Performance Insight
Performance Insight是专注于实例负载监控、关联分析、性能调优的利器，帮助您迅速评估数据库负载，找到性能问题的源头，提升数据库的稳定性。前提条件 实例版本如下：MySQL 8.0 MySQL 5.7 内核小版本需要为20190915或以上。说明 您可以在 ...
resource-group（资源组）
使用示例 在本地XML文件中设置Bucket所属资源组。xml version="1.0"encoding="UTF-8?ResourceGroupId>rg-aekz*</ResourceGroupId></BucketResourceGroupConfiguration>为examplebucket设置所属资源组...
IoT数据自动化同步至云端解决方案
但同步至大数据系统或传统数据库的数据，需要使用专业的数据同步系统。下图为您展示使用DataWorks数据集成完成OSS数据同步至大数据系统的解决方案流程。新建离线同步节点，详情请参见 通过向导模式配置离线同步任务。选择数据来源OSS进行...
OSS数据源
元数据发现任务可以在单次运行中自动为OSS上面的数据文件创建和更新数据湖元数据（一张或多张表），具有自动探索文件数据字段及类型、自动映射目录和分区、自动感知新增列及分区、自动对文件进行分组建表的能力。OSS数据源配置模式 OSS数据...
如何清理孤立文档
数据库列表 var databasesToProcess=["database1","database2","database3"];shardNames.forEach(function(shardName){/遍历指定的数据库列表 databasesToProcess.forEach(function(dbName){ var dbInstance=db.getSiblingDB(dbName);获取...
生命周期管理FAQ
目标目录的所有文件数据只要满足生命周期管理策略，即会自动转储至低频存储或归档存储中。设置生命周期管理策略后，文件多久会被转储到低频存储或归档存储？转储时间会和文件系统的大小和转储数据量有关，功能开启后，符合生命周期管理策略...
性能优化最佳实践
调整core-site.xml配置 在测试集群吞吐性能之前建议在core-site.xml文件中增加或修改如下配置，同步到所有依赖hadoop-common的节点上并重启集群服务。name>alidfs.default.write.buffer.size</name><value>8388608</value>...
EXTRACTVALUE函数
EXTRACTVALUE(XMLTYPE(B),'/A')-3 其他方案 在PolarDB O引擎中使用xpath函数解析XML文件，代码示例如下：van=>create table xmldemo van=>(A NUMBER,B VARCHAR2(100));van=>insert into xmldemo values(1,'first line');INSERT 0 1 van=>...
HDFS数据源
您也可以指定column字段信息（文件数据列和常量列配置二选一），配置如下。{"type":"long","index":0/从本地文件文本第一列（下标索引从0开始计数）获取INT字段，index表示从数据文件中获取列数据。},{"type":"string","value":"alibaba"/...
在Jetty服务器安装SSL证书
说明 在Jetty的一些旧版本中，证书相关配置参数可能在jetty-ssl.xml文件中。证书文件配置。cert/domain_name.jks需替换为真实的证书路径-><Set name="KeyStorePath"><Property name="jetty.sslContext.keyStoreAbsolutePath"><Default>...
EMR Hive数据整库离线同步至MaxCompute
本文以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在...
授予云备份客户端读取SMB NAS文件权限
由于 云备份 客户端没有读取SMB类型NAS文件的权限，导致 云备份 无法进行备份，此时您需要通过授予 云备份 客户端读取SMB类型NAS文件权限来完成备份。本文介绍在Windows上授予 云备份 客户端读取SMB类型NAS文件权限的操作方法。前提条件 已...
EMR Hive数据整库离线同步至MaxCompute
本文以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在...
DBLE与PolarDB多主集群（库表）结合使用最佳实践
DBLE的 db.xml 配置文件中可以配置数据库组（dbGroup）。建议将同一个PolarDB集群在多个数据库组中配置多次，使得数据库组与 sharding.xml 中的shardingNode 一一对应。通过这样的配置方式，能够减少在DBLE维护的长连接中执行 use database...
Hive数据源
您可以基于HDFS文件和Hive JDBC两种方式读取数据：基于HDFS文件读取数据 Hive Reader插件通过访问HiveMetastore服务，解析出您配置的数据表的HDFS文件存储路径、文件格式、分隔符等信息后，再通过读取HDFS文件的方式读取Hive中的表数据。...
CSV文件
例：读取在存储空间名称为databricks-demo-hangzhou文件路径为demo/The_Sorrows_of_Young_Werther.txt的文件/从oss地址读取文本文档 val dataRDD=sc.textFile("oss:/databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt"csv...
mPaaS 适配 targetSdkVersion 28
在工程（Portal&Bundle 为 Portal 工程）的 res/xml 目录下创建 network_security_config.xml 文件，内容如下：?xml version="1.0"encoding="utf-8?base-config cleartextTrafficPermitted="true">...
FS-文件系统
本文介绍FS-文件系统的使用方法及示例。硬件平台 产品型号 是否支持 硬件类型 固件版本号 HaaS600Kit 是 开发板 4.0.1 HaaS510 是 DTU 4.0.1 HaaS520 是 DTU 4.0.1 HaaS530 是 DTU 4.0.1 HaaS531 是 DTU 4.0.1 HaaS632-LT32V 是 蜂窝模组 4...
Alibaba Cloud Linux 3系统的NFS文件系统读取文件性能...
在NFS（Network File System）文件系统中通过read、copy_file_range等系统调用读取文件时，与同场景下的Alibaba Cloud Linux 2相比，可能会存在明显的性能退化情况。本文介绍在Alibaba Cloud Linux 3系统的ECS实例中，在NFS文件系统下读取...
HikariCP 连接池连接 OceanBase 数据库示例程序
在 main 方法中，通过读取 db.properties 文件来配置 HikariCP 连接池，并获取数据库连接。然后依次调用了一系列的方法来创建表、插入数据、查询数据、更新数据和删除数据。如果在操作过程中发生 SQLException 异常，则会打印异常信息的...
- 产品推荐
- 这些文档可能帮助您