深度解析PolarDB数据库并行查询技术

本文主要介绍基于代价进行并行优化、并行执行的云数据库的并行查询引擎的关键问题和核心技术。背景信息 随着数据规模的不断扩大,用户SQL的执行时间越来越长,这不仅对数据库的优化能力提出更高的要求,并且对数据库的执行模式也提出了新的...

逻辑表达式

本文介绍在新建逻辑时,输入逻辑表达式的规则。简单规则 规则 举例说明 自然序 test_[0-7]:创建8张。...数据库下不均等 db_01.test_[1-7],db_02.test_[10-15]:在数据库db_01下创建7张,在数据库db_02下创建6张

Java SDK快速入门

使用宽模型时,您需要先创建数据,然后写入数据到数据以及读取数据表中的数据。具体代码示例请参见 宽模型示例。使用时序模型时,您需要先创建时序,然后写入数据到时序以及读取时序中的数据。具体代码示例请参见 时序模型...

MongoDB

白名单设置)读写MongoDB数据(非SSL)表读取mongodb数据%spark/读取mongodb数据 val mongoDF=spark.read.format("com.mongodb.spark.sql").option("uri",'your connection uri').option("database","your database").option("collection...

外部常见问题

5c661071dba64d5080c91da085ff1073^音乐-点击-快进^26.12.04.68^2019-11-11 06:43:36 通过外部表读取数据。select*from<project_name>.video_play_log;读取结果如下。uuid|action|ip|time|+-+-+-+-+|5c661071dba64d5080c91da085ff1073|音乐...

设置透明数据加密TDE

经过数据库身份验证的应用和用户可以继续透明地访问应用数据(不需要更改应用代码或配置),而尝试读取表空间文件中的敏感数据的OS用户以及尝试读取磁盘或备份信息的不法之徒将不允许访问明文数据。PolarDB PostgreSQL版 TDE加密使用的密钥...

连续查询

数据库db_sensor_month中创建sensor。USE db_sensor_month;CREATE TABLE sensor(device_id VARCHAR TAG,region VARCHAR TAG,time TIMESTAMP,temperature DOUBLE,humidity BIGINT);创建另一个数据库db_sensor_year,存储降精度后的数据...

设置透明数据加密TDE

经过数据库身份验证的应用和用户可以继续透明地访问应用数据(不需要更改应用代码或配置),而尝试读取表空间文件中的敏感数据的OS用户以及尝试读取磁盘或备份信息的不法之徒将不允许访问明文数据。PolarDB PostgreSQL版(兼容Oracle)TDE...

Amazon S3数据

Simple Storage Service(简称S3)是一种专为从任意位置存储和检索任意数量的数据而构建的对象存储,DataWorks数据集成支持使用Amazon S3 Reader插件从S3数据库读取数据,本文为您介绍DataWorks的Amazon S3数据读取能力。支持的Amazon S3...

设置透明数据加密TDE

在安全合规或静态数据加密等场景下,推荐使用透明数据加密TDE(Transparent Data Encryption)功能,对数据文件执行实时I/O加密和解密,通过在数据库层执行静态数据加密,阻止可能的攻击者绕过数据库直接从存储中读取敏感信息,有效提高...

CREATE TABLE AS SELECT(CTAS)

支持 db_name.table_name 格式,区分不同数据库下相同名字的。IF NOT EXISTS 判断 table_name 指定的是否存在,若存在,则不执行建语句。IGNORE 可选参数,若中已有相同主键的记录,新记录不会被写入。REPLACE 可选参数,若中已...

REINDEX

重建一个特定数据库中的所有索引,且不假设系统索引已经可用:$export PGOPTIONS="-P"$psql broken_db.broken_db=>REINDEX DATABASE broken_db;broken_db=>\q 重建的索引,在重建索引过程中不阻止对相关关系进行读写操作:REINDEX TABLE ...

对象

pg_stat_all_tables pg_stat_all_tables 视图将为当前数据库中的每一个显示与该访问相关的统计信息。相关参数说明如下所示:参数 类型 描述 relid oid OID。schemaname name 所在的Schema的名称。relname name 名称。seq_...

对象

pg_stat_all_tables pg_stat_all_tables 视图将为当前数据库中的每一个显示与该访问相关的统计信息。相关参数说明如下所示:参数 类型 描述 relid oid OID。schemaname name 所在的Schema的名称。relname name 名称。seq_...

分区剪裁合理性评估

分区剪裁是指对分区列指定过滤条件,使得SQL执行时只用读取表分区的部分数据,避免全扫描引起的数据错误及资源浪费。但是分区失效的情况会经常发生。本文将从以下两方面介绍分区剪裁:判断分区剪裁是否生效。分区剪裁失效的场景分析。...

存储监控

在 存储监控 页面,设置如下参数:参数 说明 数据库数据库 列表中选择目标数据库。监控指标 您可以选择 资源监控 或 引擎监控。监控指标 选择需要查看的存储层资源监控指标,关于各监控指标详情,请参见 存储监控指标。查询时间 您...

查看资源和引擎监控

每秒从InnoDB表读取、更新、删除、插入的行数。MyISAM读写次数 MyISAM每秒从缓冲池中的读、写次数和每秒钟从硬盘上的读、写次数。MyISAM Key Buffer 读/写/利用率 MyISAM每秒的Key Buffer读命中率、写命中率、使用率。

TDE透明数据加密

透明数据加密TDE(Transparent Data Encryption)通过在数据库层执行透明的数据加密,阻止可能的攻击者绕过数据库直接从存储层读取敏感信息。前提条件 支持的 PolarDB PostgreSQL版(兼容Oracle)的版本如下:Oracle 2.0(内核小版本2.0.14...

TDE透明数据加密

透明数据加密TDE(Transparent Data Encryption)通过在数据库层执行透明的数据加密,阻止可能的攻击者绕过数据库直接从存储层读取敏感信息。前提条件 支持的 PolarDB PostgreSQL版 的版本如下:PostgreSQL 14(内核小版本14.5.1.1及以上)...

HBase数据

类型分类 数据集成column配置类型 数据库数据类型 整数类 long short、int和long 浮点类 double float和double 字符串类 string binary_string和string 日期时间类 date date 字节类 bytes bytes 布尔类 boolean boolean HBase20xsql ...

WorkQueue

work_queue=pai.data.WorkQueue([odps_path1,odps_path2,odps_path3],shuffle=True,num_slices=FLAGS.num_workers*10)#创建表读取器。reader=tf.TableRecordReader()#从表中读取2条记录。keys,values=reader.read_up_to(work_queue.input_...

数据表

用途 读数据 算子用于从数据源中读取数据,作为下游节点输入数据的来源。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择计算资源 选择需要读取的数据源,支持的数据源类型...

快速入门

for record in o.read_table(table):print(record[0],record[1])#以运行SQL的方式读取表中的数据。result=o.execute_sql('select*from my_new_table;',hints={'odps.sql.allow.fullscan':'true'})#读取SQL执行结果。with result.open_...

库表级恢复

数据库备份DBS 支持级别的数据恢复能力。当发生数据误删除时,您可以选择只对单个数据库进行恢复,而无需恢复全部数据,可用于误操作后的快速订正,以及分析历史数据等场景。功能介绍 数据库备份DBS 在执行逻辑备份时,以数据库对象...

库表级恢复

数据库备份DBS 支持级别的数据恢复能力。当发生数据误删除时,您可以选择只对单个数据库进行恢复,而无需恢复全部数据,可用于误操作后的快速订正,以及分析历史数据等场景。功能介绍 数据库备份DBS 在执行逻辑备份时,以数据库对象...

数据库克隆

数据管理DMS的数据库克隆功能支持将源数据库结构和数据复制至目标数据库中,实现全部或部分备份,适用多环境数据库初始化,例如将开发环境复制到测试环境。前提条件 源数据库与目标数据库类型相同,且都为MySQL。数据库实例的...

分区自动冷存

postgres 数据库中执行以下 SQL,为 db01 数据库创建一个名为 task1 的任务,该任务为每分钟检查子分区数据,并自动将超过3个子分区的历史子分区转为冷存,并返回任务 ID:每分钟执行 postgres=>SELECT cron.schedule_in_database('task1...

分区自动冷存

postgres 数据库中执行以下 SQL,为 db01 数据库创建一个名为 task1 的任务,该任务为每分钟检查子分区数据,并自动将超过3个子分区的历史子分区转为冷存,并返回任务 ID:每分钟执行 postgres=>SELECT cron.schedule_in_database('task1...

最佳实践

如果不需要更改架构,则可以从Delta中删除数据并插入新数据,或者更新以修复不正确的值。如果要更改架构,则可以atomic替换整个。例如:dataframe.write \.format("delta")\.mode("overwrite")\.option("overwriteSchema","true...

LOCK

(ACCESS EXCLUSIVE 与 Oracle 数据库不兼容。在 PolarDB PostgreSQL版(兼容Oracle)中,该配置模式确保其他事务不可对锁定的进行任何形式的访问。NOWAIT 指定 LOCKTABLE 不等待释放任何冲突的锁定:如果不能无需等待就立即获取指定的...

JindoTable使用说明

jindo table-showPartition-t db1.t1-p date=2020-10-12-listTables 语法 jindo table-listTables[-db][dbName]功能 展示指定数据库中的所有。不指定[-db]时默认展示default库中的。示例:展示default库中的。jindo table-listTables...

JindoTable使用说明

jindo table-showPartition-t db1.t1-p date=2020-10-12-listTables 语法 jindo table-listTables[-db][dbName]功能 展示指定数据库中的所有。不指定[-db]时默认展示default库中的。示例:展示default库中的。jindo table-listTables...

JindoTable使用说明

jindo table-showPartition-t db1.t1-p date=2020-10-12-listTables 语法 jindo table-listTables[-db][dbName]功能 展示指定数据库中的所有。不指定[-db]时默认展示default库中的。示例:展示default库中的。jindo table-listTables...

JindoTable使用说明

jindo table-showPartition-t db1.t1-p date=2020-10-12-listTables 语法 jindo table-listTables[-db][dbName]功能 展示指定数据库中的所有。不指定[-db]时默认展示default库中的。示例:展示default库中的。jindo table-listTables...

在本地环境上使用PyODPS

table.drop()print('使用open_reader方式读取pyodps_iris表数据:')#读取SQL执行结果。with result.open_reader()as reader:for record in reader:print(record[0],record[1])运行python代码。python test-pyodps-local.py 运行结果:111 ...

DBGateway简介

安全稳定 DBGateway只需要数据库系统库的只读权限,无需任何业务库读取权限。数据传输经过加密压缩,安全可控。低成本 一个DBGateway可以管理1000多个实例。部署条件 权限要求 需要Linux服务器的root权限启动DBGateway。硬件要求 CPU...

JindoTable使用说明

jindo table-showPartition-t db1.t1-p date=2020-10-12-listTables 语法 jindo table-listTables[-db]功能 展示指定数据库中的所有。不指定[-db]时默认展示default库中的。示例:展示default库中的。jindo table-listTables 列出...

JindoTable使用说明

jindo table-showPartition-t db1.t1-p date=2020-10-12-listTables 语法 jindo table-listTables[-db]功能 展示指定数据库中的所有。不指定[-db]时默认展示default库中的。示例:展示default库中的。jindo table-listTables 列出...

JindoTable使用说明

jindo table-showPartition-t db1.t1-p date=2020-10-12-listTables 语法 jindo table-listTables[-db]功能 展示指定数据库中的所有。不指定[-db]时默认展示default库中的。示例:展示default库中的。jindo table-listTables 列出...

JindoTable使用说明

jindo table-showPartition-t db1.t1-p date=2020-10-12-listTables 语法 jindo table-listTables[-db]功能 展示指定数据库中的所有。不指定[-db]时默认展示default库中的。示例:展示default库中的。jindo table-listTables 列出...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 数据库备份 DBS 云数据库 MongoDB 版 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用