备份与恢复
ObjectType ObjectId ObjectName LSN Time Operation TABLE d6266b2c49b9418cb999dc65c10ad7ae test_restore_x 0000000000000001 2020-02-18 14:17:58 CREATE TABLE d6266b2c49b9418cb999dc65c10ad7ae test_restore_x 0000000000000002 ...
Fixed Plan加速SQL执行
第一列是int8,所以应该cast为int8[],这里例子是int4[]，因此不支持Fixed Plan insert into test_insert_multiline select unnest(ARRAY[1,2,3]:int4[]),unnest(ARRAY[1.11,2.222,3]:float4[])on conflict do nothing;局部更新场景 Hologres...
基于Package跨项目访问资源
例如，项目为A，需要添加A中的表table到某个Package中，则执行添加操作时，资源名不能写为A.table，应该直接写为table。package_name 是 指定Package的名称。您可以通过 MaxCompute客户端 执行 show packages;命令获取已创建的Package信息...
创建同步ElasticSearch
例如：DataHub Schema:f1 string,f2 string,f3 string,f4 string 数据:["test1","test2","test3",null]type属性列 ES5 type ES6 type f1 test1 f1 f1,f3 test1 test3 ff 创建失败 ff f1,ff 创建失败 f1|ff f4 创建成功，但同步失败，脏数据...
提交作业
worker.tar.gz 如果您没有进入src目录,则需要这样提交：bcs sub"python test.py"-p src/test.py,src/dep.py#将这个2个文件打包到 worker.tar.gz 然后您可以使用命令查看worker.tar.gz的内容：tar-tvf worker.tar.gz 应该是这样的：test.py ...
OSS与文件系统的对比
例如重命名目录，如果希望将test1目录重命名成test2，则OSS的实际操作是将所有以 test1/开头的Object都重新复制成以 test2/开头的Object，该操作会消耗大量的带宽、存储、计算、时间资源。因此在使用OSS时请尽量避免类似的操作。受限于单个...
如何提交作业
本文解释了您的疑问：您有一个 Python 程序 test.py，在本地环境您可以 python test.py，但是在批量计算上应该如何运行呢？test.py 内容如下：print('Hello,cloud!')批量计算上运行任务大致过程为：您提交作业到批量计算，批量计算会按照您...
概述
假设我们有一个如下的表：CREATE TABLE test1(id integer,content varchar);而应用发出很多以下形式的查询：SELECT content FROM test1 WHERE id=constant;在没有事前准备的情况下，系统不得不扫描整个 test1 表，一行一行地去找到所有匹配...
如何使用HINT（5.2及以下版本适用）
注意 此读写分离自定义HINT仅仅针对非事务中的读SQL语句生效，如果SQL语句是写SQL或者SQL语句在事务中，那么还是会下发到RDS的主实例执行。PolarDB-X 1.0 针对/!TDDL:SLAVE*/自定义HINT，会从只读实例中按照权重随机选取一个下发SQL语句...
polar_sql_mapping
1(1 row)说明 对于大部分的应用程序都是使用PreparedStmt，在写新的SQL的时，需要注意占位符应该是$n 而不是 '?'，示例如下：select*from polar_sql_mapping.polar_sql_mapping_table;返回结果如下：id|source_sql|target_sql-+-+-4|select...
polar_sql_mapping
1(1 row)说明 对于大部分的应用程序都是使用PreparedStmt，在写新的SQL的时，需要注意占位符应该是$n 而不是 '?'，示例如下：select*from polar_sql_mapping.polar_sql_mapping_table;返回结果如下：id|source_sql|target_sql-+-+-4|select...
账号权限
用户的权限应该仅限于其需要的操作，而不应该有任何超出权限范围的操作。因此，云数据库采用了基于角色的访问控制模型来管理普通用户的权限。在这个模型中，不同的用户被分配不同的角色，每个角色拥有一定的权限，而用户则根据其需要的操作...
限制Kafka服务端运维流量
通常运维流量阈值过小将导致运维操作无法完成，运维流量阈值过大将造成IO争抢或带宽满载等问题，从而影响到正常业务流量，您应该合理的评估限流阈值。限流阈值设定需要考虑Topic业务流量的大小、业务可以承受的延迟、业务场景是否允许Kafka...
polar_sql_mapping
1(1 row)说明 对于大部分的应用程序都是使用PreparedStmt，在写新的SQL的时，需要注意占位符应该是$n 而不是 '?'，示例如下：select*from polar_sql_mapping.polar_sql_mapping_table;返回结果如下：id|source_sql|target_sql-+-+-4|select...
polar_sql_mapping
1(1 row)说明 对于大部分的应用程序都是使用PreparedStmt，在写新的SQL的时，需要注意占位符应该是$n 而不是 '?'，示例如下：select*from polar_sql_mapping.polar_sql_mapping_table;返回结果如下：id|source_sql|target_sql-+-+-4|select...
通过Spark SQL读写OSS外表
方式五：INSERT OVERWRITE动态分区覆盖写 INSERT OVERWRITE TABLE test_db.test_tbl_partitioned PARTITION(location)VALUES(1,'adb',10,'beijing');步骤四：查询数据 说明 您可以选择批处理或交互式执行任意一种方式执行以下SQL语句。详情...
BatchPutDcdnKvWithHighCapacity-批量设置KV存储空间...
test_key1 SuccessKeys array 写成功的键列表。string 写成功的键名。test_key2 示例 正常返回示例 JSON 格式 {"RequestId":"EEEBE525-F576-1196-8DAF-2D70CA3F4D2F","FailKeys":["test_key1"],"SuccessKeys":["test_key2"]} 错误码 ...
测试块存储性能
ioengine=libaio-bs=4k-numjobs=4-time_based=1-runtime=1000-group_reporting-filename=dev/your_device-name=test 测试本地盘的顺序写吞吐量：sudo fio-direct=1-iodepth=128-rw=write-ioengine=libaio-bs=128k-numjobs=1-time_based=1-...
资源函数
password="*",database="test_db",table="test_table",primary_keys="userid",),"userid",["city_name","city_number"],)加工结果#数据1 userid:10001 gdp:1000 city_name:beijing city_number:12345#数据2 userid:10002 gdp:800 增量更新 ...
通过RAM Policy为RAM用户授权
为 ramtestappreadonly 角色赋予 ram-test-app-readonly（只读访问 表格存储）策略，为 ramtestappwrite 角色赋予 ram-test-app-write（只写 表格存储）策略。授权完成后，记录角色的 ARN，即需要扮演角色的ID，如下图所示。临时授权访问。...
测试i4p实例本地盘性能
mem_policy=bind:0-cpus_allowed_policy=split 顺序写 sudo fio-name=test-directory=mnt/sdb-ioengine=libpmem-direct=1-thread=8-numjobs=8-iodepth=1-rw=write-bs=4k-size=1GB-norandommap=1-randrepeat=0-invalidate=1-iodepth_batch=1...
通过Spark SQL读写C-Store表数据
CREATE TABLE spark_create_adb_db_test.test_adb_tbl(id int,name string COMMENT 'test_name',age int)using adb TBLPROPERTIES('primaryKey'='id,age','distributeType'='HASH','distributeColumns'='id','partitionType'='value','...
SmartData使用说明（EMR-3.22.0~3.25.1版本）
简单示例：Shell命令 hadoop fs-ls jfs:/your-namespace/hadoop fs-mkdir jfs:/your-namespace/test-dir hadoop fs-put test.log jfs:/your-namespace/test-dir/hadoop fs-get jfs:/your-namespace/test-dir/test.log./MapReduce作业 ...
JindoFS块存储模式
能够利用本地集群的存储资源加速数据读取，适合具有一定本地存储能力的集群，能够利用有限的本地存储提升吞吐率，特别对于一写多读的场景效果显著。元数据操作效率高，能够与HDFS相当，能够有效规避OSS文件系统元数据操作耗时以及高频访问...
提交作业
如果你想要执行 SHELL，可以使用”/bin/bash-c‘cd/home/xx/python a.py’”或者将 Shell 写到一个 sh 脚本中如：test.sh,然后用”sh test.sh”执行。CommandLine 具体位置：命令行工具中 bcs sub[job_name][options]的 cmd。使用 Java sdk...
读写MySQL数据（mysql_fdw）
QUERY PLAN-Aggregate(cost=1027.50.1027.51 rows=1 width=8)Output:count(*)->Foreign Scan on public.ft_test(cost=25.00.1025.00 rows=1000 width=0)Output:id,info Remote server startup cost:25 Remote query:SELECT NULL FROM `test...
全密态数据库性能测试报告
表 2.TPS（千）性能对比 并发线程数 未开启全密态数据库扩展 开启全密态数据库扩展 性能损失 8 14.81 12.09 18.3%16 28.88 23.22 19.6%24 41.62 33.12 20.4%32 54.27 42.48 21.7%写性能 比例 SQL模板 25%UPDATE test1 SET k=k+1 WHERE id=?...
CreateRestorePlan
需要⼀⾏写⼀个表名称，不支持通配符（*）。如果恢复至当前表，填写格式为：namespace:table，例如：default:testTable。如果恢复至其他表，填写格式为：namespace:table/namespace:table2，例如：default:testTable/default:testTable2。...
使用cqlsh访问Cassandra
first_name|last_name-+-test|Hadoop Wang|null Zhang|San(3 rows)cqlsh:test_keyspace>SELECT*FROM test_user WHERE first_name='test';first_name|last_name-+-test|Hadoop(1 rows)可以看出，由于first_name为Wang对应的last_name没有...
分析外部OSS上的数据
regionkey` bigint(20),`r_name` text,`r_comment` text,PRIMARY KEY(`r_regionkey`))COMMENT='columnar=1' CONNECTION='OSS:/${oss_key}:${oss_key_secret}@${endpoint}/${bucket}/test.orc' 其中，OSS连接信息可以写在 CONNECTION 字段中...
ListMqSofamqGroup
Cluster String SINGLE 集群名 Remark String test Group 备注信息 InstanceId String SOFAMQ_INSTANCE_000001 实例 ID GmtModified Long 1570966857000 修改时间，单位：毫秒 RetryWriteQueueNum Long 1 重试写队列权限 DeleteMark String...
资源
表资源 创建表资源 o.create_resource('test_table_resource','table',table_name='my_table',partition='pt=test')更新表资源 table_resource=o.get_resource('test_table_resource')table_resource.update(partition='pt=test2',project_...
Python SDK示例：资源
表资源 创建表资源 o.create_resource('test_table_resource','table',table_name='my_table',partition='pt=test')更新表资源 table_resource=o.get_resource('test_table_resource')table_resource.update(partition='pt=test2',project_...
性能测试
iodepth=1-rw=randread-bs=4k-size=1G-numjobs=256-runtime=600-time_based=1-group_reporting-directory="/mnt/cpfs/test"-name=Rand_Read_Testing 顺序写吞吐量：fio-direct=1-ioengine=libaio-iodepth=1-rw=write-bs=1m-size=1G-numjobs...
算子介绍
`mediumint_test`,`bit_test`,`bigint_test`,`float_test`,`double_test`,`decimal_test`,`date_test`,`time_test`,`datetime_test`,`timestamp_test`,`year_test`,`mediumtext_test` FROM `gsi_dml_sequence_one_index_index1` AS `gsi_...
基于实时计算Flink使用CTAS语句同步MySQL数据至...
QAZ','sink.buffer-flush.interval-ms'='5000','sink.properties.row_delimiter'='\x02','sink.properties.column_separator'='\x01')as table mysql.test_cdc.runoob_tbl/*+OPTIONS('connector'='mysql-cdc','hostname'='rm-2zepd6e20u3od...
SQL审核最佳实践
根据业务需求增加WHERE条件，若要删除全表，可以将条件写成 WHERE 1=1。例如：DELETE FROM test_sql_review_table WHERE id={pk}<select id="getByPK" resultType="com.xxx.TestSQLReviewTableDO"><include refid="SELECT_ALL_FROM"/>WHERE ...
通过读写分离提升数据吞吐性能
一般情况下，对数据库的读和写都在同一个数据库服务器中操作时，业务系统性能会降低。为了提升业务系统性能，优化用户体验，可以通过读写分离来减轻主数据库的负载。本教程主要介绍如何使用中间件MySQL-proxy实现读写分离。前提条件 使用本...
回收站
例如同一目录存在文件 test_a.txt 和文件 test_b.txt，执行 mv test_a.txt test_b.txt，文件 test_b.txt 将进入回收站。应用程序使用NAS文件产生的临时文件。例如执行 vim 命令编辑文件时，产生的.swp 和.swpx 格式的文件将进入回收站。...
升级检查
以test_index索引为例，关闭和打开索引的命令如下：关闭索引 POST test_index/_close 打开索引 POST test_index/_open 索引影子副本设置（Shadow Replicas settings）PUT test_index/_settings {"index.shared_filesystem":null,"index....
- 产品推荐
- 这些文档可能帮助您