表批读写
date>='2017-01-01' AND date).save("/mnt/delta/events")覆盖 要原子式地替换表中的所有数据，可以使用overwrite模式：SQL%sql INSERT OVERWRITE TABLE events SELECT*FROM newEvents Python%pyspark from pyspark.sql.functions import ...
dbms_sql.flush_trace
存储过程 dbms_sql.flush_trace 用于清理 information_schema.sql_sharing 系统表中的所有SQL Trace统计信息和跟踪记录。语法 dbms_sql.flush_trace()示例 清理 information_schema.sql_sharing 系统表中的所有SQL Trace统计信息和跟踪记录...
SQL 编辑和执行
column_name column_type 指定数据表中每个列（字段）的名称和数据类型，如果创建多个列，需要用逗号隔开。SQL 窗口编辑区的工具栏中同时提供以下功能键：功能 说明 SQL 检查 单击该按钮检查 SQL 语法。执行计划 查看选中的或当前光标所在...
替换数据集
您在应用模板市场的模板或有批量替换仪表板中所有组件的数据字段的需求时，如果报表中的组件数量较多，手动逐一更新数据将非常低效。您可考虑使用Quick BI数据替换功能，分为页面级数据替换、组件级数据替换，可提高搭建仪表板的效率，降低...
Quick BI创建SQL数据集，能够执行但是保存报错
问题描述 用户使用SQL创建数据集，执行查看数据没有问题，但是保存时报错。问题原因 用户SQL中参数或者占位符格式...占位符：SQL中替换字符${替换的字符}。在查询控件中可引用。解决方案 按照正确的格式使用占位符或者参数。适用于 Quick BI
管理健康报告
参数化SQL分析从SQL执行频次、SQL执行总耗时、SQL耗时离散度、SQL CPU资源总消耗、SQL内存资源总消耗、SQL执行失败频次等维度进行排序，获取相应的TOP SQL并展现相关指标。通过参数化SQL分析，您可以：获取StarRocks数据库整体的SQL执行...
新建事实逻辑表
缺联策略 缺联策略用于定义来源主表（左表）中存在的字段，但在维度逻辑表（右表）中不存在的字段，即无法关联的字段的计算逻辑。您可以选择 保留原始缺联数据 和 缺联数据使用默认值代替：保留原始缺联数据：创建派生指标时，保留左表原始...
新建事实逻辑表
缺联策略 缺联策略用于定义来源主表（左表）中存在的字段，但在维度逻辑表（右表）中不存在的字段，即无法关联的字段的计算逻辑。您可以选择 保留原始缺联数据 和 缺联数据使用默认值代替：保留原始缺联数据：创建派生指标时，保留左表原始...
Python
cities 表中插入两组数据 sql="insert into cities values(1,'hangzhou'),(2,'shanghai')"cur.execute(sql)#查询 cities 表中的所有数据 sql='select*from cities' cur.execute(sql)ans=cur.fetchall()print(ans)#删除表 cities sql='drop ...
管理函数
查找/替换 在查找框内输入内容以对脚本进行检索，查找后可在替换框内输入内容以对查找内容进行替换。撤销 将脚本回退到上一步操作执行的结果。重做 执行 撤销 操作后，对脚本重新执行撤销前的操作。大小写 提供 全部大写、全部小写 和 首...
管理存储过程
查找/替换 在查找框内输入内容以对脚本进行检索，查找后可在替换框内输入内容以对查找内容进行替换。撤销 将脚本回退到上一步操作执行的结果。重做 执行 撤销 操作后，对脚本重新执行撤销前的操作。大小写 提供 全部大写、全部小写 和 首...
管理程序包
查找/替换 在查找框内输入内容以对脚本进行检索，查找后可在替换框内输入内容以对查找内容进行替换。撤销 将脚本回退到上一步操作执行的结果。重做 执行 撤销 操作后，对脚本重新执行撤销前的操作。大小写 提供 全部大写、全部小写 和 首...
数据开发功能索引
7 业务流程可视化操作面板详情2：流程参数：用于批量替换代码中的统一变量，目前仅支持 ODPS SQL 类型节点使用流程参数。操作历史：用于查看业务流程面板中节点的相关操作记录。查看版本：业务流程每次提交都会生成一个新的版本，您可以在...
文档更新动态（2023年）
支持配置数据源编码，配置数据源编码后，可在Flink SQL任务中通过 数据源编码.table 或 数据源编码.schema.table 的格式引用MySQL、Hologres和MaxCompute数据源中的表。更新说明 创建FTP数据源 创建Salesforce数据源 创建OSS数据源 管理...
新建函数
同时，在编辑页面的工具栏中提供了以下功能键：功能 说明 格式化 单击该按钮对选中的 SQL 语句或当前 SQL 窗口中的所有 SQL 语句进行统一的格式化（缩进、换行和高亮关键字等操作）。查找/替换 在查找框内输入内容以对脚本进行检索，查找后...
新建及管理质量规则模板
选择比较表：选择物理表中需要比较的表及该物理表需要比较的字段。有效性 当 模板类型 选择为 有效性 大类时，对应的参数如下所示。数据标准码表参照对比（需开通数据标准模块）：码表：选择在数据标准下已发布状态的码表，如需创建码表，...
功能更新动态（2023年）
支持配置数据源编码，配置数据源编码后，可在Flink SQL任务中通过 数据源编码.table 或 数据源编码.schema.table 的格式引用MySQL、Hologres和MaxCompute数据源中的表。创建FTP数据源 创建Salesforce数据源 创建OSS数据源 安全设置 安全...
功能更新动态（2024年）
创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 新建Amazon S3数据源 离线集成 新增集成任务列表，支持批量提交...
SQL审核最佳实践
数据管理DMS 的SQL审核功能，支持对SQL语句进行批量审核并提供优化建议，避免无索引或不规范的SQL语句，降低SQL注入风险。本文以对XML文件中多个SQL语句进行审核为例，向您展示配置SQL审核规则、审核目标文件中SQL语句的流程。背景信息 在...
文档更新动态（2024年）
新增集成任务列表，支持批量提交、批量下线删除、批量调度/依赖/参数/运行配置、批量移动目录、批量转交开发负责人、批量获取锁操作。新增Amazon S3输入输出组件。脚本模式输入输出组件字符数扩增至50万。过滤组件新增START WITH和END WITH...
文档更新动态（2022年）
更新说明 补数据实例 批量操作升级：逻辑表实例列表、补数据实例列表批量操作内容优化。更新说明 逻辑表实例 补数据实例 新增 强制重跑下游 操作，以实现全链路数据修复性重跑。新功能 脚本实例 逻辑表实例支持的运维操作 萃取实例 告警...
导入结构和数据
导入文件格式 ODC 导入工具支持导入 ZIP 压缩文件（批量导入和单表导入）、SQL 文件（批量导入）和 CSV 文件（单表导入）。其中，ZIP 压缩文件是以.zip 结尾的压缩包。创建导入任务时在面板中的 导入内容 项中选择了 ZIP 压缩文件 后还需在...
替换数据集
您在应用模板市场的模板或有批量替换电子表格中所有组件的数据字段的需求时，如果表配置比较复杂，如设置了自由式单元格等，手动逐一更新数据将非常低效。您可考虑使用Quick BI数据替换功能，分为页面级数据替换、组件级数据替换，可提高...
通过脚本模式生成API
数据服务支持通过脚本模式或向导模式生成API，相对于向导模式，您可以自行编写API的查询SQL，支持多表关联、复杂查询和聚合函数等功能，满足您个性化查询需求。本文为您介绍如何通过脚本模式生成API。前提条件 配置API前，请先在 工作空间...
脱敏处理
替换所有匹配内容 选中 替换所有匹配内容，则替换该字段中所有的敏感内容。不选中 替换所有匹配内容，则只替换字段中与表达式匹配的第一部分内容。配置示例 原始字段 content:[{'account':'1812213231432969','password':'04a23f38'},{'...
在EMR集群运行TPC-DS Benchmark
do spark-beeline-u jdbc:hive2:/master-1-1:10001/tpcds_bin_partitioned_orc_$SF-f$q>$q.out done 重要 SQL列表中 q30.sql 文件存在列名 c_last_review_date_sk 错写为 c_last_review_date 的情况，所以该SQL运行失败属于正常现象。...
通过EMR运行基于OSS-HDFS服务的TPC-DS Benchmark
TPC-DS作为大数据行业中最权威且被广泛认可的基准测试标准，用于衡量大规模数据处理系统的性能与效率的关键指标。阿里云EMR是第一个通过认证的可运行TPC-DS 100 TB的大数据系统。本文介绍如何在EMR集群环境下，充分利用OSS-HDFS服务的优势...
使用说明
清理完成后，如果需要再次统计通过 dbms_sql.add_trace 存储过程添加的SQL语句的执行情况，您可以通过 dbms_sql.reload_trace 存储过程将 mysql.sql_sharing 表中模板化SQL语句重新导入至 information_schema.sql_sharing 表中。...
新功能发布记录
支持 SQL 规范检查，SQL 窗口中编辑 SQL 语句、创建数据库变更任务和创建表时支持进行 SQL 规范检查。SQL 窗口 导入导出：导入 CSV 单表时支持跳过首行。仅导出结构时支持合并 DDL 为一个 SQL 文件，并按照外键依赖顺序排序。导出时，支持...
HybridDB for MySQL数据源
是 无 column 所配置的表中需要同步的列名集合，使用JSON的数组描述字段信息。默认使用所有列配置，例如[*]。支持列裁剪，即列可以挑选部分列进行导出。支持列换序，即列可以不按照表Schema信息顺序进行导出。支持常量配置，您需要按照SQL...
Quick BI的SQL数据集保存报错“自定义sql保存报错”
产品名称 Quick BI 产品模块 数据集 概述 本文向您介绍SQL数据集保存报错如何处理。问题描述 SQL数据集能够运行，但是保存时会报错“自定义sql保存报错”。...检查SQL中表名是否有特殊符号。2.检查表名是否超过150个字符。
概述
使用指定模式创建的黑白名单SQL语句，即使对应的黑白名单规则都被禁用或被删除，其在数据库表中的SQL语句仍然会被保留。如果对应的黑白名单再次被启用，同账号的规则还是会生效。如果您想彻底删除黑白名单，可通过超级账号连接到对应集群的...
创建并使用MaxCompute表
MaxCompute表数据写入 您可通过 数据集成任务、MaxCompute节点任务 向MaxCompute表中写入数据，此外，DataWorks还支持通过 上传数据 功能将本地数据导入MaxCompute表中。MaxCompute表数据导出 在数据开发（DataStudio）查询数据后，您可...
创建并使用MaxCompute表
MaxCompute表数据写入 您可通过 数据集成任务、MaxCompute节点任务 向MaxCompute表中写入数据，此外，DataWorks还支持通过 上传数据 功能将本地数据导入MaxCompute表中。MaxCompute表数据导出 在数据开发（DataStudio）查询数据后，您可...
数据准备与预处理
本示例的数据预处理主要包括三个处理流程：将原始数据表中，取值为非数值类型的字段，通过SQL替换为数值类型的取值，以保证此预处理后，表中所有字段的取值都是数值类型。将表中字段转换为double类型，以保证此预处理后，表中字段均满足...
通过Excel导入逻辑表
通过导入标准格式的Excel文件或者Visual Paradigm格式文件方式，批量创建逻辑表以及逻辑表的质量规则；同时支持将导出的逻辑表文件快速导入，实现工作组间的逻辑表信息迁移。本文介绍如何通过Excel导入逻辑表。操作步骤 登录 数据资源平台...
通过Excel导入逻辑表
通过导入标准格式的Excel文件或者Visual Paradigm格式文件方式，批量创建逻辑表以及逻辑表的质量规则；同时支持将导出的逻辑表文件快速导入，实现工作组间的逻辑表信息迁移。本文介绍如何通过Excel导入逻辑表。操作步骤 登录企业数据智能...
新建视图
概述 视图是一个虚拟表，其结构和内容是由一张或多张表中的部分数据组成并通过 SELECT 查询语句获取，本身并不包含数据。视图作用 简化数据查询操作：视图能够将数据库中不同表中所需的数据组合成一个单表，利用视图，将多表查询转换成视图...
设置黑名单规则
说明 用户自定义SQL参数化模式 规则中的参数化SQL语句，以及 用户自定义具体SQL模式 规则中的具体SQL语句不支持在控制台修改，只能在数据库表中进行删除后重新添加。删除黑名单规则 登录 PolarDB控制台。在控制台左上角，选择集群所在地域...
导出和导入逻辑表质量规则
说明 该文件是从系统导出的Excel格式的质量规则，根据Excel中模型规则、字段规则和自定义SQL规则信息导入逻辑表的规则。选择重复内容处理方式。替换已有内容：将新导入的内容替换已经存在的历史内容。保留已有内容：保留历史内容。单击 ...
- 产品推荐
- 这些文档可能帮助您