使用SQL模式创建数据服务API
SQL模式创建数据服务API适用于多表关联、复杂筛选过滤的查询，通过编写SQL代码的方式完成API封装。本文介绍如何用SQL模式创建数据API。前提条件 已创建云计算资源，具体操作，请参见 新建云计算资源。已创建应用，具体操作，请参见 新建...
SQL洞察
安全审计：可自动识别高危SQL、SQL注入、新增访问来源等风险。流量回放和压测：提供流量回放和压测功能，帮助您验证您的实例规格是否需要扩容，有效应对业务流量高峰。分析：对指定时间段的SQL进行分析，找出异常SQL，定位性能问题。开通...
Dataphin中SQL代码任务提交的时候报错“Column Not ...
问题描述 Dataphin中SQL代码任务提交的时候报错“Column Not Found”。select sum(inatmoney)from${abc_group_ods}.s_abc 问题原因 检查元数据，开发生产环境都存在表s_abc。将项目名变量替换为开发项目名，也是报一样的错误。对开发环境该...
Zeppelin概述
Spark SQL%spark.sql 表示执行Spark SQL代码。spark.sql show tables;select*from people;返回信息如下所示。如何使用Flink 在Zeppelin页面，单击 Create new note。在 Create new note 对话框，输入 Note Name，选择 Default Interpreter ...
SQL作业开发
使用说明 在编写SQL作业代码时，您可以使用内置的丰富连接器，也可以使用自定义函数、自定义连接器等功能。相关的使用场景和使用方法详情如下：支持的连接器 密钥管理 管理自定义连接器 管理自定义函数（UDF）管理元数据 操作步骤 登录...
创建EMR Presto节点
Presto（即PrestoDB）是一款灵活、可扩展的分布式SQL查询引擎，支持使用标准的SQL查询语言进行大数据的交互式分析查询（Presto概述），DataWorks为您提供EMR Presto节点，便于您在DataWorks上进行Presto任务的开发和周期性调度。...
创建EMR Kyuubi节点
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在节点编辑页面右侧导航栏的 调度配置>调度参数，为该变量赋值。调度参数支持的格式及...
配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
设置区域封禁
区域封禁即在DDoS高防清洗机房对指定地域的访问流量进行一键封禁，达到阻断非法请求的目的。本文介绍如何设置区域封禁。功能介绍 DDoS高防支持两种区域封禁策略，针对DDoS高防实例的区域封禁和针对域名的区域封禁。针对DDoS高防实例的区域...
脚本模式：高级SQL（Mybatis语法）示例
数据服务支持通过脚本模式来生成API，脚本模式可使用基础SQL或高级SQL语法编写查询逻辑。其中，高级SQL涵盖了Mybatis语法的常见标签类型（例如，if、choose、when、otherwise、trim、foreach、where），您可以借助标签语法来灵活实现空值...
DataWorks V2.0
组件管理（新增）整体功能 无 将大量相似并可复用的SQL代码抽象为SQL代码块或节点任务，可供您自由地配置输入输出参数，并将其运用到各个不同的实际业务中。运行历史（新增）整体功能 无 展示最近三天内，在本地运行过的所有任务记录。同时...
2020年
2020-07-24 全部区域 聚合函数 支持代码嵌入式UDF 代码嵌入式UDF支持将Java或Python代码嵌入SQL脚本。您可以将SQL脚本和第三方代码放入同一个源码文件，减少使用UDT或UDF的操作步骤，方便日常开发。2020-07-24 全部区域 UDF（嵌入式）支持...
开发ODPS SQL任务
DataWorks为您提供ODPS SQL节点，可用于周期性调度MaxCompute的SQL任务，并完成与其他类型节点的集成和联合调度。MaxCompute SQL任务采用类似SQL的语法，适用于海量数据（TB级）但实时性要求不高的分布式处理场景。本文为您介绍在DataWorks...
开发ODPS SQL任务
DataWorks为您提供ODPS SQL节点，可用于周期性调度MaxCompute的SQL任务，并完成与其他类型节点的集成和联合调度。MaxCompute SQL任务采用类似SQL的语法，适用于海量数据（TB级）但实时性要求不高的分布式处理场景。本文为您介绍在DataWorks...
SQL洞察和审计
安全审计：可自动识别高危SQL、SQL注入、新增访问来源等风险。流量回放和压测：提供流量回放和压测功能，帮助您验证您的实例规格是否需要扩容，有效应对业务流量高峰。分析：对指定时间段的SQL进行分析，找出异常SQL，定位性能问题。使用...
SQL洞察和审计
安全审计：可自动识别高危SQL、SQL注入、新增访问来源等风险。流量回放和压测：提供流量回放和压测功能，帮助您验证您的实例规格是否需要扩容，有效应对业务流量高峰。分析：对指定时间段的SQL进行分析，找出异常SQL，定位性能问题。使用...
SQL任务开发
您可以在此处查看或对比任务版本信息，支持对SQL代码内容进行版本间的对比，并将不同之处进行标记。运行并发布任务。单击 运行。返回结果信息可以在下方的 运行结果 中查看。如果有异常，则可以在 运行问题 中查看。确认运行无误后，单击右...
Table/SQL JAR迁移至SQL
本文为您介绍如何将Table/SQL JAR作业迁移至Flink全托管的SQL作业中。背景信息 本文将使用开源JDBC Connector写阿里云RDS的方式进行Table/SQL JAR迁移至SQL，因此需要额外配置附加依赖文件选项。实时计算Flink全托管版集群内置了商业化的...
代码模板
Flink全托管为您提供了丰富的代码模板，每种代码模板都为您提供了具体的使用场景、代码示例和使用指导。您可以通过代码模板快速地了解Flink产品功能和相关语法，实现自己的业务逻辑。本文为您介绍代码模板的使用场景和操作步骤。使用限制 ...
Quick BI中SQL即席SQL运行报错“SELECT command ...
问题描述 生成数据集的SQL代码在Navicate中运行没有问题，但是Quick BI中执行报错：“SELECT command denied to user 'quickbi_pktbx'@'*.*.*.*' for table 'doll_client_burying_point'”。完整的异常信息如下：traceId:75697ced-082c-...
查询脚本
填写SQL代码。支持Call命令和DDL、DQL、DML语法。默认使用批模式，您可以使用如下所示的SET语法修改为流模式。SET 'execution.runtime-mode'='streaming';选择或创建Session集群。单击页面右下角的执行环境，选择对应版本的Session集群...
Hologres SQL节点
新建节点成功后，编写符合语法的Hologres SQL代码，SQL语法请参见 SELECT。说明 使用不包含 limit 限制条件的 SELECT 语法查询数据时，默认只显示200条查询结果。如果您需要显示更多数据，则可以在 SELECT 语法后添加 limit 限制。最多支持...
数据开发概述
编码研发用于构建计算任务，例如创建SQL代码任务、Shell任务、Python任务、MR任务和Spark任务；规范建模用于构建逻辑化的数据模型。前提条件 若需进行实时开发，需已购买实时研发增值服务。详情请参见 开通Dataphin。功能介绍 规范建模：...
数据开发概述
编码研发用于构建计算任务，例如创建SQL代码任务、Shell任务、Python任务、MR任务和Spark任务；规范建模用于构建逻辑化的数据模型。前提条件 若需进行实时开发，需已购买实时研发增值服务并且当前租户已开通实时研发模块。功能介绍 规范...
PostgreSQL节点
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在节点编辑页面右侧导航栏的 调度配置>调度参数，为该变量赋值。调度参数支持的格式及...
离线数据加工卡点
代码提交的卡点校验 代码提交卡点主要包括您在提交代码时，手动或自动进行SQL扫描，检查您的SQL逻辑。校验规则分类如下：代码规范类规则。例如，表命名规范、生命周期设置及表注释等。代码质量类规则。例如，分母为0提醒、NULL值参与计算...
离线数据加工卡点校验
代码提交卡点校验 代码提交卡点校验主要包括您在提交代码时，手动或自动进行SQL扫描，检查您的SQL逻辑。校验规则分类如下：代码规范类规则。例如，表命名规范、生命周期设置及表注释等。代码质量类规则。例如，分母为0提醒、NULL值参与计算...
StarRocks
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在节点编辑页面右侧导航栏的 调度配置>调度参数，为该变量赋值。调度参数支持的格式及...
快速体验
DataWorks的数据分析功能为企业提供了全面的数据分析和服务共享能力，可便捷地连接多种数据源、支持SQL查询，并提供电子表格等多样化的数据分析工具，以满足企业日常的数据提取和分析需求。本文将通过MaxCompute引擎在SQL查询中对公共数据...
Oracle节点
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在节点编辑页面右侧导航栏的 调度配置>调度参数，为该变量赋值。调度参数支持的格式及...
ePQ Hint Injection
简介 ePQ Hint Injection功能适用于跨机并行查询（ePQ），数据库运维时，在无法直接给SQL增加PX Hint的情况下，可以通过ePQ Hint Injection功能对指定SQL注入PX Hint。在不改造SQL的情况下，可以让指定的SQL运行或者不运行ePQ。使用指南 ...
ePQ Hint Injection
简介 ePQ Hint Injection功能适用于跨机并行查询（ePQ），数据库运维时，在无法直接给SQL增加PX Hint的情况下，可以通过ePQ Hint Injection功能对指定SQL注入PX Hint。在不改造SQL的情况下，可以让指定的SQL运行或者不运行ePQ。使用指南 ...
ePQ Hint Injection
简介 ePQ Hint Injection功能适用于跨机并行查询（ePQ），数据库运维时，在无法直接给SQL增加PX Hint的情况下，可以通过ePQ Hint Injection功能对指定SQL注入PX Hint。在不改造SQL的情况下，可以让指定的SQL运行或者不运行ePQ。使用指南 ...
从Flink SQL导入
本文介绍如何使用Flink SQL方式将Flink中的数据写入 云数据库ClickHouse。使用限制 只有Flink计算引擎VVR 3.0.2及以上版本支持使用Flink SQL写入 云数据库ClickHouse。前提条件 已在 云数据库ClickHouse 中创建表。更多信息，请参见 创建表...
Flink SQL作业快速入门
本文通过简单的示例，带您快速体验Flink SQL作业的创建、部署和启动等操作，以了解Flink SQL作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作...
ADAM概览
应用采集器：收集、分析Oracle、Db2和Teradarta的Java应用框架与运行信息，包含应用机器性能信息、应用代码中SQL信息、运行时SQL调用堆栈、应用与数据库间调用关系和应用与应用间调用关系，全面覆盖应用实际运行状况，同时对结果中的数据...
SQL任务快速入门
EMR Serverless Spark支持通过SQL代码编辑和运行任务。本文带您快速体验Spark SQL任务的创建、启动和运维等操作。前提条件 已准备阿里云账号，详情请参见 账号注册。已完成角色授权，详情请参见 阿里云账号角色授权。已创建工作空间和...
从Logstore到Logstore
SQL代码 显示您在步骤 4 中输入的查询和分析语句。此处的预览操作与步骤 4 中的操作一致，用于验证您所使用的查询和分析语句是否正确，执行结果是否有数据。SQL任务运行时，日志服务 将执行该查询和分析语句分析数据。源Project/Logstore ...
定制场景策略
DDoS高防的定制场景策略允许您在特定的业务突增时段（例如新业务上线、双11大促销等）选择应用独立于通用防护策略的定制防护策略模板，保证适应业务需求的防护效果。您可以根据需要设置定制场景策略。背景信息 定制场景策略提供基于业务...
从Logstore到MetricStore
SQL代码 显示您在步骤 4 中输入的查询和分析语句。此处的预览操作与步骤 4 中的操作一致，用于验证您所使用的查询和分析语句是否正确，执行结果是否有数据。SQL任务运行时，日志服务 将执行该查询和分析语句分析数据。SQL配置 指标列 日志...
- 产品推荐
- 这些文档可能帮助您