网络开通流程
例如，使用DataWorks进行数据同步或数据清洗时，需保障DataWorks的资源组与数据源网络连通、DataWorks的沙箱白名单没有限制数据源的访问，DataWorks的资源组网络连通与沙箱配置请参见：配置资源组与网络连通。功能介绍 MaxCompute与目标...
ClickHouse SQL
步骤二：开发ClickHouse SQL任务（可选）选择ClickHouse数据源 如果您的工作空间创建了多个ClickHouse数据源，则需先在ClickHouse SQL节点编辑页面选择合适的数据源。如果仅创建了一个ClickHouse数据源，则默认使用该数据源进行开发操作。...
MongoDB
Djavax.net.ssl.trustStore=/home/hadoop/cer/ApsaraDB-CA-Chain.jks -Djavax.net.ssl.trustStorePassword=*执行代码访问MongoDB数据源%spark val mongoDF=spark.read.format("com.mongodb.spark.sql").option("uri",mongodb:/root:*@dds-*...
SQL查询概述
Dataphin分析平台提供SQL查询功能，可在平台上创建SQL查询并编写SQL代码查询所需的数据，同时支持根据查询结果进行可视化统计与分析。应用场景 提取并下载数据：通过SQL查询可以对计算源中的数据进行提取、聚合、过滤、排序等操作，并支持...
SQL查询概述
Dataphin分析平台提供SQL查询功能，可在平台上创建SQL查询并编写SQL代码查询所需的数据，同时支持根据查询结果进行可视化统计与分析。应用场景 提取并下载数据：通过SQL查询可以对计算源中的数据进行提取、聚合、过滤、排序等操作，并支持...
Dataphin计算源为CDH,代码任务运行报错“java.lang....
问题描述 Dataphin计算源为CDH,代码任务和即席SQL运行报错“java.lang.IllegalArgumentException:Bucket ID out of range:1”。完整的异常信息如下：2022-03-24 16:05:08.652 Task failed:java.sql.SQLException:Error while compiling ...
快速体验
DataWorks的数据分析功能为企业提供了全面的数据分析和服务共享能力，可便捷地连接多种数据源、支持SQL查询，并提供电子表格等多样化的数据分析工具，以满足企业日常的数据提取和分析需求。本文将通过MaxCompute引擎在SQL查询中对公共数据...
产品概述
DataV-Card 可视分析创作间 DataV-Card可视分析创作间是一款专为高频数据处理的业务人员而设计的零代码数据可视分析产品。它提供简单、直观、易于使用的数据准备、洞察发现和可视化分析工具，让用户可以通过具象、生动、有趣的方式快速理解...
Quick BI v4.3版本说明
发布日期 2022年04月14日 重点升级概览 全新上线数据准备模块，以可视化低代码的方式完成分析前的数据整理工作。支持可视化数据处理、预览，包括聚合、关联、合并、清洗加工。支持多种调度方式，包括手动调度，周期调度和动态参数调度。...
StarRocks
背景信息 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）数据库，兼容MySQL协议的OLAP分析引擎，提供了卓越的性能和丰富的OLAP场景模型，包括OLAP多维分析、数据湖分析、高并发查询以及实时数据分析。更多关于StarRocks...
EMR Serverless Spark与其他VPC间网络互通
通过网络连接功能，您可以访问自有VPC（Virtual Private Cloud）内的数据源。本文将以SparkSQL和Application JAR类型任务连接至您的自有VPC的HMS（Hive Metastore）服务为例，为您介绍如何配置并访问自有VPC内的数据源。前提条件 已准备好...
构建模型
在数据分析时，当需要分析的数据存储在不同的表，您可以通过数据关联，把多个表连接起来，形成模型进行数据分析。前提条件 您已创建数据集，请参见 创建并管理数据集。背景信息 Quick BI支持左外连接（LEFT JOIN）、内连接（INNER JOIN）、...
错误码定义
1XXX:通用错误 错误代码（旧）错误代码 错误信息 InternalError 1000 系统内部错误 App.InvalidParameter.SchemaEmpty 1001 应用结构不能为空 InvalidParameter.ReservedWord 1005 名字中包含了保留字 InternalError 1006 访问后端服务超时...
错误码定义
1XXX:通用错误 错误代码（旧）错误代码 错误信息 InternalError 1000 系统内部错误 App.InvalidParameter.SchemaEmpty 1001 应用结构不能为空 InvalidParameter.ReservedWord 1005 名字中包含了保留字 InternalError 1006 访问后端服务超时...
创建并管理数据集
Quick BI中数据集是可视化分析的基础，您可以将需要分析的数据表创建为数据集，Quick BI支持可视化配置或自定义SQL方式创建数据集。前提条件 您已获取数据，请参见 连接数据源。功能入口 在Quick BI产品首页，通过以下入口，进入创建数据集...
访问OSS-HDFS数据源
AnalyticDB for MySQL 湖仓版（3.0）Spark支持访问OSS-HDFS数据源，本文介绍如何使用Spark来操作OSS-HDFS数据。前提条件 AnalyticDB MySQL 湖仓版（3.0）集群与OSS存储空间位于相同地域。已在湖仓版（3.0）集群中创建Job型资源组。具体操作...
自定义SQL
在数据分析中，一些复杂的逻辑或模型可通过自定义SQL创建数据表。并且自定义SQL支持传参，可满足更复杂多变的分析场景。前提条件 您已获取数据，请参见 连接数据源。使用限制 API数据源不支持自定义SQL。输入SQL代码 您可以通过以下2种方式...
创建EMR Impala节点
说明 访问公共网络或VPC网络环境的数据源需要使用与数据源测试连通性成功的调度资源组。详情请参见 配置资源组与网络连通。如果您后续执行任务需要修改使用的资源组，您可单击 带参运行 图标，选择需要更换的调度资源组。使用SQL语句创建...
配置同步任务
配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。配置流程说明 同步任务的配置流程如下图。来源表和目标表均支持多种数据源。数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、...
概述
功能优势 数据填报是指0代码在线数据收集工具，用于用户一站式完成自定义表单、智能数据上报、数据统计和分析：一站式：一站式完成数据收集、数据建模、数据分析和可视化结果呈现。简单易用：0代码搭建表单，提供丰富的组件，降低门槛，...
Quick BI v4.6.1版本说明
专业版 支持卡片视图，快速制作分栏报表以及可视化分析报告中的指标卡。专业版 支持分页看数，轻松应对大数据量展示。专业版 支持数据透视表，类Excel计算、汇总和分析数据。新增自定义排序能力。增加Excel自动求和标识能力。仪表板 配置...
什么是Quick BI
极易上手完成报表制作 便捷数据准备 ETL引擎0代码完成数据准备，让数据自助分析不再有门槛 全场景 多端数据呈现 适配PC端、移动端和大屏端，实现不同设备上的数据分析与呈现 无缝办公协同 可集成至办公IM应用（钉钉、企业微信、飞书）中，...
Cassandra
INSERT INTO spark_test(first_name,last_name)VALUES('hadoop','big data basic plateform');INSERT INTO spark_test(first_name,last_name)VALUES('spark','big data compute engine');INSERT INTO spark_test(first_name,last_name)...
UNLOAD
本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行（odpscmd）连接 使用DataWorks连接 MaxCompute Studio 功能介绍 MaxCompute支持使用 unload 命令将MaxCompute的数据导出至 OSS、Hologres 外部存储...
UNLOAD
本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行（odpscmd）连接 使用DataWorks连接 MaxCompute Studio 功能介绍 MaxCompute支持使用 unload 命令将MaxCompute的数据导出至 OSS、Hologres 外部存储...
Quick BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入阿里云Quick BI，对海量数据进行实时在线分析服务，同时支持拖拽式操作和丰富的可视化效果，帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。本文为您介绍如何使用Quick BI连接...
SQL常见问题
Watermark&Low Watermark Task InputWatermark 源表中Watermark声明使用的字段是TIMESTAMP（TIMESTAMP(p)WITHOUT TIME ZONE）类型。CREATE TEMPORARY TABLE s1(a INT,b INT,-模拟数据源中的TIMESTAMP无时区信息，从2024-01-31 01:00:00开始...
新建用户自定义函数
离线计算函数用于管理离线计算任务代码开发过程中用到的SQL函数，包括计算引擎源常用且系统默认支持的函数和用户自定义函数，前者不支持编辑操作。本文为您介绍如何新建用户自定义函数。前提条件 完成资源的创建，详情请参见 上传资源及...
ListCalcEngines
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ListCalcEngines 系统规定参数。取值：ListCalcEngines。ProjectId Long 是 27 计算引擎所属的DataWorks工作空间。Name ...
配置Hive输出组件
同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg...
Kafka
重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请参见 访问Kafka数据源。前提条件 在DLA Serverless Spark中...
Spark对接DataHub
本文介绍如何在E-MapReduce的Hadoop集群，运行Spark作业消费DataHub数据、统计数据个数并打印出来。Spark Streaming消费DataHub 准备工作 使用DataHub的订阅功能订阅Topic，详细信息请参见 创建订阅。消费DataHub数据 运行Spark Streaming...
Spark FAQ
查看Dead状态的Executor日志，如果报错位置位于用户业务代码，需要业务开发解决。其他错误信息您可以在搜索引擎中搜索相关报错信息。Spark访问数据源网络不通怎么办？默认情况下，DLA Spark不能访问用户VPC，只能访问OSS、Tablestore、...
配置TDH Inceptor输出组件
同步其他数据源的数据至TDH Inceptor数据源的场景中，完成源数据源的信息配置后，需要配置TDH Inceptor输出组件写入数据的目标数据源。本文为您介绍如何配置TDH Inceptor输出组件。使用限制 TDH Inceptor输出组件支持写入文件格式为orc、...
数据准备快速入门
数据准备（轻量ETL）可以将数据源表或者数据集中的数据进行清洗、聚合、关联和合并等操作，并将加工后的数据输出，让不会写SQL代码的业务人员能够低成本完成BI可视化数据的准备。常规流程为在数据源模块建立数据库连接后，开发者将数据源表...
实施步骤
本文档主要介绍如何使用OSS+DLA+Quick BI实现数据的存储、交互式查询分析、输出BI报表的整体数据处理流程。步骤一：创建OSS Schema和表 在DLA中创建OSS Schema和表。示例如下：/创建OSS Schema。CREATE SCHEMA my_schema_name WITH ...
HBase
前提条件 保证Serverless Spark能够访问您的VPC，详情请参见 配置数据源网络。注意 ENI交换机和安全组可以使用用户集群已有的ENI交换机和安全组。操作步骤 将ENI交换机网段添加到HBase服务的白名单/安全组中。当您需要访问Xpack-HBase时，...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
上下游存储
Kafka源表 Flink如何获取JSON数据？Flink和Kafka网络连通，但Flink无法消费或者写入数据？为什么Kafka源表数据基于Event Time的窗口后，不能输出数据？Flink中的Commit Offset有什么作用？为什么Flink和Kafka之间的网络是连通的，但是依然...
等保合规能力说明
部署云防火墙实现南北向和东西向访问的网络流量分析、全网流量可视化、对主动外联行为的分析和阻断、开通或变更白名单策略。网络流量分析概述 安全区域边界>访问控制 13 应在网络边界或区域之间根据访问控制策略设置访问控制规则，默认情况...
- 产品推荐
- 这些文档可能帮助您