XML 类型
XML数据类型可用于存储XML数据。这个数据类型在存储XML数据时的优点在于，它能够检查输入值的结构完整性，而且还有函数来支持类型安全的操作。就像XML标准定义的一样，XML类型能够存储结构完整的“文档”。同时XML 类型也可以存储碎片...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
透明数据加密概述
经过数据库身份验证的应用和用户可以继续透明地访问应用数据（不需要更改应用代码或配置），而尝试读取表空间文件中的敏感数据的OS用户以及尝试读取磁盘或备份信息的未知用户将不允许访问明文数据。透明：数据在使用过程中无感知，数据在...
索引数据可见性
solrconfig.xml中的配置 创建索引时需要指定配置集 config set，配置集中的 solrconfig.xml 文件可以用来控制索引数据的可见性。如何获取 solrconfig.xml，请参见 更新配置集。soft commit<autoSoftCommit><maxTime>${solr.autoSoftCommit....
索引数据可见性
配置solrconfig.xml 创建索引时需要指定配置集 config set，配置集中的 solrconfig.xml 文件可以用来控制索引数据的可见性。soft commit<autoSoftCommit><maxTime>${solr.autoSoftCommit.maxTime:15000}</maxTime></autoSoftCommit>数据...
创建OpenGauss数据源
通过创建OpenGauss数据源能够实现Dataphin读取OpenGauss的业务数据或向OpenGauss写入数据。本文为您介绍如何创建OpenGauss数据源。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。操作步骤 在...
创建OpenGauss数据源
通过创建OpenGauss数据源能够实现Dataphin读取OpenGauss的业务数据或向OpenGauss写入数据。本文为您介绍如何创建OpenGauss数据源。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。操作步骤 在...
创建OSS数据源
通过创建OSS数据源能够实现Dataphin读取OSS的业务数据或向OSS写入数据。本文为您介绍如何创建OSS数据源。背景信息 OSS即阿里云对象存储OSS。如果您使用的是阿里云对象存储OSS，在对接Dataphin进行数据开发或将Dataphin的数据写入至OSS时，...
授权概述
RAM用户：需完成MaxCompute投递操作授权和MaxCompute投递任务访问数据的授权。MaxCompute投递操作授权 操作权限包括创建、删除、修改、查看MaxCompute投递任务等。阿里云账号：具备日志服务管理权限（AliyunLogFullAccess）。您无需为阿里...
创建OSS数据源
通过创建OSS数据源能够实现Dataphin读取OSS的业务数据或向OSS写入数据。本文为您介绍如何创建OSS数据源。背景信息 OSS即阿里云对象存储OSS。如果您使用的是阿里云对象存储OSS，在对接Dataphin进行数据开发或将Dataphin的数据写入至OSS时，...
创建OceanBase数据源
通过创建OceanBase数据源能够实现Dataphin读取OceanBase的业务数据或向OceanBase写入数据。本文为您介绍如何创建OceanBase数据源。背景信息 OceanBase即阿里云数据库OceanBase，是阿里巴巴和蚂蚁金服100%自主研发的金融级分布式关系数据库...
创建HBase数据源
通过创建HBase数据源能够实现Dataphin读取HBase的业务数据或向HBase写入数据。本文为您介绍如何创建HBase数据源。背景信息 HBase是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是HBase，在导出Dataphin数据至HBase，您...
OSS数据源
}"否 无 column 读取字段列表，type指定源数据的类型，index指定当前列来自于文本第几列（以0开始），value指定当前类型为常量，不是从源头文件读取数据，而是根据value值自动生成对应的列。默认情况下，您可以全部按照String类型读取数据...
配置Teradata输出组件
本文为您介绍如何配置Teradata输出组件。前提条件 已创建Teradata数据源，如何创建，请参见 创建Tablestore数据源。进行Teradata输出组件属性配置的账号，需具备该数据源的同步读权限。如果没有权限，则需要申请数据源权限，详情请参见 ...
配置Teradata输出组件
本文为您介绍如何配置Teradata输出组件。前提条件 已创建Teradata数据源，如何创建，请参见 创建Tablestore数据源。进行Teradata输出组件属性配置的账号，需具备该数据源的同步读权限。如果没有权限，则需要申请数据源权限，详情请参见 ...
部署与测试
数据库连接的环境信息添加完成后，回到 CloudIDE，点击「测试」看看效果，我们可以看到，这次没有再出现错误提示，在UI上看到了从数据库读取的数据，在「输出」栏也看到了数据库数据的输出日志。至此，我们通过测试功能，完成了一个数据库...
配置OceanBase输出组件
本文为您介绍如何配置OceanBase输出组件。操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 OceanBase输出配置 对话框。在 OceanBase输出配置 ...
配置OceanBase输出组件
本文为您介绍如何配置OceanBase输出组件。前提条件 已创建OceanBase数据源。具体操作，请参见 创建OceanBase数据源。进行OceanBase输出组件属性配置的账号，需具备该数据源的同步读权限。如果没有权限，则需要申请数据源权限。具体操作，请...
配置IBM DB2输出组件
本文为您介绍如何配置IBM DB2输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 IBM DB2输出配置 对话框。在 IBM DB2输出配置 对话框，配置参数。...
配置IBM DB2输出组件
本文为您介绍如何配置IBM DB2输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 IBM DB2输出配置 对话框。在 IBM DB2输出配置 对话框，配置参数。...
配置user.xml参数
背景介绍 ClickHouse集群有若干参数，参数默认值通常配置在config.xml和user.xml文件中，您可以通过修改参数帮助进行实例优化，其中：config.xml配置文件中的参数，您可以通过控制台进行在线修改并重启实例使修改后的参数生效。详情请参见 ...
CSV
本文介绍如何在DLA中为不同编码格式的CSV类型的数据文件创建表，以及如何通过OpenCSVSerDe处理CSV文件中特殊格式的数据。创建数据文件表之前，您需要先创建OSS Schema，本文示例中所有数据文件表均使用以下OSS Schema。CREATE SCHEMA dla_...
使用执行计划分析查询
数据输出方法 表示在两个相邻的Stage间，上游向下游Stage传输数据时所用的方法。AnalyticDB MySQL版 支持以下数据输出方法。数据输出方法 说明 Broadcast 表示上游Stage中每个计算节点的数据都会复制到所有下游Stage的计算节点。...
数据源资产详情
② 资产详情 为您展示数据源的 读取任务 和 写入任务：在 读取任务 页签，您可以查看读取的 任务名称、任务类型、来源表、目标表、目标数据源/项目/板块、创建人 信息。在 写入任务 页签，您可以查看写入的 任务名称、任务类型、来源数据源...
数据源资产详情
② 资产详情 为您展示数据源的 读取任务 和 写入任务：在 读取任务 页签，您可以查看读取的 任务名称、任务类型、来源表、目标表、目标数据源/项目/板块、创建人 信息。在 写入任务 页签，您可以查看写入的 任务名称、任务类型、来源数据源...
Amazon S3数据源
Simple Storage Service（简称S3）是一种专为从任意位置存储和检索任意数量的数据而构建的对象存储，DataWorks数据集成支持使用Amazon S3 Reader插件从S3数据库读取数据，本文为您介绍DataWorks的Amazon S3数据读取能力。支持的Amazon S3...
创建Hologres数据源
新建Hologres数据源用于实现Dataphin能够读取Hologres的业务数据，及能够向Hologres写入数据。在引入Hologres的业务数据至Dataphin和将Dataphin的数据写入至Hologres的场景中，您需要先创建Hologres数据源。本文为您介绍如何新建Hologres...
创建Hologres数据源
新建Hologres数据源用于实现Dataphin能够读取Hologres的业务数据，及能够向Hologres写入数据。在引入Hologres的业务数据至Dataphin和将Dataphin的数据写入至Hologres的场景中，您需要先创建Hologres数据源。本文为您介绍如何新建Hologres...
RDS(SQL Server)
spark/从oss读取数据到spark的rdd import org.apache.spark.sql.types.{LongType,StringType,StructField,StructType} import org.apache.spark.sql.{Row,SQLContext}/从oss地址读取文本文档（注意oss文件在账号下上传到对应目录）val text...
DML差异
LOAD XML 不支持 将数据从XML文件读取到表中。REPLACE 支持，详情请参见 REPLACE INTO。REPLACE的运行与INSERT完全相同，不同之处在于，如果表中的旧行与PRIMARY KEY或UNIQUE索引的新行具有相同的值，则在插入新行之前删除该旧行。SELECT，...
数据归档OSS
低成本高可靠：OSS具有低成本、高可靠的特点，能够帮助客户以更经济高效的方式实现数据归档存储，并保持数据的安全可靠性。业务无影响：数据归档至OSS的功能不会导致实例停机，也不会对用户的业务正常操作造成任何影响，保障了业务的稳定性...
产品优势
本文档主要为您说明阿里云数据库文件存储DBFS的主要优势。数据库文件存储DBFS是阿里云推出的一款针对数据库场景的文件存储。它在性能、弹性、高可用、成本及数据安全等维度上做了诸多技术创新与优化。适合云上自建数据库使用，提供企业级...
配置HBase输出组件
同步其他数据源的数据至HBase数据源的场景中，完成源数据的信息配置后，需要配置HBase输出组件的目标数据源。本文为您介绍如何配置HBase输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照下图指引，...
分层存储命令使用说明
通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive-archive-i/a<path>.:Archive commands.JindoFS分层存储...
分层存储命令使用说明
通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive-archive-i/a<path>.:Archive commands.JindoFS分层存储...
分层存储命令使用说明
通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive-archive-i/a<path>.:Archive commands.JindoFS分层存储...
分层存储命令使用说明
通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive-archive-i/a<path>.:Archive commands.JindoFS分层存储...
分层存储命令使用说明
通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive-archive-i/a<path>.:Archive commands.JindoFS分层存储...
分层存储命令使用说明
通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive-archive-i/a<path>.:Archive commands.JindoFS分层存储...
- 产品推荐
- 这些文档可能帮助您