资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务，详情请参见 开通Dataphin。应用场景 基于Dataphin实现数据安全保护的一些典型的...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前租户已开通 资产安全 模块。应用场景 基于Dataphin实现数据安全保护的一些...
通过实时计算订阅数据
说明 如果数据格式不匹配，需要进行相应的 数据格式转换 工作，例如使用 from_unixtime 函数等。示例代码如下：INSERT INTO target_table SELECT t.dts_order_id,t.dts_buyer_id,t.dts_buyer_name,t.dts_product_id,t.dts_product_name,t....
数据库分组
若您需要在SQL变更或结构设计中快速载入多个数据库，可以创建一个数据库分组，将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。本文介绍如何创建数据库分组。背景信息 当您的业务部署在多个地域，且存在多个数据库时，您每次做...
CREATE CAST
CREATE CAST用于定义数据类型之间的转换。本文为您介绍CREATE CAST的用法。语法 CREATE CAST(source_type AS target_type)WITH INOUT[AS ASSIGNMENT|AS IMPLICIT]参数说明如下表所示。参数 描述 source_type 该转换的源数据类型。target_...
修改名单抽奖数据
在下方的数据配置区域内，按照您的需求自定义修改模板已有的数据，或直接粘贴准备好的JSON格式的数据。说明 添加数据时的字段名要和系统设置保持一致。数据配置完成后，您可以在 设置数据源 页面单击 数据响应结果 的 图标刷新数据响应结果...
修改名单抽奖数据
在下方的数据配置区域内，按照您的需求自定义修改模板已有的数据，或直接粘贴准备好的JSON格式的数据。说明 添加数据时的字段名要和系统设置保持一致。数据配置完成后，您可以在 设置数据源 页面单击 数据响应结果 的 图标刷新数据响应结果...
数据类型和转换
转换 语法:允许用户在查询中执行基本的类型转换。目前，TSDB For InfluxDB®支持field value从整数转换成浮点数，或者从浮点数转换成整数。语法 SELECT_clause<field_key>:< type >FROM_clause 语法描述 type 可以是 float 或 integer。如果...
添加数据
由于本示例的数据区域是全国范围，因此 裁剪边界数据接口 的数据可以保持不变。您也可以根据需要修改 裁剪边界数据接口 的数据。在 插值点数据接口 的配置页面，单击 配置数据源。在 设置数据源 页面，按照以下说明配置数据源。数据源类型...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
MaxCompute数据源
如果数据转换失败，或数据写出至目的端数据源失败，则将数据作为脏数据，您可以配合脏数据限制阈值使用。数据同步前准备：MaxCompute环境准备 读取或写入MaxCompute表数据时，您可以根据需要选择是否开启相关属性。连接MaxCompute并开启...
什么是Dataphin
创建资源 新建用户自定义函数 数据萃取 基于Dataphin数据建模研发沉淀的数据，萃取提供以目标对象为中心的数据打通和深度挖掘，并生成代码与调度任务，完成实体对象识别、连接及标签生产，可快速应用于各类业务。数据萃取 发布 生产开发...
SDK概述
修复Tablestore数据格式转换错误问题。修复DataHub数据源在作业Failover时重试offset错误的问题。v1.7.0 Spark Structured Streaming支持DataHub数据源。Spark Structured Streaming支持JDBC数据源。Spark Structured Streaming支持HBase...
创建Aliyun HBase数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Dataphin数据源表开发方式。重要 数据源编码配置成功后不支持修改。数据源描述 对数据源的简单...
配置SQLServer数据源
背景信息 标准模式的工作空间支持数据源隔离功能，您可以分别添加并隔离开发环境和生产环境的数据源，以保护您的数据安全。详情请参见 数据源开发和生产环境隔离。操作步骤 进入 数据源管理 页面。登录 DataWorks控制台。在左侧导航栏，...
创建Aliyun HBase数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 附录：数据源白名单配置。权限说明 仅支持 超级管理员、...
删除分区数据
本文为您介绍迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户时，ALTER TABLE DDL 删除分区数据的支持转换范围。总览 truncate_partition_subpart:TRUNCATE { partition_extended_names|subpartition_extended_names }[{ DROP...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
组件使用常见问题
您可以联系高德或者其他地图供应商，咨询离线地图的数据与服务价格。如果需要接入自定义配置的底图，且需要支持离线即本地部署，有什么方案可以提供选择？目前主要有三种方案可供选择：专业的方案：您可以参考TMS规范，使用ArcGIS Server、...
组件使用常见问题
您可以联系高德或者其他地图供应商，咨询离线地图的数据与服务价格。如果需要接入自定义配置的底图，且需要支持离线即本地部署，有什么方案可以提供选择？目前主要有三种方案可供选择：专业的方案：您可以参考TMS规范，使用ArcGIS Server、...
CreateDIJob-创建数据集成新版任务
String 类型）、DATASOURCE_NAME_DEST（目标端数据源名称，String 类型）、TABLE_NAME_DEST（目标端表名，String 类型）、DB_NAME_SRC_TRANSED（转换后的数据库名称，String 类型）。指定目标端表的主键列列名（DefinePrimaryKey）示例：{...
数据转换模块
norm_value=0.0 else bin_index=FindBin(bin_table,feature_raw_value)bin_width=round(1.0/bin_count*1000)/1000.0 feature_norm_value=1.0-(bin_count-bin_index-1)*bin_width 通过数据转换模块进行不同类型的数据转换，其输出格式不同：...
NULL值相关的函数
如果 expr2 和 expr3 的数据类型不同：如果 expr2 是字符数据，则数据库在比较它们之前将 expr3 转换为 expr2 的数据类型，除非 expr3 是null常量。在这种情况下，不需要进行数据类型转换。在 expr2 的字符集中返回 VARCHAR2。如果 expr2 ...
UpdateDIJob-更新数据集成新版任务
String 类型）、DATASOURCE_NAME_DEST（目标端数据源名称，String 类型）、TABLE_NAME_DEST（目标端表名，String 类型）、DB_NAME_SRC_TRANSED（转换后的数据库名称，String 类型）。指定目标端表的主键列列名（DefinePrimaryKey）示例：{...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
Iceberg概述
Iceberg是一种开放的数据湖表格式。您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决...
CREATE TYPE
main 策略虽然允许压缩，但不鼓励将数据移出主表行，只有在没有其他方式能使行大小合适的情况下，带有这种存储策略的数据才会被移出，而它会优先于 extended 和 external 策略的数据保留在行内。除了 plain 之外，所有的 storage 选项都...
CREATE TYPE
main 策略虽然允许压缩，但不鼓励将数据移出主表行，只有在没有其他方式能使行大小合适的情况下，带有这种存储策略的数据才会被移出，而它会优先于 extended 和 external 策略的数据保留在行内。除了 plain 之外，所有的 storage 选项都...
HBase数据源
使用限制 HBase Reader HBase20xsql Reader HBase11xsql Writer HBase Reader不支持读取phoenix写入的数据，phoenix有特殊处理。HBase Reader仅支持使用 新增和使用独享数据集成资源组，不支持使用默认资源组和 自定义资源组。切分表时仅...
数据质量：全流程的质量监控
说明 ETL是抽取、转换和加载源端数据至目的端的过程。数据质量以数据集（DataSet）为监控对象，支持监控MaxCompute数据表和DataHub实时数据流。当离线MaxCompute数据发生变化时，数据质量会对数据进行校验，并阻塞生产链路，以避免问题数据...
连接方式概述
ORM 框架 ORM 对象关系映射（Object Relational Mapping，简称 ORM），是一种程序技术，用于实现面向对象编程语言里不同类型系统的数据之间的转换。从效果上说，它其实是创建了一个可在编程语言里使用的"虚拟对象数据库。在连接 OceanBase ...
XML 类型
在使用文本模式向服务器传递查询以及向客户端传递查询结果（在普通模式）时，PostgreSQL 将所有在客户端和服务器之间传递的字符数据转换为目标端的字符编码。这也包括了表示 XML 值的串，正如上面的例子所述。这也通常意味着由于字符数据会...
连接方式概述
ORM 框架 ORM 对象关系映射（Object Relational Mapping，简称 ORM），是一种程序技术，用于实现面向对象编程语言里不同类型系统的数据之间的转换。从效果上说，它其实是创建了一个可在编程语言里使用的"虚拟对象数据库。在连接 OceanBase ...
typeconv-overview
也就是说，每个数据项都有一个相关的数据类型，数据类型决定其行为和允许的用法。本数据库有一个可扩展的类型系统，该系统比其它 SQL 实现更具通用和灵活。因而，本数据库中大多数类型转换行为是由通用规则来管理的，而不是ad hoc启发式...
函数列表
'binary'：将payload数据转换成二进制变量进行透传。parseNumber(numberString,radix)将字符串 numberString 按指定的进制 radix 转换为数字。radix 为可选参数，取值如下：10（默认）：将字符串转换为十进制数字。2：将字符串转换为二进制...
同步更新Oracle数据库（oracle_fdw）
背景信息 oracle_fdw是PostgreSQL外部表插件，可以读取Oracle数据库的数据，也非常方便地实现PostgreSQL与Oracle数据同步。更多详细信息请参见 oracle_fdw。注意事项 如果需要执行UPDATE和DELETE操作，需要在创建外部表时为主键列设置key...
数据归档
OSS和读取会占用一部分内存，同时访问OSS侧数据将占用一定比例的ECS的网络带宽资源，因此需要合理调整数据转换和数据访问的速度和频率。计费 公测期间免费。开启和关闭数据归档功能 开启数据归档功能 新购实例时，在 实例购买页 开启数据...
查询性能优化指导
显式数据类型转换 显式数据类型转换是指在SQL语句中，对Join条件列的数据类型进行强制类型转换。比如表t的a列是int类型，但是在Join条件中将其转换为numeric类型（即有t.a:numeric的转换）。数据进行类型转换后，其hash函数/hash值会发生...
应用案例
您可以在GitHub上获取时空数据分析的典型案例，以便快速熟悉DLA Ganos的各项功能。栅格代数运算 栅格代数运算是指使用数学运算符对栅格数据进行加减乘除等代数计算的操作。例如，您可以应用简单的数学运算（例如加法或乘法）来更新栅格像元...
- 产品推荐
- 这些文档可能帮助您