上传数据
上传CSV数据 重要 CSV文件数据格式为不带BOM的UTF-8编码格式，CSV文件数据内容需要使用英文逗号作为分隔符，如当字段内出现分隔符（,）时，需要使用转义符（"）包裹该字段，避免读取数据时造成字段的错误分割。CSV文件格式注意事项，请参见...
上传数据
上传CSV数据 注意 CSV文件数据格式为不带BOM的UTF-8编码格式，CSV文件数据内容需要使用英文逗号作为分隔符，如当字段内出现分隔符（,）时，需要使用转义符（"）包裹该字段，避免读取数据时造成字段的错误分割。CSV文件格式注意事项，请参见...
敏感数据溯源
常见问题 目标溯源任务执行结束后，可能的泄漏源 显示 无结果，则可能的原因及解决方案如下：原因一：您所溯源的文件数据量不足，导致水印信息无法还原。解决方案：使用 数据水印 功能生成的水印信息需要提供充足的数据量，才能保证通过...
使用clickhouse-client导入数据
说明 云数据库ClickHouse 表的结构类型需与本地文件数据类型对应。创建本地表：如果您的集群是单副本版，请输入如下建表语句。CREATE TABLE test_tbl_local ON cluster default(id UInt8,user_name String,age UInt16,city String,access_...
使用DataWorks（离线与实时）
MaxCompute支持通过DataWorks的 数据集成 功能将其他数据源的数据以离线或实时方式导入MaxCompute，也支持将部分类型的本地文件数据导入MaxCompute。本文为您介绍使用DataWorks将数据导入MaxCompute的主要操作流程与注意事项。前提条件 已...
配置HDFS输出组件
加载策略包括覆盖数据和追加数据，适用场景说明如下：覆盖数据：覆盖数据策略下，先删除目标目录下的文件，再新增数据文件。追加数据：追加数据策略下，直接向目标目录新增数据文件。行分隔符 文件类型为Text可配置字段之间行分隔符。非必...
配置FTP输出组件
文件数据行数：$rowcount。也支持管道级别配置的参数。可自由选择需要的参数与分隔符。任务级标记完成文件中将依次换行写入每个文件的信息。空值转换 非必选，表示null值的字符串。字段映射 输入字段 从上游输入组件读取的字段。输出字段 ...
配置FTP输出组件
文件数据行数：$rowcount。也支持管道级别配置的参数。可自由选择需要的参数与分隔符。任务级标记完成文件中将依次换行写入每个文件的信息。空值转换 非必选，表示null值的字符串。字段映射 输入字段 从上游输入组件读取的字段。输出字段 ...
建表并上传数据
如果您需要上传超过30MB的文件，则可以使用如下方式：将数据文件上传至OSS，使用MaxCompute外部表映射的方式获取OSS中相应的文件数据。上传数据至OSS，详情请参见 上传文件，MaxCompute外部表映射，详情请参见 外部表。将数据文件上传至OSS...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
层级生成器功能介绍
将自定义绘制的边界数据制作成层级下钻结构数据后，您也可以将其导出成DataV专有格式，并将该导出的层级结构数据文件，应用到 基础平面地图 3.0 组件的 自定义区域下钻层 子组件中，具体生成层级结构数据及应用到DataV组件的操作方法，请...
调试实时任务
上传数据方式包括手动 上传样例数据文件、手动输入数据、自动抽样数据。手动上传样例数据文件 您可以通过上传数据的方式，手动上传本地数据。上传本地数据前需要先下载样例，样例由Dataphin自动识别读写的表和表的schema信息生成的csv格式...
新建离线物理表
导入文件数据列：支持设置为数据列、空值NULL或固定值。单击 开始导入，即可导入数据到表中。后续步骤 如果您的开发模式是Dev-Prod模式，则需要发布离线物理表。更多信息，请参见 管理发布任务。如果您的开发模式是Basic模式，则提交成功后...
新建离线物理表
导入文件数据列：支持设置为数据列、空值NULL或固定值。单击 开始导入，即可导入数据到表中。后续步骤 如果您的开发模式是Dev-Prod模式，则需要发布离线物理表。更多信息，请参见 管理发布任务。如果您的开发模式是Basic模式，则提交成功后...
区域热力层（v1.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
调试实时任务
上传数据方式包括手动 上传样例数据文件、手动输入数据、自动抽样数据。手动上传样例数据文件 您可以通过上传数据的方式，手动上传本地数据。上传本地数据前需要先下载样例，样例由Dataphin自动识别读写的表和表的schema信息生成的csv格式...
本地运行
wc_in 及 wc_out 表示数据表，您在Jar命令中读写的表文件数据会被下载到这级目录下。文件中的内容表示表的元信息，其文件格式定义如下。project=local_project_name table=local_table_name columns=col1_name:col1_type,col2_name:col2_...
元数据抽取
在业务运行中，经常会沉淀到大量数据到数据湖中这部分数据可能是没有像数据仓库一样经过严格的数据管理流程或沉淀规范明确的元数据信息。元数据抽取可以分析数据湖中特定格式的数据，并自动生成元数据信息，通过周期性或手动执行，实现数据...
数据标注
除了通过JSON文件来创建数据集的方式，如果您暂时没有标注数据，也可以通过我们的标注平台来标注数据。接下来，通过一个例子来演示标注平台的使用。在第一步创建刚刚创建好的项目中，选择创建标注任务 注意：目前仅支持UTF-8编码方式的数据...
数据标注
除了通过json 文件来创建数据集的方式，如果您暂时没有标注数据，也可以通过我们的标注平台来标注数据。接下来，通过一个例子来演示标注平台的使用。在第一步创建刚刚创建好的项目中，选择创建标注任务。填写数据集的名称后，您需要上传待...
使用OSS控制台上传数据文件
对象存储OSS控制台支持上传大小不超过5 GB的文件，如果您需要导入图数据库GDB实例的数据文件不超过5 GB，您可以将数据文件上传至对象存储OSS的Bucket中，然后从Bucket中将数据文件导入至图数据库GDB实例。本文介绍将数据文件上传至对象存储...
设置透明数据加密TDE
在安全合规或静态数据加密等场景下，推荐使用透明数据加密TDE（Transparent Data Encryption）功能，对数据文件执行实时I/O加密和解密，确保敏感数据在写入磁盘之前进行加密，从磁盘读入内存时进行解密，阻止可能的攻击者绕过数据库直接从...
数据标注
除了以上的通过 JSON文件来创建数据集的方式，如果您暂时没有标注数据，也可以通过我们的标注平台来标注数据。接下来，通过一个例子来演示标注平台的使用。进入到项目后，点击“创建标注任务”，可以看到如下画面 注意：目前仅支持UTF-8...
采集数据
3、配置调度属性 通过以下配置实现调度场景下，每日00:15将存储在OSS的 user_log.txt 文件数据通过数据集成同步至MaxCompute的 ods_raw_log_d 表对应时间分区。配置调度参数：bizdate=$bizdate，获取前一天的日期，格式为 yyyymmdd。配置...
采集数据
3、配置调度属性 通过以下配置实现调度场景下，每日00:15将存储在OSS的 user_log.txt 文件数据通过数据集成同步至MaxCompute的 ods_raw_log_d 表对应时间分区。配置调度参数：bizdate=$bizdate，获取前一天的日期，格式为 yyyymmdd。配置...
HDFS数据源
您也可以指定column字段信息（文件数据列和常量列配置二选一），配置如下。{"type":"long","index":0/从本地文件文本第一列（下标索引从0开始计数）获取INT字段，index表示从数据文件中获取列数据。},{"type":"string","value":"alibaba"/...
Oracle永久增量备份
说明 关于备份Oracle RAC数据库的说明：为了保证备份成功，需要在备份前对Oracle的控制文件、参数文件、数据文件、归档日志、REDO日志文件进行检查。具体操作，请参见 Oracle RAC文件查询。您只需在RAC多台实例中任意选择一台实例机器上...
Oracle物理备份
支持物理备份的Oracle架构 单实例、单实例ASM、Oracle Data Guard Physical Standby、Oracle RAC 说明 为了保证备份成功，需要在备份前对Oracle的控制文件、参数文件、数据文件、归档日志、REDO日志文件进行检查。具体操作，请参见 Oracle ...
添加数据
空间数据提供对矢量、栅格、矢量瓦片、栅格瓦片、三维模型、倾斜摄影、BIM、点云等数据的添加，支持通过上传文件和对象存储两种通用的方式添加数据。本文主要介绍如何添加各类空间数据。前提条件 已在云存储上存储了数据文件。背景信息 ...
表设计规范
MaxCompute中不同类型计算任务的操作对象（输入、输出）都是表。表设计是否合理将影响存储和计算的性能，进而影响到存储和计算的计费。声明 本文中介绍的非功能性规范均为建议性规范，产品功能无限制，仅供参考。表设计主要目标 降低存储...
配置脚本代码节点
文件名 输入目标数据库网关安装目录dg_scripts下的脚本文件名。例如数据库网关中存放脚本文件的完整目录为/home/xiaoming/dg_scripts/demo.sh，则文件名输入 demo.sh。运行参数 选择或输入变量。变量在脚本中将作为运行参数。脚本支持的...
2021年
本文介绍2021年 云原生数据仓库AnalyticDB PostgreSQL版 的产品功能动态和对应的文档。2021年12月 功能 功能描述 相关文档 Serverless版本 AnalyticDB PostgreSQL版Serverless版本 利用云基础设施提供的资源池化和海量存储能力，结合传统...
创建Hive数据源
通过创建Hive数据源能够实现Dataphin读取Hive的业务数据或向Hive写入数据。本文为您介绍如何创建Hive数据源。背景信息 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive用于转化...
层级生成器功能介绍
导出层级（开放格式）单击层级树面板下方的 导出层级（开放格式）按键，您可以导出层级数据（level.json）文件和（层级映射.json）的文件，文件内的地理字段未经压缩，具体地理字段说明请参见 下钻数据结构定义。层级树节点 在层级树面板中...
数据源管理常见问题
您可以在DataV控制台单击 我的数据>数据源管理，选择+添加数据，进入 添加数据 对话框，选择 CSV文件 类型，输入 自定义数据源名称 并上传一个本地电脑中的CSV文件。上传完成后，您可以在画布编辑器中添加组件，在右侧 数据 面板中的 设置...
数据源管理常见问题
您可以在DataV控制台单击 我的数据>数据源管理，选择+添加数据，进入 添加数据 对话框，选择 CSV文件 类型，输入 自定义数据源名称 并上传一个本地电脑中的CSV文件。上传完成后，您可以在画布编辑器中添加组件，在右侧 数据 面板中的 设置...
Tunnel命令
当您需要在本地环境与MaxCompute之间传输大量的数据时，MaxCompute提供Tunnel功能支持上传下载数据，使用Tunnel命令可以实现批量或增量数据的高效上传、下载，以提高数据传输效率和可靠性。本文为您介绍Tunnel上传下载命令的详细说明。...
Tunnel命令
当您需要在本地环境与MaxCompute之间传输大量的数据时，MaxCompute提供Tunnel功能支持上传下载数据，使用Tunnel命令可以实现批量或增量数据的高效上传、下载，以提高数据传输效率和可靠性。本文为您介绍Tunnel上传下载命令的详细说明。...
脚本文件管理
在多方安全分析控制台中，您需要使用 SQL 语言编辑脚本文件，并基于建模数据实现多方参与的数据安全分析。新建脚本 文件 登录多方安全分析控制台，并在右上角的下拉框中选择需要进入的项目。在 脚本文件 区域，右键点击空白区域，在弹出的...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
- 产品推荐
- 这些文档可能帮助您