概述
脚本文件 使用JavaScript语言编辑脚本，解析处理已配置的数据源中数据，最后输出JSON格式数据。文件大小不超过128 KB。输出文件 使用规定的JSON数据格式，将数据源或通过脚本处理后的数据，映射到指定孪生节点的物模型属性上。文件大小不...
配置注入
使用 Spring MVC 注解注入配置，降低使用配置成本。可以直接使用@Value 注入配置：@Component class SampleRunner implements ApplicationRunner {@Value("${user.id}")String userId;Value("${user.name}")String userName;Value("${user....
将MongoDB物理备份文件恢复至自建数据库
常见问题 Q：为什么我使用指定的 mongod.conf 配置文件启动自建数据库报错？A：常见原因如下：您可能在指定 mongod.conf 配置文件之前已经启动过一次数据库，导致data目录下自动生成了 storage.bson 文件。只需要移走这个文件并重新指定 ...
常见问题
将源文件系统中的数据迁移至目标文件系统中。您可以通过以下几种方式进行迁移。使用在线迁移服务迁移，具体操作，请参见 使用在线迁移服务迁移数据。使用rsync工具迁移数据，具体操作，请参见 使用rsync工具迁移数据。使用Robocopy工具迁移...
将MongoDB物理备份文件恢复至自建数据库
常见问题 Q：为什么我使用指定的 mongod.conf 配置文件启动自建数据库报错？A：常见原因如下：您可能在指定 mongod.conf 配置文件之前已经启动过一次数据库，导致data目录下自动生成了 storage.bson 文件。只需要移走这个文件并重新指定 ...
计费说明
配置审计的功能 计费的云服务 相关文档 使用自定义规则新建规则 函数计算FC 函数计算FC计费说明 设置投递数据到日志服务SLS 日志服务SLS 日志服务SLS计费说明 设置投递数据到对象存储OSS 对象存储OSS 对象存储OSS计费说明 设置投递数据到...
开通配置审计服务
在您使用配置审计之前，必须先开通配置审计服务，才能获取跨地域的资源清单，并对资源进行合规审计。背景信息 开通配置审计服务仅获取您当前账号下资源配置的只读权限，不会影响云服务的正常运行。操作步骤 登录 配置审计控制台。单击 立即...
CDH6数据迁移
本文介绍如何将CDH中本地HDFS的数据迁移到 文件存储 HDFS 版，实现存储计算分离。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已在阿里云上创建ECS实例并安装CDH6集群。...
通过PrestoDB使用Tablestore
PrestoDB是基于MPP架构的开源大数据分布式SQL查询引擎，支持对接MySQL、Elasticsearch、Tablestore等多种数据源。使用PrestoDB对接表格存储Tablestore后，基于PrestoDB on Tablestore您可以使用SQL查询与分析Tablestore中的数据、写入数据...
快照概述
什么是数据库文件系统快照 数据库文件系统快照是某一时间点文件系统状态的备份文件，文件系统部署在云盘上，因此文件系统快照服务实际上基于云盘快照，对某个文件系统打快照相当于对该文件系统所部署的所有云盘同时打快照。文件系统第一份...
实时模式配置概述
依赖文件 若您的实时任务运行需要依赖外部资源文件，例如文本文件、Python文件、Jar文件等，您可以在Dataphin上传对应资源文件后，将所上传的资源文件添加到任务的依赖文件，使任务能够正常运行。配置说明，请参见 实时模式依赖文件配置。...
离线模式配置概述
依赖文件 若您的 流批一体任务 的离线模式运行需要依赖外部资源文件，例如文本文件、Python文件、Jar文件等，您可以在Dataphin上传对应资源文件后，将所上传的资源文件添加到任务的依赖文件，使任务能够正常运行。配置说明，请参见 离线...
迁移数据库账号
即在 配置任务对象及高级配置 阶段中，同步类型 勾选了 库表结构同步 或者 迁移类型 勾选了 库表结构迁移。注意事项 当前仅MySQL实例间的同步或迁移、MySQL实例同步或迁移到 PolarDB MySQL版 集群、PolarDB MySQL版 集群间的同步或迁移实例...
新建数据库SQL任务
在Dev-Prod模式的项目下使用仅配置了生产环境的数据源，在开发环境下进行补数据或运行操作可能变更生产数据，请谨慎使用。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建数据库SQL...
新建数据库SQL任务
在Dev-Prod模式的项目下使用仅配置了生产环境的数据源，在开发环境下进行补数据或运行操作可能变更生产数据，请谨慎使用。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建数据库SQL...
离线模式配置概述
依赖文件 若您的 流批一体任务 的离线模式运行需要依赖外部资源文件，例如文本文件、Python文件、Jar文件等，您可以在Dataphin上传对应资源文件后，将所上传的资源文件添加到任务的依赖文件，使任务能够正常运行。配置说明，请参见 离线...
规则的定义及运行原理
配置审计服务使用函数计算服务的函数来承载规则代码，称之为规则函数。在配置审计服务中引用规则函数，配置关联资源、触发机制、规则参数等信息后，就构成了配置审计服务中的规则。在实际的合规监控中，就是通过实时的资源配置变更触发规则...
场景管理器
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
ALTER PROFILE
更改现有配置文件。语法 ALTER PROFILE profile_name RENAME TO new_name;ALTER PROFILE profile_name LIMIT {parameter value}[.];说明 使用 ALTER PROFILE 命令修改用户定义的配置文件；PolarDB PostgreSQL版（兼容Oracle）支持两种形式...
实时模式配置概述
依赖文件 若您的实时任务运行需要依赖外部资源文件，例如文本文件、Python文件、Jar文件等，您可以在Dataphin上传对应资源文件后，将所上传的资源文件添加到任务的依赖文件，使任务能够正常运行。配置说明，请参见 实时模式依赖文件配置。...
基本概念
本文解释了配置审计的基本概念，帮助您正确理解和使用配置审计。概念 说明 资源类型 资源类型是一组实体资源的归类。例如：云服务器ECS实例的资源类型为ECS实例。资源可以分为以下几类：计算实例、存储实例等实体资源。工作组、工作流等...
Kafka数据源
GSSAPI 配置Kafka数据源时，当 Sasl机制 选择GSSAPI时，需要上传三个认证文件，分别是 JAAS配置文件、Kerberos配置文件 以及 Keytab文件，并在独享资源组进行 DNS/HOST 设置，下面分别介绍三种文件以及独享资源组DNS、HOST的配置方式。...
JDBC
本文将介绍如何在Java应用中使用JDBC连接 PolarDB PostgreSQL版（兼容Oracle）数据库。前提条件 已经在 PolarDB 集群创建用户，如何创建用户请参见 创建数据库账号。已经将需要访问 PolarDB 集群的主机IP地址添加到白名单，如何添加白名单...
新建实时自定义源类型
Dataphin支持自定义实时数据源类型，您可以基于自定义的实时数据源类型，创建实时数据源实例、实时数据源类型的元表以及访问自定义实时数据源的Flink SQL任务，以满足实际数据需求开发。本文为您介绍如何自定义实时数据源类型。使用限制 ...
空间管理
自治服务的空间管理功能提供分层的监控与分析，从实例深入到数据库，再从数据库深入到表，帮助用户发现和定位数据库空间相关问题。空间管理提供您查看实例基本信息、空间总览、空间数据图表信息、空间变化趋势等等，帮助您从各个维度了解...
新建实时自定义源类型
Dataphin支持自定义实时数据源类型，您可以基于自定义的实时数据源类型，创建实时数据源实例、实时数据源类型的元表以及访问自定义实时数据源的Flink SQL任务，以满足实际数据需求开发。本文为您介绍如何自定义实时数据源类型。使用限制 ...
图像关键点训练
无 数据源格式 是 输入数据的格式类型，仅支持 DetSourceCOCO。DetSourceCOCO 预训练模型oss路径 否 如果您有自己的预训练模型，则将该参数配置为预训练模型的OSS路径。如果没有配置该参数，则使用PAI提供的默认预训练模型。无 参数设置 ...
更新EasyRec配置文件
MaxCompute表/SQL脚本、读数据表 config_table 是 组件参数 页签 参数 是否必选 描述 对应PAI命令参数 默认值 参数设置 推荐模板生成的模板配置文件 是 推荐模板生成的模板配置文件所在的OSS路径。template_config_path 无 easyrec配置文件...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
IoT数据自动化同步至云端解决方案
新增OSS数据源和MaxCompute数据源，详情请参见 配置OSS数据源 和 配置MaxCompute数据源。单击当前页面左上角的 图标，选择 全部产品>数据开发与运维>DataStudio（数据开发），在数据开发页面新建业务流程，详情请参见 通过脚本模式配置离线...
删除配置文件
使用DROP PROFILE命令可删除配置文件。语法如下：DROP PROFILE[IF EXISTS]profile_name[CASCADE|RESTRICT];包括IF EXISTS子句，以指示服务器在所指定配置文件不存在时不引发错误。如果配置文件不存在，服务器将发出通知。包括可选的CASCADE...
私密配置项
在应用构建中，通常会需要一些配置项，如：功能开关 依赖系统的URL 数据库链接用户名密码 对于前两项，云效没有提供额外的支持，推荐您直接在代码中保存不同的配置文件，然后在构建时根据 PACKAGE_LABEL 的环境变量，选取正确的配置文件。...
配置自定义证书
拷贝openssl配置文件，作为临时使用。cp/etc/pki/tls/openssl.cnf/tmp/openssl.cnf 说明 如果您使用Windows系统，openssl.cnf 文件位于 openssl安装目录\bin\cnf 目录下，可以将此文件拷贝到任意位置。使用如下命令编辑临时拷贝出的openssl...
使用Hadoop作为元仓计算引擎进行元仓初始化
若需使用HMS方式获取元数据，配置文件中必需上传hdfs-site.xml、hive-site.xml、core-site xmI、hivemetastore-site.xml文件。若计算引擎类型为FusionInsight 8.X和E-MapReduce5.x Hadoop，还需上传hivemetastore-site.xml文件。History ...
配置目标库信息
完成数据源信息的配置，配置方法请参见 配置源库信息。完成转换组件的配置，配置方法请参见 配置转换组件。在页面左侧，将 输出 MySQL 节点拖拽至页面右侧画布的空白区域。将鼠标指针移动至已完成配置的目标转换组件，单击圆点拉出连接线，...
创建新配置文件
使用CREATE PROFILE命令可创建新配置文件。语法如下：CREATE PROFILE profile_name[LIMIT {parameter value}.];包括 LIMIT 子句以及一个或多个空格分隔的parameter/value 对，以指定 PolarDB PostgreSQL版（兼容Oracle）强制实施的规则。...
新建Paimon数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Catalog配置 Catalog类型 仅...
ossimport概述
└─workers#Worker列表├─console.sh#命令行工具，目前支持只Linux├─logs#日志目录└─README.md#说明文档，强烈建议使用前仔细阅读 配置文件 单机模式下有两个配置文件 sys.properties、local_job.cfg，分布式模式下有三个配置文件 ...
管理数据库资产
如果您已为要审计的数据库配置了证书，您需要在此参数处上传数据库正在使用的证书或私钥文件，否则数据库审计服务将无法审计该数据库加密后的访问流量。如果您的数据库未配置证书，则您无需配置该参数。您可以通过以下方式导入证书或私钥...
MySQL 5.7配置说明
本文主要为您说明在使用阿里云数据库文件存储DBFS服务时，MySQL数据库建议的配置。Server层参数 MySQL Server层的推荐参数配置如下：skip-log-bin：基于DBFS的共享存储实现主备高可用，可关闭binary log获取更好的性能。log-bin：MySQL ...
- 产品推荐
- 这些文档可能帮助您