步骤八：验证数据
在 代码编写 页面，编写代码并验证数据是否符合预期。编写以下命令后，单击页面上方的 运行，验证 产品表数据集成 是否同步成功。SELECT*FROM dataphin_tutorial.product WHERE product_id IS NOT NULL;编写以下命令后，单击页面上方的 ...
步骤八：验证数据
在 代码编写 页面，编写代码并验证数据是否符合预期。编写以下命令后，单击页面上方的 运行，验证 产品表数据集成 是否同步成功。SELECT*FROM dataphin_tutorial.product WHERE product_id IS NOT NULL;编写以下命令后，单击页面上方的 ...
新建SHELL任务
在 代码编写 页面，编写SHELL离线计算任务的代码。单击页面右上角的 运行，可运行代码。单击页面侧边栏 属性，配置任务 属性。属性包括任务的 基本信息、参数配置、调度属性（周期任务）、调度依赖（周期任务），运行配置、资源配置。基本...
新建VIRTUAL任务
在 代码编写 页面，编写VIRTUAL代码。单击页面侧边栏 属性，配置任务 属性。属性包括任务的 基本信息、参数配置、调度属性（周期任务）、调度依赖（周期任务），运行配置、资源配置。基本信息 用于定义调度任务的名称、对应责任人、描述等...
新建VIRTUAL任务
在 代码编写 页面，编写VIRTUAL代码。单击页面侧边栏 属性，配置任务 属性。属性包括任务的 基本信息、参数配置、调度属性（周期任务）、调度依赖（周期任务），运行配置。基本信息 用于定义调度任务的名称、对应责任人、描述等基本信息。...
新建MAX_COMPUTE_MR任务
在 代码编写 页面，编写MapReduce离线计算任务的代码。MapReduce开发详情请参见 MapReduce。代码编写完成后，单击页面上方的 运行，可运行代码。单击页面侧边栏 属性，配置任务 属 性。属性包括任务的 基本信息、参数配置、运行配置。基本...
新建MAX_COMPUTE_MR任务
在 代码编写 页面，编写MapReduce离线计算任务的代码。MapReduce开发详情请参见 MapReduce。代码编写完成后，单击页面上方的 运行，可运行代码。单击页面侧边栏 属性，配置任务 属 性。属性包括任务的 基本信息、参数配置、运行配置。基本...
新建INCEPTOR_SQL任务
在 代码编写 页面，编写 INCEPTOR_SQL 计算任务的代码。检查代码。代码编写完成后，单击 预编译，系统帮助您检查编写的SQL代码的语法。单击页面上的 运行，运行代码。单击页面侧边栏 属性，配置任务 属性。属性包括任务的 基本信息、参数...
新建ADB_PG_SQL任务
在 代码编写 页面，编写 ADB_PG_SQL 计算任务的代码。说明 编辑代码时，若需在表名或列名外使用双引号，则表名或列名仅支持小写。双引号内使用大写的项目名，则忽略引号，当做大小写不敏感处理。检查代码。代码编写完成后，单击 预编译，...
新建SHELL任务
在 代码编写 页面，编写SHELL离线计算任务的代码。单击页面右上角的 运行，可运行代码。单击页面侧边栏 属性，配置任务 属性。属性包括任务的 基本信息、参数配置、调度属性（周期任务）、调度依赖（周期任务），运行配置、资源配置。基本...
使用Python读文件
步骤三：编写并运行Shell任务代码 在代码编写页面，编写代码。在Dataphin的Linux服务器上新建目录。mkdir-p/tmp/chars/\#指定目录/tmp/chars/为python源。pip install-i ...
小程序页面介绍
[pageName].axml：页面结构。[pageName].acss：页面样式（可选）。[pageName].json：页面配置（可选）。页面初始化时，提供以下数据：Page({ data:{ title:'mPaaS',array:[{ user:'li' },{ user:'zhao' }],},});根据以上提供的数据，渲染...
使用Python读文件
步骤三：编写并运行Shell任务代码 在代码编写页面，编写代码。在Dataphin的Linux服务器上新建目录。mkdir-p/tmp/chars/\#指定目录/tmp/chars/为python源。pip install-i ...
新建IMPALA_SQL任务
在 代码编写 页面，编写离线计算任务的IMPALA_SQL代码。检查代码。代码编写完成后，单击 预编译，系统帮助您检查编写的IMPALA_SQL代码的语法。单击页面上方的 运行，可运行代码。单击页面侧边栏 属性，配置任务 属性。属性包括任务的 基本...
新建HIVE_SQL任务
在 代码编写 页面，编写离线计算任务的HIVE_SQL代码。检查代码。代码编写完成后，单击 预编译，系统帮助您检查编写的HIVE_SQL代码的语法。单击页面上方的 运行，可运行代码。单击页面侧边栏 属性，配置任务 属性。属性包括任务的 基本信息...
新建SPARK_SQL任务
在 代码编写 页面，编写离线计算任务的SPARK_SQL代码。检查代码。代码编写完成后，单击 预编译，系统帮助您检查编写的SPARK_SQL代码的语法。单击页面上方的 运行，可运行代码。单击页面侧边栏 属性，配置任务 属性。属性包括任务的 基本...
新建SPARK_JAR_ON_HIVE任务
在 代码编写 页面，编写 SPARK_JAR_ON_HIVE 离线计算任务的代码。单击页面上方的 运行，可运行代码。单击页面侧边栏 属性，配置任务 属性。属性包括任务的 基本信息、参数配置、调度属性（周期任务）、调度依赖（周期任务），运行配置、。...
新建数据库SQL任务
在数据库SQL任务代码编写页面，编写代码。单击页面右上角的 运行，可运行代码。单击页面侧边栏 属性，配置任务 属性。属性包括任务的 基本信息、参数配置、调度属性（周期任务）、调度依赖（周期任务），运行配置、资源配置。基本信息 用于...
多页面制作
在设计器顶部，单击当前 页面 即可弹出...说明 文章详情页/产品详情页的主要功能：供用户调整文章/产品页的页面结构，如控件位置、控件搭配等。如需编辑产品/文章内容请在网站后台左侧导航栏，单击 内容管理，在文章管理/产品管理中添加文章。
Java UDF最佳实践
在代码编写页面，单击页面上方的 调度配置，配置调度参数，详情请参见 配置逻辑表调度属性 保存、提交和发布SQL任务。单击页面右上方的 图标，保存代码。单击页面右上方的 图标，提交代码。在 提交备注 对话框，填写备注信息。单击 确定并...
Java UDF最佳实践
步骤四：使用Java UDF函数 在SQL任务的代码编写页面，编写代码，例如 select java('ABCGDfagHH');单击页面右上方的 执行，查看运行结果。（可选）调度运维 如果需要定期的运行SQL任务，则需要配置SQL任务的调度参数并发布至生产环境，参与...
新建SPARK_JAR_ON_MAX_COMPUTE任务
在 代码编写 页面，编写SPARK_JAR_ON_MAX_COMPUTE离线计算任务的代码。代码示例如下。resource_reference{"spark.py"} spark-submit-deploy-mode cluster-conf spark.hadoop.odps.task.major.version=cupid_v2-conf spark.hadoop.odps.end....
新建SPARK_JAR_ON_MAX_COMPUTE任务
在 代码编写 页面，编写SPARK_JAR_ON_MAX_COMPUTE离线计算任务的代码。代码示例如下。resource_reference{"spark.py"} spark-submit-deploy-mode cluster-conf spark.hadoop.odps.task.major.version=cupid_v2-conf spark.hadoop.odps.end....
InnoDB Physiological Logging
例如，当一个页面内部有大量的删除操作且有碎片需要整理时，需要重新组织页面结构。如果使用物理日志，需要将所有记录重新插入到当前页面，且需要重新记录offset。而逻辑日志只需要记录MLOG_PAGE_REORGANIZE。对于16 KB的页面来说，使用...
DataX同步数据
在代码编写页面，编写并运行DataX任务的代码。代码如下。resource_reference{"datax.json"} python$DATAX_HOME/bin/datax.py datax.json#Dataphin系统已内置DataX的安装目录为DATAX_HOME/bin/datax.py。其中，resource_reference{} 用于...
DataX同步数据
在代码编写页面，编写并运行DataX任务的代码。代码如下。resource_reference{"datax.json"} python$DATAX_HOME/bin/datax.py datax.json#Dataphin系统已内置DataX的安装目录为DATAX_HOME/bin/datax.py。其中，resource_reference{} 用于...
赋值节点
在代码开发页面编写代码。例如：echo '${sql_inputs}';echo '取上游sql节点输出第1行数据'${sql_inputs[0]};echo '取上游sql节点输出第2行数据'${sql_inputs[1]};echo '取上游sql节点输出第1行第2个字段'${sql_inputs[0][1]};echo '取上游...
新建同步目标表
在代码编写页面，按照下图操作指引，编写、预编译、格式化、运行代码。通过计算任务的方式新建目标表 在数据 开发 页面，按照下图操作指引，进入单击 计算任务 页面。在 计算任务 页面，单击 图标 后，选择 MAX_COMPUTE_SQL。在 计算任务 ...
一键同步RDS表结构
准备工作 通过DLA读写RDS数据前，您需要通过以下操作在RDS中准备好测试数据：创建RDS MySQL实例 设置IP白名单 创建数据库和账号 连接MySQL实例 创建表 操作步骤 您可以在DMS页面编写SQL创建MySQL Schema，也可以先通过MySQL客户端或者MySQL...
新建同步目标表
在代码编写页面，按照下图操作指引，编写、预编译、格式化、运行代码。通过计算任务的方式新建目标表 在数据 开发 页面，按照下图操作指引，进入单击 计算任务 页面。在 计算任务 页面，单击 图标 后，选择 MAX_COMPUTE_SQL。编写并运行...
资产全景
结构化模式 按照下图指引，进入 结构 页面。单击数据 结构 页面右上方的目标业务板块，系统为您展示该业务板块的业务对象、业务过程及其关联关系。业务对象：业务对象即参与业务的主体和客体，通常情况下业务对象是实际存在、不因事件发生...
资产全景
结构化模式 按照下图指引，进入 结构 页面。单击数据 结构 页面右上方的目标业务板块，系统为您展示该业务板块的业务对象、业务过程及其关联关系。业务对象：业务对象即参与业务的主体和客体，通常情况下业务对象是实际存在、不因事件发生...
创建PYTHON计算任务
在Python任务代码编写页面，选择需要创建的Python任务版本后，编写代码。说明 开发Python计算任务时，通常需要根据业务场景安装所需资源包。Dataphin已经预制通用资源包至系统内，您在开发代码过程中，只需要在代码开始部分添加 import ...
创建PYTHON计算任务
在Python任务代码编写页面，选择需要创建的Python任务版本后，编写代码。说明 开发Python计算任务时，通常需要根据业务场景安装所需资源包。Dataphin已经预制通用资源包至系统内，您在开发代码过程中，只需要在代码开始部分添加 import ...
导出数据
说明 您也可以在页面右上方选择>整库表结构。在 导出表结构 页面，导出数据字典文档。支持导出Word、Excel和PDF类型的文档。导出SQL查询结果集 说明 暂不支持导出NoSQL数据库的结果集。登录 数据管理DMS 5.0。在页面左侧的 数据库实例 列表...
钻取
在 新建/编辑层级结构 页面，自定义层级结构名称后，单击 确定。单击目标字段右侧的 图标，选择 移动到area_层级结构，依次将其他地理信息维度字段移动到该层级结构中。单击 刷新预览。系统会自动将数据显示在表格中。数据集编辑完成后，...
新建ARGODB_SQL任务
在 代码编写 页面，编写 ARGODB_SQL 计算任务的代码。代码编写完成后，单击页面上方的 运行，可运行代码。单击页面侧边栏 属性，配置任务 属性。属性包括任务的 基本信息、参数配置、调度属性（周期任务）、调度依赖（周期任务），运行配置...
新建HADOOP_MR任务
在 代码编写 页面，编写HADOOP_MR离线计算任务的代码。代码编写完成后，单击页面上方的 运行，可运行代码。单击页面侧边栏 属性，配置任务 属性。属性包括任务的 基本信息、参数配置、调度属性（周期任务）、调度依赖（周期任务），运行...
新建STARROCKS_SQL任务
在 代码编写 页面，编写 STARROCKS_SQL 计算任务的代码。代码编写完成后，单击页面上方的 运行，可运行代码。单击页面侧边栏 属性，配置任务 属性。属性包括任务的 基本信息、参数配置、调度属性（周期任务）、调度依赖（周期任务），运行...
步骤四：开发FLINK_SQL实时任务
步骤二：开发与预编译 FLINK_SQL 任务代码 在FLINK_SQL任务代码页面，编写任务的代码。代码如下：INSERT INTO ads_gross SELECT sku_type as prod_code,sum(sku_quantity)as sale_num FROM oms_orders GROUP BY sku_type;单击页面左上方的 ...
- 产品推荐
- 这些文档可能帮助您