配置Amazon S3输出组件
配置Amazon S3输出组件，可以将外部数据库中读取的数据写入到Amazon S3，或从大数据平台对接的存储系统中将数据复制推送至Amazon S3，进行数据整合和再加工。本文为您介绍如何配置Amazon S3输出组件。前提条件 已创建Amazon S3数据源。具体...
配置Amazon S3输出组件
配置Amazon S3输出组件，可以将外部数据库中读取的数据写入到Amazon S3，或从大数据平台对接的存储系统中将数据复制推送至Amazon S3，进行数据整合和再加工。本文为您介绍如何配置Amazon S3输出组件。前提条件 已创建Amazon S3数据源。具体...
东软案例
客户感言 利用阿里云新一代 云原生多模数据库 Lindorm“灵动”引擎驱动的政府、企业数字信息系统智能运维解决方案，东软做到了实时、海量、异构监控数据一站式存储，实现指标、日志、代码链路和网络包等异构数据融合分析，高可靠数据保障和...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
配置Log Service输入组件
批量条数 一次读取的数据条数，系统默认为256，最多为1000条。输出字段 为您展示输出的字段，您也可以通过以下两种方式添加字段：单击右侧的 新建输出字段，填写 来源序号、字段 及选择字段的 类型，单击非该字段显示的区域。单击右侧的 ...
配置Log Service输入组件
批量条数 一次读取的数据条数，系统默认为256，最多为1000条。输出字段 为您展示输出的字段，您也可以通过以下两种方式添加字段：单击右侧的 新建输出字段，填写 来源序号、字段 及选择字段的 类型，单击非该字段显示的区域。单击右侧的 ...
新建数据探查任务
数据探查可以帮助您快速了解数据概况，提前评估数据可用性和潜在风险，您可对数据表进行全量探查、抽样探查。本文为您介绍如何新建数据探查任务。前提条件 需开通数据质量功能模块才可使用数据探查功能。使用限制 当计算引擎为AnalyticDB ...
新建数据探查任务
数据探查可以帮助您快速了解数据概况，提前评估数据可用性和潜在风险，您可对数据表进行全量探查、抽样探查。本文为您介绍如何新建数据探查任务。前提条件 需开通数据质量功能模块才可使用数据探查功能。使用限制 当计算引擎为AnalyticDB ...
查询数据代码说明
使用限制 Dataphin最多返回10000条查询结果的记录。您可以在查询语句后增加 limit 返回条数，自定义返回记录的条数，例如 select*from ht5_out limit 20;即返回20条记录。注意事项 查询数据过程中，如果任务执行超过2小时仍然没有结束，则...
查询数据代码说明
使用限制 Dataphin最多返回10000条查询结果的记录。您可以在查询语句后增加 limit 返回条数，自定义返回记录的条数，例如 select*from ht5_out limit 20;即返回20条记录。注意事项 查询数据过程中，如果任务执行超过2小时仍然没有结束，则...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
周期任务补数据
周期任务补数据功能用于对周期任务在指定的历史业务日期内进行数据回刷。周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的...
周期任务补数据
周期任务补数据功能用于对周期任务在指定的历史业务日期内进行数据回刷。周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的...
新建实时自定义源类型
Dataphin支持自定义实时数据源类型，您可以基于自定义的实时数据源类型，创建实时数据源实例、实时数据源类型的元表以及访问自定义实时数据源的Flink SQL任务，以满足实际数据需求开发。本文为您介绍如何自定义实时数据源类型。使用限制 ...
新建实时自定义源类型
Dataphin支持自定义实时数据源类型，您可以基于自定义的实时数据源类型，创建实时数据源实例、实时数据源类型的元表以及访问自定义实时数据源的Flink SQL任务，以满足实际数据需求开发。本文为您介绍如何自定义实时数据源类型。使用限制 ...
新建补数据任务
补数据任务能够支持您以不同的调度方式对历史数据进行回刷。对于需要定期进行补数据的场景，您可以通过补数据的定时调度功能进行定期补数据；对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补...
新建补数据任务
补数据任务能够支持您以不同的调度方式对历史数据进行回刷。对于需要定期进行补数据的场景，您可以通过补数据的定时调度功能进行定期补数据；对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补...
逻辑表运行配置
最多2位小数。失败自动重跑 该任务实例、补数据实例运行失败，会按照配置决定是否自动重跑。默认选项：系统默认选择。根据系统运维板块租户级的运行配置所配置的重跑配置参数为默认值。配置租户级运行配置请参见：运行配置。自定义：重跑...
计算任务运行配置
最多2位小数。失败自动重跑 该任务实例、补数据实例运行失败，会按照配置决定是否自动重跑。默认选项：系统配置根据系统运维板块租户级的运行配置所配置的 失败自动重跑 参数为默认选项。详情可参见：运行配置。自定义：重跑次数支持输入0...
计算任务运行配置
最多2位小数。失败自动重跑 该任务实例、补数据实例运行失败，会按照配置决定是否自动重跑。默认选项：系统配置根据系统运维板块租户级的运行配置所配置的 失败自动重跑 参数为默认选项。详情可参见：运行配置。自定义：重跑次数支持输入0...
逻辑表运行配置
最多2位小数。失败自动重跑 该任务实例、补数据实例运行失败，会按照配置决定是否自动重跑。默认选项：系统默认选择。根据系统运维板块租户级的运行配置所配置的重跑配置参数为默认值。配置租户级运行配置请参见：运行配置。自定义：重跑...
查看资源用量大盘
项目排行 区域 描述 ①当前用量TOP10项目 按照最近一次统计的每个项目已使用的数据处理单元总数对项目进行排行，为您展示使用量最多的10个项目。点击项目的名称、条形图或当前使用总量的值，您可选择只看该项目或排除该项目。②最近30天...
DML操作
目录 插入单条数据 插入多条数据 单值分区表插入数据 修改数据-单条数据 修改数据-用查询结果批量修改 说明 若您需对Dataphin中逻辑表进行DML操作，请参见 逻辑表DML操作。插入单条数据 INSERT INTO<table_name>VALUES(value1,value2,value...
SQL使用限制
最多查询分区个数 10000个 数量限制 最多查询分区个数不能超过10000个。SQL执行计划长度 1 MB 长度限制 MaxCompute SQL生成的执行计划不能超过1 MB，否则会触发 FAILED:ODPS-0010000:System internal error-The Size of Plan is too large ...
SQL使用限制
最多查询分区个数 10000个 数量限制 最多查询分区个数不能超过10000个。SQL执行计划长度 1 MB 长度限制 MaxCompute SQL生成的执行计划不能超过1 MB，否则会触发 FAILED:ODPS-0010000:System internal error-The Size of Plan is too large ...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
运行配置
说明 配置参数支持 0.01（小数点末尾最多2位小数）～168小时。重跑配置 修改完成后单击 确定。在弹出的 确认修改系统配置 提醒对话框中，单击 确定。重要 修改后，运行属性设置为系统配置的任务对应的实例（包括修改后新生成的、以及已生成...
运行配置
说明 配置参数支持 0.01（小数点末尾最多2位小数）～168小时。重跑配置 修改完成后单击 确定。在弹出的 确认修改系统配置 提醒对话框中，单击 确定。重要 修改后，运行属性设置为系统配置的任务对应的实例（包括修改后新生成的、以及已生成...
准备工作
测试数据 智能推荐服务提供了可以用来测试的数据，您可以从下面的链接中下载对应的数据。下载链接：测试数据下载地址。二、核对行为埋点逻辑是否符合规范 智能推荐需要至少具备曝光、点击行为数据，并且曝光数据要大于点击数据。详细的内容...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
配置本地文件输入组件
本地文件输入组件可用于将本地文件的TXT、excel、CSV格式的数据。同步至其他数据源的场景中。本文为您介绍如何配置本地文件输入组件。使用限制 仅支持手动任务配置本地文件输入组件。操作步骤 请参见 离线管道组件开发入口，进入离线管道...
添加识别特征
最多配置5条规则，且最多配置2层关系。过滤条件之间的关系可配置为且、或。单击 确定，完成识别特征添加。查看识别特征 识别特征添加完成后，您可对自定义的识别特征执行编辑、删除操作。系统内置识别特征不支持编辑、删除操作。区域 描述 ...
添加识别特征
最多配置5条规则，且最多配置2层关系。过滤条件之间的关系可配置为且、或。单击 确定，完成识别特征添加。查看识别特征 识别特征添加完成后，您可对自定义的识别特征执行编辑、删除操作。系统内置识别特征不支持编辑、删除操作。区域 描述 ...
合规&认证
当前Dataphin产品的开发、测试、运维和运营服务均已通过 ISO 27001、ISO 27018 认证，意味着Dataphin 及瓴羊在企业信息处理的安全性、技术先进性等方面已经达到国际水平，有能力为企业提供坚实的数据智能服务。ISO/IEC 27001:2013 作为国际...
全量数据管理概述
数据源相关概念 目前智能推荐系统的数据源只支持MaxCompute（ODPS），后续会陆续开放OSS，RDS等其他方式。MaxCompute：大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，详情参见 MaxCompute 表：表...
管理数据质量待发布对象
导入的发布包文件中存在数据质量的变更对象时，将在待发布数据质量页面为您展示，您可在待发布数据质量页面对数据质量对象进行管理和发布。待发布 数据质量 对象入口 请参见 发布包总览入口，进入发布包 总览 管理页面。单击 数据质量 页签...
映射关系概述
全部展开 视角下，为您展示每个对象（如字段）与数据标准的一一映射关系，如果一个对象映射到了多个数据标准，将生成多条映射关系。映射关系入口 在Dataphin首页，单击顶部菜单栏的 资产。按照下图指引，进入有效 映射 的映射关系页面。...
映射关系概述
全部展开 视角下，为您展示每个对象（如字段）与数据标准的一一映射关系，如果一个对象映射到了多个数据标准，将生成多条映射关系。映射关系入口 在Dataphin首页，单击顶部菜单栏的 资产。按照下图指引，进入有效 映射 的映射关系页面。...
- 产品推荐
- 这些文档可能帮助您