通过数据同步功能同步SLS数据至数仓版
开启后，您可根据SLS数据的时间戳精度选择 秒级精度时间戳、毫秒级精度时间戳 和 微秒级精度时间戳。上述参数配置完成，单击 提交。启动数据同步任务 在 数据同步 页面，选择创建成功的数据同步任务，在 操作 列单击 启动。单击右上角 查询...
DataX同步数据
创建同步数据的源数据表和目标数据表：创建源数据表的代码示例如下。create table datax_test1(area varchar(255),province varchar(255));insert into datax_test1 values('华北','山东省'),('华南','河南省');创建目标数据表的代码示例...
DataX同步数据
创建同步数据的源数据表和目标数据表：创建源数据表的代码示例如下。create table datax_test1(area varchar(255),province varchar(255));insert into datax_test1 values('华北','山东省'),('华南','河南省');创建目标数据表的代码示例...
一键实时同步至Elasticsearch
步骤四：设置目标索引 单击 刷新源表和Elasticsearch 索引映射 将根据您在步骤三配置的 设置表名到索引名的映射规则 来生成目标索引，若步骤三未配置映射规则，将默认写入与源表同名的目标索引，若目标端不存在该同名索引，将默认新建。...
通过数据同步功能同步SLS数据至湖仓版
开启后，您可根据SLS数据的时间戳精度选择 秒级精度时间戳、毫秒级精度时间戳 和 微秒级精度时间戳。上述参数配置完成，单击 提交。启动数据同步任务 在 数据同步 页面，选择创建成功的数据同步任务，在 操作 列单击 启动。单击右上角 查询...
统一服务
空间服务API：样式表管理：支持通过SLD文件配置地图服务的样式风格，通过上传SLD文件方式添加空间数据的样式表，并支持点、线、面的空间数据样式。服务管理：支持把空间数据发布为服务，选择需要的数据、设置发布的服务类型、以及坐标系后...
快速体验
DataWorks为您提供智能建模、数据清洗、...操作演示说明 本文以下的操作演示为操作示例，随产品迭代更新，部分操作示例图可能与您的实际操作环境有细微出入，一般情况下，您可以参考对应功能的官方文档找到入口，不会影响您实验整体操作流程。
加速服务
数据表名称 选择要加速的MaxCompute数据源名称和数据表名称。说明 如果您有多张待加速的表，可单击下方的添加数据表，继续添加其他待加速的表，一键生成多个加速项。每次可添加不超过10张MaxCompute表。单击 确定，待 新增加速项 对话框中...
受众与核心能力
总之，使用DataWorks，您不仅可以进行海量数据的离线加工分析，还能完成数据的汇聚集成、开发、生产调度与运维、离线与实时分析、数据质量治理与资产管理、安全审计、数据共享与服务、机器学习、应用搭建等覆盖大数据全生命周期的最佳实践...
使用指南
通义灵码，作为智能编码助手，可以在你进行编码工作时，为你提供行级/函数级实时续写、自然语言生成代码、单元测试生成、代码优化、注释生成、代码解释、研发智能问答、异常报错排查等辅助编码工作的功能。说明 在 IDE 环境中使用通义灵码...
批量上传质量规则
支持通过Excel批量上传质量规则，帮助您为多个数据表配置质量规则，提升配置效率。本文为您介绍如何批量上传质量规则。前提条件 已发布数据表至生产环境。如何发布数据表至生产环境，请参见 管理发布任务。使用说明 Dataphin数据表和全域...
批量上传质量规则
支持通过Excel批量上传质量规则，帮助您为多个数据表配置质量规则，提升配置效率。本文为您介绍如何批量上传质量规则。前提条件 已发布数据表至生产环境。如何发布数据表至生产环境，请参见 管理发布任务。使用说明 Dataphin数据表和全域...
Kafka增量数据同步至MaxCompute
如果待写入的MaxCompute表未生成，您可以使用 一键生成目标表结构 功能快速建表，一键生成目标表结构 会自动生成建表SQL，解读详情请参见下文的 附录：一键生成目标表结构。分区信息 本实践示例的写入MaxCompute表有一个分区列ds，在 ds=后...
Kafka增量数据同步至MaxCompute
如果待写入的MaxCompute表未生成，您可以使用 一键生成目标表结构 功能快速建表，一键生成目标表结构 会自动生成建表SQL，解读详情请参见下文的 附录：一键生成目标表结构。分区信息 本实践示例的写入MaxCompute表有一个分区列ds，在 ds=后...
一键实时同步至DataHub
任务组成 当前方案将分别创建用于全量数据初始化的离线同步子任务，和用于增量数据实时同步的数据集成实时同步子任务，方案产生的离线同步子任务个数与最终读取的源端表个数有关。数据写入 运行同步任务后，生成的离线同步任务将全量数据...
数据探查全局配置
数据探查配置可开启自动探查的数据表范围，管控数据探查记录、并发运行任务数、任务探查时间及配置set参数，从而更合理的运用资源。本文为您介绍如何进行数据探查的全局配置。前提条件 需开通数据质量功能模块才可使用数据探查功能。权限 ...
SSB性能测试说明
sh ssb_dataload.sh 该命令将自动完成SSB数据加载过程，包括数据库、表和数据集的生成以及加载。步骤三：执行查询并 查看测试 结果 通过执行以下命令，您可以方便地查看SSB测试的概览结果，并在当前目录下生成result.csv文件，您可以了解...
数据探查全局配置
数据探查配置可开启自动探查的数据表范围，管控数据探查记录、并发运行任务数、任务探查时间及配置set参数，从而更合理的运用资源。本文为您介绍如何进行数据探查的全局配置。前提条件 需开通数据质量功能模块才可使用数据探查功能。使用...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
通用数据查询与管理
如果需要快速地查找数据，例如查找工作空间、数据源中的表、数据分析和数据服务中的代码或API，您可以在数据地图中进行查找。进入数据地图 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击...
配置并管理实时同步任务
单击 刷新源表和MaxCompute表映射 将根据您在步骤三配置的目标表名映射规则来生成目标表，若步骤三未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式、为目标表在源有表字段...
可视分析创作间和传统BI软件差异比较
可视分析创作间 传统BI软件 数据源 数据连接类型：支持Excel上传，支持数据库连接 数据连接类型：支持Excel上传，支持数据库连接 支持临时业务数据，也支持建模后的数据内容 通常需要前期IT人员完成数据建模 数据采集和准备 零代码创建数据...
TPC-H
复杂关联分析：多表Join、相关查询、数据多维过滤和高精度数值计算等，不仅对优化器是挑战（如何解相关、选择最优Join顺序、选择表的分发方式等），对计算引擎的实现也是挑战（内存管理、代码生成、执行调度等）。大批量实时写入：亿级数据...
物化视图和字段资产详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
数据建模
数据建模支持ER模型和维度模型两种数据建模方法，帮助用户完成数据模型、逻辑表的设计和管理。用户可对数据模型的层次结构进行管理，并对逻辑表字段进行设计。字段设计需要在数据标准的约束下，通过模型设计过程中引用标准数据元定义，设置...
维度层（DIM）
本文为您介绍维度层的设计原则、维度表的规范、创建维度及查询维度逻辑表。维度层简介 建立一致数据分析维表，可以降低数据计算口径和算法不统一风险。以维度作为建模驱动，基于每个维度的业务含义，通过定义维度及维度主键，添加维度属性...
应用场景
运营长图制作 赋能业务人员自助数据分析，仅需上传Excel文件，即可实现数据探查和可视化分析，构建运营指标看板，分享运营效果长图。部门业务总结 基于浏览器操作，零代码零编程，部门业务人员可以对接各种数据源，通过拖拉拽方式定义图表...
敏感数据保护
识别规则会按照配置的识别范围（项目、表）和数据分离的识别方式（字段内容、字段名）自动进行数据的扫描并生成敏感数据的识别结果。自动识别支持定时全量识别+实时增量识别，可以更快速更完整的识别敏感数据。手动打标 针对明确的敏感数据...
敏感数据保护
识别规则会按照配置的识别范围（项目、表）和数据分离的识别方式（字段内容、字段名）自动进行数据的扫描并生成敏感数据的识别结果。自动识别支持定时全量识别+实时增量识别，可以更快速更完整的识别敏感数据。手动打标 针对明确的敏感数据...
使用方法
您可以使用数据过滤器，自定义数据过滤代码，实现数据结构转换、数据筛选展示和一些简单的计算。本文介绍新版DataV资产数据过滤器的使用方法。背景信息 新版数据过滤器与旧版过滤器相比，取消了全局过滤器的概念（即各可视化应用共享过滤器...
数据引入概述
Dataphin支持通过数据集成和数据同步的方式，将业务数据源的数据引入Dataphin平台。背景信息 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单...
数据引入概述
Dataphin支持通过数据集成和数据同步的方式，将业务数据源的数据引入Dataphin平台。背景信息 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单...
SQL查询
工作空间已配置数据源：DataWorks的数据源分为引擎绑定时默认创建的引擎数据源和在数据源配置界面创建的自建数据源，若要操作非引擎数据源，请确保已创建数据源，详情请参见 创建并管理数据源。已拥有某数据源在数据分析模块的查询权限：...
就绪检测节点
检测规则 检测规则 首先通过SQL 语句来计算源数据表中数据的数量，再验证这个数量是否符合条件。检测规则支持添加多条，界面示例和关键参数说明如下：配置项 说明 SQL代码 填写对应的质量检测代码。解析 当有参数时，单击 解析，支持解析...
就绪检测节点
检测规则 检测规则 首先通过SQL 语句来计算源数据表中数据的数量，再验证这个数量是否符合条件。检测规则支持添加多条，界面示例和关键参数说明如下：配置项 说明 SQL代码 填写对应的质量检测代码。解析 当有参数时，单击 解析，支持解析...
步骤三：引入数据
完成数据仓库的规划和数据源信息的配置后，您还需将您的源数据product表、customer表、orders表引入到项目中。本文将指导您如何将数据源的数据集成到您的创建的项目空间。背景信息 product表、customer表、orders表的集成步骤相同，仅管道...
步骤三：引入数据
完成数据仓库的规划和数据源信息的配置后，您还需将您的源数据product表、customer表、orders表引入到项目中。本文将指导您如何将数据源的数据集成到您的创建的项目空间。背景信息 product表、customer表、orders表的集成步骤相同，仅管道...
通过直连数据源模式创建API
直连数据源模式是通过SQL直接从数据源创建API。本文为您介绍如何使用直连API模式生成API。步骤一：选择生成API的方式 在Dataphin首页，单击顶部菜单栏 服务。系统默认进入 市场 页面。按照下图操作指引，进入 API创建方式选择 对话框。在 ...
Hive数据导入
功能介绍 AnalyticDB MySQL版 湖仓版（3.0）支持新建Hive数据迁移任务，通过迁移任务将Hive元数据和数据一键迁移到OSS，或多库多表并行迁移到OSS。前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）集群。具体操作，请参见 创建湖仓版（3.0...
- 产品推荐
- 这些文档可能帮助您