数据处理分析的第一步就是获取数据。DTBot 的「导入」把外部数据放进当前工作流的 工作空间,变成一张张 表,供后续清洗、分析使用。处理完后,可以用「导出」把工作空间表写成磁盘上的 csv / xlsx。

下面为一些基础的概念:

概念 说明
工作空间 当前这条工作流自己的数据区(界面左侧),导入的表都在这里,和其他工作流互不影响
元数据 表和字段的说明书:名称、业务意义、字段类型,库表还会带主键和关联。后续 AI 分析靠它选对表、选对列
表 后续处理的最小单位,由若干字段组成。清洗、分析通过表名引用
字段 表里的一列。清洗、分析通过字段名引用
名称 表和字段都有名称,用来引用
业务意义 这张表、这一列在业务上是什么。给人看,也给后续 AI 分析看

一、从哪里导入

目前支持三种来源:文件、文件夹、数据库。文件格式:xlsx / csv / json / txt。系统会自动识别表头;没有表头时会自动生成表头。空行会被自动丢掉。

前端界面,可直接 拖入文件,或点击左下角工具栏的 「导入」,选择文件、文件夹或数据库。

导入入口导入入口-工具栏

二、导入来源详解

导入完成后,每一份合格数据都会变成工作空间里的一张表。三种来源如下。

1. 来自文件

一次可以选多个文件(xlsx / csv / json / txt)。CSV 导入后表名不变;xlsx 会按工作表拆开,一张工作表对应一张表,表名是「文件名_表单名」。

TXT 示例

订单编号,下单时间,金额,是否支付,城市
O000000001,2025-01-01 08:00:00,1234.56,是,上海
O000000002,2025-01-02 09:10:00,88.00,否,北京

JSON 示例

[
  {
    "订单编号": "O000000001",
    "下单时间": "2025-01-01 08:00:00",
    "金额": 1234.56,
    "是否支付": "是",
    "城市": "上海"
  },
  {
    "订单编号": "O000000002",
    "下单时间": "2025-01-02 09:10:00",
    "金额": 88.00,
    "是否支付": "否",
    "城市": "北京"
  }
]

导入成功后,工作空间表信息如图:

导入成功后的工作空间

重要

表头是英文也可以先导入。打开工作空间的 元数据管理,用 AI 一键译成中文,并补上业务意义。

2. 来自目录

指定一个监控目录后,会自动导入目录下所有 xlsx / csv / json / txt。目录里文件变更后,约一分钟内会刷新工作空间。

3. 来自数据库

可导入 MySQL 库中的表:填写连接信息,选出要导入的表,并指定 全量 或 增量。增量时可设定时(按小时 / 每天 / 每周,或只跑一次)。

确认前若表名、字段名是英文,可用 「AI 智能信息确认」 一键改成中文,并补上业务意义,方便查看和后续分析。

AI 智能信息确认

提示

业务意义 说明这张表、这一列在业务上是什么。给人看,也给后续 AI 分析看,用来对齐口径、减少看错列。建议导入时写清,或用「AI 智能信息确认」自动补上。

三、表元信息

导入时会 扫描全表数据,据此分析每一列更像数字、日期还是文本,算出 字段类型,并记下表名、列名、行数。从数据库导入时,还会从源库带上 主键、唯一、外键等关联(以库里已有的为准,不会按列名去猜)。这些合在一起,就是这张表的 元信息。

后续 AI 分析面对几十、上百张表时,靠元信息判断该选哪几张、哪几列。元信息越清楚,选表越准。

在工作空间 右键表 → 进入表元数据管理,可修改表名称、业务意义等。

表元数据入口表元数据编辑

四、导出

导出把工作空间里的表写到指定磁盘目录,格式只有 csv / xlsx。工作空间表只读,导出文件不进工作空间。

有两种做法:

  1. 右键立刻导出:在工作空间里点表,马上出盘。
  2. 工作流「表导出」节点:配在画布上,随工作流一起跑。

导入中、数据画像中、已经在导出时,不能再开一轮导出。

1. 右键工作空间表导出

工作流编辑界面,左侧工作空间里的表,右键 → 「导出文件」。一次选中多张表再右键,菜单会变成 「导出文件(N)」,会把选中的表一起导出。

弹出 「导出文件」 对话框后:

  1. 导出类型:勾选 xlsx、csv,可只勾一种,也可两种都勾。至少勾一种。
    - xlsx:Excel 工作簿。超百万行时自动拆成多个工作表。
    - csv:适合千万级全量导出。
  2. 保存位置:选一个磁盘目录。文件名用表名,一表一文件;目录里已有同名文件会被覆盖。
  3. 点 「确认导出」。左侧会出现导出进度,完成后到所选目录里取文件。

右键导出不会把多张表合成一个 xlsx。要合成一个工作簿、或多个表单,请用下面的 「表导出」 节点。

2. 工作流「表导出」节点

需要每次跑工作流都自动出盘,或按名称片段批量导出、或多张表合成一个 xlsx 时,用画布节点。

节点在面板的 「元数据」 分类,名字是 「表导出」。拖到画布后,用提示词写清三件事:导出哪些表、csv 还是 xlsx、磁盘绝对目录。多表合成一个 xlsx 时,还要写工作簿文件名。

示例:

把 “销售明细” 导出成 csv,放到 D:\out。
把天气日志和月度销售导出成一个 xlsx 多个表单,文件名月报,放到 D:\out。
把全部表导出成 xlsx,放到 E:\backup\tables。

提示词怎么写、和 「复制表」「删除表」怎么分工,见算子节点 「元数据 · 表导出」。

五、总结

导入把外部数据变成工作空间里的表,同时维护表的元数据。后面清洗、统计、AI 分析都认表名,并靠这些元数据选对表。导出把表写回磁盘:临时出盘用工作空间右键;要跟工作流一起跑,用 「表导出」 节点。