数据处理分析的第一步就是获取数据。DTBot 的「导入」把外部数据放进当前工作流的 工作空间,变成一张张 表,供后续清洗、分析使用。处理完后,可以用「导出」把工作空间表写成磁盘上的 csv / xlsx。
下面为一些基础的概念:
| 概念 | 说明 |
|---|---|
| 工作空间 | 当前这条工作流自己的数据区(界面左侧),导入的表都在这里,和其他工作流互不影响 |
| 元数据 | 表和字段的说明书:名称、业务意义、字段类型,库表还会带主键和关联。后续 AI 分析靠它选对表、选对列 |
| 表 | 后续处理的最小单位,由若干字段组成。清洗、分析通过表名引用 |
| 字段 | 表里的一列。清洗、分析通过字段名引用 |
| 名称 | 表和字段都有名称,用来引用 |
| 业务意义 | 这张表、这一列在业务上是什么。给人看,也给后续 AI 分析看 |
一、从哪里导入
目前支持三种来源:文件、文件夹、数据库。文件格式:xlsx / csv / json / txt。系统会自动识别表头;没有表头时会自动生成表头。空行会被自动丢掉。
前端界面,可直接 拖入文件,或点击左下角工具栏的 「导入」,选择文件、文件夹或数据库。
导入入口导入入口-工具栏
二、导入来源详解
导入完成后,每一份合格数据都会变成工作空间里的一张表。三种来源如下。
1. 来自文件
一次可以选多个文件(xlsx / csv / json / txt)。CSV 导入后表名不变;xlsx 会按工作表拆开,一张工作表对应一张表,表名是「文件名_表单名」。
TXT 示例
订单编号,下单时间,金额,是否支付,城市
O000000001,2025-01-01 08:00:00,1234.56,是,上海
O000000002,2025-01-02 09:10:00,88.00,否,北京
JSON 示例
[
{
"订单编号": "O000000001",
"下单时间": "2025-01-01 08:00:00",
"金额": 1234.56,
"是否支付": "是",
"城市": "上海"
},
{
"订单编号": "O000000002",
"下单时间": "2025-01-02 09:10:00",
"金额": 88.00,
"是否支付": "否",
"城市": "北京"
}
]
导入成功后,工作空间表信息如图:
导入成功后的工作空间
重要
表头是英文也可以先导入。打开工作空间的 元数据管理,用 AI 一键译成中文,并补上业务意义。
2. 来自目录
指定一个监控目录后,会自动导入目录下所有 xlsx / csv / json / txt。目录里文件变更后,约一分钟内会刷新工作空间。
3. 来自数据库
可导入 MySQL 库中的表:填写连接信息,选出要导入的表,并指定 全量 或 增量。增量时可设定时(按小时 / 每天 / 每周,或只跑一次)。
确认前若表名、字段名是英文,可用 「AI 智能信息确认」 一键改成中文,并补上业务意义,方便查看和后续分析。
AI 智能信息确认
提示
业务意义 说明这张表、这一列在业务上是什么。给人看,也给后续 AI 分析看,用来对齐口径、减少看错列。建议导入时写清,或用「AI 智能信息确认」自动补上。
三、表元信息
导入时会 扫描全表数据,据此分析每一列更像数字、日期还是文本,算出 字段类型,并记下表名、列名、行数。从数据库导入时,还会从源库带上 主键、唯一、外键等关联(以库里已有的为准,不会按列名去猜)。这些合在一起,就是这张表的 元信息。
后续 AI 分析面对几十、上百张表时,靠元信息判断该选哪几张、哪几列。元信息越清楚,选表越准。
在工作空间 右键表 → 进入表元数据管理,可修改表名称、业务意义等。
表元数据入口表元数据编辑
四、导出
导出把工作空间里的表写到指定磁盘目录,格式只有 csv / xlsx。工作空间表只读,导出文件不进工作空间。
有两种做法:
- 右键立刻导出:在工作空间里点表,马上出盘。
- 工作流「表导出」节点:配在画布上,随工作流一起跑。
导入中、数据画像中、已经在导出时,不能再开一轮导出。
1. 右键工作空间表导出
工作流编辑界面,左侧工作空间里的表,右键 → 「导出文件」。一次选中多张表再右键,菜单会变成 「导出文件(N)」,会把选中的表一起导出。
弹出 「导出文件」 对话框后:
- 导出类型:勾选
xlsx、csv,可只勾一种,也可两种都勾。至少勾一种。
- xlsx:Excel 工作簿。超百万行时自动拆成多个工作表。
- csv:适合千万级全量导出。 - 保存位置:选一个磁盘目录。文件名用表名,一表一文件;目录里已有同名文件会被覆盖。
- 点 「确认导出」。左侧会出现导出进度,完成后到所选目录里取文件。
右键导出不会把多张表合成一个 xlsx。要合成一个工作簿、或多个表单,请用下面的 「表导出」 节点。
2. 工作流「表导出」节点
需要每次跑工作流都自动出盘,或按名称片段批量导出、或多张表合成一个 xlsx 时,用画布节点。
节点在面板的 「元数据」 分类,名字是 「表导出」。拖到画布后,用提示词写清三件事:导出哪些表、csv 还是 xlsx、磁盘绝对目录。多表合成一个 xlsx 时,还要写工作簿文件名。
示例:
把 “销售明细” 导出成 csv,放到 D:\out。
把天气日志和月度销售导出成一个 xlsx 多个表单,文件名月报,放到 D:\out。
把全部表导出成 xlsx,放到 E:\backup\tables。
提示词怎么写、和 「复制表」「删除表」怎么分工,见算子节点 「元数据 · 表导出」。
五、总结
导入把外部数据变成工作空间里的表,同时维护表的元数据。后面清洗、统计、AI 分析都认表名,并靠这些元数据选对表。导出把表写回磁盘:临时出盘用工作空间右键;要跟工作流一起跑,用 「表导出」 节点。