数据工程作为个人认知基建

有一个周五的晚上，我突然意识到，自己手里到底积攒了多少数据。微信聊天记录，企业微信的对话，云笔记里的碎片，手机录音转出来的文字。所有的这些东西堆在一起，占据了一整块硬盘的空间。

我第一次产生了这么一个念头，我能不能把这些数据全部采集起来，清洗干净，然后从里面提取出属于我的内容。这些内容是我在几年里面说出来的话、写下来的想法、表达过的观点。它们散落在不同的平台里，被格式隔离，被时间冲散。如果能把这些碎片重新整合起来，它们应该能构成一个更完整的自我图景。

于是我开始了这个数据工程。第一步是把微信的本地数据库解密，把聊天记录导出来。这一步走了不少弯路，很多平台对数据导出是不友好的，格式封闭，工具受限。但我找到了一条路，把原始数据提取出来，然后转成可读的格式。第二步是企业微信，同样的操作再做一遍。第三步是云笔记，把那些年积累下来的笔记条目全部导出、清洗、去重。

这个过程的复杂度超出了我的预想。不是技术上的难度，而是数量上的压力。当数据量大到一定程度之后，你面对的不再是几条可以手工处理的信息，而是一堆需要分类、标注、关联的资源库。你开始需要一个系统来管理这些系统。

个人信息学把这个过程分成五个阶段。准备，采集，整合，反思，行动。我在前三个阶段花了很多时间。但到了反思和行动的阶段，反而不知道该怎么继续了。数据被清洗干净之后，我问自己一个问题，然后呢。这些数据能告诉我什么，我想从它们里面找到什么。这个问题比技术实现更难回答。

也许这就是个人数据工程真正的挑战。采集和清洗是可以用技术解决的，但意义的提取不是。数据本身不会说话，需要有一个目标来驱动筛选和解释。没有目标的清洗，只会把一堆混乱变成另一堆排列整齐的混乱。

参考文献

1. Li, I., Dey, A., & Forlizzi, J. (2010). A stage-based model of personal informatics systems. CHI 2010. https://dl.acm.org/doi/10.1145/1753326.1753409
2. Rahm, E., & Do, H. H. (2000). Data cleaning: Problems and current approaches. IEEE Data Engineering Bulletin. https://docslib.org/doc/6241670/data-cleaning-problems-and-current-approaches
3. Clark, A., & Chalmers, D. (1998). The extended mind. Analysis, 58(1), 7–19. https://doi.org/10.1093/analys/58.1.7