人工智能
·昨天 23:32Day 33
✅ 今天做了:刷面试题,比如使用langgraph实现RAG系统时,如何处理pdf文档中表格数据的召回问题:处理pdf时,我会先判断是文本型pdf还是扫描型pdf。表格不能按照普通文本切分,这样可能会表头和数据行分开导致语义缺失,通常会使用布局解析或者是表格提取工具,将表格内容恢复为markdown,html,json格式。保留表头,数据行的关系,单位和来源信息。对于图片型表格可以使用ocr,复杂的图片可以使用多模态模型进行辅助解析和校验。小表格可以以表格chunk加摘要的方式写入向量库,大表格以主题,字段和摘要写入向量库,命中后通过表id调用关系数据库,将关联数据交给大模型。最后通过报表类型,年份,部门,来源页码等做过滤和溯源
⏰ 明天计划:继续刷面试题
📚 今日感悟:看懂了不一定会,还得能说出来
1
1
分享
操作
评论
相关内容
0个评论
全部评论
点击登录,快来和大家讨论吧~
表情
图片
暂无评论
