Skip to main content
知识分享官

把中国古代文献全部装进一块硬盘,需要多大?答案:不到 5GB

  1. 把中国古代文献全部装进一块硬盘,需要多大?

    答案:不到 5GB。

    GitHub 上的殆知阁古代文献(daizhigev20),1.7k star 的老牌语料库:16000 种古籍、20 万卷、约 20 亿字,全部 txt 纯文本,一次 clone 全带走。

    什么概念?《四库全书》收书 3503 种——它的收录量是四库全书的四倍还多。

    整个文库按传统方法分作十藏: 易藏 · 儒藏 · 道藏 · 佛藏 · 子藏 史藏 · 诗藏 · 集藏 · 医藏 · 艺藏
    经史子集、佛经道藏、历代医书、诗词文集,基本你想得到的中国古代文献都躺在里面。
    能干嘛? 做 RAG 国学知识库,喂给 AI 答四书五经 古文 NLP 研究的现成大规模语料 当私人电子文库,GitHub 页面里直接全文检索

    一个小提醒:文本来自多年网络协作录入,质量参差,拿去做学术引用前记得自行校对。

    https://github.com/garychowcmu/daizhigev20