Создание RAG-системы на основе 20 книг: мой опыт

В этой статье я расскажу о своем опыте создания доменной RAG системы за два месяца с нуля. В процессе разработки я столкнулся с проблемами при парсинге данных, особенно с PDF-документами, а также с задачами чанкинга и индексации эмбеддингов. Работа велась без использования LangChain, используя Tesseract, Pillow и FAISS. Я, как музыковед, столкнулся с трудностями в обращении с неаккуратно отсканированными текстами, где соревновались художественные ноты и шумы OCR. В процессе создания корпуса книг и реализации парсера я разработал набор эвристик для повышения качества извлеченного текста. Завершив работу с данными, я реализовал онлайн-блок с ретривером и LLM. Результаты тестирования показали, что моя система способна выдавать качественные ответы и находить нужные источники, в отличие от других аналогов, таких как DeepSeek. Объективная оценка показала задержку в 8-10 секунд при формировании ответов, что вполне приемлемо для локальной реализации системы.

Понравилась статья? Поделиться с друзьями:
Сайт для студентов