В этой статье я расскажу о своем опыте создания доменной RAG системы за два месяца с нуля. В процессе разработки я столкнулся с проблемами при парсинге данных, особенно с PDF-документами, а также с задачами чанкинга и индексации эмбеддингов. Работа велась без использования LangChain, используя Tesseract, Pillow и FAISS. Я, как музыковед, столкнулся с трудностями в обращении с неаккуратно отсканированными текстами, где соревновались художественные ноты и шумы OCR. В процессе создания корпуса книг и реализации парсера я разработал набор эвристик для повышения качества извлеченного текста. Завершив работу с данными, я реализовал онлайн-блок с ретривером и LLM. Результаты тестирования показали, что моя система способна выдавать качественные ответы и находить нужные источники, в отличие от других аналогов, таких как DeepSeek. Объективная оценка показала задержку в 8-10 секунд при формировании ответов, что вполне приемлемо для локальной реализации системы.
Понравилась статья? Поделиться с друзьями:
Вам также может быть интересно
В автобус до Крыма берут паспорт и билет, воду, лёгкую еду без резкого запаха,
Промокод на авиабилет вводят в специальное поле на сайте или в приложении продавца до
Для квартиры обычно хватает двери с наружным листом 1,2–1,5 мм, двумя замками разных типов
Для дачи и гаража обычно достаточно инвертора ручной дуговой сварки (ММА) с максимальным током
Диплом оформляют по ГОСТ 7.32-2017 «Отчёт о научно-исследовательской работе». Список литературы составляют по ГОСТ
Чтобы поступить в университет Турции, иностранец подаёт заявку напрямую в выбранный вуз или через
