es混合检索与langchain检索增强

Langchain RetrieverMultiQueryRetriever,利用llm为问题生成3个意思接近的问题,根据3个问题检索相关文档并全部返回。MultiVectorRetriever,当同一个文档在向量库中因存储不同向量而存在多条记录时,通过id进行去重。代码实现非常简单,不知道有什么用


大模型加速与性能对比

大模型加速与性能对比阿里通义千问flash-attention加速正常运行通义千问会提示安装flash-attention以获得更快的推理速度,缺少这个包并不影响模型运行。事实证明安装之后对于推理速度的提升也很小(5%),网上说对于微调训练的速度提升比较大,因为是在内网环境下,安装还费了一番周折。本


Springboot-devtools原理分析

Springboot-devtools原理分析springdev-tools实现开发过程中,自动重启应用程序,提供了一定的方便。使用的话,需要引入starter依赖,然后设置IDEA文件更新策略,我一般设置为切出IDEA时更新类和文件。devtools检测类路径下文件夹变化,然后通过反射调用主类的M


Elasticsearch文本处理

Text-Analysis文本处理是在index和search阶段对文本数据的处理,包括去除无效字符、分词、替换等操作。分析器一个完整的分析器Analyzer由三种组件组成,代表了es文本处理的三个阶段。字符过滤器Character filter文本处理的第一阶段,进行前置处理,可以对字符进行添加、


Elasticsearch Mapping详解

映射动态映射。无须显示指定文档字段数据类型,直接添加数据即可,es会自动推断数据类型,一般在测试时使用,生产过程避免使用字段推断。显式映射。创建索引时显式指定字段和数据类型。索引创建后不能修改字段名(可以添加alias),不能修改数据类型,可以添加新的字段运行时字段。在查询时确定数据类型,由于不会提


Elasticsearch Query详解

映射动态映射。无须显示指定文档字段数据类型,直接添加数据即可,es会自动推断数据类型,一般在测试时使用,生产过程避免使用字段推断。显式映射。创建索引时显式指定字段和数据类型。索引创建后不能修改字段名(可以添加alias),不能修改数据类型,可以添加新的字段运行时字段。在查询时确定数据类型,由于不会提


DB-GPT-HUB Text-to-SQL微调

DB-GPT-HUB Text-to-SQL微调项目介绍DB-GPT-Hub是一个利用LLMs实现Text-to-SQL解析的实验项目,主要包含数据集收集、数据预处理、模型选择与构建和微调权重等步骤,通过这一系列的处理可以在提高Text-to-SQL能力的同时降低模型训练成本,让更多的开发者参与到T


Docker安装LibreOffice

Docker安装LibreOfficeLibreOffice是一款开源的办公套件,提供了类似于Microsoft Office的功能,包括文档处理、电子表格、演示文稿、绘图、数据库等多个办公应用程序。LibreOffice 是由 The Document Foundation(文档基金会)开发和维护


WSL配置深度学习环境

WSL配置深度学习环境官网教程截至2023年11月8日,系统要求,本人使用的是wsl2 Ubuntu20.04 ,wsl版本一定要是2。关于驱动不需要在wsl中安装驱动,和windows系统共用一个驱动!登录到wsl的ubuntu中,输入nvidia-smi。root@DESKTOP-SJ490MT