全民上手大模型--ollama+langchain+通义千问零费用java+python跑通本机大模型

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
简介: 全民上手大模型--ollama+langchain+通义千问零费用java+python跑通本机大模型

开源大模型运行平台

Ollama,这是是一个开源的大语言模型平台,它允许用户在本地环境中运行、创建和共享大型语言模型。Ollama提供了丰富的功能和特性,使得用户可以在自己的计算机上轻松地部署和运行大型语言模型。注意啦,是自己的机器就可以哦!

中文大模型

阿里巴巴的通义千问,开源国产的,听得懂中文

用户友好API接口

langchain其实是一套规范化的API,实现了标准化对模型的集成、接入、组件化等工作,通过langchain用户可以很轻松打造属于自己的大模型产品。langchain很早就出来了,大模型出来的时候,因为对使用大模型的定制做了封装,也是一下子火爆起来了。

到此为止,其实万事俱备,我们就是要通过ollama+langchain+通义千问搞一把自己的大模型。

安装ollama

下载并安装

现在官网其实没有那么多乱七八糟的,直接一进去就是一个下载按钮,点就是了

点进去下载安装包,即可mac,linux,windows都行

我的是苹果系统,上面提到说要升级macOS 11,我的是10.15.7没影响,可以运行。下载之后就是安装了,没啥门槛。

下载模型

进入终端

ollama run + 模型名

模型在官网上直接罗列了一批,每个模型都要点硬盘,大家按照自己的需求下载,没有列出来的,可以在模型仓库里面找

我们这次是要下载通义千问,可以去仓库里面搜索到

ollama run qwen

这个命令其实是运行对应模型的意思。在运行之前,如果本机没有下载的话会去仓库上下载模型,需要等等。

使用模型-调戏大模型

下载之后会帮我们运行起来,是一个命令行模式的交互式接口,我们就可以开始调戏我们的大模型啦。大概就是下面这样,

B:~ zhuxuemin$ ollama run qwen
>>> 你是谁呀
我是通义千问,是由阿里云开发的语言模型。我被设计成能够回答各种问题、提供信息和进行对话。如果您有任何问题或需要帮助,请随时告诉我,我会尽力提供支持。
>>> 给我做一首关于春天的诗,要求是7言律诗
春天的阳光明媚,
绿草如茵,鲜花盛开。
春风吹过田野,
稻谷摇曳生姿。
小鸟在树梢上欢快地歌唱,
春风轻轻地吹拂着它们的羽毛

不满意,再来一下

>>> 给我做一首关于春天的诗,要求是7言律诗
春风拂面轻,  
绿草如茵春意浓。  
桃花笑映朝霞红,  
小鸟欢歌春色正。  
春风吹过田野广,  
稻谷摇曳生姿显。  
春天是希望的季节,  
让我们一起感受春的气息,感受生活的美好。

使用langchain跑起来

langchain是python的库,我们其实是希望按照我们的程序跑起来啦,这样子我们才可以放到微信里面,钉钉里面,或者嵌入到网站上面,变成美女客服啦。

环境准备

python开发要养成习惯,尽量使用隔离的环境去做项目,不然很多乱七八糟的报错说不清楚。

--安装虚拟环境
# 创建一个名为 llvm 的虚拟环境
python3 -m venv llvm
# 激活虚拟环境
source llvm/bin/activate

安装库

其实有了langchain就好了,但是后面运行代码的时候会提示你升级,一起给出来好了

pip install langchain
pip install -U langchain-community

注意了,其实我安装的时候毕竟慢,我就会尝试使用阿里云的pip仓库,但是我又不想改掉默认的配置,可以这样子安装:

pip install langchain --index-url https://mirrors.aliyun.com/pypi/simple

当然,我安装实际也没有那么完美,还是报了错greenlet包安装失败,我就手工安装一把。

pip install greenlet 

代码跑起来

代码到还好,来一个例子跑起来:

from langchain.prompts import PromptTemplate
from langchain.chains import LLMChain
from langchain_community.llms import Ollama
prompt_template = "请写一首关于{product}的诗,我希望是七言律诗"
ollama_llm = Ollama(model="qwen:latest")
llm_chain = LLMChain(
    llm = ollama_llm,
    prompt = PromptTemplate.from_template(prompt_template)
)
result=llm_chain.invoke("春天")
print(result)

输出:

{'product': '春天', 'text': '春光融宇宙,万物皆春色。\n\n鸟语花香中,一树桃花映日红。\n'}

这样子一就整个流程跑通啦~~

使用langchain-java跑起来

我可是Java程序员,我知道看我博客的人肯定是Java同学比较多,大家看完之后肯定恨不得立马在自己的Spring项目里面run起来,可是搞来搞去都是python的,不慌,我们就用java跑起来。

当然,使用的项目自然是对应的java版本,想多研究的可以直接去看源码

https://github.com/HamaWhiteGG/langchain-java

构建maven工程

主要核心点是引入包,官网也说了,项目运行是建议jdk17以上,我们就直接在maven中指定好,我给出完整的文件,主打一个方便抄:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>org.example</groupId>
    <artifactId>llvm_client</artifactId>
    <version>1.0-SNAPSHOT</version>
    <properties>
        <maven.compiler.source>17</maven.compiler.source>
        <maven.compiler.target>17</maven.compiler.target>
    </properties>
    <dependencies>
        <dependency>
            <groupId>io.github.hamawhitegg</groupId>
            <artifactId>langchain-core</artifactId>
            <version>0.2.1</version>
        </dependency>
    </dependencies>
</project>

例子源码里面都有的啦,拿过来稍微改改即可,上代码:


public class OllamaExample {

    public static void main(String[] args) {
        var llm = Ollama.builder()
                .baseUrl("http://localhost:11434")
                .model("qwen:latest")
                .temperature(0f)
                .build()
                .init();

        var result = llm.predict("给我写一首关于春天的诗,我希望是七言律诗");
        System.out.println(result);
    }
}

跑起来,嗯,效果还行:


相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
目录
相关文章
|
15天前
|
人工智能 自动驾驶 云栖大会
大模型赋能智能座舱,NVIDIA 深度适配通义千问大模型
9月20日杭州云栖大会上, NVIDIA DRIVE Orin系统级芯片实现了与阿里云通义千问多模态大模型Qwen2-VL的深度适配。阿里云、斑马智行联合NVIDIA英伟达推出舱驾融合大模型解决方案,基于通义大模型开发“能听会看”的智能座舱助理,让车内人员通过语音交流就能操作座舱内的各类应用,享受极致丰富的交互体验。
|
2月前
|
存储 人工智能
|
11天前
|
存储 关系型数据库 分布式数据库
GraphRAG:基于PolarDB+通义千问+LangChain的知识图谱+大模型最佳实践
本文介绍了如何使用PolarDB、通义千问和LangChain搭建GraphRAG系统,结合知识图谱和向量检索提升问答质量。通过实例展示了单独使用向量检索和图检索的局限性,并通过图+向量联合搜索增强了问答准确性。PolarDB支持AGE图引擎和pgvector插件,实现图数据和向量数据的统一存储与检索,提升了RAG系统的性能和效果。
|
9天前
|
Java Linux Python
Linux环境下 代码java调用python出错
Linux环境下 代码java调用python出错
24 3
|
20天前
|
机器学习/深度学习 人工智能 安全
python和Java的区别以及特性
Python:适合快速开发、易于维护、学习成本低、灵活高效。如果你需要快速上手,写脚本、数据处理、做点机器学习,Python就是你的首选。 Java:适合大型项目、企业级应用,性能要求较高的场景。它类型安全、跨平台能力强,而且有丰富的生态,适合更复杂和规模化的开发。
22 3
|
22天前
|
SQL JavaScript 前端开发
用Java、Python来开发Hive应用
用Java、Python来开发Hive应用
22 6
|
22天前
|
NoSQL JavaScript Java
Java Python访问MongoDB
Java Python访问MongoDB
19 4
|
2月前
|
人工智能 算法 Nacos
Nacos Python SDK 强势来袭,动态管理大模型 Prompt!
Nacos Python SDK——nacos-sdk-python1.0.0 稳定版正式发布啦!
370 11
|
2月前
|
机器学习/深度学习 算法 Java
Java调用Python方法
【8月更文挑战第7天】
|
2月前
|
人工智能 JSON API
下一篇
无影云桌面