千问文本分类任务微调

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
简介: 这段代码定义了一个`predict`函数,它使用Hugging Face的`AutoModelForCausalLM`和`AutoTokenizer`来生成对话回复。模型和tokenizer分别从指定路径加载,然后对输入的`messages`(包含指令和用户输入)进行处理,通过模型生成响应。代码最后展示了一个测试用例,其中讨论了历史人物的评价。模型的输出被打印出来。整个流程涉及预处理、模型推理和后处理,用于生成与历史相关的内容。
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

def predict(messages, model, tokenizer):
    device = "cuda"

    text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
    model_inputs = tokenizer([text], return_tensors="pt").to(device)

    generated_ids = model.generate(model_inputs.input_ids, max_new_tokens=512)
    generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
    response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

    return response


# 加载原下载路径的tokenizer
tokenizer = AutoTokenizer.from_pretrained("./qwen/Qwen2-1___5B-Instruct/", use_fast=False, trust_remote_code=True)

# 加载训练好的模型路径的model,将下面的checkpointXXX替换为实际的checkpoint文件名名称
model = AutoModelForCausalLM.from_pretrained("./output/Qwen1.5/checkpoint-500/", device_map="auto", torch_dtype=torch.bfloat16)

test_texts = {
   
    'instruction': "你是一个文本分类领域的专家,你会接收到一段文本和几个潜在的分类选项,请输出文本内容的正确类型",
    'input': "文本:【 文献号 】4-2054\t【原文出处】史学月刊\t【原刊地名】开封\t【原刊期号】199804\t【原刊页号】118~120\t【分 类 号】K5\t【分 类 名】世界史\t【复印期号】199809\t【 标  题 】正确评价世界近代史上的历史人物\t【 作  者 】秦元春\t【作者简介】作者秦元春,1964年生,淮南师范专科学校历史系讲师。淮南,232001\t【 正  文 】\t历史科学是一门准确而严谨的科学。正确了解和评价各个时期的历史人物及其所从事的活动,是历史研究的一个重要组成部分。在世界历史的长河中,有许多类别不同的历史人物,由于特定的条件和环境,具有比较复杂的特性。因此,遵循马克思历史唯物主义的观点,正确评价历史人物,在历史研究与教学过程中尤为重要。一  正确评价资产阶级革命中的各种头面人物世界近代史是资本主义发生、发展的历史。资本主义社会如同封建社会一样,都是人类社会历史发展过程中的必然阶段。17世纪至18世纪欧美发生的早期资产阶级革命,用资本主义制度战胜了封建制度,显示了资本主义制度比封建制度的巨大优越性。当时,最先出来领导革命并执掌政权的总是上层金融资产阶级。这是不足为怪的。因为它是最有经济实力、政治上最成熟的阶层,由它建立统治权在客观上是历史的必然。因此,正确评价早期资产阶级革命中具有开拓性的历史人物,必须根据当时时代的特点。《共产党宣言》中说:“资产阶级在历史上曾经起过非常革命的作用。”马克思的这一观点,尤应引起我们的重视。如何评价克伦威尔?首先,克伦威尔是一个处于世界从封建社会开始向资本主义社会转变的历史时期的人物,他在当时是能够顺应世界从封建社会向资本主义社会转变这一历史潮流的。他的历史任务就是在英国推翻封建制度,建立资本主义制度。克伦威尔基本上完成了历史所赋予的时代任务。在革命一开始,他就参加了反对斯图亚特王朝的斗争;后来,在审讯查理一世的过程中态度坚决,他又始终参加了对国王的审判。正是由于他的坚持,国王才被推上断头台,英国才宣布为“共和国和自由国家”。无疑,克伦威尔促进了英国社会的变革与向前发展。其次,克伦威尔领导了多次重大战役,具有卓越的军事才能。克伦威尔不愧为英国资产阶级的开国元勋、杰出的资产阶级革命家。我觉得,评价克伦威尔应从总体上观察他是否顺应了历史发展的要求,不能简单地因为克伦威尔谋求私利、权欲大、征服爱尔兰而否定他,更不能因为克伦威尔有其时代和阶级的局限性而苛求他。对华盛顿的评价,现在已基本上纠正了过去在“左”的思想影响下的只给予抽象肯定的做法。分歧比较大的是对法国大革命中一些头面人物的评价。实际上,法国大革命无论在深度上还是在广度上都超过了英国资产阶级革命和美国独立战争。雅各宾专政是法国大革命最深入、最彻底的阶段。罗伯斯庇尔这个历史人物对法国大革命贡献是最大的,也是最突出的。革命风暴前夕,罗伯斯庇尔全力投入反对封建专制制度的政治斗争。三级会议选举前,罗伯斯庇尔发表了《致阿多瓦人》的革命小册子。革命初期,罗伯斯庇尔以一位公认的群众领袖的身份主办《宪法保卫者》周刊。1992年8月10日起义后,他被选入巴黎公社和国民公会,领导雅各宾派,坚决主张处死国王路易十六和抗击普奥干涉军。1793年5月31日到6月2日起义后,罗伯斯庇尔领导雅各宾派政府――公安委员会,废除封建土地所有制,平定吉伦特派的反革命叛乱,粉碎欧洲君主国的武装干涉,在保卫和推动法国大革命向前发展中起过很大的作用。罗伯斯庇尔虽有其时代和阶级的局限性,犯有严重过错,但他不失为法国大革命之中有胆略的资产阶级革命家。至于拉法叶特,过去在苏联和我国史学著述中却几乎无例外地对他作出了否定的结论。这就有必要进行重新研究。事实上,法国大革命爆发后,拉法叶特被巴黎各区推举为刚刚组成的巴黎国民自卫军司令。他担任这一军事要职一直到1791年11月。拉法叶特对这支新型武装力量的发展无疑有着重要影响。作为法国大革命时期君主立宪派首领之一,他在摧毁封建专制的国家机构,初步建立资本主义的国家体制,使法国革命沿着上升路线发展,发挥了其应有的作用。尽管他的政治生涯中有着无法克服的污点和罪行,但这不能影响我们认识和肯定他在法国大革命初期所起的作用。同样,对于法国大革命时期的布里索也不应该一棍子打死。布里索作为吉伦特派的主要领导人,在革命初期,创办过《法兰西爱国者报》,作好了迎接革命的准备。大革命爆发后,布里索积极赞同革命,并倾向君主立宪派。在吉伦特派执政时期,布里索作为该派领导人,在进一步打击封建制度、宣布成立共和国、抗击欧洲干涉军、保证资本主义经济自由发展等方面,作了一些好事。布里索虽然反对革命深入发展,企图逃走而未遂,但他仍属于有所贡献的资产阶级共和派领导人。对于丹东的评价,解放以来几乎照搬苏联史学观点,说他宽容、投降,逐渐变成颠覆共和国的危险敌人,等等。年仅35岁的丹东,后期虽有过政治上的失节,但不能因此一笔抹煞他的历史功绩。丹东参加过1792年8月10日起义。当时凡尔登失陷的消息传来,丹东在祖国存亡、危在旦夕的时刻,发表了著名的演说,号召人民拿起武器,保卫祖国。可以说,1792年夏秋是丹东革命生涯之中最光辉的一页。在早期资产阶级革命时期,每个开拓性的历史人物都在历史上有其应有的地位与作用,应该给以应有的肯定。至于后期各国的资产阶级革命中的著名人物,如俾斯麦、林肯、加富尔、拿破仑三世等人,我们既不能以其功而掩盖其曾有之过,也不能以其过而否定其曾有之功,而应力求给予恰如其分的科学的肯定。列宁指出:“无产阶级敌视一切资产阶级和资本主义制度的一切表现,但是这种敌视并没有解除它应对资产阶级人士在历史上的进步和反动加以区别的责任。”(注:《列宁全集》第8卷,第34页。)二  正确评价国际工人运动中各种派别的头面人物在19世纪中叶至20世纪初叶的国际工人运动中,马克思主义者代表了运动的发展方向和未来,但在这个运动中也出现了与马克思主义者相敌对的各种机会主义的派别。对这些派别的头面人物的研究,应将其思想发展的过程和各个阶段分析得比较细致一些,尽可能做到具体而生动地再现每个历史人物的全貌。拉萨尔是德国工人运动历史上一个重要人物,也是一个充满矛盾的人物。他的活动和思想意识均带有两重性。在1848年德国革命期间,他响应马克思的号召,投身革命斗争,并为此坐了牢,但他同时对旧法统与旧法制抱有幻想。60年代初,他曾帮助工人摆脱自由资产阶级的影响,在建立德国工人独立政治组织中立下了汗马功劳;同时,他却千方百计地暗中勾结俾斯麦,妄想把全德工人联合会变成普鲁士王朝的御用工具。尽管如此,对于拉萨尔在1848年德国革命和10年(1858-1869)反动统治时期的表现,我们应该基本上予以肯定。巴枯宁是俄国历史上和国际工人运动史上深有影响的人物,素有“无政府主义之父”之称。然而,对巴枯宁早期曾经是一个民主主义者的历史事实,人们却未予重视。1842年10月,巴枯宁就开始在卢格主编的《德国年鉴》上以茹尔・埃利扎尔的笔名发表了《德国的反动。法国人编纂的文集片断》一文。在这篇文章中,他以法国民主主义者的身份鼓吹自由、平等和博爱,从而标志着他的民主主义思想的形成。1843年6月,巴枯宁发表在《瑞士共和主义者报》上的《论共产主义》一文,说明了他的民主主义思想有了新的发展。1847年11月,巴枯宁在巴黎纪念1831年波兰起义大会上发表的反对沙俄专制主义的演说,反映了他的民主主义思想的成熟。1848年3月,巴枯宁发表在巴黎《改革报》上的《宣言》,以“共和万岁”和“民主万岁”的激情口号结束,表现了他对欧洲资产阶级民主革命胜利的信心。正是在这种思想意识的指导之下,他投身于1848-1849年的欧洲革命高潮之中。从法兰西兵营到德累斯顿的街垒,都留下了他的足迹。不久之后,巴枯宁由民主主义者向无政府主义者蜕变。这是巴枯宁的个人悲剧所在。尽管巴枯宁发展成为一个把“骗子、强盗、暴发户、复仇主义者、奸商的特点”集中于一身的人物,但是,对他早期民主主义阶段还应给予肯定。众所周知,伯恩施坦是修正主义的鼻祖。伯恩施坦作为苏黎世“三人团”的成员和《社会主义的前提和社会民主党的任务》发表前后的历史,都是人们有目共睹的。但是,对伯恩施坦主编《社会民主党人报》期间的活动,则往往被人们所忽视。事实上,伯恩施坦和考茨基一样,在整个80年代和在90年代前期,都是革命的社会民主党人,都是马克思主义者(注:有关新的探讨可参阅彭树智:《伯恩斯坦与“社会民主党人报”》,载《西北大学学报》,1981年第4期。)。从伯恩施坦的全部演变史来看,他一生的演变经历了一个曲线的过程:由青年民主主义者下降线发展到“苏黎世三人团”的一员,再沿上升线发展到革命的社会民主党人,即马克思主义者的阶段,最后又沿着下降线发展下去,成为修正主义者、社会帝国主义者。这个发展过程表现了他与考茨基有着不同的特点。考茨基前期是民主主义者,中期是马克思主义者,后期成为修正主义者、无产阶级革命的叛徒。从这个意义上说,伯恩施坦是比考茨基更为复杂的历史人物。普列汉诺夫同样是国际共产主义运动史上比较复杂的头面人物。早期,他是个民粹主义者,后来与查苏利奇、阿克雪里罗德等人在日内瓦创立“劳动解放社”,翻译和介绍了大量马克思、恩格斯的著作,积极宣传唯物史观和科学社会主义理论,并同伯恩施坦、施米特等人的哲学修正主义展开了原则的斗争。这时的普列汉诺夫已经成为著名的马克思主义者。1903年以后,他在策略和组织问题上摇摆于布尔什维克和孟什维克之间,总的倾向则是充当了孟什维克的思想领袖的角色。1914-1918年第一次帝国主义战争期间,他成为社会沙文主义者,与考茨基一起鼓吹资产阶级“保卫祖国”的口号,终于彻底背叛了马克思主义和无产阶级革命事业。列宁不仅对普列汉诺夫一生的功过采取实事求是的分析的态度,在坚持原则斗争的同时,照样肯定其历史功绩,而且对普列汉诺夫生平的某个阶段,例如1903年至1914年,也采取具体分析的态度。列宁指出:“从1903年以来,普列汉诺夫就在策略和组织的问题上极可笑地动摇着:(1)1903年8月是一个布尔什维克;(2)1903年11月(《火星报》第25号),主张同‘机会主义者’孟什维克建立和平;(3)1903年12月是一个孟什维克,而且是一个热烈的孟什维克;(4)1905年春天,布尔什维克胜利以后,争取‘敌对的兄弟们’的‘统一’;(5)1905年年底到1906年年中是一个孟什维克;(6)从1906年年中开始,有时离开孟什维克,在1907年伦敦代表大会上斥责孟什维克(切列万宁已经承认)‘组织上的无政府主义’;(7)1908年同取消派决裂;(8)1914年又重新转为取消派。”(注:《列宁全集》第20卷,第359-360页。)列宁认为,普列汉诺夫由于这种政治上的摇摆不定态度,他根本不可能组织起一个“流派”,最多“只能搅起一些浪花”。可是,列宁在这样说的同时还指出:“普列汉诺夫个人的功绩在过去是很大的。在1883-1903年的20年间,他写了很多卓越的著作,特别是反对机会主义、马赫主义者和民粹主义者的著作。”(注:《列宁全集》第20卷,第359页。)1918年5月,即普列汉诺夫逝世3个月后,列宁提议出版普列汉诺夫的哲学著作。1921年1月,列宁更发出号召:若不研究普列汉诺夫的全部哲学著作,就不能成为一个觉悟的真正的共产主义者。1922年,列宁提议出版普列汉诺夫文集,搜集流散在国外的普列汉诺夫的文稿、藏书。所以说,即使反面人物,也需要将他放到特定的社会历史环境中考察其历史活动,从而判定其功与过。列宁对普列汉诺夫所作的实事求是的评价与豁达的态度为我们树立起了马克思主义者评价复杂历史人物的典型。【责任编辑】池豫\t,类型选型:['Electronics', 'Politics', 'Economy', 'Military', 'Art', 'Law', 'Computer', 'Energy', 'Agriculture', 'Philosophy', 'Mine', 'Literature', 'History', 'Education', 'Communication']",
}

instruction = test_texts['instruction']
input_value = test_texts['input']

messages = [
    {
   "role": "system", "content": f"{instruction}"},
    {
   "role": "user", "content": f"{input_value}"}
]

response = predict(messages, model, tokenizer)
print(response)
相关文章
|
4月前
|
机器学习/深度学习 自然语言处理 NoSQL
基于大语言模型的应用
大语言模型(BLM)在NLP领域广泛应用,能理解和生成准确答案,适用于文本分类、文本生成、信息检索和问答系统。深度学习技术如TensorFlow、PyTorch助力文本分类,BLM提升信息检索效率,问答系统依赖BLM的语义理解。悦数图数据库利用图技术增强BLM,提高回答准确度,降低企业应用成本,推动智能化发展。
|
4月前
|
机器学习/深度学习 自然语言处理 算法
预训练语言模型是什么?
【2月更文挑战第13天】预训练语言模型是什么?
52 2
预训练语言模型是什么?
|
1月前
|
机器学习/深度学习 存储 人工智能
2024年大语言模型的微调
2024年大语言模型的微调
32 1
2024年大语言模型的微调
|
9天前
|
机器学习/深度学习 人工智能 自然语言处理
微调大语言模型知识
在自然语言处理领域,大语言模型(Large Language Models, LLMs)展示了卓越的能力。了解这些模型的特点及微调方法可以帮助更好地应用它们。
10 5
|
24天前
|
数据采集 JSON 自然语言处理
打造领域专属的大语言模型
大模型虽擅长自然语言处理,但在专业领域常表现不足。微调通过利用特定领域的数据,在已有大模型基础上进一步训练,能显著提升模型的专业表现,同时有效控制成本。微调前需确定领域、收集并格式化数据;过程中涉及数据上传、模型训练及状态监控;最后通过验证测试评估效果。此法既经济又高效,特别适合中小型企业及个人用户。
27 0
|
2月前
|
机器学习/深度学习 自然语言处理
|
2月前
|
数据采集 自然语言处理 PyTorch
AIGC之BERT模型
7月更文挑战第5天
|
4月前
|
数据采集 人工智能
【大模型】大语言模型存在的一些限制
【5月更文挑战第5天】【大模型】大语言模型存在的一些限制
|
3月前
|
自然语言处理 知识图谱 算法
大语言模型 RAG 论文总结(2023~202404)(4)
大语言模型 RAG 论文总结(2023~202404)
151 0
|
3月前
|
自然语言处理 算法 机器学习/深度学习
大语言模型 RAG 论文总结(2023~202404)(2)
大语言模型 RAG 论文总结(2023~202404)
229 0
下一篇
DDNS