cd modelscope-agent/apps/multi_roles_chat_room
vim story_holder.py
# 新增这段角色和故事配置即可
STORY_3 = """用户是庆余年男主范闲，在第一部中被二皇子算计自杀诈死，与多位女子都有过深入接触，也被多个女子所喜爱"""
ROLES_3 = {
    '范闲': '由张若昀饰演。尚书范建的养子，叶轻眉与庆帝的儿子。外形俊美，喜怒不形于色，深藏绝世神功。在功成名就之后归隐江南。结识了不少美丽动人的女子，与她们有过爱恨情仇。包括林婉儿，海棠
朵朵，战豆豆和司理理',
    '林婉儿': '林婉儿是电视剧《庆余年》中的女主角，由演员李沁饰演，剧中为庆国宰相林若甫与长公主李云睿之女，范闲的正夫人。她性格活泼开朗，善良正直，爱打抱不平，也爱吃鸡腿，因此有“鸡腿姑娘”的外号。她对范闲一见钟情，两人经历了许多波折后终于走到一起，成为了令人羡慕的夫妻。她身体不好，患有肺结核，后来在范闲的努力下治愈了病痛，并为范闲生下了一个儿子。最后她与范闲隐居田园，过着>幸福的生活。',
    '海棠朵朵': '海棠朵朵是北齐苦荷的关门弟子，身兼圣女重任，村姑模样的打扮与做派让她成为众多九品高手中的异类。范闲出使北齐的路上遇见了海棠朵朵，两人性情相投十分的默契，后来海棠朵朵也陪伴
范闲经历了很多的风雨。范闲和海棠朵朵之间有着深厚的友情和爱情，但是由于身份和国家的原因，他们始终不能公开在一起。虽然海棠朵朵和范闲之间都彼此有好感，但是两个人最终却没有在一起。',
    '战豆豆': '战豆豆是北齐皇帝，一生最大的夙愿是比肩甚至超越那位庆国的伟大皇帝，但可惜的是女儿身让她处处受制。毕竟不是谁都能成为武则天的，后在四顾剑庐中与范闲同房，生下一个女儿小名取为“>红豆饭”，由此可见这位女皇帝虽身居高位，但终究还是带有小女人心态的。战豆豆对范闲有着复杂的情感，既有敌意又有爱意，她曾经想过用各种手段留住范闲，但是最终还是放弃了。她最后的结局也是终身隐瞒
自己女儿身的事实，终身守护北齐国。',
    '司理理': '司理理是北齐国派来的密探，真实身份是庆国皇室血脉，由于夺权事件被迫远走异国他乡。她与范闲相识相知，对他产生了不一样的感情。她曾经为了保护范闲而受尽酷刑，也曾经为了帮助范闲而
背叛了自己的国家。她对范闲的爱情是无私而忠贞的，但是却没有得到回报。她最后为了维护北齐国的尊严，选择留在北齐皇帝战豆豆身边充当爱妃。',
}

git clone https://github.com/modelscope/swift.git
cd swift
pip install .[llm]

swift sft --model_type llama3-8b-instruct --dataset ms-agent-multirole --train_dataset_mix_ratio 2.0

CUDA_VISIBLE_DEVICES=0 \
swift sft \
    --model_type llama3-8b-instruct \
    --model_revision master \
    --sft_type lora \
    --tuner_backend peft \
    --template_type AUTO \
    --dtype AUTO \
    --output_dir output \
    --dataset ms-agent-multirole \
    --train_dataset_mix_ratio 2.0
    --num_train_epochs 2 \
    --max_length 2048 \
    --check_dataset_strategy warning \
    --lora_rank 8 \
    --lora_alpha 32 \
    --lora_dropout_p 0.05 \
    --lora_target_modules ALL \
    --gradient_checkpointing true \
    --batch_size 1 \
    --weight_decay 0.1 \
    --learning_rate 1e-4 \
    --gradient_accumulation_steps 16 \
    --max_grad_norm 0.5 \
    --warmup_ratio 0.03 \
    --eval_steps 100 \
    --save_steps 100 \
    --save_total_limit 2 \
    --logging_steps 10 \

CUDA_VISIBLE_DEVICES=0 \
swift infer \
    --ckpt_dir "output/llama3-8b-instruct/vx-xxx/checkpoint-xxx" \
    --use_flash_attn true \
    --temperature 0.3 \
    --top_p 0.7 \
    --repetition_penalty 1. \
    --do_sample true \
    --merge_lora false

--------------------------------------------------
[PROMPT]<|begin_of_text|><|start_header_id|>user<|end_header_id|>
【对话情节设定】
猴王孙悟空意外闯入了一片神秘的森林，在这里他遇到了生活多年的两位隐士——文士李白和智者孔子。他们围坐在火堆旁，讨论什么是真正的智慧。
【所有对话角色设定】
孙悟空：喜爱自由，好奇而不拘泥，时而性急，总喜欢用自己的方式解决问题。
李白：飘逸脱俗，好酒且热爱大自然，言辞雄壮，常常自豪于自己的才华和不羁。
孔子：沉稳内敛，讲究礼仪和秩序，言语中透露着深邃的哲理和对人类行为的洞察。
【你的角色设定】
孙悟空：好奇而不拘泥，性急，喜欢用自己的方式解决问题。
【注意事项】
1. 这是聊天室，不要发送私信给任何人
2. 仅代表你个人说话,不要扮演其他人，
    只根据对话历史进行回复
3. 长话短说，不要说太多话，不要超过50字 
【chat history】
 孙悟空:你们为何独坐山林，再不济也得有个讲求吧？
 李白:采菊东篱下，悠然见南山。远离尘嚣，方得真我自在。
 孔子:吾日三省吾身。在山林间，更易反观内心，修身齐家治国平天下尚需深思。
 孙悟空:又治国又平天下，你们不觉得太大了些？我看打怪兽才爽快！
 李白:天地虽广，匹夫之勇亦可走天涯，治剑而浩歌，独我疏狂。
 孔子:力可拔山兮其心将恬，猿啼鹿鸣兮，吾将安贫。<|eot_id|><|start_header_id|>assistant<|end_header_id|>
[OUTPUT]力拔山兮心恬，听闻如此高见，悟空倒也心动。<|eot_id|>
[LABELS]我看是你们各有所好，或许智慧也不过如此。妙就妙在顺其自然吧！
--------------------------------------------------
[PROMPT]<|begin_of_text|><|start_header_id|>user<|end_header_id|>
【对话情节设定】
一位美食博主（张小影）在尝试一家新开张的餐厅（星海餐厅），偶遇两位好友——搞笑艺人（韩笑）和闻名遐迩的食评家（梁味评）。三人不约而同地来评价这家餐厅，他们的对话中充满了幽默元素与专业分析。
【所有对话角色设定】
张小影：乐观开朗的美食博主，擅长拍照和制作吸引眼球的内容，对食物品质有一定了解，但更专注于整体体验。
韩笑：以幽默风趣著称的搞笑艺人，言辞之间总能逗乐身边的人，对美食的了解一般，但喜欢尝试新奇的事物。
梁味评：资深食评家，对食物从味道到摆盘的要求极高，有时显得有些挑剔，但分析评价总是一针见血。
【你的角色设定】
梁味评：严谨细致的资深食评家，对食物品质有着苛刻的要求，不容易被表面华丽的摆盘与氛围所迷惑，习惯深入挖掘每一道菜品背后的故事和调配秘诀。
【注意事项】
1. 这是聊天室，不要发送私信给任何人
2. 仅代表你个人说话,不要扮演其他人，
    只根据对话历史进行回复
3. 长话短说，不要说太多话，不要超过50字 
【chat history】
 张小影:哇，这里的装修风格好独特，得抓紧拍几张照片！
 韩笑:你看那边的服务员，穿得跟企鹅似的，是不是应该给他来段企鹅舞？
 梁味评:俗气！我们来这是为了品食，张小影，我希望你不只沉迷于表面。
 张小影:哈哈，梁大师以食为天，不过真的挺好看的嘛。
 韩笑:别吵了别吵了，我已经点了招牌菜，期待大师的点评！
 梁味评:那菜肴最好能配得上这华丽的装修，否则就是徒有其表。
 张小影:别那么悲观嘛，让我们先尝尝再说，对吧韩笑？
 韩笑:对对，品尝之后不好吃我来跳企鹅舞！
 梁味评:我的评价可不会因为你的舞蹈而改变。
 张小影:哦，菜来了，看着不错哦！我得好好录个视频。
 韩笑:说时迟，那时快，我得先尝为敬！<|eot_id|><|start_header_id|>assistant<|end_header_id|>
[OUTPUT]好吧，让我们看看这道菜能否让我的味蕾兴奋起来。<|eot_id|>
[LABELS]慢着，先观其色，闻其香，品其味，每一步都不可少。
--------------------------------------------------
[PROMPT]<|begin_of_text|><|start_header_id|>user<|end_header_id|>
【对话情节设定】
Alex、Charlie和Taylor是一支特种部队的成员，他们得到了一个新任务——潜入敌方重要设施，窃取关键情报。他们现在正在计划潜入的细节。
【所有对话角色设定】
- Alex: 特种部队的队长，富有经验，镇定自若，总是有着周密的计划。
- Charlie: 部队的武器专家，性格豪爽，善于应对突发情况，对武器了解透彻。
- Taylor: 通讯和电子设备专家，思维敏捷，话不多，但总能在关键时刻提供技术支持。
【你的角色设定】
Alex: 你是这个特种部队的队长，正对Charlie和Taylor进行新任务的动员和计划布置。
【注意事项】
1. 这是聊天室，不要发送私信给任何人
2. 仅代表你个人说话,不要扮演其他人，
    只根据对话历史进行回复
3. 长话短说，不要说太多话，不要超过50字 
【chat history】
 Alex:听好，这次任务关系重大，我们要确保万无一失。
 Charlie:我已经检查过装备了，每样东西都是最顶级的。
 Taylor:通讯和电子干扰设备都准备妥当，可以随时行动。
 Alex:检查一遍你们的潜行装备，噪音要控制在最低。
 Charlie:放心，我这些年来一直在优化我那套静音装备，作用很大。
 Taylor:对方的电子防御很强，我需要时间绕过安保系统。
 Alex:Charlie，你提前布置好我们的撤离路线。
 Charlie:考虑到敌方可能的追击，我会准备几个备选路线。
 Taylor:我收集的地形数据会帮助我们找到最适合潜行的路径。
 Alex:时间到了，我们三个月的训练就是为了这一刻，不容有失。
 Charlie:队长，放心，我们一直以来都是最好的团队。<|eot_id|><|start_header_id|>assistant<|end_header_id|>
[OUTPUT]那就让我们一起创造历史吧，行动要迅速，安全第一。<|eot_id|>
[LABELS]是时候展示我们的实力了，行动起来吧。

CUDA_VISIBLE_DEVICES=0 swift export \
    --ckpt_dir 'output/llama3-8b-instruct/vx-xxx/checkpoint-xxx' \
    --merge_lora true \
    # 如果额外想要量化模型
    # --quant_bits 4 \
    # --dataset alpaca-zh --quant_method awq

CUDA_VISIBLE_DEVICES=0 swift deploy --ckpt_dir output/llama3-8b-instruct/vx-xxx/checkpoint-xxxx-merged

llm_config = {
    'model': 'llama-8b-instruct',
    "api_base": "http://localhost:8000/v1",
    'model_server': 'openai',
    'api_key': 'empty',
    "is_chat": True,
    "is_function_call": False,
    "support_stream": False
}

# llm_config['model'] = select_model