我有个ModelScope建筑工程行业的问题请教,通义千问可以根据部分本行业的内容回答问题,但不够精细。我想补充一些规范资料训练模型,但是建筑工程规范类网站的内容无法爬取下来作为训练资料,请问有啥解决的成熟思路么?
"爬数据这方面不太了解哦,您看一下有没有可以下载的PDF文档之类的,另外这个example您也参考一下,
https://github.com/modelscope/modelscope/blob/master/examples/pytorch/application/qwen_doc_search_QA_based_on_langchain.ipynb 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”"