DL之RNN:人工智能为你写诗——基于TF利用RNN算法实现【机器为你写诗】、训练&测试过程全记录

简介: DL之RNN:人工智能为你写诗——基于TF利用RNN算法实现【机器为你写诗】、训练&测试过程全记录

输出结果


1、test01


<unk><unk>风下,天上不相逢。

一人不得别,不得不可寻。

何事无时事,谁知一日年。

一年多旧国,一处不相寻。

白发何人见,清辉自有人。

何当不知事,相送不相思。

此去无相见,何年有旧年。

相思一阳处,相送不能归。

不得千株下,何时不得时。

此心不可见,此日不相思。

何事有归客,何言不见时。

何处不知处,不知山上时。

何当不可问,一事不知情。

此去不知事,无人不有身。

相逢何处见,不觉白云间。

白云一相见,一月不知时。

一夜一秋色,青楼不可知。

江西山水下,山下白头心。

此事何人见,孤舟向日深。

何当无一事,此路不相亲。

何必有山里,不知归去人。

相知不相识,此地不能闻。

白发千株树,秋风落日寒。

2、test02


不得无时人,何人不知别。

不见一时人,相思何日在。

一夜不可知,何时无一日。

一人不自见,何处有人情。

何处不知此,何人见此年。

何时不得处,此日不知君。

一日何人得,何由有此身。

相思无不得,一去不知君。

此日何人见,东风满月中。

无知不得去,不见不相思。

不得千峰上,相逢独不穷。

何年不可待,一夜有春风。

不见南江路,相思一夜归。

何人知此路,此日更难归。

白日无人处,秋光入水流。

江南无限路,相忆在山城。

何处知何事,孤城不可归。

山边秋月尽,江水水风生。

不有南江客,何时有故乡。

山中山上水,山上水中风。

何处不相访,何年有此心。

江边秋雨尽,山水白云寒。

3、test03


一朝多不见,无处在人人。

一里无人去,无人见故山。

何年不知别,此地有相亲。

白首何时去,春风不得行。

不知归去去,谁见此来情。

不有青山去,谁知不自知。

一时何处去,此去有君人。

不见南江路,何时是白云。

不知归客去,相忆不成秋。

不得东西去,何人有一身。

不能知此事,不觉是人情。

一里无时事,相逢不得心。

江南秋雨尽,风落夜来深。

何处不知别,春来不自知。

一朝无一处,何处是江南。

一里不相见,东西无一人。

一朝归去处,何事见沧洲。

此去无年处,何年有远心。

不知山上客,不是故人心。

一里不可得,无人有一年。

何人不见处,不得一朝生。

不见青云客,何人是此时。


模型监控






训练、测试过程全记录


1、训练过程


2018-10-13 22:31:33.935213:

step: 10/10000...  loss: 6.5868...  0.1901 sec/batch

step: 20/10000...  loss: 6.4824...  0.2401 sec/batch

step: 30/10000...  loss: 6.3176...  0.2401 sec/batch

step: 40/10000...  loss: 6.2126...  0.2401 sec/batch

step: 50/10000...  loss: 6.0081...  0.2301 sec/batch

step: 60/10000...  loss: 5.7657...  0.2401 sec/batch

step: 70/10000...  loss: 5.6694...  0.2301 sec/batch

step: 80/10000...  loss: 5.6661...  0.2301 sec/batch

step: 90/10000...  loss: 5.6736...  0.2301 sec/batch

step: 100/10000...  loss: 5.5698...  0.2201 sec/batch

step: 110/10000...  loss: 5.6083...  0.2301 sec/batch

step: 120/10000...  loss: 5.5252...  0.2301 sec/batch

step: 130/10000...  loss: 5.4708...  0.2301 sec/batch

step: 140/10000...  loss: 5.4311...  0.2401 sec/batch

step: 150/10000...  loss: 5.4571...  0.2701 sec/batch

step: 160/10000...  loss: 5.5295...  0.2520 sec/batch

step: 170/10000...  loss: 5.4211...  0.2401 sec/batch

step: 180/10000...  loss: 5.4161...  0.2802 sec/batch

step: 190/10000...  loss: 5.4389...  0.4943 sec/batch

step: 200/10000...  loss: 5.3380...  0.4332 sec/batch

……

step: 790/10000...  loss: 5.2031...  0.2301 sec/batch

step: 800/10000...  loss: 5.2537...  0.2301 sec/batch

step: 810/10000...  loss: 5.0923...  0.2301 sec/batch

step: 820/10000...  loss: 5.1930...  0.2501 sec/batch

step: 830/10000...  loss: 5.1636...  0.2535 sec/batch

step: 840/10000...  loss: 5.1357...  0.2801 sec/batch

step: 850/10000...  loss: 5.0844...  0.2236 sec/batch

step: 860/10000...  loss: 5.2004...  0.2386 sec/batch

step: 870/10000...  loss: 5.1894...  0.2401 sec/batch

step: 880/10000...  loss: 5.1631...  0.2501 sec/batch

step: 890/10000...  loss: 5.1297...  0.2477 sec/batch

step: 900/10000...  loss: 5.1044...  0.2401 sec/batch

step: 910/10000...  loss: 5.0738...  0.2382 sec/batch

step: 920/10000...  loss: 5.0971...  0.2701 sec/batch

step: 930/10000...  loss: 5.1829...  0.2501 sec/batch

step: 940/10000...  loss: 5.1822...  0.2364 sec/batch

step: 950/10000...  loss: 5.1883...  0.2401 sec/batch

step: 960/10000...  loss: 5.0521...  0.2301 sec/batch

step: 970/10000...  loss: 5.0848...  0.2201 sec/batch

step: 980/10000...  loss: 5.0598...  0.2201 sec/batch

step: 990/10000...  loss: 5.0421...  0.2701 sec/batch

step: 1000/10000...  loss: 5.1234...  0.2323 sec/batch

step: 1010/10000...  loss: 5.0744...  0.2356 sec/batch

step: 1020/10000...  loss: 5.0408...  0.2401 sec/batch

step: 1030/10000...  loss: 5.1138...  0.2417 sec/batch

step: 1040/10000...  loss: 4.9961...  0.2601 sec/batch

step: 1050/10000...  loss: 4.9691...  0.2401 sec/batch

step: 1060/10000...  loss: 4.9938...  0.2601 sec/batch

step: 1070/10000...  loss: 4.9778...  0.2601 sec/batch

step: 1080/10000...  loss: 5.0157...  0.3600 sec/batch

……

step: 4440/10000...  loss: 4.7136...  0.2757 sec/batch

step: 4450/10000...  loss: 4.5896...  0.2767 sec/batch

step: 4460/10000...  loss: 4.6408...  0.3088 sec/batch

step: 4470/10000...  loss: 4.6901...  0.2737 sec/batch

step: 4480/10000...  loss: 4.5717...  0.2707 sec/batch

step: 4490/10000...  loss: 4.7523...  0.2838 sec/batch

step: 4500/10000...  loss: 4.7592...  0.2998 sec/batch

step: 4510/10000...  loss: 4.6054...  0.2878 sec/batch

step: 4520/10000...  loss: 4.7039...  0.2868 sec/batch

step: 4530/10000...  loss: 4.6380...  0.2838 sec/batch

step: 4540/10000...  loss: 4.5378...  0.2777 sec/batch

step: 4550/10000...  loss: 4.7376...  0.3098 sec/batch

step: 4560/10000...  loss: 4.7103...  0.2797 sec/batch

step: 4570/10000...  loss: 4.7170...  0.2767 sec/batch

step: 4580/10000...  loss: 4.7307...  0.3168 sec/batch

step: 4590/10000...  loss: 4.7139...  0.3108 sec/batch

step: 4600/10000...  loss: 4.7419...  0.3028 sec/batch

step: 4610/10000...  loss: 4.7980...  0.2918 sec/batch

step: 4620/10000...  loss: 4.7127...  0.2797 sec/batch

step: 4630/10000...  loss: 4.7264...  0.2858 sec/batch

step: 4640/10000...  loss: 4.6384...  0.3419 sec/batch

step: 4650/10000...  loss: 4.6761...  0.2978 sec/batch

step: 4660/10000...  loss: 4.8158...  0.3590 sec/batch

step: 4670/10000...  loss: 4.7579...  0.2828 sec/batch

step: 4680/10000...  loss: 4.7702...  0.2777 sec/batch

step: 4690/10000...  loss: 4.6909...  0.2607 sec/batch

step: 4700/10000...  loss: 4.6037...  0.2808 sec/batch

step: 4710/10000...  loss: 4.6775...  0.2848 sec/batch

step: 4720/10000...  loss: 4.6074...  0.2838 sec/batch

step: 4730/10000...  loss: 4.7280...  0.3088 sec/batch

step: 4740/10000...  loss: 4.7241...  0.3539 sec/batch

step: 4750/10000...  loss: 4.5496...  0.2948 sec/batch

step: 4760/10000...  loss: 4.6488...  0.3189 sec/batch

step: 4770/10000...  loss: 4.6698...  0.3048 sec/batch

step: 4780/10000...  loss: 4.6410...  0.3068 sec/batch

step: 4790/10000...  loss: 4.7408...  0.3329 sec/batch

step: 4800/10000...  loss: 4.6425...  0.2928 sec/batch

step: 4810/10000...  loss: 4.6900...  0.2978 sec/batch

step: 4820/10000...  loss: 4.5715...  0.3499 sec/batch

step: 4830/10000...  loss: 4.7289...  0.2868 sec/batch

step: 4840/10000...  loss: 4.7500...  0.2998 sec/batch

step: 4850/10000...  loss: 4.7674...  0.2968 sec/batch

step: 4860/10000...  loss: 4.6832...  0.3078 sec/batch

step: 4870/10000...  loss: 4.7478...  0.3008 sec/batch

step: 4880/10000...  loss: 4.7895...  0.2817 sec/batch

……

step: 9710/10000...  loss: 4.5839...  0.2601 sec/batch

step: 9720/10000...  loss: 4.4666...  0.2401 sec/batch

step: 9730/10000...  loss: 4.6392...  0.2201 sec/batch

step: 9740/10000...  loss: 4.5415...  0.2201 sec/batch

step: 9750/10000...  loss: 4.6513...  0.2201 sec/batch

step: 9760/10000...  loss: 4.6485...  0.2201 sec/batch

step: 9770/10000...  loss: 4.5317...  0.2201 sec/batch

step: 9780/10000...  loss: 4.5547...  0.2301 sec/batch

step: 9790/10000...  loss: 4.3995...  0.2301 sec/batch

step: 9800/10000...  loss: 4.5596...  0.2301 sec/batch

step: 9810/10000...  loss: 4.5636...  0.2301 sec/batch

step: 9820/10000...  loss: 4.4348...  0.2201 sec/batch

step: 9830/10000...  loss: 4.5268...  0.2201 sec/batch

step: 9840/10000...  loss: 4.5790...  0.2201 sec/batch

step: 9850/10000...  loss: 4.6265...  0.2301 sec/batch

step: 9860/10000...  loss: 4.6017...  0.2401 sec/batch

step: 9870/10000...  loss: 4.4009...  0.2301 sec/batch

step: 9880/10000...  loss: 4.4448...  0.2201 sec/batch

step: 9890/10000...  loss: 4.5858...  0.2201 sec/batch

step: 9900/10000...  loss: 4.5622...  0.2201 sec/batch

step: 9910/10000...  loss: 4.4015...  0.2301 sec/batch

step: 9920/10000...  loss: 4.5220...  0.2301 sec/batch

step: 9930/10000...  loss: 4.5207...  0.2201 sec/batch

step: 9940/10000...  loss: 4.4752...  0.2201 sec/batch

step: 9950/10000...  loss: 4.4572...  0.2301 sec/batch

step: 9960/10000...  loss: 4.5389...  0.2201 sec/batch

step: 9970/10000...  loss: 4.5561...  0.2301 sec/batch

step: 9980/10000...  loss: 4.4487...  0.2401 sec/batch

step: 9990/10000...  loss: 4.4851...  0.2301 sec/batch

step: 10000/10000...  loss: 4.5944...  0.2201 sec/batch

2、测试过程




训练的数据集


1、大量的五言唐诗


寒随穷律变,春逐鸟声开。

初风飘带柳,晚雪间花梅。

碧林青旧竹,绿沼翠新苔。

芝田初雁去,绮树巧莺来。

晚霞聊自怡,初晴弥可喜。

日晃百花色,风动千林翠。

池鱼跃不同,园鸟声还异。

寄言博通者,知予物外志。

一朝春夏改,隔夜鸟花迁。

阴阳深浅叶,晓夕重轻烟。

哢莺犹响殿,横丝正网天。

珮高兰影接,绶细草纹连。

碧鳞惊棹侧,玄燕舞檐前。

何必汾阳处,始复有山泉。

夏律昨留灰,秋箭今移晷。

峨嵋岫初出,洞庭波渐起。

桂白发幽岩,菊黄开灞涘。

运流方可叹,含毫属微理。

寒惊蓟门叶,秋发小山枝。

松阴背日转,竹影避风移。

提壶菊花岸,高兴芙蓉池。

欲知凉气早,巢空燕不窥。

山亭秋色满,岩牖凉风度。

疏兰尚染烟,残菊犹承露。

古石衣新苔,新巢封古树。

历览情无极,咫尺轮光暮。

慨然抚长剑,济世岂邀名。

星旗纷电举,日羽肃天行。

遍野屯万骑,临原驻五营。

登山麾武节,背水纵神兵。

在昔戎戈动,今来宇宙平。

翠野驻戎轩,卢龙转征旆。

遥山丽如绮,长流萦似带。

海气百重楼,岩松千丈盖。

兹焉可游赏,何必襄城外。

玄兔月初明,澄辉照辽碣。

映云光暂隐,隔树花如缀。

魄满桂枝圆,轮亏镜彩缺。

临城却影散,带晕重围结。

驻跸俯九都,停观妖氛灭。

碧原开雾隰,绮岭峻霞城。

烟峰高下翠,日浪浅深明。

斑红妆蕊树,圆青压溜荆。

迹岩劳傅想,窥野访莘情。

巨川何以济,舟楫伫时英。

春蒐驰骏骨,总辔俯长河。

霞处流萦锦,风前漾卷罗。

水花翻照树,堤兰倒插波。

岂必汾阴曲,秋云发棹歌。

重峦俯渭水,碧嶂插遥天。

……



 


相关文章
|
5月前
|
存储 算法 调度
基于和声搜索算法(Harmony Search,HS)的机器设备工作最优调度方案求解matlab仿真
通过和声搜索算法(HS)实现多机器并行工作调度,以最小化任务完成时间。在MATLAB2022a环境下,不仅输出了工作调度甘特图,还展示了算法适应度值的收敛曲线。HS算法模拟音乐家即兴创作过程,随机生成初始解(和声库),并通过选择、微调生成新解,不断迭代直至获得最优调度方案。参数包括和声库大小、记忆考虑率、音调微调率及带宽。编码策略将任务与设备分配映射为和声,目标是最小化完成时间,同时确保满足各种约束条件。
|
8月前
|
机器学习/深度学习 自然语言处理 测试技术
SUPRA:无须额外训练,将Transformer变为高效RNN,推理速度倍增
`Transformers`模型因其在多种任务上的优秀性能而广泛采用,但其内存需求和推理成本随词元数量指数增长。为解决这一问题,论文《Linearizing Large Language Models》提出`SUPRA`方法,将预训练的`Transformers`转换为递归神经网络(RNN),实现有效推理并降低训练成本至原来的5%。`SUPRA`通过将注意力机制线性化并用`GroupNorm`替代`softmax`,保持预训练模型的优势。经过微调,转换后的模型在标准语言理解和长上下文任务中保持高性能,展示了在长序列处理方面的潜力,但仍有改进空间。
162 2
|
7月前
|
机器学习/深度学习 算法 BI
机器学习笔记(一) 感知机算法 之 原理篇
机器学习笔记(一) 感知机算法 之 原理篇
|
7月前
|
算法 调度
基于变异混合蛙跳算法的车间调度最优化matlab仿真,可以任意调整工件数和机器数,输出甘特图
**摘要:** 实现变异混合蛙跳算法的MATLAB2022a版车间调度优化程序,支持动态调整工件和机器数,输出甘特图。核心算法结合SFLA与变异策略,解决Job-Shop Scheduling Problem,最小化总完成时间。SFLA模拟蛙群行为,分组进行局部搜索和全局信息交换。变异策略增强全局探索,避免局部最优。程序初始化随机解,按规则更新,经多次迭代和信息交换后终止。
|
7月前
|
机器学习/深度学习 人工智能 算法
人工智能(AI)、机器学习(ML)和深度学习(DL)
人工智能(AI)、机器学习(ML)和深度学习(DL)
201 1
|
7月前
|
机器学习/深度学习 自然语言处理 PyTorch
【从零开始学习深度学习】34. Pytorch-RNN项目实战:RNN创作歌词案例--使用周杰伦专辑歌词训练模型并创作歌曲【含数据集与源码】
【从零开始学习深度学习】34. Pytorch-RNN项目实战:RNN创作歌词案例--使用周杰伦专辑歌词训练模型并创作歌曲【含数据集与源码】
|
6月前
|
机器学习/深度学习 数据采集 算法
【机器学习】CART决策树算法的核心思想及其大数据时代银行贷款参考案例——机器认知外界的重要算法
【机器学习】CART决策树算法的核心思想及其大数据时代银行贷款参考案例——机器认知外界的重要算法
|
8月前
|
机器学习/深度学习 人工智能 自然语言处理
【EMNLP 2023】基于知识迁移的跨语言机器阅读理解算法
近日,阿里云人工智能平台PAI与华南理工大学朱金辉教授团队、达摩院自然语言处理团队合作在自然语言处理顶级会议EMNLP2023上发表基于机器翻译增加的跨语言机器阅读理解算法X-STA。通过利用一个注意力机制的教师来将源语言的答案转移到目标语言的答案输出空间,从而进行深度级别的辅助以增强跨语言传输能力。同时,提出了一种改进的交叉注意力块,称为梯度解缠知识共享技术。此外,通过多个层次学习语义对齐,并利用教师指导来校准模型输出,增强跨语言传输性能。实验结果显示,我们的方法在三个多语言MRC数据集上表现出色,优于现有的最先进方法。
|
机器学习/深度学习 人工智能 数据可视化
人工智能创新挑战赛:海洋气象预测Baseline[4]完整版(TensorFlow、torch版本)含数据转化、模型构建、MLP、TCNN+RNN、LSTM模型训练以及预测
人工智能创新挑战赛:海洋气象预测Baseline[4]完整版(TensorFlow、torch版本)含数据转化、模型构建、MLP、TCNN+RNN、LSTM模型训练以及预测
人工智能创新挑战赛:海洋气象预测Baseline[4]完整版(TensorFlow、torch版本)含数据转化、模型构建、MLP、TCNN+RNN、LSTM模型训练以及预测
|
人工智能 算法
机器博弈 (三) 虚拟遗憾最小化算法
机器博弈 (三) 虚拟遗憾最小化算法
254 0