去年开始接触AI绘画,3月开始自学开发stable diffusion的图像算法功能插件,主要是受到controlnet的启发,所以我也开始着手学习算法插件开发,对于我一个十几年前学药剂出身的工科生来说,这几乎是不太可能的事情。唯一的编程基础是大学时候学习的国家2级C语言。
好在那时候有GPT这样各种大模型,于是起手先把吴恩达等好几个知名老师关于深度学习和算法的课程先啃了一遍,看不懂的就问AI,然后就是看各种论文和文献,看不懂同样喂给AI,让AI嚼烂了辅助我理解,整体感觉最难的部分其实就是理解算法的部分,这个部分依靠AI的解释和举例来辅助学习会有比较大的帮助。期间辅助学习了Python。
补充一句,这几个月以来我全天候每天超过12小时,除了吃饭睡觉带娃,剩下的时间几乎都在学习和研究AI算法和基础,不懂的地方也会去海外开发者社区请教开发者问题。
就这样反复到了6月,基本上确定了一些想做的插件的方向,于是开始动手设计算法的功能框架。
因为当时SD用于服装电商领域比较热门,AI圈内也有一些SD的效果问题一直没有解决,所以我就主攻真实图像效果方面的算法功能开发。
我这里就简单的放一些效果说明和展示吧。
算法功能类型以“零样本训练采样的形式实现样本固定和样本嵌入”为主:
以上是这段时间研究和开发出来的插件和效果。
演示视频地址:https://www.bilibili.com/video/BV1Yh4y157AY/?share_source=copy_web&vd_source=186bcd344fd3e1d45d77dc00f5cf07ce
这次的云栖大会也去观摩学习了业内的AI技术展示,也和AI图像产品领域各个大佬交流了一番,受益良多。
说说看我这段时间研究开发算法插件的感受和经历吧,感觉国内没有专门AI技术交流的社区,导致我这种野生的小开发者没有一个可以交流问题和技术的圈子,被迫在闭门造车,有时候遇到问题找不到排除办法,我只能跑外网用翻译器翻蹩脚外语请教老外开发者问题,真的太难受了。
现在我也不知道我做的这些东西有没有实际意义,现在这些东西还不算完善,所以还没打算开源,怕开源了丢人。
不知道有没有这个领域的大佬能一起交流下,目前我在固定样本多角度推理的功能实现上,也遇到了一些问题,还没想到怎么解决的办法。希望能有AI图像算法插件开发的同道能一起探讨,没准就能找到解决的灵感。