人工智能

zero_nlp 中文nlp解决方案(大模型、数据、模型、训练、推理)

Colossal-AI PaLM-rlhf-pytorch b站UP 何小枝天天向上： 前一个小节（ChatGPT是怎样被训练出来的？）：https://www.bilibili.com/video/BV1BG4y137SH视频中的源码：https://github.com/HarderThenHarder/transformers_tasks/tree/main/RLHFReward Model ... 阅读更多

人工智能研究小组LAION和 CarperAI分别发布了OpenAssistant与trlX，这些均是人类反馈强化学习 (RLHF) 的开源产品实现，用于训练ChatGPT的算法。此外，独立人工智能开发者Phil Wang也开源了自己的ChatGPT算法实现。 关于 LAION，全称为 Large-scale Artificial Intelligence Open Network，是一 ... 阅读更多

论文链接：https://arxiv.org/abs/2209.03793 写在前面 传统卷积受限于固定的几何结构，无法高效捕获空间与通道的远程依赖。本文提出的方法不仅拥有可调整的动态感受野，而且突出了像素之间的负关系。另外本文针对传统生成对抗网络，设计了一种新的生成策略，进一步稳定和加快了训练过程。 生成对抗网络（GAN）预热 本文方法致力于从高维数据分布中生成现实多样的样本，在正式步入主题之前 ... 阅读更多

人工智能研究小组LAION和 CarperAI分别发布了OpenAssistant与trlX，这些均是人类反馈强化学习 (RLHF) 的开源产品实现，用于训练ChatGPT的算法。此外，独立人工智能开发者Phil Wang也开源了自己的ChatGPT算法实现。 关于 LAION，全称为 Large-scale Artificial Intelligence Open Network，是一 ... 阅读更多

作者：小傅哥博客：bugstack.cn 沉淀、分享、成长，让自己和他人都能有所收获！ 首先我想告诉你，从事编程开发这一行，要学会的是学习的方式方法。方向对了，才能事半功倍。而我认为最快且行之有效的技术技能学习，就是上手实践。先不要搞太多的理论，买回来的自行车不能上来就拆，得先想办法骑起来。 所以小傅哥就是这样，学东西嘛。以目标为驱动，搭建可运行测试的最小单元版本。因为康威定律说；问题越小，越容易 ... 阅读更多

你拿到LLaMA的代码了吗？觉得这个训练方法如何？ 基于Meta模型打造的轻量版ChatGPT，这就来啦？ Meta宣布推出LLaMA才三天，业界就出现了把它打造成ChatGPT的开源训练方法，号称比ChatGPT训练速度最高快15倍。 LLaMA是Meta推出的超快超小型GPT-3，参数量只有后者的10%，只需要单张GPU就能运行。 把它变成ChatGPT的方法名叫ChatLLaMA，基于RLH ... 阅读更多

轻松构建 PyTorch 生成对抗网络(GAN)

【导读】wayve是英国一家致力于通过强化学习实现自动驾驶的初创公司，本系列通过该公司已发布的论文和博客来解析Wayve的技术。 Wayve由两个剑桥大学机器学习博士生Amar Shah（任CEO）和Alex Kendall（任CTO）在2017年创立。与其它公司的激光雷达路线不同，Wayve只使用单目摄像头作为传感器设备来尝试实现自动驾驶，是一家使用强化学习作为主要技术的初创公司。从他们公布的视 ... 阅读更多

新智元报道 来源：Reddit 编辑：David 【新智元导读】牛津大学一项研究表明，与传统物理求解器相比，机器学习模型可将物理模拟速度提升至最高20亿倍，距离解决困扰狄拉克的模拟计算难题可能向着成功更近了一步。 1929年，英国著名量子物理学家保罗·狄拉克曾说过，“大部分物理学和整个化学的数学理论所需的基本物理定律是完全已知的，困难只是这些定律的确切应用导致方程太复杂而无法解决”。狄拉克认为，所 ... 阅读更多