智能计算-电子产品世界博客

EEPW » 博客首页 » 智能计算

智能计算

语言模型参数越多越好？DeepMind用700亿打败自家2800亿，训练优化出「小」模型

给定固定的 FLOPs 预算，应该如何权衡模型大小和训练 token 的数量？DeepMind 得出了与先前不同的结论。最近一系列大型语言模型 (LLM) 正在崛起，其中最大的语言模型已经拥有超过 5~~~

机器之心 2022-04-09 19:49

物理攻击「损害」深度学习系统，CV、语音领域如何防御？（3）

3、SentiNet：针对深度学习系统的物理攻击检测[3]这篇文章重点关注的是图像处理领域的物理攻击检测问题，具体是指针对图像的局部物理攻击，即将对手区域限制在图像的一小部分，生成 “对抗性补丁” 攻~~~

机器之心 2022-04-09 19:46

物理攻击「损害」深度学习系统，CV、语音领域如何防御？（2）

2、LanCe: 针对嵌入式多媒体应用的物理对抗性攻击的全面和轻量级 CNN 防御方法[2]与关注 “攻击” 的上一篇文章不同，这篇文章关注的是“防御”。本文提出了：LanCe—一种全面和轻量级的 C~~~

机器之心 2022-04-09 19:44

物理攻击「损害」深度学习系统，CV、语音领域如何防御？（1）

本文结合三篇最新的论文具体讨论计算机视觉领域中的物理攻击及检测方法，包括视觉领域和音频领域。0、引言对抗性攻击的概念首先由 Goodfellow 等人提出 [6]，近年来，这一问题引起了越~~~

机器之心 2022-04-09 19:42

ACL 2022 | 一口气翻两千词，字节AI Lab提出篇章到篇章的机器翻译新思路

一会儿「梦露」，一会儿「门罗」，如何帮机器翻译改掉这类低级错误？大家都听过大名鼎鼎的图灵测试。近年来取得巨大进步的机器翻译在众多场景下都取得了媲美人类的成绩[1]，许多人惊呼，机器翻译能成功「骗」过人~~~

机器之心 2022-04-09 19:39

让模型训练速度提升2到4倍，「****假设」作者的这个全新PyTorch库火了

登陆 GitHub 以来，这个项目已经收获了 800 多个 Star。随着越来越多的企业转向人工智能来完成各种各样的任务，企业很快发现，训练人工智能模型是昂贵的、困难的和耗时的。一家公司 Mosaic~~~

机器之心 2022-04-09 19:36

CVPR 2022｜快手联合中科院自动化所提出基于Transformer的图像风格化方法

本文提出了一种基于 Transformer 的图像风格迁移方法，我们希望该方法能推进图像风格化的前沿研究以及 Transformer 在视觉尤其是图像生成领域的应用。论文链接：https://arxi~~~

机器之心 2022-04-09 19:35

GNN落地不再难，一文总结高效GNN和可扩展图表示学习最新进展

图神经网络在应用到现实世界时会面临很多挑战，比如内存限制、硬件限制、可靠性限制等。在这篇文章中，剑桥大学在读博士生 Chaitanya K. Joshi 从数据准备、高效架构和学习范式三个方向综述了研~~~

机器之心 2022-04-09 19:33

6144块TPU，5400亿参数，会改bug、解读笑话，谷歌刚刚用Pathways训练了一个大模型

谷歌的下一代架构 Pathways 已经用来训练大模型了。随着规模的增加，模型在处理多个任务时的性能逐渐提高，而且还在不断解锁新的能力。在探讨现有 AI 模型的局限时，谷歌人工智能主管 Jeff De~~~

机器之心 2022-04-09 19:31

降低百倍时间步，精度媲美传统神经网络：上交等机构提出ANN-SNN 转换框架SpikeConverter

脉冲神经网络（Spiking Neural Network, SNN）被誉为第三代的神经网络，以其丰富的时空领域的神经动力学特性、多样的编码机制、事件驱动的优势引起了学者的关注。由于生物合理性与任务需~~~

机器之心 2022-04-09 19:30

用深度学习解决旅行推销员问题，研究者走到哪一步了？

最近，针对旅行推销员等组合优化问题开发神经网络驱动的求解器引起了学术界的极大兴趣。这篇博文介绍了一个神经组合优化步骤，将几个最近提出的模型架构和学习范式统一到一个框架中。透过这一系列步骤，作者分析了深~~~

机器之心 2022-04-09 19:28

揭秘大模型背后的机理，清华49页长文全方位分析参数高效微调方案Delta Tuning

本文中，包括刘知远、唐杰、孙茂松等在内来自清华大学的研究者对大模型的参数高效微调进行了全方位的理论和实验分析。预训练语言模型 (PLM) 已经毫无疑问地成为各种 NLP 任务的基础架构，而且在 PLM~~~

机器之心 2022-04-09 19:26

OpenAI的DALL·E迎来升级，不止文本生成图像，还可二次创作

在令人叹为观止方面，OpenAI 从不令人失望。去年 1 月 6 日，OpenAI 发布了新模型 DALL·E，不用跨界也能从文本生成图像，打破了自然语言与视觉次元壁，引起了 AI 圈的一阵~~~

机器之心 2022-04-09 19:25

深度强化学习大牛、UC伯克利教授Pieter Abbeel获2021 ACM计算奖

AI 大牛吴恩达的学生、机器人学习专家、UC 伯克利教授 Pieter Abbeel 摘得了最新一届 ACM 计算奖的荣誉。刚刚，ACM 官方宣布将 2021 ACM 计算奖（ACM Prize in~~~

机器之心 2022-04-09 19:23

CVPR 2022 | 这个自蒸馏新框架新SOTA，降低了训练成本，无需修改网络

OPPO 研究院联合上海交通大学提出的新的自蒸馏框架DLB，无需额外的网络架构修改，对标签噪声具有鲁棒性，并可大幅节约训练的空间复杂度，在三个基准数据集的实验中达到了 SOTA 性能。深度学习促进人工~~~

机器之心 2022-04-09 19:22

与「看不见的手」掷骰子的人

「当某种东西运作良好时，就会产生一种美感。」文艺复兴科技公司创始人西蒙斯曾说。500 亿管理规模已经暗示王阳所在的这家公司掌握了某种平衡之美——它兼顾了最为前沿的研究与结果导向。这其中的秘诀是什么？这~~~

机器之心 2022-04-09 19:21

CVPR 2022｜解耦知识蒸馏，让Hinton在7年前提出的方法重回SOTA行列

与主流的feature蒸馏方法不同，本研究将重心放回到logits蒸馏上，提出了一种新的方法「解耦知识蒸馏」，重新达到了SOTA结果，为保证复现该研究还提供了开源的蒸馏代码库：MDistiller。1~~~

机器之心 2022-04-09 19:20

上海交通大学王宇光：几何深度学习和图神经网络的研究进展和趋势

3 月 23 日，在机器之心 AI 科技年会上，上海交通大学自然科学研究院和数学科学学院副教授、上海人工智能实验室成员王宇光老师发表了主题演讲《几何深度学习和图神经网络的研究进展和趋势》。演讲视频地址~~~

机器之心 2022-04-09 19:18

CVPR佳作 | One-Shot都嫌多，Zero-Shot实例样本分割

一、分割回顾实例分割（Instance Segmentation）实例分割（Instance Segmentation）是视觉经典四个任务中相对最难的一个，它既具备语义分割（Semantic Segm~~~

CV研究院 2022-03-19 10:58

Anchor-free目标检测 | 工业应用更友好的新网络（附大量相关论文下载）

随着CVPR和ICCV的结束，一大批目标检测的论文在arXiv上争先恐后地露面，更多的论文都可以直接下载。下面几篇paper有异曲同工之妙，开启了anchor-based和anchor-free的轮回~~~

CV研究院 2022-03-19 10:55

|‹

›|

发表文章

业界动态

研华发布RK3588 SMARC 2.1核心模块ROM-6881助力机器视觉应用智能升级

"人-机-物智能"的挑战、思考及应用实践

以中国半导体市场的活力助推ERS快速成长

助力新能源汽车企业把驾驶汽车变得更安全、更环保、更互联

基于PSoC™ 6 Matter的智能家居解决方案

资料下载

手持式低压电子防身电棒原理分析接触器与继电器的区别 DSP算法大全C语言版本华为fpga设计规范(Verilog_Hdl) 非常齐全的芯片封装大全(含图片).pdf 电子电路大全（合订本）中国计量出版社国外优秀电子电路书籍 STC8051U实验箱彩屏-模拟仪表盘DEMO

专栏作者

芯股婶的空间

电子禅石的空间

美男子玩编程的空间

芯智讯的空间

ht1973的空间

传感器技术的空间

旺材芯片的空间

英飞凌汽车电子生态圈

芯谋研究的空间

深科技的空间