首页
每日头条
深度报道
论坛
在线研讨会
业界动态
设计应用
牛人业话
暴力拆解
EEPW观点
EETV
电子方案
资源下载
博客分类
嵌入式系统
元件/连接器
电源与新能源
安防与国防
汽车电子
EDA/PCB
消费电子
工控自动化
模拟技术
医疗电子
测试测量
手机与无线通信
光电显示
网络与存储
智能计算
物联网与传感器
EEPW
»
博客首页
» 智能计算
智能计算
Transformer取代者登场！微软、清华刚推出RetNet：成本低、速度快、性能强（2）
Retentive 网络RetNet 由 L 个相同的块堆叠而成，其布局与 Transformer 类似（即残差连接和 pre-LayerNorm）。每个 RetNet 块包含两个模块：多尺度rete~~~
计算机视觉工坊
2023-07-19 19:42
Transformer取代者登场！微软、清华刚推出RetNet：成本低、速度快、性能强（1）
LLM 的成功，某种程度上要归功于 Transformer 架构在自然语言处理任务上的突破。该架构最初是为了克服循环模型的 sequential training 问题而提出的。这些年来，Transf~~~
计算机视觉工坊
2023-07-19 19:40
0参数量 + 0训练，3D点云分析方法Point-NN刷新多项SOTA（2）
2.Point–NN 在其他 3D 任务的拓展以上主要是对 Point-NN 在分类任务中的应用的介绍，Point-NN 也可以被用于 3D 的部件分割和 3D 目标检测任务。（1）部件分割 (3D ~~~
机器之心
2023-07-19 19:39
0参数量 + 0训练，3D点云分析方法Point-NN刷新多项SOTA（1）
不引入任何可学习参数或训练，是否可以直接实现 3D 点云的分类、分割和检测？论文链接：https://arxiv.org/pdf/2303.08134.pdf代码地址：https://github.c~~~
机器之心
2023-07-19 19:38
WAIC 2023 | 微软Office产品团队技术负责人蔡玮鑫：Copilot中大语言模型应用实践经验
以下为演讲的详细内容，机器之心进行了不改变原意的编辑、整理。大家好，我是蔡玮鑫，微软 Office Product Group 的技术负责人。今天我要谈的话题是将大语言模型投入大规模应用生产要面临的挑~~~
机器之心
2023-07-19 19:37
更强的Llama 2开源，可直接商用：一夜之间，大模型格局变了（2）
微调Llama 2-Chat 是数个月研究和迭代应用对齐技术（包括指令调整和 RLHF）的成果，需要大量的计算和注释资源。监督微调 (SFT)第三方监督微调数据可从许多不同来源获得，但 Meta 发现~~~
机器之心
2023-07-19 19:35
更强的Llama 2开源，可直接商用：一夜之间，大模型格局变了（1）
已上微软 Azure，即将要上 AWS、Hugging Face。一夜之间，大模型格局再次发生巨变。一直以来 Llama 可以说是 AI 社区内最强大的开源大模型。但因为开源协议问题，一直不可免费商用~~~
机器之心
2023-07-19 19:35
Transformer的细节到底是怎么样的？Transformer 18问！（3）
10. 什么是Self attention？10.1 介绍Transformer，为什么要介绍self Attention呢？因为在Transformer中最多的multi head attentio~~~
数据派THU
2023-07-19 19:33
Transformer的细节到底是怎么样的？Transformer 18问！（2）
6. Transformer Encoder和Transformer Decoder有哪些不同？6.1 作用上，Transformer Encoder常用来提取特征，Transformer Decod~~~
数据派THU
2023-07-19 19:32
Transformer的细节到底是怎么样的？Transformer 18问！（1）
来源丨知乎作者丨爱问问题的王宸@知乎为什么想通过十八个问题的方式总结Transformer？有两点原因：第一，Transformer是既MLP、RNN、CNN之后的第四大特征提取器，也被称为第四大基础~~~
数据派THU
2023-07-19 19:31
原创 | 图注意力神经网络(Graph Attention Networks)综述（2）
3GAT在组合优化问题中的应用3.1组合优化问题组合优化问题是运筹学中的核心问题，也是学者开始学习运筹学的必经之路。组合优化问题是计算机科学和运筹学中的核心领域，涉及到许多实际应用，如物流、调度和网络~~~
数据派THU
2023-07-19 19:26
原创 | 图注意力神经网络(Graph Attention Networks)综述（1）
数无形时少直觉，形少数时难入微–华罗庚1 图注意力神经网络的介绍1.1GAT的原理与特性图形，由点、线、面和体构成，代表了一种理解抽象概念和表达抽象思想的有效工具。图形语言的优势在于其跨越语言障碍的能~~~
数据派THU
2023-07-19 19:26
高通携手Meta利用Llama 2赋能终端侧AI应用
要点：• 高通计划从2024年起，在旗舰智能手机和PC上支持基于Llama 2的AI部署，赋能开发者使用骁龙平台的AI能力，推出激动人心的全新生成式AI应用。• 与仅仅使用云端AI~~~
12345zhi
2023-07-19 09:59
可视化CNN和特征图
卷积神经网络(cnn)是一种神经网络，通常用于图像分类、目标检测和其他计算机视觉任务。CNN的关键组件之一是特征图，它是通过对图像应用卷积滤波器生成的输入图像的表示。理解卷积层1、卷积操作卷积的概念是~~~
数据派THU
2023-07-17 20:02
注意力机制中的掩码详解
注意力机制的掩码允许我们发送不同长度的批次数据一次性的发送到transformer中。在代码中是通过将所有序列填充到相同的长度，然后使用“attention_mask”张量来识别哪些令牌是填充的来做到~~~
数据派THU
2023-07-17 20:00
爬取 2 万多张 Flickr 图片，莫纳什大学复现 10 年间日本樱花开放的时空特征
内容一览：近年来，全球气候变化形势严峻，由此引发的蝴蝶效应，正深刻地影响着人类和大自然。在这一背景下，收集数百甚至数千公里范围内开花模式的数据，了解气候变化如何对开花植物产生影响，成为近年来生态研究的~~~
数据派THU
2023-07-17 19:58
独家 | Zero-ETL, ChatGPT以及数据工程的未来（2）
OBT和大型语言模型 它是什么：目前，业务利益相关者需要向数据专业人员表达他们的需求、指标和逻辑，然后数据专业人员将其全部转换为 SQL 查询甚至仪表板。该过程需要时间，即使数据仓库中已存在~~~
数据派THU
2023-07-17 19:55
独家 | Zero-ETL, ChatGPT以及数据工程的未来（1）
后现代数据堆栈已经到来。我们准备好了吗？图片由作者免费提供如果你不喜欢改变，数据工程不适合你。在这个领域没有任何东西能够保持一成不变。最近最重要的例子是Snowflake和Databricks，它们颠~~~
数据派THU
2023-07-17 19:54
大语言模型的炒作曲线
最近几个月，大型语言模型成为了全球的热门词汇，频频登上各大新闻头条。这些复杂的模型，比如 OpenAI 的 GPT-4 和 Meta 的 LLaMA，激发了研究人员、开发人员和公众的想象力。然而，无异~~~
AI科技大本营
2023-07-17 19:50
Oracle 再严查 Java 许可，网友：公司已卸载 Java，重新招聘程序员开发新系统！
犹记得上一次在 2017 年 9 月，Oracle 对 Java 大刀阔斧地改革，宣布将 Java 的发布频率改为每六个月一次。结果仅过了短短六年的时间，彼时的 Java 9 一路窜到了现如今的 Ja~~~
AI科技大本营
2023-07-17 19:49
|‹
«
10
11
12
13
14
15
»
›|
发表文章
业界动态
研华发布RK3588 SMARC 2.1核心模块ROM-6881助力机器视觉应用智能升级
"人-机-物智能"的挑战、思考及应用实践
以中国半导体市场的活力助推ERS快速成长
助力新能源汽车企业把驾驶汽车变得更安全、更环保、更互联
基于PSoC™ 6 Matter的智能家居解决方案
资料下载
stm32f469_stm32ide
自动控制原理
现代实用传感器电路-图书
IGBT并联使用要点
直流风扇探秘 静音与散热的完美结合
IMU工作原理
BOOTLODER 刷写工具开发
多年积累下来的硬件电子工程师技术书籍
专栏作者
电子禅石的空间
芯股婶的空间
美男子玩编程的空间
芯智讯的空间
ht1973的空间
传感器技术的空间
旺材芯片的空间
英飞凌汽车电子生态圈
芯谋研究的空间
深科技的空间
计算机视觉工坊
机器之心
数据派THU
12345zhi
AI科技大本营
