知乎 - 有问题，就会有答案
为什么传统机器学习，都会用predict表示预测，而深度学习中往往用inference这个词，他们意义有什么不同吗
如何简单易懂地理解变分推断 (variational inference)？
笔者在入门VAE（Variational Autoencoder）的时候，发现几乎所有博客都会提到 变分推断 （Variational Inference）和 ELBO （证据下界，Evidence Lower Bound），但是总是搞不明白具体是什么意思， …
机器学习中Inference 和predict的区别是什么? - 知乎
机器学习中Inference 和predict的区别是什么? 为什么传统机器学习，都会用predict表示预测，而深度学习中往往用inference这个词，他们意义有什么不同吗 显示全部 关注者 61
什么是「推理」 (Reasoning)? - 知乎
在哲学逻辑学、心理学、认知科学、（通用）人工智能等领域，如何对推理进行定义？Reasoning和Inference有…
[CMoE: Fast Carving of Mixture-of-Experts for Efficient LLM Inference ...
[CMoE: Fast Carving of Mixture-of-Experts for Efficient LLM Inference]: Large language models (LLMs) achieve impressive performance by scaling model parameters, but this comes with significant infer…
TensorRT做Inference时报错，cuda memory 泄露的问题如何解决？
CUDA编程入门 1、CUDA核函数嵌套核函数的用法多吗？ 答：这种用法非常少，主要是因为启动一个kernel本身就有一定延迟，会造成执行的不连续性。 2、代码里的 grid/block 对应硬件上的 SM 的关 …
Judea Pearl 对 Causal Inference 的贡献有多大？ - 知乎
2011年，Judea Pearl获得ACM图灵奖，颁奖词（以下不是严格的中译，仅供参考）总结了他的贡献： Judea Pearl创建了处理非确定信息的表示与计算基础，由此改变了人工智能。Pearl的工作超出了传统 …
PyTorch如何量化模型（int8）并使用GPU（训练/Inference）？
或者是否可以通过将PyTorch模型转化成TensorRT进行int8的GPU Inference?
知乎 - 有问题，就会有答案
知乎，中文互联网高质量的问答社区和创作者聚集的原创内容平台，于 2011 年 1 月正式上线，以「让人们更好的分享知识、经验和见解，找到自己的解答」为品牌使命。知乎凭借认真、专业、友善的社区 …
LLM的pad策略，为啥训练时是right，预测是left？ - 知乎
Dec 10, 2024 · 上面这俩在训练时是等效的。 关键还是 padding 方向和 ignore_label 的设置方式要匹配。 position_ids 的影响也不大，目前像 Hugging Face 这种库可以自行处理。如下例中是 batch size 为 2 …