双向注意力机制
Bi-directional Attention（双向注意力）Bi-directional Attention（双向注意力）是一种注意力机制，它在建模两个输入序列之间的相互关系时，同时考虑两个方向的信息流。这意味着模型能够在两个序列中寻找重要的相似性或依赖性，从而更好地捕捉它们之间的交互关系。 1. 双向注意力的基本概念在 Bi-directional Attention 中，有两个输入序列𝐴
交叉注意力
交叉注意力机制1. 基本原理在交叉注意力中，输入分为两个部分： 查询（Query）：表示当前需要处理的信息，通常来自一个输入序列。 键（Key）和值（Value）：表示需要参考的信息，通常来自另一个输入序列。 交叉注意力的计算过程如下： 相似度计算：对于每个查询向量，计算它与每个键向量的相似度（例如通过点积计算）。 权重归一化：将相似度通过 softmax 函数归一化，以得到各个键的注意
时间自动编码器TAE
时间自动编码器（TAE）对于TAE，先了解自动编码器（VAE），我们首先要知道它的作用是什么： 自动编码器旨在学习输入数据的压缩表示或编码， 自动编码器的目标是将输入数据映射到低维潜在空间，然后从编码表示重建输入数据。 所谓TAE，其实就是加上时间序列。时间序列数据由时间点上的连续观测值组成，时间在其中起到一个关键作用 时间作为特征的序列性 时间序列数据中的观测值是按时间顺序排列的。例如，股票价
MovieGen A Cast of Media Foundation Models技术报告整理
简单总结 模型大小：30B 训练数据：2B低分辨率图像，400M低分辨率视频， 70M高分辨率视频 训练资源：最高使用6144张H100 支持的视频时长和FPS： 可以生成16s视频，每秒16帧；最高可生成1080p画质（通过超分，视频本身最高到768分辨率） 三阶段训练： 1.图片和视频是联合训练，图片被视为只有1帧的视频来生成。预训练三个阶段用的是原始的FPS，后面fine-tun
onnxruntime构建项目
bug1：The given version [11] is not supported, only version 1 to 7 is supported in this build.应该是加载了C:\Windows\System32\onnxruntime.dll里的这个文件，因为我之前使用的是1.6版本，C盘下的onnxruntime.dll没有替换，导致了错误。可以把最新的onnxrunt
免费视频素材音乐音效
尝试剪辑一些视频，但是想找一些视频素材或者音乐音效，一时难以找全，这里记录一下，方便获取 视频相关 暂时未找到 音乐音效相关 FreePD：一些音乐会给出相应的情绪头像，挺有趣的。 淘声网:感觉像是音效网站
浏览器脚本-下载视频去广告
因为想下载一些网站的视频，找到利用脚本进行下载的。感觉挺有用，分享出来。1.找到一个脚本网址,进入主页，我这里安装的谷歌浏览器的 Violentmonkey。 找到自己想要的脚本，我这里找到的是： 3.然后打开一个播放的视频，左上角就会出现一个链接，和download，点击就可以下载了。 当然还有很多实用的脚本，比如去掉视频网站里面的广告，或者加速网盘下载，以及一些其他脚本，还在探索中。