在我们的生活中，大到天体不雅观测、小到MP3播放器上的频谱，没有傅里叶变换都无法实现。

普通来讲，离散傅里叶变换（DFT）便是把一串繁芜波形等分身分歧频率身分。

比如声音，如果用声波记录仪显示声音的话，实在生活中绝大部分声音都是非常繁芜、乃至凌乱无章的。

而通过傅里叶变换，就能把这些凌乱的声波转化为正弦波，也便是我们平常看到的音乐频谱图的样子。

不过在实际打算中，这个过程实在非常繁芜。

如果把声波视作一个连续函数，它可以唯一表示为一堆三角函数相叠加。
不过在叠加过程中，每个三角函数的加权系数不同，有的要加高一些、有的要压低一些，有的乃至不加。

傅里叶变换要找到这些三角函数以及它们各自的权重。

这不就巧了，这种找啊找的过程，像极了神经网络。

神经网络的实质实在便是逼近一个函数。

那岂不是可以用演习神经网络的办法来搞定傅里叶变换？

这还真的可行，并且最近有人在网上发布了自己演习的过程和结果。

DFT=神经网络

该怎么演习神经网络呢？这位网友给出的思路是这样的：

首先要把离散傅里叶变换（DFT）看作是一个人工神经网络，这是一个单层网络，没有bias、没有激活函数，并且对付权重有特定的值。
它输出节点的数量即是傅里叶变换打算后频率的数量。

详细方法如下：

这是一个DFT：

k表示每N个样本的循环次数；N表示旗子暗记的长度；表示旗子暗记在样本n处的值。

一个旗子暗记可以表示为所有正弦旗子暗记的和。

yk是一个复值，它给出了旗子暗记x中频率为k的正弦旗子暗记的信息；从yk我们可以打算正弦的振幅和相位。

换成矩阵式，它就变成了这样：

这里给出了特定值k的傅里叶值。

不过常日情形下，我们要打算全频谱，即k从[0,1,…N-1]的值，这可以用一个矩阵来表示（k按列递增，n按行递增）：

简化后得到：

看到这里该当还很熟习，由于它是一个没有bias和激活函数的神经网络层。

指数矩阵包含权值，可以称之为复合傅里叶权值（Complex Fourier weights），常日情形下我们并不知道神经网络的权重，不过在这里可以。

不用复数

常日我们也不会在神经网络中利用复数，为了适应这种情形，就须要把矩阵的大小翻倍，使其左边部分包含实数，右边部分包含虚数。

将

带入DFT，可以得到：

然后用实部（cos形式）来表示矩阵的左半部分，用虚部（sin形式）来表示矩阵的右半部分：

简化后可以得到：

将

称为傅里叶权重；

须要把稳的是，y^和y实际上包含相同的信息，但是y^

不该用复数，以是它的长度是y的两倍。

换句话说，我们可以用

或

表示振幅和相位，但是我们常日会利用

现在，就可以将傅里叶层加到网络中了。

用傅里叶权重打算傅里叶变换

现在就可以用神经网络来实现

，并用快速傅里叶变换（FFT）检讨它是否精确。

import matplotlib.pyplot as plty_real = y[:, :signal_length]y_imag = y[:, signal_length:]tvals = np.arange(signal_length).reshape([-1, 1])freqs = np.arange(signal_length).reshape([1, -1])arg_vals = 2 np.pi tvals freqs / signal_lengthsinusoids = (y_real np.cos(arg_vals) - y_imag np.sin(arg_vals)) / signal_lengthreconstructed_signal = np.sum(sinusoids, axis=1)print('rmse:', np.sqrt(np.mean((x - reconstructed_signal)2)))plt.subplot(2, 1, 1)plt.plot(x[0,:])plt.title('Original signal')plt.subplot(2, 1, 2)plt.plot(reconstructed_signal)plt.title('Signal reconstructed from sinusoids after DFT')plt.tight_layout()plt.show()

rmse: 2.3243522568191728e-15

得到的这个眇小偏差值可以证明，打算的结果是我们想要的。

另一种方法是重构旗子暗记：

import matplotlib.pyplot as plty_real = y[:, :signal_length]y_imag = y[:, signal_length:]tvals = np.arange(signal_length).reshape([-1, 1])freqs = np.arange(signal_length).reshape([1, -1])arg_vals = 2 np.pi tvals freqs / signal_lengthsinusoids = (y_real np.cos(arg_vals) - y_imag np.sin(arg_vals)) / signal_lengthreconstructed_signal = np.sum(sinusoids, axis=1)print('rmse:', np.sqrt(np.mean((x - reconstructed_signal)2)))plt.subplot(2, 1, 1)plt.plot(x[0,:])plt.title('Original signal')plt.subplot(2, 1, 2)plt.plot(reconstructed_signal)plt.title('Signal reconstructed from sinusoids after DFT')plt.tight_layout()plt.show()

rmse: 2.3243522568191728e-15

末了可以看到，DFT后从正弦旗子暗记重修的旗子暗记和原始旗子暗记能够很好地重合。

通过梯度低落学习傅里叶变换

现在就到了让神经网络真正来学习的部分，这一步就不须要向之前那样预先打算权重值了。

首先，要用FFT来演习神经网络学习离散傅里叶变换：

import tensorflow as tfsignal_length = 32# Initialise weight vector to train:W_learned = tf.Variable(np.random.random([signal_length, 2 signal_length]) - 0.5)# Expected weights, for comparison:W_expected = create_fourier_weights(signal_length)losses = []rmses = []for i in range(1000): # Generate a random signal each iteration: x = np.random.random([1, signal_length]) - 0.5 # Compute the expected result using the FFT: fft = np.fft.fft(x) y_true = np.hstack([fft.real, fft.imag]) with tf.GradientTape() as tape: y_pred = tf.matmul(x, W_learned) loss = tf.reduce_sum(tf.square(y_pred - y_true)) # Train weights, via gradient descent: W_gradient = tape.gradient(loss, W_learned) W_learned = tf.Variable(W_learned - 0.1 W_gradient) losses.append(loss) rmses.append(np.sqrt(np.mean((W_learned - W_expected)2)))

Final loss value 1.6738563548424711e-09Final weights' rmse value 3.1525832404710523e-06

得出结果如上，这证明了神经网络确实能够学习离散傅里叶变换。

演习网络学习DFT

除了用快速傅里叶变革的方法，还可以通过网络来重修输入旗子暗记来学习DFT。
(类似于autoencoders自编码器)。

自编码器（autoencoder, AE）是一类在半监督学习和非监督学习中利用的人工神经网络（Artificial Neural Networks, ANNs），其功能是通过将输入信息作为学习目标，对输入信息进行表征学习（representation learning）。

W_learned = tf.Variable(np.random.random([signal_length, 2 signal_length]) - 0.5)tvals = np.arange(signal_length).reshape([-1, 1])freqs = np.arange(signal_length).reshape([1, -1])arg_vals = 2 np.pi tvals freqs / signal_lengthcos_vals = tf.cos(arg_vals) / signal_lengthsin_vals = tf.sin(arg_vals) / signal_lengthlosses = []rmses = []for i in range(10000): x = np.random.random([1, signal_length]) - 0.5 with tf.GradientTape() as tape: y_pred = tf.matmul(x, W_learned) y_real = y_pred[:, 0:signal_length] y_imag = y_pred[:, signal_length:] sinusoids = y_real cos_vals - y_imag sin_vals reconstructed_signal = tf.reduce_sum(sinusoids, axis=1) loss = tf.reduce_sum(tf.square(x - reconstructed_signal)) W_gradient = tape.gradient(loss, W_learned) W_learned = tf.Variable(W_learned - 0.5 W_gradient) losses.append(loss) rmses.append(np.sqrt(np.mean((W_learned - W_expected)2)))

Final loss value 4.161919455121241e-22Final weights' rmse value 0.20243339269590094

作者用这一模型进行了很多测试，末了得到的权重不像上面的例子中那样靠近傅里叶权值，但是可以看到重修的旗子暗记是同等的。

换成输入振幅和相位试试看呢。

W_learned = tf.Variable(np.random.random([signal_length, 2 signal_length]) - 0.5)losses = []rmses = []for i in range(10000): x = np.random.random([1, signal_length]) - .5 with tf.GradientTape() as tape: y_pred = tf.matmul(x, W_learned) y_real = y_pred[:, 0:signal_length] y_imag = y_pred[:, signal_length:] amplitudes = tf.sqrt(y_real2 + y_imag2) / signal_length phases = tf.atan2(y_imag, y_real) sinusoids = amplitudes tf.cos(arg_vals + phases) reconstructed_signal = tf.reduce_sum(sinusoids, axis=1) loss = tf.reduce_sum(tf.square(x - reconstructed_signal)) W_gradient = tape.gradient(loss, W_learned) W_learned = tf.Variable(W_learned - 0.5 W_gradient) losses.append(loss) rmses.append(np.sqrt(np.mean((W_learned - W_expected)2)))

Final loss value 2.2379359316633115e-21Final weights' rmse value 0.2080118219691059

可以看到，重修旗子暗记再次同等；

不过，和此前一样，输入振幅和相位终极得到的权值也不完备等同于傅里叶权值(但非常靠近)。

由此可以得出结论，虽然末了得到的权重还不是最准确的，但是也能够得到局部的最优解。

这样一来，神经网络就学会了傅里叶变换！

值得一提的是，这个方法目前还有疑问存在：

首先，它没有阐明打算出的权值和真正的傅里叶权值相差多少；

而且，也没有解释将傅里叶层放到模型中能带来哪些益处。

原文链接：https://sidsite.com/posts/fourier-nets/

— 完 —

量子位 QbitAI · 号签约

关注我们，第一韶光获知前沿科技动态