深度学习在JavaScript中的应用

发表时间: 2024-04-10 17:48


  • JS-PyTorch 是一个JavaScript库,从头开始构建,以紧密跟随PyTorch的语法。
  • 它以一种文档完备、单元测试和可解释的方式实现,因此可以帮助其他JavaScript学习者进入机器学习
  • 欢迎尝试 Web 演示!

(本文视频讲解:java567.com)

1. 简介

  • src/tensor.ts 包含一个完全功能的张量(Tensor)对象,可以跟踪梯度。
  • src/layers.ts 包含许多深度学习和函数。

注意: 项目的 README 包含所有可用操作和层的详细信息。

2. 自己运行

安装和导入

首先,您可以在终端上运行 npm install js-pytorch 来在本地安装该包。 然后,在您的 JavaScript 文件中,使用以下命令导入该包:

const torch = require("js-pytorch");

创建张量

为了使用所有这些酷炫的深度学习张量操作,我们需要实例化一些张量:

// 实例化张量:let x = torch.randn([8,4,5]);let w = torch.randn([8,5,4], requires_grad = true);let b = torch.tensor([0.2, 0.5, 0.1, 0.0], requires_grad = true);

语法与PyTorch相同:

  • torch.tensor(Array) 接收一个数组并将其转换为张量
  • torch.randn(shape) 创建一个填充有正态分布随机数的张量,形状由提供的参数确定。
  • 如果我们要优化此参数(跟踪其梯度),则将 requires_grad 参数设置为 true

张量操作

现在,让我们对这些张量运行一些操作:

// 进行计算:let out = torch.matmul(x, w);out = torch.add(out, b);
  • torch.matmul(x, w)xw 之间执行矩阵乘法(就像在PyTorch中一样)。
  • torch.add(out, b) 将两个张量相加。

注意: 由于 wrequire_grad 设置为 true,其子级 out 也将跟踪其梯度。

获取梯度

// 计算整个图的梯度:out.backward();// 从特定张量获取梯度:console.log(w.grad);console.log(b.grad);
  • 调用 out.backward() 计算导致它的每个张量(其父级)相对于 out 的梯度。
  • 在实际中,我们将在 loss 张量上调用 .backward(),以获取减少其所需的梯度。
  • 要访问张量的梯度,只需调用 Tensor.grad

3. 完整示例(神经网络):

在这个示例中,我们实现了一个完整的神经网络,包括三个线性层和ReLU激活函数。nn.Module 类的语法与 PyTorch 完全相同。

const torch = require("js-pytorch");const nn = torch.nn;const optim = torch.optim;// 实现 Module 类:class NeuralNet extends nn.Module {  constructor(in_size, hidden_size, out_size) {    super();    // 实例化神经网络的层:    this.w1 = new nn.Linear(in_size, hidden_size);    this.relu1 = new nn.ReLU();    this.w2 = new nn.Linear(hidden_size, hidden_size);    this.relu2 = new nn.ReLU();    this.w3 = new nn.Linear(hidden_size, out_size);  };  forward(x) {    let z;    z = this.w1.forward(x);    z = this.relu1.forward(z);    z = this.w2.forward(z);    z = this.relu2.forward(z);    z = this.w3.forward(z);    return z;  };};// 实例化模型:let in_size = 16;let hidden_size = 32;let out_size = 10;let batch_size = 16;let model = new NeuralNet(in_size, hidden_size, out_size);// 定义损失函数和优化器:let loss_func = new nn.CrossEntropyLoss();let optimizer = new optim.Adam(model.parameters(), 3e-3);// 实例化输入和输出:let x = torch.randn([batch_size, in_size]);let y = torch.randint(0, out_size, [batch_size]);let loss;// 训练循环:for (let i = 0; i < 256; i++) {  let z = model.forward(x);  // 获取损失:  loss = loss_func.forward(z, y);  // 使用 torch.tensor 的 backward() 方法反向传播损失:  loss.backward();  // 更新权重:  optimizer.step();  // 在每个训练步骤后将梯度重置为零:  optimizer.zero_grad();  // 打印当前损失:  console.log(`Iter: ${i} - Loss: ${loss.data}`);}

4. 构建以进行分发和开发工具

  • 要进行分发构建,请运行 npm run build。CJS 和 ESM 模块以及 index.d.ts 将输出到 dist/ 文件夹中。
  • 要随时使用 ESLint 检查代码,请运行 npm run lint
  • 要使用 prettier 改进代码格式,请运行 npm run prettier

5. 结论

  • 希望您喜欢这个包!
  • 新的添加,例如GPU支持,即将推出。

(本文视频讲解:java567.com)