1 简介 BERT全称Bidirectional Enoceder Representations from Transformers，即双向的Transformers的Encoder。是谷歌于2018年10月提出的一个语言表示模型（language representatio...

2020-10-20 22:56:35 阅读数:113 评论数:0 作者:ZingpLiu

TensorFlow默认会占用设备上所有的GPU以及每个GPU的所有显存；如果指定了某块GPU,也会默认一次性占用该GPU的所有显存。可以通过以下方式解决： 1 Python代码中设置环境变量，指定GPU import os os.environ['CUDA_VISI...

2020-02-15 23:57:27 阅读数:134 评论数:0 作者:ZingpLiu

内存是程序运行必不可少的资源，由操作系统分配和管理。作为程序员，我们通常做的只能是申请和归还。本文主要介绍C++内存的申请和释放（归还），以及注意事项。 1 申请和释放内存的运算符 申请 new 释放 delete 2 方法 申请内存: int p = ...

2020-01-30 12:54:24 阅读数:124 评论数:0 作者:ZingpLiu

深度学习广泛应用于各个领域。基于transformer的预训练模型（gpt/bertd等）基本已统治NLP深度学习领域，可见transformer的重要性。本文结合[《Attention is all you need》][Attention is all you need]Harvard 的...

2019-10-24 02:35:44 阅读数:195 评论数:0 作者:ZingpLiu

Dropout是深度学习中的一种防止过拟合手段，在面试中也经常会被问到，因此有必要搞懂其原理。;; 1 Dropout的运作方式 ;; 在神经网络的训练过程中，对于一次迭代中的某一层神经网络，先随机选择中的一些神经元并将其临时隐藏(丢弃)，然后再进行本次训练和优化。在下一次迭代中，继续随...

2019-10-08 12:20:10 阅读数:183 评论数:0 作者:ZingpLiu

0 前言 ;;      本文主要内容：介绍Pointer-Generator-Network在文本摘要任务中的背景，模型架构与原理、在中英文数据集上实战效果与评估，最后得出结论。参考的[《Get To The Point: Summarization with Pointer-Generator...

2019-09-26 11:43:16 阅读数:471 评论数:0 作者:ZingpLiu

    深度学习中的优化问题通常指的是：寻找神经网络上的一组参数θ，它能显著地降低代价函数J(θ)。针对此类问题，研究人员提出了多种优化算法，Sebastian Ruder 在《An overview of gradient descent optimizationalgorithms》（链接：[h...

2019-08-19 16:18:18 阅读数:154 评论数:0 作者:ZingpLiu

1 系统环境 ;; 搭建的系统环境为centos7.5。;; root@localhost ~] lsb_release -a; LSB Version: :core-4.1-amd64:core-4.1-noarch; Distributor ID: CentOS; ...

2019-07-23 17:32:48 阅读数:128 评论数:0 作者:ZingpLiu

## 1 基本概念 ## * 集成学习的主要思路是先通过一定的规则生成多个学习器，再采用某种集成策略进行组合，最后综合判断输出最终结果。一般而言，通常所说的集成学习中的多个学习器都是同质的弱学习器。基于该弱学习器，通过样本集扰动、输入特征扰动、输出表示扰动、算法参数扰动等方式生成多个学习器，进行集...

2019-06-24 12:15:07 阅读数:280 评论数:0 作者:ZingpLiu

## 1 故障起因 ##收到白盒告警：线上机器ip:x.x.x.x 文件系统没有挂载(/search/odin)。 看来得登上机器排查了。## 2 df -h看下情况 ## [@djt_22_168 ~]# df -h Filesystem Size Used Avail ...

2019-06-12 16:26:53 阅读数:232 评论数:0 作者:ZingpLiu

* 文章从模型评估的基本概念开始，分别介绍了常见的分类模型的评估指标和回归模型的评估指标以及这些指标的局限性。部分知识点举例加以阐述，以便加深理解。思维导图如下：![image](https://images.cnblogs.com/cnblogs_com/zingp/1384487/o_model...

2019-03-28 11:54:31 阅读数:206 评论数:0 作者:ZingpLiu

* 本文介绍了欠拟合、过拟合相关概念，分析造成它们的原因，总结了防止过拟合的一般策略。## 1 损失函数* **损失函数（loss function）**：**是用来度量模型预测值f(x)与样本真实标签值y的不一致程度**。* 给定输入的样本数据x，模型函数输出一个f(x)，这个输出的f(x)与样本...

2019-03-11 16:14:10 阅读数:239 评论数:0 作者:ZingpLiu

* **梯度下降法（Gradient descent）**是一个一阶**最优化算法**，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须...

2019-02-28 02:11:58 阅读数:183 评论数:0 作者:ZingpLiu

过节福利，我们来深入理解下L1与L2正则化。## 1 正则化的概念* **正则化(Regularization)** 是机器学习中对原始损失函数引入额外...

2019-02-28 02:10:46 阅读数:324 评论数:0 作者:ZingpLiu