1、手动调参，但这种方法依赖于大量的经验，而且比较费时。 许多情况下，工程师依靠试错法手工调整超参数进行优化，有经验的工程师可以在很大程度上判断如何设置超参数，从而提高模型的准确性。 2、网格化寻优，是最基本的超参数优化方法。 利用这种技术，我们只需要为所有超参数的可能性建立一个独立的模型，评估每个模型的性能，选择产生最佳结果的模型和超参数。 from sklearn.datasets import load_iris from sklearn.svm import SVC iris = loa…

1、残差连接是目前常用的组件，解决了大规模深度学习模型梯度消失和瓶颈问题。 通常，在10层以上的模型中追加残差连接可能有帮助。 from keras import layers   x = …   y = layers.Conv2D(128, 3, activation=’relu’, padding=’same’)(x) y = layers.Conv2D(128, 3, activation=’relu’, padding=’same’)(y) y = layers.MaxPooling…

说明 1、通过特征本身的方差来筛选特征。特征的方差越小，特征的变化越不明显。 2、变化越不明显的特征对我们区分标签没有太大作用，因此应该消除这些特征。 实例 def variance_demo():     “””     过滤低方差特征     :return:     “””     # 1. 获取数据     data = pd.read_csv(‘factor_returns.csv’)     data = data.iloc[:, 1:-2]     print(‘data:\n’,…

说明 1、PCA是最经典、最实用的降维技术，尤其在辅助图形识别中表现突出。 2、用来减少数据集的维度，同时保持数据集中对方差贡献最大的特征。 保持低阶主成分，而忽略高阶成分，低阶成分往往能保留数据的最重要部分。 实例 from sklearn.feature_selection import VarianceThreshold   # 特征选择  VarianceThreshold删除低方差的特征(删除差别不大的特征) var = VarianceThreshold(threshold=1.0)…

说明 1、将原始数据转换为均值为0，标准差在1范围内。 2、对标准化而言：如果出现异常点，由于有一定数据量，少量异常点对平均值的影响不大，因此方差变化不大。 实例 def stand_demo():     “””     标准化     :return:     “””     # 1. 获取数据     data = pd.read_csv(‘dating.txt’)     data = data.iloc[:, :3]     print(‘data:\n’, data)       #…

说明 1、通过对原始数据进行变换把数据映射到(默认为[0,1])之间。 2、能够加快梯度下降求最优解的速度，并有可能提高精度。 实例 def minmax_demo():     “””     归一化     :return:     “””     # 1.获取数据     data = pd.read_csv(‘dating.txt’)       data = data.iloc[:, :3]     # print(“data:\n”, data)     # 2.实例化一个转换器类 …

说明 1、TF-IDF是如果词或词组出现在文章中的概率较高，而在其他文章中很少出现，那么它就被认为具有很好的类别区分能力，适合进行分类。 2、提取文本特征，用来评估字词对文件集或某个语料库中文件的重要性。 实例 def tfidf_demo():     “””     用tfidf的方法进行文本特征提取     :return:     “””     # 1.将中文文本进行分词     data = [“一种还是一种今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不…

说明 1、filecmp是python内置的模块，用于比较文件及文件夹的内容。 2、有两个方法，filecmp.cmp比较两个文件的内容是否匹配和filecmp.cmpfile比较两个文件内指定文件是否相等。 实例 import filecmp   “”” 说明：text.txt和text1.txt内容不相同，text.txt和text2.txt内容相同。 “”” res1 = filecmp.cmp(“text.txt”, “text1.txt”, shallow=True) print(“t…

说明： 1、ChainMap的主要用例是提供一种有效的方法来管理多个范围或上下文，并处理重复键的访问优先级。 2、当有多个存储重复键的字典访问它们的顺序时，这个功能非常有用。 在ChainMap文档中找到一个经典的例子，它模拟Python如何分析不同命名空间中的变量名称。 当Python搜索名称时，它会依次搜索当地、全局和内置的功能域，直到找到目标名称。Python作用域是将名称映射到对象的字典。 为了模拟Python的内部搜索链，可以使用链映射。 实例 >>> import …

说明 1、ChainMap有一个功能是.parents。这个属性返回了新的ChainMap实例，包括除第一个以外的所有底层链映射。 2、在给定链映射中搜索键时，这个功能对跳过第一个映射非常有用。 实例 >>> from collections import ChainMap   >>> mom = {“name”: “Jane”, “age”: 31} >>> dad = {“name”: “John”, “age”: 35} >&gt…