《机器学习实践应用》读书笔记

时间：2019-09-03 23:10:44 网站：公文素材库

《机器学习实践应用》读书笔记

　　这次的读书笔记主要介绍机器学习背景和基础概念

　　1 机器学习背景

　　数据现状

　　20世纪70年代曾遇巨大瓶颈，原因有计算能力 + 数据量的不足。随着互联网的普及和对用户数据的大量采集，数据量不足的问题已逐渐弥补，机器学习算法的价值越来越大。但在传统领域，如建筑行业，数据产生于工地的一砖一瓦，采集起来会更困难和麻烦，随着图像识别技术的进步和普及，这样的问题能够慢慢解决，但不得不说，传统领域的数据智能化仍然是比较慢的进程。(这里可以自行了解下百度在传统领域的AI技术落地情况)。目前主流的机器学习算法是监督学习算法，该算法需要的是打标过的数据，而数据的打标十分依赖人工标记，之前在实习的时候，给短视频的标签做标记都能把我搞得头昏脑涨。人工打标有几个问题：成本高 + 量级小

　　机器学习算法现状

　　机器学习已渗透到生活的各个方面，特别是在互联网领域。用网购场景来举例。

　　1)你在路上看到陌生人的一件T恤你很喜欢 → 使用淘宝的【拍立淘】(图像识别技术)

　　2)在淘宝搜索框语音输入商品名称(语音转文字技术)

　　3)商品的个性化推荐(推荐算法)

　　4)商品下单 → 若钱不够用 → 借钱 → 贷款额度显示(由机器学习算法计算)

　　5)下单后 → 短时间完成商品包装、库存发货到中转库存、从低级仓库到高级仓库配送、向下分发(机器学习算法)

　　6)快递员配送 → 系统设计最优路线(机器学习算法规划)

　　7)商品投诉 → 智能客服立即回复(文本的语义分析算法，精准确定问题)

　　以上的过程涉及了模型的训练和预测、语义分析、文本情感分析、图像识别以及语音识别技术

　　机器学习高频场景

　　1)聚类场景

　　人群划分和产品种类划分等

　　2)分类场景

　　广告投放预测和网站用户点击预测等

　　3)回归场景

　　降雨量预测、商品购买量预测和股票成交额预测等

　　4)文本分析场景

　　新闻标签提取、文本自动分类和文本关键信息抽取

　　5)关系图算法

　　社交网络关系网络关系挖掘和金融风险控制等

　　6)模式识别

　　语音识别、图像识别和手写字识别

　　总评

　　机器学习+ 是大趋势

　　2 基本概念

　　机器学习流程

　　1)场景解析

　　把业务逻辑和算法进行匹配

　　2)数据预处理

　　清洗数据，将数据进行归一化或标准化，减少量纲和噪音。

　　3)特征工程

　　机器学习最重要步骤。在算法固定的情况下，特征的选择决定了模型的效果

　　4)模型训练

　　训练数据经过了预处理 + 特征工程后进入训练阶段。

　　5)模型评估

　　对各模型的预测结果评估

　　6)离线/在线服务

　　数据源结构

　　1)结构化数据

　　矩阵结构存储，通常包含特征列+目标列。机器学习算法通常只支持结构化数据

　　2)非结构化数据

　　图像、文本或语音文件，不以矩阵机构存储，是目前技术热点，通常将其转化为二进制存储格式

　　3)半结构化数据

　　典型的半结构化数据是XML拓展名的存储数据

　　算法分类

　　1)监督学习

　　有特征值+目标队列，依赖打标，常用于回归和分类算法

　　2)无监督学习

　　无目标值，不依赖数据的打标，通常用于聚类算法

　　3)半监督学习

　　对样本的部分进行打标，一种半监督算法 —— 标签传播算法

　　4)强化学习

　　人工智能领域热点。系统与外界不断交互，从而决定自身的行为，如无人汽车驾驶和阿法狗下围棋

　　使用机器学习算法常见问题

　　过拟合问题

　　算法结果评估

　　1、精确率、召回率、F1值

　　2、ROC和AUC

　　另外还需要了解的指标：TP、FP、TN、FN

　　总评

　　基础概念的理解有利于帮助入门

　　来源：网络整理免责声明：本文仅限学习分享，如产生版权问题，请联系我们及时删除。

《《机器学习实践应用》读书笔记》
由互联网用户整理提供,转载分享请保留原作者信息,谢谢!
http://m.bsmz.net/gongwen/784589.html