- etl工程师面试常问问题
- 腾讯数据库面试流程
- 网络运维面试必背知识点
- 面试“造核弹”，工作“拧螺丝”，java
- 大数据培训有哪些经验值得分享
- Java后台开发面试应该如何准备
- JAVA架构师面试题，如何成为架构师
- 选择大数据培训机构需要注意哪些问题
- 本人是数据挖掘方向的毕业生，有没有前辈能
etl工程师面试常问问题
ETL工程师面试常问问题可能会涉及以下方面：
腾讯数据库面试流程
1.理解 hadoop 的分布式文件系统，掌握 mapreduce 原理
网络运维面试必背知识点
网络运维面试中可能会涉及的一些必背知识点包括：
面试“造核弹”，工作“拧螺丝”，java
我总结来就两句话，基础要扎实，项目经验说得透彻明白面试easy
大数据培训有哪些经验值得分享
对于大数据想必大家多少都有一定的了解，简单是说大数据就是大量的数据，但是对于大数据开发来说就不光是大量的数据怎么简单了，而且要通过开发一些相关的功能软件对其进行统计分析。
随着互联网行业的不断发展，产生的数据越来越多，而且许多企业都想让其变成具有价值的数据，想要变成具有价值的数据就需要进行统计分析，所以大数据开发分析人才也在逐渐增加，学习大数据人也是愈来愈多。
那么参加大数据培训学习有那些经验呢？
1、参加大数据培训学习一定要端正增加的态度，大数据培训只是一个可以帮助你快速实现入门工作的渠道，学习过程中也是需要自己不断的努力才可以的，并不是只要报名学习就一定可以找到工作。
2、大数据培训学习是需要一定的学历条件和思维逻辑的，所以在学习大数据之前一定都要先看自身的条件是否合适学习，是否满足本科学历（大专学历的需要有一定的其它变成语言工作经验）和较强的逻辑思维能力，避免造成不必要的时间和金钱的浪费。
3、选择大数据培训机构时，一定要考察一下大数据培训课程怎么样，是否是包含企业需求的技术知识点，有没有行业新的技术内容。
如果上面是几点都考虑过了，感觉都是比较符合的，那么这个时候在进行选择报名大数据培训学习是比较好的，这里提醒大家千万不要头脑一热听别人说好就着急报名学习，一定要冷静对待，才能够更好的学习。
Java后台开发面试应该如何准备
首先不知道你要面试的是那个级别的Java程序师，那面主要从要撑握的主要技能方面来说一下。
spring系列
spring框架是做Java框架基本避不开的基础系列，意思是说学好Spring对后面的学习是非常重要的基础。
Spring是一个轻量级的控制反转(IoC)和面向切面(AOP)的容器框架。
轻量——从大小与开销两方面而言Spring都是轻量的。完整的Spring框架可以在一个大小只有1MB多的JAR文件里发布。并且Spring所需的处理开销也是微不足道的。此外，Spring是非侵入式的：典型地，Spring应用中的对象不依赖于Spring的特定类。
控制反转——Spring通过一种称作控制反转（IoC）的技术促进了松耦合。当应用了IoC，一个对象依赖的其它对象会通过被动的传递进来，而不是这个对象自己创建或者查找依赖对象。你可以认为IoC与JNDI相反——不是对象从容器中查找依赖，而是容器在对象初始化时不等对象请求就主动将依赖传递给它。
面向切面——Spring提供了面向切面编程的丰富支持，允许通过分离应用的业务逻辑与系统级服务（例如审计（auditing）和事务（transaction）管理）进行内聚性的开发。应用对象只实现它们应该做的——完成业务逻辑——仅此而已。它们并不负责（甚至是意识）其它的系统级关注点，例如日志或事务支持。
而由于spring是Java的一个基础框架，所以有很多Java上的其它方案可以在spring中集成，对于Java来说spring 非常重要。
数据库
数据库基本也是无论大小项目都需要的一个环节，因为数据库都要要持久化。
国内常用的数据库主要是Mysql。
mysql的主要学习点：
1、如何优化sql语句。
2、如何按照场景使用范式设计还是非范式设计。
3、学习事务。
4、主从库。
5、分区。
6、分库分表。
产品发布
如果公司产品还在单点阶段那么通过人工发布还没有什么问题，如果公司产品已处在多点或Soa等微服务阶段再通过人手打包或发布就会不太合理。
Maven
maven是一个项目管理工具，它包含了一个项目对象模型 (Project Object Model)，一组标准集合，一个项目生命周期(Project Lifecycle)，一个依赖管理系统(Dependency Management System)，和用来运行定义在生命周期阶段(phase)中插件(plugin)目标(goal)的逻辑。当你使用Maven的时候，你用一个明确定义的项目对象模型来描述你的项目，然后Maven可以应用横切的逻辑，这些逻辑来自一组共享的（或者自定义的）插件。
通过maven构建的产品，再通过持续集成工具进行自动化发布。
-----------------------------------
本人现处广州从事互联网工作多年，资深技术人员、管理人员。愿结识有互联网业务的技术人员或企业人员。
JAVA架构师面试题，如何成为架构师
想成为一名优秀的架构师有以下几点是必须要具备的：
1.具有5年以上的大型互联网公司的工作经验，知识的深度：至少是某个领域的专家，比如消息队列，activeMQ熟悉其源码，高并发是如何实现以及多线程异步加载、JVM的优化。
2：熟练使用主流框架，如：mybatis，spring 等
3：研究过至少一种以web框架的源码，如spring mvc ，struts 等。
需要擅长的技术点：高并发、高可用、分布式、高性能、架构设计、源码分析、大数据等技术，例如：Dubbo/Zookeper/Redis/MongoDB/ActiveMQ/Nginx/Hadoop等主流核心技术。如果这些技术都会了离架构师之路已经不远了。
需要掌握的技能：1.有一句话说得好，将军就是更优秀的士兵。架构师作为程序员中的将军，首先需要有足够的技术深度，同时需要广泛了解行业内的主流技术，以便更好地设计架构和技术选型。
2.抛开业务谈架构就是耍流氓。这一点对应用架构师来说尤其重要。只有对业务有了充分的理解，才能对项目的设计和扩展做出合理的规划。
3.架构师不只是低头做技术，更需要协调指挥团队内的成员，也需要跨部门和产品、运营、项目经理等人员做及时有效的沟通，所以沟通能力是必不可少的。
选择大数据培训机构需要注意哪些问题
我建议还是选择大品牌比较靠谱，中公教育是上市公司并且这么多年口碑也非常好值得信赖。现在IT培训坑太多，一定要慎重选择，我建议学之前一定要当地学校去详细介绍一下（切记！别被某些机构给了,很厉害的）
本人是数据挖掘方向的毕业生，有没有前辈能
问达统计学面试经验职业发展本人是数据挖掘方向的毕业生，有没有前辈能分享一下面试大数据岗位时都可能遇到哪些问题，都该怎样回答呢？ 添加评论 邀请回答 举报 分享2人已关注 添加评论 邀请回答 举报2关注者6个回答杨嘉松（西北大学）做自己！Mr.wang、顾梦兴…点赞。以下首先介绍面试中遇到的一些真实问题，然后谈一谈答题和面试准备上的建议。面试问题你在研究/项目/实习经历中主要用过哪些机器学习/数据挖掘的算法？你熟悉的机器学习/数据挖掘算法主要有哪些？你用过哪些机器学习/数据挖掘工具或框架？基础知识无监督和有监督算法的区别？SVM 的推导，特性？多分类怎么处理？LR 的推导，特性？决策树的特性？SVM、LR、决策树的对比？GBDT 和 决策森林 的区别？如何判断函数凸或非凸？解释对偶的概念。如何进行特征选择？为什么会产生过拟合，有哪些方法可以预防或克服过拟合？介绍卷积神经网络，和 DBN 有什么区别？采用 EM 算法求解的模型有哪些，为什么不用牛顿法或梯度下降法？用 EM 算法推导解释 Kmeans。用过哪些聚类算法，解释密度聚类算法。聚类算法中的距离度量有哪些？如何进行实体识别？解释贝叶斯公式和朴素贝叶斯分类。写一个 Hadoop 版本的 wordcount。……开放问题给你公司内部群组的聊天记录，怎样区分出主管和员工？如何评估网站内容的真实性（针对、作弊类）？深度学习在推荐系统上可能有怎样的发挥？路段平均车速反映了路况，在道路上布控采集车辆速度，如何对路况做出合理估计？采集数据中的异常值如何处理？如何根据语料计算两个词词义的相似度？在百度贴吧里发布 APP 广告，问推荐策略？如何判断自己实现的 LR、Kmeans 算法是否正确？100亿数字，怎么统计前100大的？……答题思路用过什么算法？最好是在项目/实习的大数据场景里用过，比如推荐里用过 CF、LR，分类里用过 SVM、GBDT；一般用法是什么，是不是自己实现的，有什么比较知名的实现，使用过程中踩过哪些坑；优缺点分析。熟悉的算法有哪些？基础算法要多说，其它算法要挑熟悉程度高的说，不光列举算法，也适当说说应用场合；面试官和你的研究方向可能不匹配，不过在基础算法们还是有很多共同语言的，你说得太高大上可能效果并不好，一方面面试官还是要问基础的，另一方面一旦面试官突发奇想让你给他讲解高大上的内容，而你只是泛泛的了解，那就傻叉了。用过哪些框架/算法包？主流的分布式框架如 Hadoop，Spark，Graphlab，Parameter Server 等择一或多使用了解；通用算法包，如 mahout，scikit，weka 等；专用算法包，如 opencv，theano，torch7，ICTCLAS 等。基础知识对知识进行结构化整理，比如撰写自己的 cheet sheet，我觉得面试是在有限时间内向面试官输出自己知识的过程，如果仅仅是在面试现场才开始调动知识、组织表达，总还是不如系统的梳理准备；从面试官的角度多问自己一些问题，通过查找资料总结出全面的解答，比如如何预防或克服过拟合。产生背景，适用场合（数据规模，特征维度，是否有 Online 算法，离散/连续特征处理等角度）；原理推导（最大间隔，软间隔，对偶）；求解方法（随机梯度下降、拟牛顿法等优化算法）；优缺点，相关改进；和其他基本方法的对比；个人感觉高频话题是 SVM、LR、决策树（决策森林）和聚类算法，要重点准备；算法要从以下几个方面来掌握:产生背景，适用场合（数据规模，特征维度，是否有 Online 算法，离散/连续特征处理等角度）；原理推导（最大间隔，软间隔，对偶）；求解方法（随机梯度下降、拟牛顿法等优化算法）；优缺点，相关改进；和其他基本方法的对比；不能停留在能看懂的程度，还要:对知识进行结构化整理，比如撰写自己的 cheet sheet，我觉得面试是在有限时间内向面试官输出自己知识的过程，如果仅仅是在面试现场才开始调动知识、组织表达，总还是不如系统的梳理准备；从面试官的角度多问自己一些问题，通过查找资料总结出全面的解答，比如如何预防或克服过拟合。开放问题由于问题具有综合性和开放性，所以不仅仅考察对算法的了解，还需要足够的实战经验作基础；先不要考虑完善性或可实现性，调动你的一切知识储备和经验储备去设计，有多少说多少，想到什么说什么，方案都是在你和面试官讨论的过程里逐步完善的，不过面试官有两种风格：引导你思考考虑不周之处 or 指责你没有考虑到某些情况，遇到后者的话还请注意灵活调整答题策略;和同学朋友开展讨论，可以从上一节列出的问题开始。准备建议基础算法复习两条线材料阅读 包括经典教材（比如 PRML，模式分类）、网上系列博客（比如 研究者July），系统梳理基础算法知识；面试反馈 面试过程中会让你发现自己的薄弱环节和知识盲区，把这些问题记录下来，在下一次面试前搞懂搞透。除算法知识，还应适当掌握一些系统架构方面的知识，可以从网上分享的阿里、京东、新浪微博等的架构介绍 PPT 入手，也可以从 Hadoop、Spark 等的设计实现切入。如果真的是以就业为导向就要在平时注意实战经验的积累，在科研项目、实习、比赛（Kaggle，Netflix，天猫大数据竞赛等）中摸清算法特性、熟悉相关工具与模块的使用。总结：如今，好多数据挖掘的知识都逐渐成为常识，要想在竞争中脱颖而出，就必须做到保持学习热情，关心热点；深入学习，会用，也要理解；在实战中历练总结；积极参加学术界、业界的讲座分享，向牛人学习，与他人讨论。最后，希望自己的求职季经验总结能给大家带来有益的启发~以下首先介绍面试中遇到的一些真实问题，然后谈一谈答题和面试准备上的建议。面试问题你在研究/项目/实习经历中主要用过哪些机器学习/数据挖掘的算法？你熟悉的机器学习/数据挖掘算法主要有哪些？你用过哪些机器学习/数据挖掘工具或框架？基础知识无监督和有监督算法的区别？SVM 的推导，特性？多分类怎么处理？LR 的推导，特性？决策树的特性？SVM、LR、决策树的对比？GBDT 和 决策森林 的区别？如何判断函数凸或非凸？解释对偶的概念。如何进行特征选择？为什么会产生过拟合，有哪些方法可以预防或克服过拟合？介绍卷积神经网络，和 DBN 有什么区别？采用 EM 算法求解的模型有哪些，为什么不用牛顿法或梯度下降法？用 EM 算法推导解释 Kmeans。用过哪些聚类算法，解释密度聚类算法。聚类算法中的距离度量有哪些？如何进行实体识别？解释贝叶斯公式和朴素贝叶斯分类。写一个 Hadoop 版本的 wordcount。……开放问题给你公司内部群组的聊天记录，怎样区分出主管和员工？如何评估网站内容的真实性（针对、作弊类）？深度学习在推荐系统上可能有怎样的发挥？路段平均车速反映了路况，在道路上布控采集车辆速度，如何对路况做出合理估计？采集数据中的异常值如何处理？如何根据语料计算两个词词义的相似度？在百度贴吧里发布 APP 广告，问推荐策略？如何判断自己实现的 LR、Kmeans 算法是否正确？100亿数字，怎么统计前100大的？……答题思路用过什么算法？最好是在项目/实习的大数据场景里用过，比如推荐里用过 CF、LR，分类里用过 SVM、GBDT；一般用法是什么，是不是自己实现的，有什么比较知名的实现，使用过程中踩过哪些坑；优缺点分析。熟悉的算法有哪些？基础算法要多说，其它算法要挑熟悉程度高的说，不光列举算法，也适当说说应用场合；面试官和你的研究方向可能不匹配，不过在基础算法们还是有很多共同语言的，你说得太高大上可能效果并不好，一方面面试官还是要问基础的，另一方面一旦面试官突发奇想让你给他讲解高大上的内容，而你只是泛泛的了解，那就傻叉了。用过哪些框架/算法包？主流的分布式框架如 Hadoop，Spark，Graphlab，Parameter Server 等择一或多使用了解；通用算法包，如 mahout，scikit，weka 等；专用算法包，如 opencv，theano，torch7，ICTCLAS 等。基础知识对知识进行结构化整理，比如撰写自己的 cheet sheet，我觉得面试是在有限时间内向面试官输出自己知识的过程，如果仅仅是在面试现场才开始调动知识、组织表达，总还是不如系统的梳理准备；从面试官的角度多问自己一些问题，通过查找资料总结出全面的解答，比如如何预防或克服过拟合。产生背景，适用场合（数据规模，特征维度，是否有 Online 算法，离散/连续特征处理等角度）；原理推导（最大间隔，软间隔，对偶）；求解方法（随机梯度下降、拟牛顿法等优化算法）；优缺点，相关改进；和其他基本方法的对比；个人感觉高频话题是 SVM、LR、决策树（决策森林）和聚类算法，要重点准备；算法要从以下几个方面来掌握:产生背景，适用场合（数据规模，特征维度，是否有 Online 算法，离散/连续特征处理等角度）；原理推导（最大间隔，软间隔，对偶）；求解方法（随机梯度下降、拟牛顿法等优化算法）；优缺点，相关改进；和其他基本方法的对比；不能停留在能看懂的程度，还要:对知识进行结构化整理，比如撰写自己的 cheet sheet，我觉得面试是在有限时间内向面试官输出自己知识的过程，如果仅仅是在面试现场才开始调动知识、组织表达，总还是不如系统的梳理准备；从面试官的角度多问自己一些问题，通过查找资料总结出全面的解答，比如如何预防或克服过拟合。开放问题由于问题具有综合性和开放性，所以不仅仅考察对算法的了解，还需要足够的实战经验作基础；先不要考虑完善性或可实现性，调动你的一切知识储备和经验储备去设计，有多少说多少，想到什么说什么，方案都是在你和面试官讨论的过程里逐步完善的，不过面试官有两种风格：引导你思考考虑不周之处 or 指责你没有考虑到某些情况，遇到后者的话还请注意灵活调整答题策略;和同学朋友开展讨论，可以从上一节列出的问题开始。准备建议基础算法复习两条线材料阅读 包括经典教材（比如 PRML，模式分类）、网上系列博客（比如 研究者July），系统梳理基础算法知识；面试反馈 面试过程中会让你发现自己的薄弱环节和知识盲区，把这些问题记录下来，在下一次面试前搞懂搞透。除算法知识，还应适当掌握一些系统架构方面的知识，可以从网上分享的阿里、京东、新浪微博等的架构介绍 PPT 入手，也可以从 Hadoop、Spark 等的设计实现切入。如果真的是以就业为导向就要在平时注意实战经验的积累，在科研项目、实习、比赛（Kaggle，Netflix，天猫大数据竞赛等）中摸清算法特性、熟悉相关工具与模块的使用。总结：如今，好多数据挖掘的知识都逐渐成为常识，要想在竞争中脱颖而出，就必须做到保持学习热情，关心热点；深入学习，会用，也要理解；在实战中历练总结；积极参加学术界、业界的讲座分享，向牛人学习，与他人讨论。最后，希望自己的求职季经验总结能给大家带来有益的启发~阅读更多发布于 2016-12-09 2 添加评论 收藏 举报隔壁家二狗杨嘉松…点赞。我先说说面试的技巧吧：1.首先基础知识一定要掌握牢固，一些比较大面的问题比如对大数据本质的理解之类的要有所准备，另外对自己做过的项目等要熟悉一下：2.要学会把面试官往你熟悉的地方去引导，挑自己熟悉的回答，别给自己挖坑；3.回答问题要做到简洁扼要，不要啰啰嗦嗦扯不清；4.学会向对方提问，不要太被动。我先说说面试的技巧吧：1.首先基础知识一定要掌握牢固，一些比较大面的问题比如对大数据本质的理解之类的要有所准备，另外对自己做过的项目等要熟悉一下：2.要学会把面试官往你熟悉的地方去引导，挑自己熟悉的回答，别给自己挖坑；3.回答问题要做到简洁扼要，不要啰啰嗦嗦扯不清；4.学会向对方提问，不要太被动。阅读更多更新于 2016-12-09 1 添加评论 收藏 举报Mr.wang（山东财经大学）I am i！无论是什么问题，其最终的目的都是考察你知识的掌握了解的情况，所以只要把基本知识掌握住，问题自然也就不在话下啦~下面我就以知识点的形式说一下最为常考的：知识点1：贝叶斯公式贝叶斯公式：P(B|A)=P(A|B)*P(B)/P(A)其中P(A)可以展开为P(A)=P(A|B1)P(B1) P(A|B2)P(B2) … P(A|Bn)*P(Bn)(这在很多问答题或者选择题中都有用到)知识点2：关联规则分析主要考的是支持度和置信度。知识点3：聚类聚类之间类的度量是分距离和相似系数来度量的，距离用来度量样品之间的相似性(K-means聚类，系统聚类中的Q型聚类)，相似系数用来度量变量之间的相似性(系统聚类中的R型聚类)。最常用的是K-means聚类，适用于大样本，但需要事先指定分为K个类。处理步骤：1)、从n个数据对象中任意选出k个对象作为初始的聚类中心2)、计算剩余的各个对象到聚类中心的距离，将它划分给最近的簇3)、重新计算每一簇的平均值(中心对象)4)、循环2-3直到每个聚类不再发生变化为止。系统聚类适用于小样本。知识点4：分类有监督就是给的样本都有标签，分类的训练样本必须有标签，所以分类算法都是有监督算法。监督机器学习问题无非就是“minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据，提高泛化能力。1.朴素贝叶斯1)基础思想：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此分类项属于哪个类别。2)优点：可以和决策树、神经网络分类算法相媲美，能运用于大型数据库中。方法简单，分类准确率高，速度快，所需估计的参数少，对于缺失数据不敏感。3)缺点：假设一个属性对定类的影响独立于其他的属性值，这往往并不成立。(喜欢吃番茄、鸡蛋，却不喜欢吃番茄炒蛋)。需要知道先验概率。2.决策树1)基础思想：决策树是一种简单但广泛使用的分类器，它通过训练数据构建决策树，对未知的数据进行分类。决策树的每个内部节点表示在一个属性上的测试，每个分枝代表该测试的一个输出，而每个叶结点存放着一个类标号。在决策树算法中，ID3基于信息增益作为属性选择的度量，C4.5基于信息增益比作为属性选择的度量，CART基于基尼指数作为属性选择的度量。2)优点 ：不需要任何领域知识或参数假设。适合高维数据。简单易于理解。短时间内处理大量数据，得到可行且效果较好的结果。3)缺点：对于各类别样本数量不一致数据，信息增益偏向于那些具有更多数值的特征。易于过拟合。忽略属性之间的相关性。3.支持向量机1)基础思想：支持向量机把分类问题转化为寻找分类平面的问题，并通过最大化分类边界点距离分类平面的距离来实现分类。2)优点 ：可以解决小样本下机器学习的问题。提高泛化性能。可以解决文本分类、文字识别、图像分类等方面仍受欢迎。避免神经网络结构选择和局部极小的问题。3)缺点：缺失数据敏感。内存消耗大，难以解释。4.K近邻1)基础思想：通过计算每个训练样例到待分类样品的距离，取和待分类样品距离最近的K个训练样例，K个样品中哪个类别的训练样例占多数，则待分类样品就属于哪个类别。2)优点 ：适用于样本容量比较大的分类问题3)缺点：计算量太大对于样本量较小的分类问题，会产生误分。5.逻辑回归(LR)1)基础思想：回归模型中，y是一个定型变量，比如y=0或1，logistic方法主要应用于研究某些事件发生的概率。2)优点 ：速度快，适合二分类问题。简单易于理解，直接看到各个特征的权重。能容易地更新模型吸收新的数据。3)缺点：对数据和场景的适应能力有局限，不如决策树算法适应性那么强知识点5：分类的评判指标准确率和召回率广泛用于信息检索和统计分类领域1)准确率(precision rate)：提取出的正确信息条数/提取出的信息条数2)召回率(recall rate)：提取出的正确信息条数/样本中的信息条数ROC和AUC是评价分类器的指标3)ROC曲线：ROC关注两个指标True Positive Rate ( TPR，真正率 ) = TP / [ TP FN] ，TPR代表预测为正实际也为正占总正实例的比例False Positive Rate( FPR，假正率 ) = FP / [ FP TN] ，FPR代表预测为正但实际为负占总负实例的比例在ROC 空间中，每个点的横坐标是FPR，纵坐标是TPR4)AUC：AUC(Area Under Curve)被定义为ROC曲线下的面积，显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而AUC作为数值可以直观的评价分类器的好坏，值越大越好。5)如何避免过拟合?过拟合表现在训练数据上的误差非常小，而在测试数据上误差反而增大。其原因一般是模型过于复杂，过分得去拟合数据的噪声和outliers。常见的解决办法是正则化是：增大数据集，正则化正则化方法是指在进行目标函数或代价函数优化时，在目标函数或代价函数后面加上一个正则项，一般有L1正则与L2正则等。规则化项的引入，在训练(最小化cost)的过程中，当某一维的特征所对应的权重过大时，而此时模型的预测和真实数据之间距离很小，通过规则化项就可以使整体的cost取较大的值，从而在训练的过程中避免了去选择那些某一维(或几维)特征的权重过大的情况，即过分依赖某一维(或几维)的特征。L1正则与L2正则区别：L1：计算绝对值之和，用以产生稀疏性(使参数矩阵中大部分元素变为0)，因为它是L0范式的一个最优凸近似，容易优化求解;L2：计算平方和再开根号，L2范数更多是防止过拟合，并且让优化求解变得稳定很快速;所以优先使用L2 norm是比较好的选择。知识点6：二叉树(前、中、后遍历)(这里的前中后是指的根节点的遍历次序)1)前序遍历(DLR)，首先访问根结点，然后遍历左子树，最后遍历右子树;2)中序遍历(LDR)，首先遍历左子树，然后访问根结点，最后遍历右子树;3)后序遍历(LRD)，首先遍历左子树，然后访问遍历右子树，最后访问根结点。知识点7：几种基本排序算法1)冒泡排序(Bubble Sort)冒泡排序方法是最简单的排序方法。这种方法的基本思想是，将待排序的元素看作是竖着排列的“气泡”，较小的元素比较轻，从而要往上浮。冒泡排序是稳定的。算法时间复杂度是O(n^2)。2)插入排序(Insertion Sort)插入排序的基本思想是，经过i-1遍处理后，L[1..i-1]己排好序。第i遍处理仅将L[i]插入L[1..i-1]的适当位置，使得L[1..i]又是排好序的序列。直接插入排序是稳定的。算法时间复杂度是O(n^2)。3)堆排序堆排序是一种树形选择排序，在排序过程中，将A[n]看成是完全二叉树的顺序存储结构，利用完全二叉树中双亲结点和孩子结点之间的内在关系来选择最小的元素。堆排序是不稳定的。算法时间复杂度O(nlog n)。4)快速排序快速排序是对冒泡排序的一种本质改进。快速排序通过一趟扫描，就能确保某个数(以它为基准点吧)的左边各数都比它小，右边各数都比它大。快速排序是不稳定的。最理想情况算法时间复杂度O(nlog2n)，最坏O(n ^2)。知识点8：SQL知识1)左连接、右连接、inner连接，full连接2)修改表：alter table 教师 add 奖金 intalter table 教师 drop 奖金alter table 教师 rename 奖金 to 津贴3)表权限的赋予：4)怎样清空表数据，但不删除表结构delete from tablename或者delete * from table_nametruncate table tablename5)外键能不能为空外键可以为空，为空表示其值还没有确定;如果不为空，刚必须为主键相同。知识点9：统计学基础知识1)四分位极差、左右偏分布、p值2)方差分析：用于两个及两个以上样本均数差别的显著性检验，基本思想是：通过分析研究不同来源的变异对总变异的贡献大小，从而确定控制变量对研究结果影响力的大小。3)主成分分析：是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。4)幸存者偏差：意思是指，当取得资讯的渠道，仅来自于幸存者时(因为死人不会说话)，此资讯可能会存在与实际情况不同的偏差。无论是什么问题，其最终的目的都是考察你知识的掌握了解的情况，所以只要把基本知识掌握住，问题自然也就不在话下啦~下面我就以知识点的形式说一下最为常考的：知识点1：贝叶斯公式贝叶斯公式：P(B|A)=P(A|B)*P(B)/P(A)其中P(A)可以展开为P(A)=P(A|B1)P(B1) P(A|B2)P(B2) … P(A|Bn)*P(Bn)(这在很多问答题或者选择题中都有用到)知识点2：关联规则分析主要考的是支持度和置信度。知识点3：聚类聚类之间类的度量是分距离和相似系数来度量的，距离用来度量样品之间的相似性(K-means聚类，系统聚类中的Q型聚类)，相似系数用来度量变量之间的相似性(系统聚类中的R型聚类)。最常用的是K-means聚类，适用于大样本，但需要事先指定分为K个类。处理步骤：1)、从n个数据对象中任意选出k个对象作为初始的聚类中心2)、计算剩余的各个对象到聚类中心的距离，将它划分给最近的簇3)、重新计算每一簇的平均值(中心对象)4)、循环2-3直到每个聚类不再发生变化为止。系统聚类适用于小样本。知识点4：分类有监督就是给的样本都有标签，分类的训练样本必须有标签，所以分类算法都是有监督算法。监督机器学习问题无非就是“minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据，提高泛化能力。1.朴素贝叶斯1)基础思想：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此分类项属于哪个类别。2)优点：可以和决策树、神经网络分类算法相媲美，能运用于大型数据库中。方法简单，分类准确率高，速度快，所需估计的参数少，对于缺失数据不敏感。3)缺点：假设一个属性对定类的影响独立于其他的属性值，这往往并不成立。(喜欢吃番茄、鸡蛋，却不喜欢吃番茄炒蛋)。需要知道先验概率。2.决策树1)基础思想：决策树是一种简单但广泛使用的分类器，它通过训练数据构建决策树，对未知的数据进行分类。决策树的每个内部节点表示在一个属性上的测试，每个分枝代表该测试的一个输出，而每个叶结点存放着一个类标号。在决策树算法中，ID3基于信息增益作为属性选择的度量，C4.5基于信息增益比作为属性选择的度量，CART基于基尼指数作为属性选择的度量。2)优点 ：不需要任何领域知识或参数假设。适合高维数据。简单易于理解。短时间内处理大量数据，得到可行且效果较好的结果。3)缺点：对于各类别样本数量不一致数据，信息增益偏向于那些具有更多数值的特征。易于过拟合。忽略属性之间的相关性。3.支持向量机1)基础思想：支持向量机把分类问题转化为寻找分类平面的问题，并通过最大化分类边界点距离分类平面的距离来实现分类。2)优点 ：可以解决小样本下机器学习的问题。提高泛化性能。可以解决文本分类、文字识别、图像分类等方面仍受欢迎。避免神经网络结构选择和局部极小的问题。3)缺点：缺失数据敏感。内存消耗大，难以解释。4.K近邻1)基础思想：通过计算每个训练样例到待分类样品的距离，取和待分类样品距离最近的K个训练样例，K个样品中哪个类别的训练样例占多数，则待分类样品就属于哪个类别。2)优点 ：适用于样本容量比较大的分类问题3)缺点：计算量太大对于样本量较小的分类问题，会产生误分。5.逻辑回归(LR)1)基础思想：回归模型中，y是一个定型变量，比如y=0或1，logistic方法主要应用于研究某些事件发生的概率。2)优点 ：速度快，适合二分类问题。简单易于理解，直接看到各个特征的权重。能容易地更新模型吸收新的数据。3)缺点：对数据和场景的适应能力有局限，不如决策树算法适应性那么强知识点5：分类的评判指标准确率和召回率广泛用于信息检索和统计分类领域1)准确率(precision rate)：提取出的正确信息条数/提取出的信息条数2)召回率(recall rate)：提取出的正确信息条数/样本中的信息条数ROC和AUC是评价分类器的指标3)ROC曲线：ROC关注两个指标True Positive Rate ( TPR，真正率 ) = TP / [ TP FN] ，TPR代表预测为正实际也为正占总正实例的比例False Positive Rate( FPR，假正率 ) = FP / [ FP TN] ，FPR代表预测为正但实际为负占总负实例的比例在ROC 空间中，每个点的横坐标是FPR，纵坐标是TPR4)AUC：AUC(Area Under Curve)被定义为ROC曲线下的面积，显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而AUC作为数值可以直观的评价分类器的好坏，值越大越好。5)如何避免过拟合?过拟合表现在训练数据上的误差非常小，而在测试数据上误差反而增大。其原因一般是模型过于复杂，过分得去拟合数据的噪声和outliers。常见的解决办法是正则化是：增大数据集，正则化正则化方法是指在进行目标函数或代价函数优化时，在目标函数或代价函数后面加上一个正则项，一般有L1正则与L2正则等。规则化项的引入，在训练(最小化cost)的过程中，当某一维的特征所对应的权重过大时，而此时模型的预测和真实数据之间距离很小，通过规则化项就可以使整体的cost取较大的值，从而在训练的过程中避免了去选择那些某一维(或几维)特征的权重过大的情况，即过分依赖某一维(或几维)的特征。L1正则与L2正则区别：L1：计算绝对值之和，用以产生稀疏性(使参数矩阵中大部分元素变为0)，因为它是L0范式的一个最优凸近似，容易优化求解;L2：计算平方和再开根号，L2范数更多是防止过拟合，并且让优化求解变得稳定很快速;所以优先使用L2 norm是比较好的选择。知识点6：二叉树(前、中、后遍历)(这里的前中后是指的根节点的遍历次序)1)前序遍历(DLR)，首先访问根结点，然后遍历左子树，最后遍历右子树;2)中序遍历(LDR)，首先遍历左子树，然后访问根结点，最后遍历右子树;3)后序遍历(LRD)，首先遍历左子树，然后访问遍历右子树，最后访问根结点。知识点7：几种基本排序算法1)冒泡排序(Bubble Sort)冒泡排序方法是最简单的排序方法。这种方法的基本思想是，将待排序的元素看作是竖着排列的“气泡”，较小的元素比较轻，从而要往上浮。冒泡排序是稳定的。算法时间复杂度是O(n^2)。2)插入排序(Insertion Sort)插入排序的基本思想是，经过i-1遍处理后，L[1..i-1]己排好序。第i遍处理仅将L[i]插入L[1..i-1]的适当位置，使得L[1..i]又是排好序的序列。直接插入排序是稳定的。算法时间复杂度是O(n^2)。3)堆排序堆排序是一种树形选择排序，在排序过程中，将A[n]看成是完全二叉树的顺序存储结构，利用完全二叉树中双亲结点和孩子结点之间的内在关系来选择最小的元素。堆排序是不稳定的。算法时间复杂度O(nlog n)。4)快速排序快速排序是对冒泡排序的一种本质改进。快速排序通过一趟扫描，就能确保某个数(以它为基准点吧)的左边各数都比它小，右边各数都比它大。快速排序是不稳定的。最理想情况算法时间复杂度O(nlog2n)，最坏O(n ^2)。知识点8：SQL知识1)左连接、右连接、inner连接，full连接2)修改表：alter table 教师 add 奖金 intalter table 教师 drop 奖金alter table 教师 rename 奖金 to 津贴3)表权限的赋予：4)怎样清空表数据，但不删除表结构delete from tablename或者delete * from table_nametruncate table tablename5)外键能不能为空外键可以为空，为空表示其值还没有确定;如果不为空，刚必须为主键相同。知识点9：统计学基础知识1)四分位极差、左右偏分布、p值2)方差分析：用于两个及两个以上样本均数差别的显著性检验，基本思想是：通过分析研究不同来源的变异对总变异的贡献大小，从而确定控制变量对研究结果影响力的大小。3)主成分分析：是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。4)幸存者偏差：意思是指，当取得资讯的渠道，仅来自于幸存者时(因为死人不会说话)，此资讯可能会存在与实际情况不同的偏差。阅读更多发布于 2016-12-09 0 添加评论 收藏 举报我为统计狂我爱统计说几个会被问到的问题还有解决方案吧：1.海量日志数据，提取出某日访问百度次数最多的那个IP。方案：首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP(可以采用hash_map进行频率统计，然后再找出频率最大的几个)及相应的频率。然后再在这1000个最大的IP中，找出那个频率最大的IP，即为所求。2. 有10个文件，每个文件1G，每个文件的每一行存放的都是用户的query，每个文件的query都可能重复。要求你按照query的频度排序。方案：一般query的总量是有限的，只是重复的次数比较多而已，可能对于所有的query，一次性就可以加入到内存了。这样，我们就可以采用trie树/hash_map等直接来统计每个query出现的次数，然后按出现次数做快速/堆/归并排序就可以了。3.给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url?方案：可以使用Bloom filter，4G内存大概可以表示340亿bit。将其中一个文件中的url使用Bloom filter映射为这340亿bit，然后挨个读取另外一个文件的url，检查是否与Bloom filter，如果是，那么该url应该是共同的url(注意会有一定的错误率)。说几个会被问到的问题还有解决方案吧：1.海量日志数据，提取出某日访问百度次数最多的那个IP。方案：首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP(可以采用hash_map进行频率统计，然后再找出频率最大的几个)及相应的频率。然后再在这1000个最大的IP中，找出那个频率最大的IP，即为所求。2. 有10个文件，每个文件1G，每个文件的每一行存放的都是用户的query，每个文件的query都可能重复。要求你按照query的频度排序。方案：一般query的总量是有限的，只是重复的次数比较多而已，可能对于所有的query，一次性就可以加入到内存了。这样，我们就可以采用trie树/hash_map等直接来统计每个query出现的次数，然后按出现次数做快速/堆/归并排序就可以了。3.给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url?方案：可以使用Bloom filter，4G内存大概可以表示340亿bit。将其中一个文件中的url使用Bloom filter映射为这340亿bit，然后挨个读取另外一个文件的url，检查是否与Bloom filter，如果是，那么该url应该是共同的url(注意会有一定的错误率)。阅读更多发布于 2016-12-09 0 添加评论 收藏 举报stay嘿（河北经贸大学）嘿了个嘿我贴一些常见问题，仅供参考哟~1、你处理过的最大的数据量?你是如何处理他们的?处理的结果。2、告诉我二个分析或者计算机科学相关项目?你是如何对其结果进行衡量的?3、什么是：提升值、关键绩效指标、强壮性、模型按合度、实验设计、2/8原则?4、什么是：协同过滤、n-grams, map reduce、余弦距离?5、如何让一个网络爬虫速度更快、抽取更好的信息以及更好总结数据从而得到一干净的数据库?6、如何设计一个解决抄袭的方案?7、如何检验一个个人支付账户都多个人使用?8、点击流数据应该是实时处理?为什么?哪部分应该实时处理?9、你认为哪个更好：是好的数据还是好模型?同时你是如何定义 好 ?存在所有情况下通用的模型吗?有你没有知道一些模型的定义并不是那么好?10、什么是概率合并(AKA模糊融合)?使用SQL处理还是其它语言方便?对于处理半结构化的数据你会选择使用哪种语言?11、你是如何处理缺少数据的?你推荐使用什么样的处理技术?12、你最喜欢的编程语言是什么?为什么?13、对于你喜欢的统计软件告诉你喜欢的与不喜欢的3个理由。14、SAS, R, Python, Perl语言的区别是?15、什么是大数据的?16、你参与过数据库与数据模型的设计吗?17、你是否参与过仪表盘的设计及指标选择?你对于商业智能和报表工具有什么想法?18、你喜欢TD数据库的什么特征?19、如何你打算发100万的营销活动邮件。你怎么去优化发送?你怎么优化反应率?能把这二个优化份开吗?20、如果有几个客户查询ORACLE数据库的效率很低。为什么?你做什么可以提高速度10倍以上，同时可以更好处理大数量输出?21、如何把非结构化的数据转换成结构化的数据?这是否真的有必要做这样的转换?把数据存成平面文本文件是否比存成关系数据库更好?22、什么是哈希表碰撞攻击?怎么避免?发生的频率是多少?23、如何判别mapreduce过程有好的负载均衡?什么是负载均衡?希望能帮到你~我贴一些常见问题，仅供参考哟~1、你处理过的最大的数据量?你是如何处理他们的?处理的结果。2、告诉我二个分析或者计算机科学相关项目?你是如何对其结果进行衡量的?3、什么是：提升值、关键绩效指标、强壮性、模型按合度、实验设计、2/8原则?4、什么是：协同过滤、n-grams, map reduce、余弦距离?5、如何让一个网络爬虫速度更快、抽取更好的信息以及更好总结数据从而得到一干净的数据库?6、如何设计一个解决抄袭的方案?7、如何检验一个个人支付账户都多个人使用?8、点击流数据应该是实时处理?为什么?哪部分应该实时处理?9、你认为哪个更好：是好的数据还是好模型?同时你是如何定义 好 ?存在所有情况下通用的模型吗?有你没有知道一些模型的定义并不是那么好?10、什么是概率合并(AKA模糊融合)?使用SQL处理还是其它语言方便?对于处理半结构化的数据你会选择使用哪种语言?11、你是如何处理缺少数据的?你推荐使用什么样的处理技术?12、你最喜欢的编程语言是什么?为什么?13、对于你喜欢的统计软件告诉你喜欢的与不喜欢的3个理由。14、SAS, R, Python, Perl语言的区别是?15、什么是大数据的?16、你参与过数据库与数据模型的设计吗?17、你是否参与过仪表盘的设计及指标选择?你对于商业智能和报表工具有什么想法?18、你喜欢TD数据库的什么特征?19、如何你打算发100万的营销活动邮件。你怎么去优化发送?你怎么优化反应率?能把这二个优化份开吗?20、如果有几个客户查询ORACLE数据库的效率很低。为什么?你做什么可以提高速度10倍以上，同时可以更好处理大数量输出?21、如何把非结构化的数据转换成结构化的数据?这是否真的有必要做这样的转换?把数据存成平面文本文件是否比存成关系数据库更好?22、什么是哈希表碰撞攻击?怎么避免?发生的频率是多少?23、如何判别mapreduce过程有好的负载均衡?什么是负载均衡?希望能帮到你~阅读更多发布于 2016-12-09 0 添加评论 收藏 举报顾梦兴我说几点相对来说不是那么重要但也会偶尔被问到的问题吧：1. HR会考察你的抽象能力。是不是能够从杂乱的需求中抽象共性，用优雅的方法更高效的解决问题。2. 数据分析工具的熟悉程度。会不会SQL，对常用的统计分析工具是不是够了解。3. 让你讲你通过数据为业务带来价值的经历。我说几点相对来说不是那么重要但也会偶尔被问到的问题吧：1. HR会考察你的抽象能力。是不是能够从杂乱的需求中抽象共性，用优雅的方法更高效的解决问题。2. 数据分析工具的熟悉程度。会不会SQL，对常用的统计分析工具是不是够了解。3. 让你讲你通过数据为业务带来价值的经历。阅读更多发布于 2016-12-09 0 添加评论 收藏 举报相关问题有没有前辈来说一下数据挖掘中常见的错误都是有哪些呢？统计学统计学专业介绍解读统计学环境工程师的前辈们能不能分享一下面试环境工程师时的经验？职业发展面试经验数据科学相关专业介绍数据科学统计专业，面试量化投资岗位，会问什么问题？面试经验职业发展功能推荐测一测|入职前请先了解一下自己相关机会大学里的事儿你知多少？你和工作之间只差一个它！在线助手为你量身定制的学业发展规划
