人生苦短,开始用python挖掘人生
384444165 · 共 66 篇文章
Windows Server下配置内网、公网IP可见Tomcat server
许久不写博客了,但是这次让人纠结的要死,3点半完工,7点半可用,真可谓被tomcat折磨的要死。 言归正传,写说一下遇到的Tomcat自身的问题,今天在Eclipse for J2EE运行但是导出war到tomcat就编码有问题了,搞了很久,确实2了。Eclipse下不会调用Tomcat中server.xml的配置,而是自己虚拟出一个server的config目录来配置server,就在workspace下,然后就修改URIEncoding就ok了。 然后windows server纠结的地方就是IIS server了,看一下Tomcat7的官方指南说的很清楚了,要把tomcat配置到IIS…
2014-04-10 18:50 · Java_EE · 评论(0)
python闭包中变量引用分析
标题看起来很虎人,其实不敢称为分析。自己这方面仍有欠缺,以前也许还行,现在专门研究语言的时间和精力没那么多了。有解释的不对的地方欢迎各位来板砖,别误导了大众。 还是直接说这次的问题,今天@neiddy(javaeye)跟我说起闭包的问题,看那几个例子好有意思,想搞懂的冲动。关于python闭包的问题如果不了解的话,这篇文章还是很不错的: http://blog.csdn.net/marty_fu/article/details/7679297 问题也源于文中提到的例子。 看两段代码: >>> def foo(): a = 1 def bar(): a = a +1 return a retu…
2013-10-26 08:49 · Python · 评论(0)
【转】互联网时代的社会语言学:基于SNS的文本数据挖掘
如此一篇好文章不能直接分享真是可惜了,这才是实习应该有的效果。学习了。 (文中有些用拼音代替的是出现了敏感词,汗,有些常用词也成敏感词了。。) 源地址:http://www.matrix67.com/blog/archives/5044 今年上半年,我在人人网实习了一段时间,期间得到了很多宝贵的数据,并做了一些还算有意义的事情,在这里和大家一块儿分享。感谢人人网提供的数据与工作环境,感谢赵继承博士、詹卫东老师的支持和建议。在这项工作中,我得到了很多与众人交流的机会,特别感谢 OpenParty 、 TEDxBeijing 提供的平台。本文已发表在了《程序员》杂志,分上下两部分刊于 2012 …
2013-10-16 20:45 · Data Mining · 评论(0)
正态概率图
最近复习概率统计,今天拿起来买回来放置了一段时间的《统计思维》看,第四章连续分布讲到一个陌生的名字,正态概率图,书上写的感觉不清楚,起码翻译版的是这样的。没记错的话本科老师也没有讲到,就写一下起码为没讲的学弟学妹们补充补充必要知识。 先摘录一下书上说的,对于指数分布(x & ln(1-cdf(x)))、帕累托分布(lnx & ln(1-cdf(x)))、威布尔分布(lnln(1/(1-cdf(x))) & lnx),都可以通过简单的转换来判断一个连续分布数是否能用于某份数据集的建模(上述括号内的对应函数均为直线,只需要判断样本数据是否能拟合成一条直线即可)。但是正态分布就不存在这样的变换,这…
2013-09-12 21:24 · 统计 · 评论(0)
爬虫url查重方式总结
最近做爬虫,在check阶段最后这几天总是遇到内存溢出的问题,分析了一下java堆,发现就是过多的url string存储导致的。今天就总结下url查重的几种方法。 看到网上也有些文章讨论了这个问题,但会略有不同,希望能用两天晚上内存溢出的经验帮助到做爬虫的同志们。当然还要说明一下,这里的爬虫主要是单站的定制爬虫,全网爬虫不是主要考虑的范围。 首先,罗列一下所有的方法: 1. HashSet存URL 2. 压缩字符串存入HashSet 3. 改写的字典树 4. Bloom Filter 5. BerkeleyDB 6. NormalDB 1. HashSet存URL 这是最简单最直观的方式了…
2013-07-19 18:10 · 算法 · 评论(2)
2013.5.24 某公司实习面试题
昨天进行了实习生面试,长期的。本来报的图像识别,但是确实是不懂行,果然被调剂了。自动化测试组,不过做大数据分析和呈现,不是ML相关岗位,但应该有些问题是可以用ML来更好解决的,直觉这样认为。不说废话了,面试也是手写各种算法为主,应该是题库中的,准备的太少果然吃亏,当天出结果。给出记得的题目吧,还有解答。有的当时并没有答出最优解,下来好好想想还是值得的。 方便分开就都放到代码形式里面了。 1. 走台阶,一步只能走1或2个台阶,问n个台阶有多少种走法。 当时我用二分的思路进行的,话说这条路走下来很复杂,虽然小数据是对的,但是数据一大就很复杂了。这个题是没答对的,不过下来想想从二分合并的思路深入想…
2013-05-26 00:51 · 算法 · 评论(0)
LCA离线算法Tarjan(2)案例1——求二叉树中节点的最大距离
不搞ACM,就举个笔试面试题库里的题目说一下Tarjan算法的应用吧。这是“结构之法 算法之道”上的100题里面第11题,题目如下: 求二叉树中节点的最大距离... 如果我们把二叉树看成一个图, 父子节点之间的连线看成是双向的, 我们姑且定义"距离"为两节点之间边的个数。 写一个程序, 求一棵二叉树中相距最远的两个节点之间的距离。 不多介绍了,这个将LCA的代码该很少的部分就可以直接应用。暂时没有想出来很好的可以通用的并查集、Tarjan算法接口,所以就先重复代码解决问题吧。 这个问题只需要引申一下就很清晰了: 问题为:找距离最近公共祖先的距离最长的两个点 LCA问题:计算每个节点的层次,计…
2013-05-23 17:59 · 算法 · 评论(0)
LCA离线算法Tarjan(1)算法介绍和最近公共祖先计算
之前小试的看过一些关于最近公共祖先LCA的离线算法,个人感觉很多博文说的还是不够清晰,一直没搞太懂,不知道是不是最近智商退化导致的,今天花时间细致了解了Tarjan,这篇文章主要说下算法和树结构最近公共祖先的计算,另外一些扩展应用在后续的帖子再说。 下面这篇博客中的伪码对我帮助很大,希望也能对不太明白的童鞋有帮助,后面还会提到。 http://blog.csdn.net/cxllyg/article/details/7635992 这里默认了解了并查集,并查集还是比较简单,很多的博客也都说的非常清楚,具体的一个非常生动的例子: http://blog.csdn.net/ljfbest/art…
2013-05-23 16:58 · 算法 · 评论(0)
模式识别__习题2.1贝叶斯决策可以错误率最小证明
题目简述: 多类分类任务重,贝叶斯决策规则可以使错误率最小。二元证明参考《模式识别》P10,此推理也是按照这个流程来的。 方法1:复杂点,跟二元同样的方法,从Pe直接出发,多个变量满足同分布。 方法2:按照习题提示,从正确答案出发:
2013-05-22 00:02 · 模式识别 · 评论(0)
pickle.load出现EOFError
今天调用pickle.load总是出现EOFError,纠结的特别长时间,最后发现代码放错地方了,郁闷,这里记录下EOFError的错误,帮助以后写代码在这个问题养成良好习惯,尽快解决问题 EOFError一般是因为读到了空文件的时候出发,因此当load的时候catch一下这个异常,就很容易发现错误了: def pickle_load(filename): ''' 调用pickle的load方法读入对象 @param filename 文件名 @return None-文件为空;否则-返回存入的对象 ''' with open(filename, 'rb') as input_file: t…
2013-04-11 12:42 · Python · 评论(0)
Beginning Python 笔记学API —— Chapter5 函数
1、函数参数 >>> # 对于函数内不可修改的类型:元组、int、字符串 >>> # 通过将值防止在列表中解决不可变 >>> def inc(x): x[0]=x[0]+1 ... >>> foo = [10] >>> inc(foo) >>> foo [11] >>> def change(n): n= 'new' >>> name = 'old' >>> change(name) >>> name 'old' 2、关键字参数 >>> def hello(greeting,name): print '%s, %s' % (greeting,name) >>> hello('hello','…
2013-03-27 16:03 · Python · 评论(0)
Beginning Python 笔记学API —— Chapter4 字典
1、dict函数 >>> items = [('name','Gumby'),('age',42)] >>> d = dict(items) >>> d {'age': 42, 'name': 'Gumby'} >>> d = dict(name='Gumby',age=42) >>> d {'age': 42, 'name': 'Gumby'} 2、fromkeys >>> {}.fromkeys(['name','age']) {'age': None, 'name': None} >>> dict.fromkeys(['name','age']) {'age': None, 'name…
2013-03-18 01:19 · Python · 评论(0)
Beginning Python 笔记学API —— Chapter3 使用字符串
1、格式化 >>> from math import pi >>> '%10f' % pi ' 3.141593' >>> '%10f' % pi # 字段宽10 ' 3.141593' >>> '%10.2f' % pi #字段宽10,精度2 ' 3.14' >>> '%.5s' % 'Hello world' 'Hello' >>> '%010.2f' % pi #宽度为10,其余位用0填充 '0000003.14' 2、字符串方法 >>> subject = '$$$ Get rich now!!! $$$' >>> subject.find('$$$') 0 >>> subject.…
2013-03-18 00:59 · Python · 评论(0)
Beginning Python 笔记学API —— Chapter2 列表和元组
1、分片 分片算是比较强大好用的操作了 >>> numbers = [1,2,3,4,5,6,7,8,9] >>> numbers[7:10] [8, 9] >>> numbers[-3:-1] [7, 8] >>> numbers[-3:0] [] >>> numbers[-3:] [7, 8, 9] >>> numbers[:] [1, 2, 3, 4, 5, 6, 7, 8, 9] >>> numbers[:5:-2] [9, 7] 2、成员资格 >>> permissions = 'rw' >>> 'w' in permissions True 3、列表 >>> del number…
2013-03-17 23:42 · Python · 评论(0)
ubuntu上安装 ibus Google拼音输入法(修改一点错误)
先声明错误,下面再转载,一是可以不用下载,二是安装cmake的时候简单是cmake是没法工作的,使用环境ubuntu12.04LTS。下载和安装cmake使用下面两个命令,直接进入cd那一步就ok了,还是很给力的,开放就是好,一如既往支持google,linux下输入中文也很流畅了。 sudo apt-get install cmake build-essential opencc mercurial ibus hg clone http://code.google.com/p/libgooglepinyin/ 最近听说Google拼音有了个ibus的版本了。试了一下之后,效果还真不错。下面…
2013-03-06 20:37 · 转载 · 评论(0)