Category Archives: ArtificialIntelligence

知识图谱01：本体建模

Posted on by — No Comments ↓

1、下载Protege工具

https://protege.stanford.edu/

2、安装JDK，并在配置好JDK环境变量

3、打开Protege

4、在Active Ontology页面，填写两个IRI，我分别填写了下面的数值

#Ontology IRI
https://www.neohope.com/hansen/ontologies/2018/movies
#Ontology Version IRI
https://www.neohope.com/hansen/ontologies/2018/movies/1.0.0

5、在Entities页面，切换到Classes，新建三个Class

Genre
Movie
Person

6、Entities页面，切换到Data properties，新建以下属性

genereId{Domain=Genre,Ranges=xsd:string}
genereName{Domain=Genre,Ranges=xsd:string}
movieId{Domain=Movie,Ranges=xsd:string}
movieIntroduction{Domain=Movie,Ranges=xsd:string}
movieRating{Domain=Movie,Ranges=xsd:string}
movieReleaseDate{Domain=Movie,Ranges=xsd:string}
movieTitile{Domain=Movie,Ranges=xsd:string}
personAppellation{Domain=Person,Ranges=xsd:string}
->personEnglishName{Domain=Person,Ranges=xsd:string}
->personName{Domain=Person,Ranges=xsd:string}
personBiography{Domain=Person,Ranges=xsd:string}
personbirthDay{Domain=Person,Ranges=xsd:string}
personBirthPlace{Domain=Person,Ranges=xsd:string}
personDeathDay{Domain=Person,Ranges=xsd:string}
personId{Domain=Person,Ranges=xsd:string}

7、Entities页面，切换到Object Properties，新建以下属性

hasActedIn{Domain=Person,Range=Movie,InverseOf=hasActor}
hasActor{Domain=Movie,Range=Person}
hasGenre{Domain=Person,Range=Genre}

8、保存为Movies.owl，这个文件可以在后面jena的例子中用到

9、建模后的结果，可以在这里获取：
https://github.com/neohope/kg-demo-for-movie/tree/master/protege

参考链接：
https://zhuanlan.zhihu.com/knowledgegraph
https://github.com/SimmerChan/KG-demo-for-movie

利用Speech Recognition进行语音识别

Posted on by — No Comments ↓

首先说明一下，我用的是MacOS，多数命令Linux可用，但部分相关命令要进行调整。不建议用Windows。

1、安装环境

#安装pyaudio
brew install portaudio
pip install pyaudio

#安装Sphinx
pip install PocketSphinx

#安装tensorflow
pip install tensorflow

#安装SpeechRecognition
pip install SpeechRecognition

2、测试

#提示你进行语音输入
#默认用Google Speech Recognition
#所以需要梯子，才能用这个命令哦
python -m speech_recognition

3、建议大家看一下自带例子
https://github.com/Uberi/speech_recognition/tree/master/examples
这个库，可以支持多种语音引擎，只有PocketSphinx是离线的，其余都是在线的。
而PocketSphinx的识别率，实在是有些差，需要一些辅助才能达到较好的效果。

PS：
tensorflow需要2018年（3.8.1以后，不包括3.8.1）以后的版本才支持。

利用Face Recognition进行人脸识别

Posted on by — No Comments ↓

首先说明一下，我用的是MacOS，多数命令Linux可用，但部分相关命令要进行调整。不建议用Windows。

1、安装环境

#安装cmake
brew install cmake
#安装boost
brew install boost-python
#设置boost环境
export CMAKE_PREFIX_PATH="/usr/local:/usr/local/Cellar/boost/1.61.0:$PATH"
#安装pip
sudo easy_install pip
#安装fc
pip install face_recognition
#安装opencv
pip install opencv-python

2、测试

#将已知单人照片，放到iknow文件夹中，而且照片名称就是人名，比如zhangsan.jpg等
#将需要识别的照片，放到unknown文件夹中，照片可以是多人的
#tolerance是精确度，感觉默认的库是以欧美人标准进行训练的，不太适用于亚洲人，建议将tolerance设置到0.5-0.6之间
#命令行会通过iknow的照片，识别unknown中的图片，并输入每幅图片中有哪些人
face_recognition --tolerance 0.56 ./iknow/ ./unknown/

3、建议大家去看一下项目自带的example
https://github.com/ageitgey/face_recognition/tree/master/examples

4、建议大家去看一下作者写的文章，真的写的很通俗易懂
https://medium.com/@ageitgey

可能遇到的问题：
1、如果安装环境时，遇到下面的问题

OSError: [Errno 1] Operation not permitted: '/PATH/XXX-info'

解决步骤如下：
1.1、重启电脑，按command+R进入恢复模式
1.2、点击菜单【实用工具】，打开【终端】，输入csrutil disable，关闭System Integrity Protection
1.3、重启电脑，正常开机
1.4、打开【终端】输入csrutil status，验证配置已生效

Windows下编译word2vec

Posted on by — 2 Comments ↓

首先要声明，如果条件允许，不要在windows下做类似的事情，我这里是在折腾。

如果只需要下载代码，相应的代码，我已经上传了github，可以在这里下载到：
word2vec_win32

编译工具为：VS2013

具体的做法为：

1、到google code下载代码https://code.google.com/p/word2vec/

2、根据makefile，创建VS2013工程

3、进行调整，保证编译成功
3.1、所有c文件，添加下面的宏定义

#define _CRT_SECURE_NO_WARNINGS

3.2、将部分const修改为define，比如

    #define MAX_STRING 100

3.3、用_aligned_malloc函数，替换posix_memalign函数

    #define posix_memalign(p, a, s) (((*(p)) = _aligned_malloc((s), (a))), *(p) ?0 :errno)

3.4、下载windows下的pthread库，pthreads-win32，并修改include及link配置

3.5、编译成功

4、可执行文件说明
word2vec：词转向量，或者进行聚类
word2phrase：词转词组，用于预处理，可重复使用（运行一遍则生成2个词的短语，运行两遍则形成4个词的短语）
compute-accuracy：校验模型精度
distance：输入一个词A，返回最相近的词（A=》？）
word-analogy：输入三个词A，B，C，返回（如果A=》B，C=》？）

5、进行测试
5.1下载测试资料
http://mattmahoney.net/dc/text8.zip

5.2建立模型

>word2vec -train text8 -output vectors.bin -cbow 1 -size 200 -window 8 -negative 25 -hs 0 -sample 1e-4 -threads 20 -binary 1 -iter 15
Starting training using file text8
Vocab size: 71291
Words in train file: 16718843
Alpha: 0.000005  Progress: 100.10%  Words/thread/sec: 13.74k

5.3校验模型精度

>compute-accuracy vectors.bin 30000 < questions-word
s.txt
capital-common-countries:
ACCURACY TOP1: 80.83 %  (409 / 506)
Total accuracy: 80.83 %   Semantic accuracy: 80.83 %   Syntactic accuracy: -1.#J
 %
capital-world:
ACCURACY TOP1: 62.65 %  (884 / 1411)
Total accuracy: 67.45 %   Semantic accuracy: 67.45 %   Syntactic accuracy: -1.#J
 %
currency:
ACCURACY TOP1: 23.13 %  (62 / 268)
Total accuracy: 62.01 %   Semantic accuracy: 62.01 %   Syntactic accuracy: -1.#J
 %
city-in-state:
ACCURACY TOP1: 46.85 %  (736 / 1571)
Total accuracy: 55.67 %   Semantic accuracy: 55.67 %   Syntactic accuracy: -1.#J
 %
family:
ACCURACY TOP1: 77.45 %  (237 / 306)
Total accuracy: 57.31 %   Semantic accuracy: 57.31 %   Syntactic accuracy: -1.#J
 %
gram1-adjective-to-adverb:
ACCURACY TOP1: 19.44 %  (147 / 756)
Total accuracy: 51.37 %   Semantic accuracy: 57.31 %   Syntactic accuracy: 19.44
 %
gram2-opposite:
ACCURACY TOP1: 24.18 %  (74 / 306)
Total accuracy: 49.75 %   Semantic accuracy: 57.31 %   Syntactic accuracy: 20.81
 %
gram3-comparative:
ACCURACY TOP1: 64.92 %  (818 / 1260)
Total accuracy: 52.74 %   Semantic accuracy: 57.31 %   Syntactic accuracy: 44.75
 %
gram4-superlative:
ACCURACY TOP1: 39.53 %  (200 / 506)
Total accuracy: 51.77 %   Semantic accuracy: 57.31 %   Syntactic accuracy: 43.81
 %
gram5-present-participle:
ACCURACY TOP1: 40.32 %  (400 / 992)
Total accuracy: 50.33 %   Semantic accuracy: 57.31 %   Syntactic accuracy: 42.91
 %
gram6-nationality-adjective:
ACCURACY TOP1: 84.46 %  (1158 / 1371)
Total accuracy: 55.39 %   Semantic accuracy: 57.31 %   Syntactic accuracy: 53.88
 %
gram7-past-tense:
ACCURACY TOP1: 39.79 %  (530 / 1332)
Total accuracy: 53.42 %   Semantic accuracy: 57.31 %   Syntactic accuracy: 51.00
 %
gram8-plural:
ACCURACY TOP1: 61.39 %  (609 / 992)
Total accuracy: 54.11 %   Semantic accuracy: 57.31 %   Syntactic accuracy: 52.38
 %
gram9-plural-verbs:
ACCURACY TOP1: 33.38 %  (217 / 650)
Total accuracy: 53.01 %   Semantic accuracy: 57.31 %   Syntactic accuracy: 50.86
 %
Questions seen / total: 12227 19544   62.56 %

5.4查找关系最近的单词

>distance vectors.bin
Enter word or sentence (EXIT to break): china

Word: china  Position in vocabulary: 486

                                              Word       Cosine distance
------------------------------------------------------------------------
                                            taiwan              0.649276
                                             japan              0.624836
                                            hainan              0.567946
                                          kalmykia              0.562871
                                             tibet              0.562600
                                               prc              0.553833
                                              tuva              0.553255
                                             korea              0.552685
                                           chinese              0.545661
                                            xiamen              0.542703
                                              liao              0.542607
                                             jiang              0.540888
                                         manchuria              0.540783
                                             wuhan              0.537735
                                            yunnan              0.535809
                                             hunan              0.535770
                                          hangzhou              0.524340
                                              yong              0.523802
                                           sichuan              0.517254
                                         guangdong              0.514874
                                             liang              0.511881
                                               jin              0.511389
                                             india              0.508853
                                          xinjiang              0.505971
                                         taiwanese              0.503072
                                              qing              0.502909
                                          shanghai              0.502771
                                          shandong              0.499169
                                           jiangxi              0.495940
                                           nanjing              0.492893
                                         guangzhou              0.492788
                                              zhao              0.490396
                                          shenzhen              0.489658
                                         singapore              0.489428
                                             hubei              0.488228
                                            harbin              0.488112
                                          liaoning              0.484283
                                          zhejiang              0.484192
                                            joseon              0.483718
                                          mongolia              0.481411
Enter word or sentence (EXIT to break):

5.5根据A=>B，得到C=>？

>word-analogy vectors.bin
Enter three words (EXIT to break): china beijing canada

Word: china  Position in vocabulary: 486

Word: beijing  Position in vocabulary: 3880

Word: canada  Position in vocabulary: 474

                                              Word              Distance
------------------------------------------------------------------------
                                           toronto              0.624131
                                          montreal              0.559667
                                            mcgill              0.519338
                                           calgary              0.518366
                                           ryerson              0.515524
                                            ottawa              0.515316
                                           alberta              0.509334
                                          edmonton              0.498436
                                           moncton              0.488861
                                            quebec              0.487712
                                          canadian              0.475655
                                      saskatchewan              0.460744
                                       fredericton              0.460354
                                           ontario              0.458213
                                       montrealers              0.435611
                                         vancouver              0.429893
                                         saskatoon              0.416954
                                            dieppe              0.404408
                                           iqaluit              0.401143
                                         canadians              0.398137
                                          winnipeg              0.397547
                                            labatt              0.393893
                                              city              0.386245
                                      bilingualism              0.386245
                                          columbia              0.384754
                                        provincial              0.383439
                                             banff              0.382603
                                             metro              0.382367
                                            molson              0.379343
                                           nunavut              0.375992
                                             montr              0.373883
                                      francophones              0.373512
                                         brunswick              0.364261
                                          manitoba              0.360447
                                               bec              0.359977
                                       francophone              0.358556
                                             leafs              0.353035
                                        ellensburg              0.352787
                                           curling              0.351973
                                               cdn              0.347580
Enter three words (EXIT to break):

5.6进行聚类，输出结果（classes为0时，就是向量输出了）

>word2vec -train text8 -output classes.txt -cbow 1 -size 200 -window 8 -negative 25 -hs 0 -sample 1e-4 -threads 20 -iter 15 -classes 500
Starting training using file text8
Vocab size: 71291
Words in train file: 16718843
Alpha: 0.000005  Progress: 100.10%  Words/thread/sec: 14.72k

5.7原来程序中，还有三个测试脚本，是处理词组的，由于要用到linux命令sed，awk等，大家还是到Cygwin或MinGW下运行吧

分词及词性标注总结

Posted on by — No Comments ↓

近期，尝试了各类的分词及词性标注工具，包括如下软件：

工具 中英文支持 其他说明
中科院的ICTCLAS 中英 CPP，多语言接口
清华大学的THULANC 中，英较差 多语言支持
哈工大的LTP 中 CPP，多语言接口
复旦的FudanDNN 中 Java
东北大学的NiuParser 中，英较差 CPP
斯坦福的Stanford 中英 Java
Ansj 中 Java
Jieba 中 Python
Word 中 Java
HanLP 中 Java
LingPipe 英，中较差 Java
OpenNLP 英 Java
NLTK 英 Python
Gate 英 Java，GUI，但不太符合程序员思维逻辑
lucene-analyzers-smartcn 中 Java，只分词，不标词性

此外，还有几个工具，由于时间关系，没有进行测试，有兴趣的话可以看一下：
mmseg4j
paoding
jcseg
IK-Analyzer

总结如下：
1、无论是英文还是中文，其分词及标注词性的技术已经相对比较成熟；
2、英文和中文完全是两个体系，中文还是国内做的好一些
3、算法是公开的，因此很多时候，模型库比算法要一些
4、模型库够用就好，不是越大越好。尤其是特定语境下的模型库，自己训练的会更好用
5、英文的模型库比国内好太多了，看着好羡慕啊
6、希望国内的科研可以更有套路、更有组织、更专业化一些

使用Word进行分词及词性标注

Posted on by — No Comments ↓

1、下载Jar或源码
https://github.com/ysc/word/

2、写一些代码

public static void tag(String sentence) throws Exception {
        List<Word> words = WordSegmenter.segWithStopWords(sentence, SegmentationAlgorithm.BidirectionalMaximumMatching);
        PartOfSpeechTagging.process(words);
        System.out.println(words);
    	/*
    	List<Word> words = WordSegmenter.segWithStopWords(sentence, SegmentationAlgorithm.BidirectionalMaximumMinimumMatching);
    	List<Word> words = WordSegmenter.segWithStopWords(sentence, SegmentationAlgorithm.BidirectionalMinimumMatching);
    	List<Word> words = WordSegmenter.segWithStopWords(sentence, SegmentationAlgorithm.FullSegmentation);
    	List<Word> words = WordSegmenter.segWithStopWords(sentence, SegmentationAlgorithm.MaximumMatching);
    	List<Word> words = WordSegmenter.segWithStopWords(sentence, SegmentationAlgorithm.MaxNgramScore);
    	List<Word> words = WordSegmenter.segWithStopWords(sentence, SegmentationAlgorithm.MinimalWordCount);
    	List<Word> words = WordSegmenter.segWithStopWords(sentence, SegmentationAlgorithm.MinimumMatching);
    	List<Word> words = WordSegmenter.segWithStopWords(sentence, SegmentationAlgorithm.PureEnglish);
    	List<Word> words = WordSegmenter.segWithStopWords(sentence, SegmentationAlgorithm.ReverseMaximumMatching);
    	List<Word> words = WordSegmenter.segWithStopWords(sentence, SegmentationAlgorithm.ReverseMinimumMatching);
    	*/
    }

4、输入
zh.txt

别让别人告诉你你成不了才，即使是我也不行。
如果你有梦想的话，就要去捍卫它。
那些一事无成的人想告诉你你也成不了大器。
如果你有理想的话，就要去努力实现。
就这样。

5、输出
zhout.txt

[别让/i, 别人/r, 告诉/v, 你/r, 你/r, 成不了/l, 才/d, 即使/c, 是/v, 我/r, 也/d, 不行/v, 如果/c, 你/r, 有/v, 梦想/n, 的话/u, 就要/d, 去/v, 捍卫/v, 它/r, 那些/r, 一事无成/l, 的/uj, 人/n, 想/v, 告诉/v, 你/r, 你/r, 也/d, 成不了/l, 大器/n, 如果/c, 你/r, 有理想/i, 的话/u, 就要/d, 去/v, 努力实现/nr, 就这样/i]

使用HanLP进行分词及词性标注

Posted on by — No Comments ↓

1、下载Jar、配置文件及训练库
http://hanlp.linrunsoft.com/services.html

2、修改配置文件中的根目录，到训练库的根目录

3、写一些代码

	public static void tag(String sentence) throws Exception {
		List<Term> terms = StandardTokenizer.segment(sentense);
		System.out.println(terms);

		//terms = NLPTokenizer.segment(sentense);
		//System.out.pr1intln(terms);
		
		//terms = IndexTokenizer.segment(sentense);
		//System.out.println(terms);
		
		//terms = SpeedTokenizer.segment(sentense);
		//System.out.println(terms);
		
		//terms = new NShortSegment().seg(sentense);
		//System.out.println(terms);
		
		//terms = new DijkstraSegment().seg(sentense);
		//System.out.println(terms);
        }

4、输入
zh.txt

别让别人告诉你你成不了才，即使是我也不行。
如果你有梦想的话，就要去捍卫它。
那些一事无成的人想告诉你你也成不了大器。
如果你有理想的话，就要去努力实现。
就这样。

5、输出
zhout.txt

[别/d, 让/v, 别人/rr, 告诉/v, 你/rr, 你/rr, 成不了/l, 才/d, ，/w, 即使/c, 是/vshi, 我/rr, 也/d, 不行/a, 。/w, 如果/c, 你/rr, 有/vyou, 梦想/n, 的/ude1, 话/n, ，/w, 就要/d, 去/vf, 捍卫/v, 它/rr, 。/w, 那些/rz, 一事无成/vl, 的/ude1, 人/n, 想/v, 告诉/v, 你/rr, 你/rr, 也/d, 成不了/l, 大/a, 器/ng, 。/w, 如果/c, 你/rr, 有/vyou, 理想/n, 的话/udh, ，/w, 就要/d, 去/vf, 努力/ad, 实现/v, 。/w, 就/d, 这样/rzv, 。/w]

使用Ansj进行分词及词性标注

Posted on by — No Comments ↓

1、下载源码或Jar包
https://github.com/NLPchina/ansj_seg
http://maven.nlpcn.org/org/ansj/ansj_seg/

2、下载训练库，并解压到项目根目录
http://maven.nlpcn.org/down/

3、写一些代码

	public static void tag(String sentence) throws Exception {
	    //下载训练库
	    //DownLibrary.main(args);
		
	    //List<Term> termsA = BaseAnalysis.parse(sentence);
	    //System.out.println(termsA);
	    //List<Term> termsB = ToAnalysis.parse(sentence);
	    //System.out.println(termsB);
	    List<Term> termsC = NlpAnalysis.parse(sentence);
	    System.out.println(termsC);
	    //List<Term> termsD = IndexAnalysis.parse(sentence);
	    //System.out.println(termsD);
	}

4、输入
zh.txt

别让别人告诉你你成不了才，即使是我也不行。
如果你有梦想的话，就要去捍卫它。
那些一事无成的人想告诉你你也成不了大器。
如果你有理想的话，就要去努力实现。
就这样。

5、输出
zhout.txt

[别让/nrf, 别人/r, 告诉/v, 你/r, 你/r, 成不了/l, 才/d, ，/w, 即使/c, 是/v, 我/r, 也/d, 不行/a, 。/w, 如果/c, 你/r, 有/v, 梦想/n, 的话/udh, ，/w, 就要/d, 去/v, 捍卫/v, 它/r, 。/w, 那些/r, 一事无成/i, 的/uj, 人/n, 想/v, 告诉/v, 你/r, 你/r, 也/d, 成不了/l, 大器/n, 。/w, 如果/c, 你/r, 有/v, 理想/n, 的话/udh, ，/w, 就要/d, 去/v, 努力/ad, 实现/v, 。/w, 就/d, 这样/r, 。/w]

使用Jieba进行分词及词性标注

Posted on by — No Comments ↓

1、首先下载结巴分词
https://github.com/fxsjy/jieba
或者直接安装

easy_install jieba
pip install jieba

2、写几行测试代码

#!usr/bin/python
#encoding=utf-8

import jieba.posseg as postag

words = postag.cut("别让别人告诉你你成不了才，即使是我也不行。\
如果你有梦想的话，就要去捍卫它。\
那些一事无成的人想告诉你你也成不了大器。\
如果你有理想的话，就要去努力实现。\
就这样。");
for w in words:
  print(w.word, "/", w.flag, " ", end="")

3、测试结果

别 / d  让 / v  别人 / r  告诉 / v  你 / r  你 / r  成不了 / l  才 / d  ， / x
即使 / c  是 / v  我 / r  也 / d  不行 / v  。 / x  如果 / c  你 / r  有 / v  梦
想 / n  的话 / u  ， / x  就要 / d  去 / v  捍卫 / v  它 / r  。 / x  那些 / r
一事无成 / i  的 / uj  人想 / n  告诉 / v  你 / r  你 / r  也 / d  成不了 / l
大器 / n  。 / x  如果 / c  你 / r  有 / v  理想 / n  的话 / u  ， / x  就要 / d
  去 / v  努力实现 / nr  。 / x  就 / d  这样 / r  。 / x

使用LingPipe进行分词及词性标注

Posted on by — No Comments ↓

1、首先下载LinePipe
http://alias-i.com/lingpipe/

2、测试例子
en.txt

Don't ever let somebody tell you you can't do something, not even me. 
You got a dream, you gotta protect it. 
People can’t do something themselves, they wanna tell you you can’t do it. 
If you want something, go get it. 
Period.

3、运行gui_pos_en_general_brown.bat

4、测试结果
enpos.txt

<?xml version="1.0" encoding="GBK"?><output><s i="0"><token pos="np">Don</token><token pos="'">'</token><token pos="ql">t</token> <token pos="rb">ever</token> <token pos="vb">let</token> <token pos="pn">somebody</token> <token pos="vb">tell</token> <token pos="ppo">you</token> <token pos="ppss">you</token> <token pos="md">can</token><token pos="'">'</token><token pos="rbt">t</token> <token pos="do">do</token> <token pos="pn">something</token><token pos=",">,</token> <token pos="*">not</token> <token pos="vb">even</token> <token pos="ppo">me</token><token pos=".">.</token></s> 
<s i="1"><token pos="ppss">You</token> <token pos="vbd">got</token> <token pos="at">a</token> <token pos="nn">dream</token><token pos=",">,</token> <token pos="ppss">you</token> <token pos="vbn">gotta</token> <token pos="vb">protect</token> <token pos="ppo">it</token><token pos=".">.</token></s> 
<s i="2"><token pos="nns">People</token> <token pos="md">can</token><token pos="nil">’</token><token pos="nil">t</token> <token pos="do">do</token> <token pos="pn">something</token> <token pos="ppls">themselves</token><token pos=",">,</token> <token pos="ppss">they</token> <token pos="vb">wanna</token> <token pos="vb">tell</token> <token pos="ppo">you</token> <token pos="ppss">you</token> <token pos="md">can</token><token pos="nil">’</token><token pos="nil">t</token> <token pos="do">do</token> <token pos="ppo">it</token><token pos=".">.</token></s> 
<s i="3"><token pos="cs">If</token> <token pos="ppss">you</token> <token pos="vb">want</token> <token pos="pn">something</token><token pos=",">,</token> <token pos="vb">go</token> <token pos="vb">get</token> <token pos="ppo">it</token><token pos=".">.</token></s> 
<s i="4"><token pos="nn">Period</token><token pos=".">.</token></s></output>