DeepDive-信息抽取工具安装教程
一、DeepDive简介
DeepDive是信息抽取的工具，它可以从各种dark data（文本、图片、表格）中将非结构数据抽取到关系数据库中。DeepDive的主要功能是抽取dark data中的实体以及实体之间的关系。
DeepDive文档：
DeepDive GitHub：
https://github.com/HazyResearch/deepdive
二、DeepDive安装
DeepDive有三种安装方式，Docker镜像安装、快速安装、源包安装
采用快速安装的方式进行，机器系统为CentOS-7.3.1611
1.bash <(curl -fsSL git.io/getdeepdive) deepdive //安装deepdive包
1.1 vi ~/.bash_profile //编辑bash_profile文件，将deepdive命令加入当前user环境
1.2 export PATH=~/local/bin:"$PATH" //将这句追加到bash_profile
1.3 source ~/.bash_profile //使配置生效
2.bash <(curl -fsSL git.io/getdeepdive) spouse_example //安装spouse demo包
3.安装postgre作为关系数据库（刚开始想使用mysql，但是deepdive文档中说 minimal support mysql，所以还是使用推荐的postgre），使用bash <(curl -fsSL git.io/getdeepdive) progres 安装会有各种权限的问题，建议使用root用户安装
3.1 yum install https://download.postgresql.org/pub/repos/yum/9.5/redhat/rhel-7-x86_64/pgdg-centos95-9.5-2.noarch.rpm //添加RPM
3.2 yum install postgresql95-server postgresql95-contrib //安装PostgreSQL 9.5
3.3 /usr/pgsql-9.5/bin/postgresql95-setup initdb //初始化数据库
3.4 systemctl enable postgresql-9.5.service //设置开机启动
3.5 systemctl start postgresql-9.5.service //启动服务
3.6 修改用户密码
su - postgres 切换用户，执行后提示符会变为 '-bash-4.2$'
psql -U postgres 登录数据库，执行后提示符变为 'postgres=#'
ALTER USER postgres WITH PASSWORD 'abc123' 设置postgres用户密码
\q 退出数据库
3.7 开启远程访问
vi /var/lib/pgsql/9.5/data/postgresql.conf
修改#listen_addresses = 'localhost' 为 listen_addresses='*'
3.8 信任远程连接
vi /var/lib/pgsql/9.5/data/pg_hba.conf
修改如下内容，信任指定服务器连接
# "local" is for Unix domain socket connections only
local all all md5
# IPv4 local connections:
host all all 127.0.0.1/32 md5
# IPv6 local connections:
host all all ::1/128 md5
3.9 打开防火墙
CentOS 防火墙中内置了PostgreSQL服务，配置文件位置在/usr/lib/firewalld/services/postgresql.xml，我们只需以服务方式将PostgreSQL服务开放即可。
firewall-cmd --add-service=postgresql --permanent 开放postgresql服务
firewall-cmd --reload 重载防火墙
3.9+ 重启PostgreSQL数据服务
systemctl restart postgresql-9.5.service
4 spouse测试
4.1 载入数据
4.1.1 psql -U postgres -h localhost //输入密码本地连接postgre
4.1.2 键数据库并赋予用户postgres权限
postgres=# CREATE DATABASE exampledb OWNER postgres;
postgres=# GRANT ALL PRIVILEGES ON DATABASE exampledb to postgres;
postgres=# \c exampledb;
postgres=# ALTER SCHEMA public OWNER to postgres;
postgres=# GRANT ALL PRIVILEGES ON ALL SEQUENCES IN SCHEMA public TO postgres;
postgres=# GRANT ALL PRIVILEGES ON ALL TABLES IN SCHEMA public TO postgres;
4.2 spouse项目配置
4.2.1 postgresql://postgres@localhost:5432/exampledb //打开db.url,将远程链接地址加进去
4.2.2 deepdive create table articles //创建articles表，文档说自动创建，但是尝试多次都没有建表，使用命令主动创建
4.2.3 在app.ddlog中定义如下schema，记得将原文件内容删除
articles(
id text,
content text
).
4.2.4 deepdive compile //编译
4.2.5 deepdive load articles input/articles-1000.tsv.bz2 //将1000文章载入
4.2.6 deepdive query '?- articles(id, _).' //测试，查询到一堆id代表加载成功，去postgre表中会看到数据加载进来了
4.3 对输入加工（待完成）
4.4 运行模型 （待完成）
5. 坑
5.1 在处理tsv文件时候会遇到如下问题
error while loading shared libraries: libbz2.so.1.0: cannot open shared object file
解决方法：
sudo yum install bzip2-devel
sudo ln -s `find /usr/lib64/ -type f -name "libbz2.so.1*"` /usr/lib64/libbz2.so.1.0
5.2 postgre权限问题
使用deepdive安装postgre会遇到很多权限问题，建议使用root用户自行安装，配置好远程连接权限就ok了