偷梁换柱升级版:用calibre为Bambook提供EPUB书库

本文内容已过时,云梯0.98b版本开始,直接支持向Bambook中传送原生EPUB格式文件,不再需要用本文的方法去折腾了。

上一篇Blog中提供了在Bambook上阅读EPUB书籍一个折腾方法,但那个方法显然很tricky,依赖环境多,成功率低,要传多本图书更复杂。这次又折腾出个改进版的方法,虽然也比较复杂,但成功率比以前高多了,而且也更直观好用,分享给大家。原理:用calibre提供的OPDS服务,把这个服务器添加到Bambook的第三方书城列表中。用到的软件和技术跟以前差不多:calibre,DNS劫持,nginx反向代理与rewrite。

前提条件:有一台正常上网的电脑A,Bambook用无线上网并在上网过程中可以访问到电脑A。或者,有两台电脑(可以是虚拟机)A和B,A用来做服务器,B上安装云梯给Bambook共享网络,AB之间也可以相互访问。

1. 在电脑A上下载安装nginx for Windows

http://nginx.org/download/nginx-1.1.15.zip

下载后,解压缩到C:\,得到C:\nginx-1.1.15

2. 配置nginx,实现Web服务和反向代理

用记事本打开C:\nginx-1.1.15\conf\nginx.conf,把它修改成以下内容,其中的192.168.8.102为A电脑的IP地址,请自行替换(下同)

worker_processes  1;
events {
    worker_connections  1024;
}

http {
    include       mime.types;
    default_type  application/octet-stream;
    server {
        listen          80;
        server_name     opds.gk.sdo.com;
        location / {
            proxy_pass              http://$http_host$request_uri;
            proxy_redirect          off;
            proxy_set_header Host   $host;
            proxy_set_header        X-Real-IP       $remote_addr;
            proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
            rewrite ^.*Default.aspx.*$ http://192.168.8.102:81/1.xml redirect;    
        }
    }
    server {
        listen       81;
        location / {
            root   html;
            index  index.html index.htm;
        }
    }           
    sendfile        on;
    keepalive_timeout  65;
}

3. 在C:\nginx-1.1.15\html中创建1.xml文件,内容如下,使用UTF-8编码(如果用记事本,那就需要用“另存为”对话框,把下面的“编码”由ANSI改为UTF-8)。

<?xml version="1.0" encoding="utf-8"?>
<feed xmlns:opds="http://opds-spec.org/2010/catalog" xmlns:opensearch="http://a9.com/-/spec/opensearch/1.1/" xmlns:dcterms="http://purl.org/dc/terms/" xmlns:thr="http://purl.org/syndication/thread/1.0" xmlns:dc="http://dublincore.org/documents/dcmi-namespace/" xmlns="http://www.w3.org/2005/Atom">
  <title type="text">锦书OPDS源列表</title>
  <id>uuid:ea8a979d-7e28-4bf7-8d11-31aafb2ac66a;id=60</id>
  <updated>2012-03-11T15:49:25Z</updated>
  <link rel="search" type="application/atom+xml" href="http://opds.gk.sdo.com/Search.aspx?ST=ALL&amp;PageIndex=1&amp;k={searchTerms}&amp;{bbtk}" />
  <entry>
    <id>JiuYue</id>
    <title type="text">新华书店九月网</title>
    <updated>2012-03-11T15:49:25Z</updated>
    <link rel="alternate" type="application/atom+xml" href="http://opds.9yue.com/category.atom?site=BamBook" />
    <content type="text">新华书店九月网</content>
  </entry>
  <entry>
    <id>http://m.gutenberg.org/ebooks/?format=opds</id>
    <title type="text">古腾堡计划</title>
    <updated>2012-03-11T15:49:25Z</updated>
    <link rel="alternate" type="application/atom+xml" href="http://m.gutenberg.org/ebooks/?format=opds" />
    <content type="text">英文电子书</content>
  </entry>
  <entry>
    <id>http://www.feedbooks.com/site/free_books.atom</id>
    <title type="text">feedbooks</title>
    <updated>2012-03-11T15:49:25Z</updated>
    <link rel="alternate" type="application/atom+xml" href="http://www.feedbooks.com/site/free_books.atom" />
    <content type="text">在线阅读网线图书</content>
  </entry>
  <entry>
    <id>http://www.feedbooks.com/site/free_books.atom</id>
    <title type="text">calibre</title>
    <updated>2012-03-11T15:49:25Z</updated>
    <link rel="alternate" type="application/atom+xml" href="http://192.168.8.102:8080/opds" />
    <content type="text">calibre</content>
  </entry>
</feed>

4. 启动nginx

双击运行C:\nginx-1.1.15\nginx.exe,用任务管理查看nginx进程,确认启动成功。如果用netstat -na检查,应该在80和81端口上有LISTENING。如果访问http://192.168.8.102:81/1.xml,可以看到上面我们建立的1.xml文件。

5. 安装Python 2.7

http://www.python.org/getit下载Python Windows Installer并安装到C:\Python27目录。

6. 写Python脚本,建假DNS。把下面的内容存为C:\FakeDNS.py。同样,其中的192.168.8.102为A电脑的IP地址,请自行替换

#! /usr/bin/env python
# This code comes from
# http://code.activestate.com/recipes/491264-mini-fake-dns-server/
# with some modifications
import socket

class DNSQuery:
  def __init__(self, data):
    self.data=data
    self.domain=''
    tipo = (ord(data[2]) >> 3) & 15
    if tipo == 0:
      ini=12
      lon=ord(data[ini])
      while lon != 0:
        self.domain+=data[ini+1:ini+lon+1]+'.'
        ini+=lon+1
        lon=ord(data[ini])

  def respuesta(self, ip):
    packet=''
    if self.domain:
      packet+=self.data[:2] + "\x81\x80"
      packet+=self.data[4:6] + self.data[4:6] + '\x00\x00\x00\x00'
      packet+=self.data[12:]
      packet+='\xc0\x0c'
      packet+='\x00\x01\x00\x01\x00\x00\x00\x3c\x00\x04'
      packet+=str.join('',map(lambda x: chr(int(x)), ip.split('.')))
    return packet

if __name__ == '__main__':
  udps = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
  udps.bind(('',53))
  try:
    while 1:
      data, addr = udps.recvfrom(1024)
      p = DNSQuery(data)
      if p.domain == 'opds.gk.sdo.com.':
        ip = '192.168.8.102'
      else:
        ip = socket.gethostbyname(p.domain)
      udps.sendto(p.respuesta(ip), addr)
      print p.domain + "=>" + ip
  except KeyboardInterrupt:
    udps.close()

7. 启动假DNS

在命行提示符中运行:

C:\Python27\python.exe C:\FakeDNS.py

启动后应该会停在那里,有请求时会打印出解析结果。可以再开一个窗口用nslookup确认它的工作状态:对于除了opds.gk.sdo.com以外的域名,都解析为正常IP地址;对于opds.gk.sdo.com.,解析为电脑A的IP地址。

8. Bambook设置

设置Bambook的无线连接,其中DNS服务器地址设为假DNS所在电脑A的IP地址。

如果采用两台电脑的方案,就把电脑B的网卡配置中的DNS指向电脑A的IP地址。然后连接Bambook与电脑B,让Bambook通过电脑B上网。

9. 启动calibre服务器

运行calibre,主界面下“连接/共享”->“启动连接服务”,这时calibre应该会在8080端口上启动http服务器,提供OPDS服务,可以通过访问http://127.0.0.1:8080/opds来验证。(这是在默认配置的情况下,如果有改变过配置,上面的1.xml做相应改动即可)

一切就绪,在Bambook上按“找书”->1.访问云中书城->*.切换到第三方书库,或者最新固件上书架主菜单中选3.更多书城,就可以看到被我们“篡改”过的第三方书城列表,选择其中的5. calibre,就可以尽情的享用你本地calibre书库中的EPUB图书了。

注意:这个方法只支持Bambook从calibre书库中下载EPUB格式的图书。如果书城列表获取不正常,可能是DNS缓存的问题,重启Bambook后再试一次。

calibre除了自带的OPDS连接服务,也可以用calibre2opds这个软件来提供更美好的OPDS服务器,以后另文介绍calibre2opds。

偷梁换柱:在Bambook中阅读自有epub电子书

本文内容已过时,云梯0.98b版本开始,直接支持向Bambook中传送原生EPUB格式文件,不再需要用本文的方法去折腾了。

先写一句话指南,免得浪费有很强动手能力的技术青年们的时间:通过假DNS把res.gk.sdo.com劫持到本地,对于非.epub文件下载请求,反向代理到真正的res.gk.sdo.com上;对于.epub文件请求,你想把什么书传到Bambook上,就在本地把这个.epub通过HTTP返回出去吧。在Linux上,可以用nginx做Web服务器、反向代理和Rewrite,用dnsmasq或我下面提供的Python脚本做假DNS。

我也算是Bambook的老用户了,从它上市第一天起就开始使用,当年写的体验心得算是很给面子、非常委婉指出了它的一些致命缺点(对于我自己而言的),其中最重要的两条是:只有Windows-Only的客户端程序和不支持除了它自有的SNB以外的任何电子书格式。第一个问题,我通过盛大后来开放的SDK给calibre写了一些插件基本解决了(支持Windows/Linux/Mac OS X,使用方法在这里),第二个问题盛大后来自己开始支持PDF格式了,算是解决了一半,但如果再能支持一下epub格式就美好了。

在盛大去年发布的最后一版支持第三方书库(Feedbooks和古登堡计划)的固件中,某些人敏锐的注意到,从第三方书库下载的电子书明显有比SNB格式更丰富的排版,而且下载页面上也以很小的字体提示了说,这是epub格式的。由此可知,Bambook的固件已经可以支持epub的直读,剩下的问题就是怎么把epub书放进去了。

尝试过一些方法,比如把epub文件跟pdf文件一样,用SNB格式包裹起来再通过SDK传到Bambook上,总之都是失败。最后实在没有办法,决定用Wireshark抓包分析Bambook从Feedbooks下载图书的交互过程,从中做点坏事。

分析过程其实一点也不复杂,会用Wireshark的人应该都能搞定。我选了对Feedbooks的交互过程进行分析,分析的结果是,Bambook从第三方书库下载图书时,仍然会与盛大的服务器交互,并且最终是从盛大的服务器的URL上下载实际的文件(最新的分析结果是:可能从盛大的服务器,也可能从原始feedbooks的服务器,取决于盛大的服务器有没有缓存过这个文件。该分析未完全确定),所以简单的劫持对Feedbooks.com的访问是没用的。反复尝试,下面描述的方法是可行的(但很可能不是最简单的,懒得再深入研究了)。为照顾大部分Windows用户,下面以Windows环境来介绍。Linux用户请参考本文第一段自己折腾,应该更简单一些。

前提条件:有一台正常上网的电脑A,Bambook用无线上网并在上网过程中可以访问到电脑A。或者,有两台电脑(可以是虚拟机)A和B,A用来做服务器,B上安装云梯给Bambook共享网络,AB之间也可以相互访问。

1. 在电脑A上下载安装nginx for Windows

http://nginx.org/download/nginx-1.1.15.zip

下载后,解压缩到C:\,得到C:\nginx-1.1.15

2. 配置nginx,实现Web服务和反向代理

用记事本打开C:\nginx-1.1.15\conf\nginx.conf,把它修改成以下内容,其中的192.168.8.102为A电脑的IP地址,请自行替换

worker_processes  1;
events {
    worker_connections  1024;
}

http {
    include       mime.types;
    default_type  application/octet-stream;
    server {
        listen          80;
        server_name     res.gk.sdo.com;
        location / {
            proxy_pass        http://res.gk.cdn.sdo.com/;
            proxy_redirect    off;
            proxy_set_header  Host            $host;
            proxy_set_header  X-Real-IP       $remote_addr;
            proxy_set_header  X-Forwarded-For $proxy_add_x_forwarded_for;
            rewrite ^.*/.*\.epub$ http://192.168.8.102:81/1.epub redirect;
        }
    }
    server {
        listen       81;
        location / {
            root   html;
            index  index.html index.htm;
        }
    }           
    sendfile        on;
    keepalive_timeout  65;
}

3. 启动nginx

双击运行C:\nginx-1.1.15\nginx.exe,用任务管理查看nginx进程,确认启动成功。如果用netstat -na检查,应该在80和81端口上有LISTENING。

4. 安装Python 2.7

http://www.python.org/getit下载Python Windows Installer并安装到C:\Python27目录。

5. 写Python脚本,建假DNS。把下面的内容存为C:\FakeDNS.py。同样,其中的192.168.8.102为A电脑的IP地址,请自行替换

#! /usr/bin/env python
# This code comes from
# http://code.activestate.com/recipes/491264-mini-fake-dns-server/
# with some modifications
import socket

class DNSQuery:
  def __init__(self, data):
    self.data=data
    self.domain=''
    tipo = (ord(data[2]) >> 3) & 15
    if tipo == 0:
      ini=12
      lon=ord(data[ini])
      while lon != 0:
        self.domain+=data[ini+1:ini+lon+1]+'.'
        ini+=lon+1
        lon=ord(data[ini])

  def respuesta(self, ip):
    packet=''
    if self.domain:
      packet+=self.data[:2] + "\x81\x80"
      packet+=self.data[4:6] + self.data[4:6] + '\x00\x00\x00\x00'
      packet+=self.data[12:]
      packet+='\xc0\x0c'
      packet+='\x00\x01\x00\x01\x00\x00\x00\x3c\x00\x04'
      packet+=str.join('',map(lambda x: chr(int(x)), ip.split('.')))
    return packet

if __name__ == '__main__':
  udps = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
  udps.bind(('',53))
  try:
    while 1:
      data, addr = udps.recvfrom(1024)
      p = DNSQuery(data)
      if p.domain == 'res.gk.sdo.com.':
        ip = '192.168.8.102'
      else:
        ip = socket.gethostbyname(p.domain)
      udps.sendto(p.respuesta(ip), addr)
      print p.domain + "=>" + ip
  except KeyboardInterrupt:
    udps.close()

6. 启动假DNS

在命行提示符中运行:

C:\Python27\python.exe C:\FakeDNS.py

启动后应该会停在那里,有请求时会打印出解析结果。可以再开一个窗口用nslookup确认它的工作状态:对于除了res.gk.sdo.com以外的域名,都解析为正常IP地址;对于res.gk.sdo.com,解析为电脑A的IP地址。

7. Bambook设置

设置Bambook的无线连接,其中DNS服务器地址设为假DNS所在电脑A的IP地址。

如果采用两台电脑的方案,就把电脑B的网卡配置中的DNS指向电脑A的IP地址。然后连接Bambook与电脑B,让Bambook通过电脑B上网。

8. 把打算要传到Bambook上的EPUB电子书放到C:\nginx-1.1.15\html中,命名为1.epub。

9. Bambook上选择Feedbooks.com上任意一本Public Domain的图书,下载阅读。

找书->1.访问云中书城->*.切换到第三方书库->3.feedbooks->3.Public Domain Books->2.Recently Added->任选一本以前没有下载过的书->1. 免费试读本书。

搞定!返回书架后就可以看到你自己的epub电子书已经放进了Bambook,可以尽情的阅读了。

重要更新:如果有时候发现下载下来的还是第三方书库的书,不是被自己替换过的。也许是因为盛大服务器上还没缓存过这本书,所以我们劫持盛大服务器就没用了。暂时的解决方案是换一本排在比较前面的书(这些书有缓存的可能性比较大),或者到书架上把刚刚下载的书删掉,重新再去下同一本,那时这书可能已经被缓存在盛大的服务器上了,这样我们的劫持就有效了。

其它说明:

1. 不能只用一台电脑或不用Bambook无线上网搞定的原因是:Bambook USB共享上网中的NAT服务中带了DNS服务,会与我们的假DNS抢53端口。

2. 制作在Bambook上阅读的EPUB电子书时,内部单个文件不要太大,不然翻页速度会让你抓狂。如果用calibre转换格式,可以在EPUB格式输出插件的设置中设定页面文件分割大小。

3. 虽然我们偷换掉了EPUB文件,但似乎Bambook还是认为我们是下载了我们所选的书籍并会记住这个状态,再次选择同一本书时,就不会再下载了。所以每次传书都得从Feedbooks中找一本以前没有用过书才行。

4. 这个方法只在Bambook SD928经典白色版上验证有效,未在全键盘版上验证过。且盛大只要服务器那里稍微动动手脚就可以让它失效,所以不保证有效期。并欢迎大家寻求更简单完美的解决方案。

5. 我曾经有过另一个在Bambook上阅读富格式书籍的想法,就是把HTML(或EPUB、MOBI等,反正本质都是HTML)页面封装成Bambook的Widget,用JavaScript在HTML中实现阅读器应该有的功能。现在是有SDK可以把Widget传入Bambook的,所以用这个方法完全可以写软件(或者给calibre写个插件,非常简单)自动完成常见的电子书格式转成Widget和传入Bambook的全过程。这个方法我已经做过POC,是完全可行的。但我没有能力用Java Script写出一个让我自己满意的阅读程序,所以最终放弃了。

6. 本文描述的所有内容仅供技术宅折腾和探讨,不愿折腾的人、Kindle或其它功能强大的阅读器拥护者请勿喷。谢谢。