用 Jinja 的 Babel 支持来提取 Bottle STPL 模板里的待翻译文本

Bottle 的 SimpleTemplate (STPL) 模板引擎虽然颇为简单, 但是从我们长期的使用看来还是十分方便的. 然而美中不足的是, Bottle 并没有像 Jinja 那样对 Babel 的待翻译文本提取工具进行集成支持. 因此, 当我们需要提取模板中的待翻译文本的时候, 便只好把主意打到语法有些接近的 Jinja 上面了.

安装 jinja2 模块, 然后直接使用 Jinja 处理全部模板文件:

[jinja2: **.html]

(如果你仍在使用 Bottle STPL 的默认后缀 .tpl, 可以按照需要进行修改.)

这时我们会发现, 大部分的文本被提取出来了, 但是仍然可能会缺一些, 这是为什么呢?

阅读 Jinja 关于 Babel 集成部分的文档, 我们看到:

Until 2.7 template syntax errors were always ignored. This was done since many people are dropping non template html files into the templates folder and it would randomly fail.

也就是说, 如果遇到含有语法错误的模板, 这个模板会在提取时被忽略, 于是里面所有的待翻译文本都不会被成功提取出来.

在命令行里简单使用 jinja2.Template 测试了一下, 我发现问题主要出在 STPL 的 {{!variable}} 语法上面. STPL 使用 {{!variable}} 来表示禁用 XSS 过滤, 然而这个语法在 Jinja 中是非法的. 稍微研究了一下相关的代码, 我并没有找到通过配置就能解决的方案 (包括试图添加一个可选的 variable_start_string 以求 {{! 和 {{ 都能被识别, 但是这也被认为是不可能的).

于是, 我只好在 pybabel 的 wrapper 中用 monkey-patch 的方法来简单 hack 一下这个问题了:

#!/usr/bin/env python
import sys
from pkg_resources import load_entry_point

# Hack jinja2 to recognize bottle STPL's {{!variable}} syntax
try:
    from jinja2 import ext
    from StringIO import StringIO

    _babel_extract = ext.babel_extract
    def babel_extract_with_stpl_support(fileobj, *args, **kwargs):
        new_fileobj = StringIO(fileobj.read().replace("{{!", "{{"))
        return _babel_extract(new_fileobj, *args, **kwargs)

    ext.babel_extract = babel_extract_with_stpl_support
except ImportError:
    print("jinja2 not present, ignoring monkey-patching...")

if __name__ == '__main__':
    sys.exit(
        load_entry_point('Babel', 'console_scripts', 'pybabel')()
    )

这样, 所有的 {{! 会在尝试提取时被替换为 {{. 经过测试, 这个修改过的 babel_extract_with_stpl_support 成功地提取出了我们所有模板里的所有待翻译文本.

pybabel 不支持 PO 文件 “Language” 字段的临时解决方法

Babel 的上游似乎很不活跃, 我有根据之前一个 Pull Request 添加测试后再次提交这个更改, 但是没有得到任何回应… 因为急用, 就先采用了这个临时的方法.

如你所料, 这又是一个丑陋的 monkey-patch 😀

使用这个脚本来执行 pybabel extract, update, compile 等操作时, 如果用 -l 参数正确指定了语言, 生成的相应 .po/.mo 文件里就能保留相应的 Language 字段了.

#!/usr/bin/env python
import sys
from pkg_resources import load_entry_point

import babel.messages.catalog
_get_mime_headers = babel.messages.catalog.Catalog._get_mime_headers


def _get_mime_headers_with_language(self):
    headers = _get_mime_headers(self)
    if self.locale is not None:
        headers.append(('Language', str(self.locale)))
    return headers

babel.messages.catalog.Catalog.mime_headers = property(_get_mime_headers_with_language, babel.messages.catalog.Catalog._set_mime_headers)

if __name__ == '__main__':
    sys.exit(
        load_entry_point('Babel', 'console_scripts', 'pybabel')()
    )

解决 Debian Wheezy 使用 Nginx 1.6 官方包和 php-fpm 时返回空白页的问题

Nginx 1.6 终于迎来了 SPDY 3.1 以及其他激动人心的新特性, 然而, 如果从 Nginx 官方提供的 Debian 仓库安装 Nginx 1.6, 并配合 php-fpm 等 fastcgi 程序时, 却会遇到蛋疼的空白页问题.

之所以说这个问题蛋疼, 是因为页面上没有错误信息(完全空白), 而 Nginx 返回的状态码是 200, 就连 php-fpm 也没有写下任何日志 (这个可能是因为其他原因, 不过本猫暂时没有细查).

从故障现象上看很像是 fastcgi_params 的问题, 因为确认了 nginx 的权限等方面均无错, 而且如果按照网上说的增加 PATH_TRANSLATED 之类的变量却可以得到 “File not found.” 的返回.

最后, 本猫通过比较 Nginx 官方包和 Debian 提供的 Nginx 包中的 fastcgi_params 文件, 确认是因为 Nginx 官方包的该文件中缺少这一行导致了问题:

fastcgi_param  SCRIPT_FILENAME    $request_filename;

希望能帮到谁 🙂

让 PyMongo + MongoDB 2.6 继续支持空 $set

tl;dr 这只是一个丑陋的 monkey-patch 方法.

在 MongoDB 2.4 及以前版本中, db.foo.update({…}, {“$set”: {}}), 也即 “空 $set” 是可以正常执行的. 配合 upsert 等参数执行时可以有不同的方便用法. 但是升级到 MongoDB 2.6 以后, 由于引入了严格的参数检查, 试图进行空 $set 操作时, 会出现这样的错误:

OperationFailure: '$set' is empty. You must specify a field like so: {$mod: {: ...}}"

由于本猫不太想改依赖这个方法的代码逻辑(有点多…), 于是写了一个丑陋的 monkey patch 来 workaround 这个问题:

# Monkey patch pymongo to allow empty $set
from pymongo import collection
pymongo_collection_update = collection.Collection.update

def pymongo_collection_update_with_empty_set_support(self, spec, document, *args, **kwargs):
    if "$set" in document and document["$set"] == {}:
        document.pop("$set")
        if document == {}:
            return None
    return pymongo_collection_update(self, spec, document, *args, **kwargs)

collection.Collection.update = pymongo_collection_update_with_empty_set_support

上游 Bug Report: https://jira.mongodb.org/browse/SERVER-12266 (已经确定不会修)

让 Pipelight 用中文 Locale 运行 – 解决非中文 Locale 下 Pipelight 插件中文显示为方框问题的简单方法

如果你和我一样, 系统语言喜欢用英语等非中文语言, 但是又需要 pipelight 的插件能正常显示中文(比如 flash player + AB 站之类的), 那么这个简单的方法可以让你两者兼得!

先上效果图:
snapshot70

方法其实很简单, 只是因为 pipelight 还在开发中, 所以没看到相关的介绍哈. 以下方法是 pipelight 开发者在 irc 中告诉我的, 特此感谢~!
(如果你的 pipelight 安装的地方和我不一样, 别忘记相应修改路径哈)

1. 创建文件 /usr/local/bin/wine-pipelight-zh_cn-wrapper:

#!/bin/sh
LANG=zh_CN.utf8 /opt/wine-compholio/bin/wine "$@"

给它加上执行权限.

2. 复制 pipelight 配置文件以便编辑: (以 flash 为例)

$ cp /usr/share/pipelight/configs/pipelight-flash ~/.config/

3. 编辑 pipelight 配置文件:
找到

winePath            = /opt/wine-compholio/bin/wine

修改为:

winePath            = /usr/local/bin/wine-pipelight-zh_cn-wrapper

完成! 启动浏览器享受流畅科学的 flash 吧! (不对, flash 怎么可能科学!)

更新: 升级了 flash 再上张图, 嗯我才不是故意宣传老 K 的视频呢~
snapshot71

搜狗拼音 for Linux 新版发布

官网地址:
http://pinyin.sogou.com/linux/

本猫折腾了一下, 做了一个 PKGBUILD, Hack 了一下 curl 版本的问题, 目前自己测试可以用哈~
snapshot66

坑爹之处在于, 这次放出的版本必须用内置的 qimpanel 界面! 也就是说, 经典 UI 和 kimpanel (包括 gnome-shell 那个 kimpanel 插件之类的) 都不能用, 否则你会看到一条超坑的提示:

“请启用fcitx-qimpanel面板程序,以便更好的享受搜狗输入法!”

做好的包和完整的 src 包下载: http://pkgbuild.com/~fyan/staging/fcitx-sogoupinyin/

PKGBUILD: (偷懒的猫只做了 x86_64 的)

# Maintainer: Jove Yu <yushijun110[at]gmail.com>
# Contributor: csslayer <wengxt[at]gmail.com>

pkgname=fcitx-sogoupinyin
pkgver=1.0.0.0011
pkgrel=1
pkgdesc="Sogou Pinyin for Linux"
arch=('x86_64')
url="http://code.google.com/p/fcitx"
license=('custom')
depends=('fcitx')
source=("http://ime.sogou.com/dl/1397738329/sogou_pinyin_linux_${pkgver}_amd64.deb"
        fcitx-qimpanel
        libcurl.so.4)

if [ "${CARCH}" = "i686" ]; then
    _LIB_DIR=i386-linux-gnu
else
    _LIB_DIR=x86_64-linux-gnu
fi

package(){
  bsdtar -xf data.tar.xz -C "${pkgdir}"

  mv "$pkgdir"/usr/lib/{$_LIB_DIR/,}fcitx
  rmdir "$pkgdir/usr/lib/${_LIB_DIR}"
  
  # Workaround curl problem - install an old version and use LD_LIBRARY_PATH to use it
  mv "$pkgdir"/usr/bin/fcitx-qimpanel{,.real}
  install -Dm755 fcitx-qimpanel "$pkgdir/usr/bin/"
  install -Dm644 libcurl.so.4 "$pkgdir/usr/share/fcitx-sogoupinyin/"

  rm -r "$pkgdir"/etc/apt
  rm -r "$pkgdir"/usr/share/{keyrings,upstart}
}

sha512sums=('9ac4d67aa2dea979d39cd5d13965c5ca103a6f52b4e7db53d1d9402efec0641aaf30ebc64d99a690692d45d4b6ebb742da56cb0d175eb36d194b1d45ed11e53f'
            '4d49b346cd1fb1279865b1c6df774ad393816f709c91c80702adce6926d32a45641d26943597d152a5c7b57dd4c2e23799e005cc1d959645025218a5ce5bfd41'
            '8b64e7489443d59a6ceebc7cf66697c16826502f0bb4f64c5c1a475ffc45cf000794339d95acdada849e85bc99183112a6887525aa00a13c1234d0dc7fa676dc')

其中那个 libcurl.so.4 是从一个很老版本的 curl 包里提出来的.

workaround curl 用的那个启动脚本:
/usr/bin/fcitx-qimpanel

#!/bin/sh
LD_LIBRARY_PATH="/usr/share/fcitx-sogoupinyin:$LD_LIBRARY_PATH" /usr/bin/fcitx-qimpanel.real "$@"

使用方法:
重载 fcitx, 开启 qimpanel:

fcitx -r --enable fcitx-qimpanel

然后启动 fcitx-qimpanel:

fcitx-qimpanel

然后切换到搜狗拼音输入法, 可以开始玩了!

尝鲜: 新的网络连接管理工具 systemd-networkd

在吃掉 udev 和谋划收编 dbus 后, systemd 又将它的魔爪伸向了网络管理方面. 虽然这已经是 systemd 209 时候的旧闻, 不过因为整个功能太过不完善 (被吐槽有超多 bug, 以及各种基本功能缺失) 以及没有文档, 上游一直没有大力推广.

本文仅就最为简单普通的有线网络连接介绍 systemd-networkd 的打开方式. (wifi 呀, ppp 呀, vpn 呀之类的复杂配置现在都不支持哦) (大部分信息翻译自 ArchWiki)

先介绍一些基本的信息:

配置文件存放在 /usr/lib/systemd/network (上游提供的配置), /run/systemd/network (运行时配置), 以及 /etc/systemd/network (本地配置). 其中 /etc/systemd/network 有着最高的优先级.

有三类配置文件:

  1. .network 文件: 给匹配到的设备应用一个网络配置
  2. .netdev 文件: 给匹配到的环境创建一个虚拟的网络设备
  3. .link 文件: 当一个网络设备出现时, udev 会寻找第一个匹配到的 .link 文件.

他们都遵循一些相同的规则:

  • 如果 [Match] 部分满足了条件, 在接下来的段落中的配置会被应用
  • [Match] 部分可以接受不止一项条目. 在这种情况下, 只有当每一个条目都被满足时, 这个配置才会被启用
  • 空白的 [Match] 部分表示这个配置在任何情况下都会被应用
  • 每一项条目都是 KEY=VALUE 格式的键值对
  • 所有的配置文件会被收集并按字典序排序后再处理, 无论它们在哪个目录
  • 相同名字的配置文件会相互替代
Continue reading 尝鲜: 新的网络连接管理工具 systemd-networkd

添加 Linux 原生游戏到 Wine Steam 里并记录游戏状态 / 让 Wine Steam 里的不同游戏用不同的语言(环境变量)运行

首先解释下这个奇怪的需求哈:

1. 添加 Linux 原生游戏到 Wine Steam 里并记录游戏状态: 可以让 Steam 好友知道自己在玩什么, 而同时又可以避免用 Wine 跑相应游戏带来的性能损失. 如果直接用 Wine 自带的 start.exe 启动 Linux 游戏, 因为 start.exe 会在启动游戏后直接退出 (/wait 参数对 Linux 进程无效), 因此游戏时 Steam 状态会显示为不在游戏中, 这样我们的目的就达不到了…

2. 让 Wine Steam 里的不同游戏用不同的语言(环境变量)运行: Wine 对 CJK 字符编码的修正是和语言(Locale)环境变量有关的, 比如 Touhou 用 ja_JP 环境跑表现一切正常, 而在 zh_CN 或者 en_US 下标题栏均是不同程度的乱码 (其它程序有更严重的问题, 包括全部字符变成问号等). 但是用 Steam 运行游戏时, 所有子进程都直接继承了运行 Steam 时的环境变量, 没有办法修改.

至于为啥不在 Linux 原生版的 Steam 里用? 嗯, 因为想要反向实现需求, 也就是让 Linux 原生版的 Steam 能跑 Wine 的 Steam only 游戏, 这件事情的难度好像不是一般的大… (DRM 什么的, 而且 Steam 是单点登录的)

看起来好像是无关的两个问题哈 <(=^_^=)> 不过呢, 本猫用了相关的方法来解决, 因此放在同一篇博客里介绍啦.

警告: 本方法各种丑陋, 要是产生不适千万不要怪我(

咳咳, 回到正题. 我的思路是使用一个文件锁:

1. Wine 启动一个 wrapper (也就是 Steam 命令行里填写相应的路径)
2. wrapper 首先创建一个临时文件, 然后把文件名传给一个 wine 外运行的脚本
3. 这个时候 wrapper 已经丢失了自己刚刚启动的脚本的运行状态, 但是可以继续通过检测文件是否存在来知道脚本是否已经退出
4. 脚本启动目标程序
5. 脚本等到程序退出再删除临时文件
6. wrapper 检测到临时文件消失后, 退出

Continue reading 添加 Linux 原生游戏到 Wine Steam 里并记录游戏状态 / 让 Wine Steam 里的不同游戏用不同的语言(环境变量)运行

开源图形驱动也可以流畅 Wine “原生的” DX9!

想在 Linux 里 Wine 点什么 Direct X 游戏? 买 A 卡啦? Intel 集显啦? 用 nouveau 开源驱动啦? 哈哈哈哈哈哈哈哈(大雾

其实我们改改 Gallium3D (Mesa) 再改改 Wine 的话, Direct X 9 还是可以跑得刷刷的快的哦~! (虽然这个其实不是新闻了)

首先解释一下原理, Gallium3D 拥有一种被称为 “State Tracker” 的机制, 下面的介绍翻译自维基百科:

Gallium3D 提供了一个统一的 API, 将标准的硬件功能暴露出来, 比如现代硬件中的着色器单元. 因此, 如 OpenGL 1.x/2.x, OpenGL 3.x, OpenVG, GPGPU 平台, 或者甚至 Direct3D (存在于 Wine 兼容层中) 都将只需要一个后端 – 被称为 state tracker, 来描述 Gallium3D 的 API 调用.

至于写本文的目的呢, 除了给大家介绍这样一个好玩的功能以外, 主要是非常希望有人能参与这个项目的继续开发 (现在这个项目又快被抛弃了(没准已经被抛弃了)).

(猫比较懒, 没有制作打好 patch 并改名的 PKGBUILD, 因此…嗯)

1. 首先我们需要的 patch 们在这里: http://download.ixit.cz/d3d9/mesa-10.0-d3d-0b75a4b.patch (mesa) 和这里: http://ix.io/b0y (wine)
注意经本猫测试, mesa 10.1.0 目测和这个 patch 不能直接兼容, 所以我们用 10.0.3 的 mesa 来测试~

2. 从 ABS 里下载需要的 PKGBUILD. 如果有安装 yaourt 工具的话, 可以直接跑:

$ yaourt -G mesa lib32-mesa wine

(如果你使用的是 32 位系统, lib32-mesa 可以省去)
(如果遇到奇怪的 404 Not Found 问题, 可以去这里这里下载…)

3. 修改 mesa 的 PKGBUILD.
3.1 首先修改版本为 10.0.3, 理由之前已经解释过了.
3.2 在 source 数组中新增 mesa-10.0-d3d-0b75a4b.patch, 并相应修改 md5sums 数组. (如果你和本猫一样懒, 可以直接把 md5sums 数组的内容写成两个 ‘SKIP’)
3.3 在运行 autoreconf 前, 加入这样的语句:

patch -p1 -i "$srcdir/mesa-10.0-d3d-0b75a4b.patch"

3.4 修改编译选项, 在 “–enable-gallium-llvm \” 后面加入:

--enable-nine \

4. OK! 跑 makepkg 吧~ (如果有提示缺少依赖的话, 装上就好)

5. 依葫芦画瓢, 给 lib32-mesa 以及 wine 加上相应的补丁, 然后编译吧~ (lib32-mesa 和 mesa 需要做相同的修改哟)

6. 安装上编好的包, 重启!

7. 打开注册表编辑器 regedit, 找到 HKCU->Software->Wine->Direct3D (最后一层如果没有, 就右键创建), 然后创建一个名为 UseNative 的 DWORD 值, 值为 1. (想关掉”原生” Direct3D 支持的话, 把这个键值改为 0 即可.)

8. 打开你想测试的 wine 游戏试试吧!

PS: 本猫提供了一些编好的包可以自己用哦, 包括 mesa/lib32-mesa 10.0.3 的 patch 好的版本, 以及 wine-multimedia 改好的版本(多了一个 multimedia 补丁, 主要是 pulseaudio 支持等音频方面的修改) 地址在: http://pkgbuild.com/~fyan/staging/wine_d3d9/

补丁作者测试了 Crysis 和 Bioshock 有显著的 fps 提升, 幅度可以达到近一倍; 而本猫测试了 Skyrim, Civilization V 等游戏, 甚至能有两倍的 fps 提升哟 😛 (虽然和闭源驱动相比还是有相当差距…)

附测试结果: (我的显卡是 Nvidia 650 Ti)
游戏名/开源驱动+Wine(fps)/开源驱动+Wine+Direct3D ST(fps)/闭源驱动+Wine(fps)/开源驱动+Linux 原生版本(fps)
Skyrim/8/25/60/
Civilization V/20/40/60/
东方辉针城/60/120/60/ (嗯, 这里 Direct3D 的 ST bug 掉了, 游戏速度无比快…)
Left 4 Dead 2/25/50/60/40 (超过 Linux 原生版本了!!!)
Kerbal Space Program/10/35/60/25 (又超过 Linux 原生版本了!!!)

参考资料 (补丁作者自己写的介绍原文): http://ixit.cz/faster-wine-games-with-open-source-drivers-d3d9-aka-gallium-nine/

Pipelight – 让 Linux 原生 Chromium/Chrome 无缝支持 ActiveX 控件 (看! 网银!)

工行网银, Silverlight, 支付宝控件, 放开那个 Windows 虚拟机, 让 Wine 上吧~

无图无真相:

2014-02-20-183618_1044x559
2014-02-20-183809_986x553

基本的原理是, 利用 Chrome 里已有的 npactivex (ActiveX for Chrome) 扩展, 配合 pipelight 提供的 npactivex NPAPI 插件, 将 ActiveX 控件本身用 wine 执行, 并且无缝地嵌入 Chrome 网页中.

因为此功能依然在活跃开发中 (今年 FOSDEM 2014 的一个碰撞产生的火花神马的), 稳定版本的 pipelight 暂时没有加入此功能. 大家如果想尝鲜的话, 我下面介绍一下 Arch Linux 里的安装测试方法 (暂时只针对 64 位测试用户哈):

Continue reading Pipelight – 让 Linux 原生 Chromium/Chrome 无缝支持 ActiveX 控件 (看! 网银!)
QR Code Business Card