2009年9月23日水曜日

PythonとC/C++のインターフェイス開発の手段

手元のマシンにも4GBのメモリを入れ、もっと大きなメモリのデスクトップマシンも用意したが、その一番の理由は大規模なテキストの処理や行列演算などを行ないたいからだ。
行列演算そのものは、特異値分解(SVD)などの一般的なものがほとんどになるため、そのためのライブラリが必要になる。
さらに、できればC/C++でゴリゴリやるよりもスクリプトでやりたい。

それで、やはり馴染みのPythonとその数値演算用モジュールnumpyを使おうと思っている。
SVDをはじめ大抵のことはそれでなんとかなると思う。
しかし、中には自分で細かいところから書かなければいけない事もある。
numpyの良い点は、実際の計算のほとんどはC(Fortran?)で書かれた拡張モジュール内で行なわれるので、Python<->C間でのデータの受け渡しなどのわずかなオーバーヘッドがあるだけで、とても効率良く計算できることだ。例えば行列のかけ算などは実際にはそのすべてがCモジュール内で行なわれる。
しかし行列の要素の一つ一つに個別にアクセスするようなコードをPythonで書くと、その一つ一つでオーバーヘッドが生じ、実計算と比率として無視できなくなってくる。

ということで、やはり自分がやりたい計算はC/C++で書いて、それをPythonからシームレスに呼び出せるようにしたい。
そういう目的のための基本はPythonのCライブラリを利用して正規の拡張モジュールを作成することだろうが、リファレンスカウントなどの面倒も自分でみなければいけないとか何かと面倒っちい。
また、既に存在するC/C++のリソースを取り込むのも面倒だ。
幸い正規のモジュール開発方法以外にも、Pythonには様々なC/C++インターフェイス開発方法が用意されている。

その中で最終的に選択肢として残したのは、ctypesとboost.pythonだ。

ctypesはなんと言っても2.6で正規モジュールになり、2.5.xにもバックポートされていること、またPython3.xでも正規モジュールになっており、先々を考えても安心感があることが大きい。
さらにctypesの良い点は、既存のライブラリ(shared object)があれば、Cコードを書く必要がなく、Pythonサイドだけで方が付くという点だ。
もっともその分Python内でライブラリ関数の引数の型情報の設定などが必要だが。

boost.pythonは、C++のSTLの拡張とも言えるboostライブラリに含まれている。
boostはとても活発に開発されており、標準化の進捗と共にその一部はC++の規格自体に取り込まれるらしい。
そういう活発な開発母体があるので、Python 3.xにも対応するのではないかと期待している。
また、C++用ということもあり、C++のSTLや、もちろんboostのその他のライブラリも利用できるため、何かと便利だ。
で、実際に試してみたのだが、思っていた以上に簡単に使うことができた。
二つの点を除いては、もうこれが本命と言って良いと思う。
一つは、あくまでもPythonの外部から提供されているものであり、ctypesのようにPython正統のものではないこと。
もう一つは、いずれこの点も書きたいが、並列処理との兼ね合い。

ということで、ctypesとboost.pythonがお勧め。
サンプルはいずれ。

Debian GNU/Linux amd64で困ったこと

64ビット版でもほとんど何の問題もないが、若干i386にはあるがamd64には無いパッケージああるようだ。
例えばmozartがない。
$ apt-cache search mozart
とすると、mozart-docなんてのがあるのに、本体がない。

色々ググると、どうやらmozartは64ビット環境ではコンパイルできないらしい。ポインタのサイズとintのサイズが等しいことを前提とするようなプログラミングがされてしまっているようで、そこで問題が出ているらしい。
単純に -m32オプションを付けてコンパイルしただけではだめなのかな。
そのうちソースを持ってきて試してみたいが、そんなことだけでなんとかなるならもう誰かやっていると思われる。
CTMCPを読み進むのにmozartを使いたいが、いざとなったらVMwareの上に32ビット版でも入れようか...
chrootして32ビット環境を、なんて話もあるらしいが、そういうことやったことはないのでまた一調べしてからじゃないと試せないし、他には特にどうしても32ビットで使いたいものもないので、多分VMwareに落ち着くだろう。

そうそう、さすがにCore2Duo+4GBmemだとVMware上のVistaも快適快適。
CPUパワーは正義なり・・・

Linux 32ビット版と64ビット版の違い -- データサイズ

64ビット版のLinuxに移行しても、普通に使っている範囲では32ビット版との違いを意識する事はまずない。
しかし内部ではちゃんと変化がある。

末尾に付けたtest.cというファイルは、
$ gcc test.c
でコンパイルできる。そして実行すると
int = 4
int* = 8
void* = 8
long int = 8
long long = 8
short int = 2
float = 4
double = 8
char = 1
wcahr_t = 4
となる。

これが32ビット版のLinux上では
int = 4
int* = 4
void* = 4
long int = 4
long long = 8
short int = 2
float = 4
double = 8
char = 1
wcahr_t = 4
となるはずだ。

long longが4->8バイトになっている以外に、ポインタが64ビットになっている事が分かる。64ビットアドレッシングになっているからだ。
ちなみに、amd64(64ビット版)の上でも32ビット版としてコンパイルすることはできる。
$ gcc -m32 test.c
とすれば良い。
ただしシステム全体は64ビットで、ライブラリ等ももちろん64ビット版としてコンパイルされているので、-m32でコンパイルするにはlib32で始まる32ビット用パッケージをインストールする必要がある。
$ apt-cache search lib32
などとすればそれらしいものが見付かる。


# filename: test.c
#include < stdio.h>
#include < wchar.h>

int main()
{
printf("int = %d\n", sizeof(int));
printf("int* = %d\n", sizeof(int*));
printf("void* = %d\n", sizeof(void*));
printf("long int = %d\n", sizeof(long int));
printf("long long = %d\n", sizeof(long long));
printf("short int = %d\n", sizeof(short int));
printf("float = %d\n", sizeof(float));
printf("double = %d\n", sizeof(double));
printf("char = %d\n", sizeof(char));
printf("wcahr_t = %d\n", sizeof(wchar_t));
}

Linux 32ビット版と64ビット版の違い -- アドレス空間

というわけで今やメイン環境はDebian GNU/Linux x86_64(64ビット版)になった。

そもそも何故64ビット版に移行したのかというと、このノートもメモリが4GBだが、もっと多くのメモリを搭載したデスクトップマシンを使えるようになったが、その時にアドレス空間が32ビットという足枷を外したかったからだ。
Core2Duo(Pentium4位から?)には実は拡張が施されていて、32ビットモードでもアドレス空間だけは36ビットでアドレッシングできるらしい。
4GBというと丁度32ビットアドレッシングの限界なわけで、それ以上のメモリを積んでも扱えなくなってしまうわけだが、36ビットになって4ビット増えた事でその16倍、つまり64GBまでは扱えるようになっていたらしい。今度手に入れたデスクトップもさすがにそこまでのメモリは積んでいないので、32ビット版のLinuxでも良いのかも知れない。

が、実は32ビット版には、1プロセスでは2GBまでしか利用できないという限界もあるのだそうだ。さらに、実際のカーネルによるメモリ配置と利用法により、実際には2GBすら使えないらしい。
これまで使っていたマシンで最大のものでも2GBメモリだったので、そこまでを現実問題として考える事はなかった。しかしもはやノートでも4GB、そしてそれ以上のメモリが利用できるようになった。

そして64ビット版では、アドレス空間は64ビットに綺麗に広がり、1プロセスでの上限の壁も消えているらしい。
という事で、64ビット版に移行した第一の目的は、大規模メモリを無駄なく利用できるようにするためだ。

Linux x86_64 (64ビット版)

ふう、なんと先月は一度も書かなかった。やっぱ続かないな...
というわけで久し振りだけど、無理せず少しずつメモがわりに書いていこうと思う。
なるべくググってもあまり情報が見付からなかった事を中心に。

一時はVistaをメインにしてみようかなどとも考えてVista上にEmacsを導入したりC++コンパイラを入れたりとやっていたが、結局Linuxに戻ったという話。
しかし戻った先は64ビット版だった。

実は先月自宅メインマシンとすべくThinkPad T500を購入した。
IBMからlenovoに変わってからのモデルはちょっと敬遠していたが、他に移る先も見付からず、設計はまだ日本の大和らしいという事でThinkPadに落ち着いてしまった。
ディスプレイは1680x1050、WSXGA+という規格なのだそうだが、最近主流のワイドというのだろうか、横長だ。正直、横より縦が欲しいし、液晶の上、筐体としてはまだ余裕あるよなぁと思うものの、昨今の液晶パネル生産・供給事情というものもあるのかもしれない。
それでもこれだけ横があると、Gnomeのパネルを左右どちらかに縦にして置いて、そしてEmacsを二枚並べても余裕がある。これはいい。
そして今なら当然と言えば当然だが、自宅ノートでは初めてCore2Duo搭載マシンだ。
メモリもこの際4GBにした。
一昔前と比べるととにかく安い。これで12万ちょっとだった。
まだタマが入っていた頃のLet's note、あれはいくらだっただろう・・・CPUは何だっただろう・・・メモリは・・・ディスプレイは・・・・・・本当に隔世の間がある。
ハードディスクにしても容量が足りなくて、ext2に圧縮パッチを当てて自動圧縮して稼いでいたな。

それで、結局というかやっぱりというか、Debian GNU/Linuxに戻ってきたわけだが、この機に64ビット版に移行した。
Debianのディストリビューションには様々なプラットフォーム向けがあるが、フツーのPC、つまりIntelのPentium系列の場合には一般的に i386 というものが使われている。
しかしPentium4あたりからだったか、忘れたけれど、今のCore2Duoには64ビット拡張が施されていて、「64ビット版」として動作する。
ここでわざわざカッコ付きにしたのは、64ビット版ってどういう意味?というのをテキトーに流したかったから。何が64ビットだと64ビット版だとか議論し初めると、なかなか複雑な話になるようだ。
とりあえずは、レジスタも64ビット長になり本数も増え、64ビット演算もあるらしい。
マシンインストラクションの構成と構造も32ビットモードと64ビットモードで異なるらしい。

細かい事を考えなくても、今時のフツーのPCを使っていれば、i386版ではなく amd64 版のインストーラを使うだけで、何の問題も違いもなくインストール作業は終了する。
とりあえず lenny の amd64 用イメージをダウンロードしてCD-Rに焼き、最低限だけインストール(インストールの最後の方で聞かれる環境だのサーバー環境だの、そういうのも一切チェックを外して入れない)し、すぐに /etc/apt/sources.list を編集して sid にし、apt-get update, apt-get dist-upgradeを行なった。
その後リブートし、必要なパッケージを随時インストールした。

とりあえず見た目は32ビット版と何も変わらない。 uname -a とするとカーネルのバージョンに amd64 という文字列が含まれている位だ。

2009年7月18日土曜日

b-mobile 3GをLinuxで使いたいが、だめ・・・

150時間の通信時間が付いているb-mobile 3Gのhours 150というのを入手した。
USBコネクタに差して使う通信端末で、購入代金に通信料が含まれているため別途月々の料金は発生しないというものだ。150時間使い切るか使用期限の480日が来るまで利用できる。使い切った後は通信時間だけ買い足す事もできるそうだ。

普段は家や職場のネットワークを使えば良いわけだが、出先でも自分のPCでネット接続したい事がある。今のケータイではGmailも読み書きできるのでちょっとした事なら問題ないが、場合によってはファイルをアップロードしたりダウンロードしたり、あるいはそれに手を入れたりしたい事もある。そんな時のためにやはり接続手段は用意しておきたいと思っていた。しかし、使わなくても月々の固定費が取られるPHSやE-mobile、あるいはケータイのデータ通信プランを契約するのもなんだなと思っていた。そんなときに、端末購入代金に通信費も含まれるb-mobileというのを知った。というか、確か以前聞いたことがあったが、当時はあまり興味が湧かなかったものを再発見し、こっちの方がおもしろいかなと思い試してみることにした。実はE-mobileにしようかとも迷ったが、最終的にはこちらはFOMAの電波利用ということでドコモの圏内ならどこでもつながるという事でこちらにした。

それで、そのセットアップはとっても簡単だった。
まずは携帯から電話して開通手続なるものを終える。それから15分くらいすると実際に使えるようになるそうだ。
PCのセットアップも至極簡単。セットアップCD-ROMを入れ、数回クリックするだけだった。
このあとUSBコネクタに差し、認識してランプが赤から緑に変わったら準備OK、インストールされたb-アクセスというアプリのアイコンをダブルクリックして起動し、接続ボタンを押すだけだった。接続が確立すると緑のランプが点滅状態になる。速さは測定していないが、体感として、まあ普通にウェブブラウズするのなら特に問題はなさそうだ。

と、ここまではMS-Windowsの話。
Winで繋がればアクセス確保ということで一安心なんだが、できれば普段起動しているLinuxでも接続したい。それでネット上で情報を漁り色々と試してみた。

結論から言うと今のところ接続できず。
はじめはモデムとしてすら認識してくれなかったが、ネット上の情報を参考になんとかそれはクリアしたっぽいが、残念ながらモデムのATDTコマンドで発呼しようとするところで NO CARRIER となって失敗。
今のところその状態で放置しておく。ネット上の情報では、Ubuntuなどで使えているようなので、なんとかなできるんじゃないかとは思うんだが...
参考にした情報などは項を改めて。

2009年7月2日木曜日

メーリングリストって

さて、久し振り、なんてもんじゃないな・・・
ジムと同じで、調子良く通ってる時期には続くけど、一旦面倒臭くなってサボり初めるとズルズルとサボりが続くんですね、ブログって。
ちなみにジムは最近調子良く通ってます。ちょっと贅肉が気になってきたので・・・
もともと計算機の設定系の話で後々のためのメモ程度の積りで始めたので、特にそういう事柄もないと遠ざかるのは仕方ないんだけど。
でも最近、ブログってこれからの時代大事だよなぁ、やっぱ、と思うこともあり、巷に多い一言日記風でもいいからチョコマカ書いてみようと思う。といいつつ、書きはじめると一言では済まなくなって無駄に語数が増えていく・・・

それで、メーリングリストだけど、いや、メーリングリストどころかメールそのものについても、案外世の中の人はまだまだ知らなかったり充分に使ってなかったりするみたいだと気付いた。
メーリングリストなんて、結局のところ同時に多数の相手にメールを送れるってだけなわけではあるんだけど、使い方によってはとても効用の高いメディアだと思う。

その使い方というのが問題なわけだけど、基本はメーリングリストのメンバー(これは普通何か共通の興味・関心を持つ集団のはず)が興味を持つかもしれない内容について、あるいは、共有する事で全体の利益が向上する可能性がある内容について、とにかく情報を流し共有するのが第一だと思っていた。
(もっとも「情報量」の無いゴミメールばかり流してはそれはスパムと呼ばれてしまう...)

多くのメーリングリストでは、質問とそれへの返答というのがトラフィックのかなりの部分を占めているんじゃないかと思うけど、Q&Aだって共有するのがとても大事な情報だ。
その時点では興味を持っていなかったことだって、後になって自分も同じ問題に直面し、その時の回答を探して読むなんてことも普通にある。
メーリングリストシステムがアーカイブ機能を備えているのはそんな時のためでもあるだろう。
質問者と回答者が二者間だけでやりとりするのではなく、メーリングリストの中でやりとりすることで、直接そのやりとりに参加していないメンバーにも情報を与える事になる。結果的にコミュニティ全体の利益になる。

もう一つ大事なのは、(メーリングリスト内限定とは言え)オープンな環境で意見を交わし合う事だと思う。
そもそもが同じ関心を共有するメンバー達だから、誰かと議論している時に「横から」口を出してくる人もいるだろう。
議論が行き詰まっている時に、こういう「第三者」がつい軽視していた事実や可能性なんかに気付かせてくれる事もある。場合によっては、その内容についてより詳しい人がコメントしてくれる事もあるだろう。

結局、大事なのはオープンさと共有することだと思う。

ところが、これが嫌いな人もいるらしい。
プライベートな話という訳でもないのに、自分のメール(意見)が「第三者」の目に触れるのが嫌な人もいるようだ。
そういう人は大抵は自分の「意見」に反論されたり議論する事そのものが嫌なようだ。
質問や間違いの訂正を「ケチを付けられる」ことと感じていたりするようだ。場合によっては人格への攻撃とさえ受け取っていたりするのかもしれない。

そんな感覚だと、せっかくメーリングリストがあっても、事務連絡のための、それこそ同報メールシステムとしてしか使われなくなる。
正に道具は使い様。
ちょっと勿体無い気もするけれど、結局のところマインドの問題なので、どんなに技術が進歩しても有益な機能が増えてもどうにもならないのかなぁ、と思った。