#! /bin/sh # This is a shell archive, meaning: # 1. Remove everything above the #! /bin/sh line. # 2. Save the resulting text in a file. # 3. Execute the file with /bin/sh (not csh) to create the files: # nkf.doc # MANIFEST # Makefile # nkf.1 # nkf.1j # nkf.c # nkf_test.pl # test.pl # NKF/Changes # NKF/MANIFEST # NKF/Makefile.PL # NKF/NKF.pm # NKF/NKF.xs # NKF/README # NKF/test.pl # This archive created: Thu Feb 24 23:54:33 2000 export PATH; PATH=/bin:$PATH if test -f 'nkf.doc' then echo shar: will not over-write existing file "'nkf.doc'" else cat << \SHAR_EOF > 'nkf.doc' NAME nkf - ネットワーク用漢字コード変換フィルタ v1.9 SYNOPSIS nkf [options] [in_file] ...Unix版 nkf [options] [in_file] [out_file for -O] ...DOS版 wnkf [options] [in_file] [outfile for -O] ...Windows16bit(3.x)版 nkf32 [options] [in_file] [outfile for -O]...Windows32bit(95/NT)版 nkf2 [options] [in_file] [outfile for -O] ...OS/2版 （名称は、同じPath上にあっても区別できるように変更している。） DESCRIPTION nkfはネットワークでメールやニュースの読み書きをするために作られた、漢 字コードの変換フィルタである。 このnkfの特徴としては、入力漢字コード系の統計的な自動認識機能がある。 このため、利用者は、入力漢字コード系が何であるかを知らなくても、出力漢字 コード系のみ指定すれば良いことになる。ただ、この判定機構は、理論的には完 全ではないが、通常のニュースやメールのメッセージについては確実に動作する 安全なものにはなっている。 現在、nkfが認識できる入力の漢字コード系は、いわゆる「JISコード」(ISO- 2022-JPに基づくもの)、MS漢字コード(シフトJIS)、日本語EUC(AT&Tコード)のい ずれかである。出力する漢字コード系も、この3種類である。 入力は、ファイルを指定しなければ、標準入力となる。出力は標準出力である。 指定できるオプションは、以下の通り。-mu のように続けることができる。 -b バッファリング出力を行う。(デフォルト) -u 出力時に、バッファリングしない。 rsh localhost | nkf -u というように使う。 -t 何もしない。 -j JISコードを出力する。(デフォルト) -e EUCコードを出力する。 -s シフトJISコードを出力する。 -i? JIS漢字を指示するシーケンスとして ESC-'$'-?を使用する。 (デフォルトは、ESC-'$'-'B') -o? 1バイト英数文字セットを指示するシーケンスとして、ESC- '('-?を使用する。(デフォルトは、ESC-'('-'B') -r ROT13/47の変換をする。 -v ヘルプを表示する。 -V バージョンのみを表示する。 -T テキストモードで出力する。(MS-DOS上でのみ効力を持つ) -m MIME を解読する。(defalut on) ISO-2022-JP(base64)とISO-8859-1(Q encode) のみを解読する。ISO-8859-1 (Latin-1) を解読する時は、 -lフラグも必要である。 -mB MIME base64 stream を解読する。ヘッダなどは取り除くこと。 -mQ MIME quoted stream を解読する。 -mS MIME のチェックを厳しくする -m0 MIME を解読しない。 -mS は、宣言の内容と、その後に続くbase64の整合性をチェックします。 かなり遅くなります。S を付けないと、改行で切られたMIMEなども 解読してしまいます。 -M MIME に変換する。JISにコード変換してからbase64されます。 -M ヘッダ形式に変換する -MB base64 stream に変換する Qouted stream は、サポートしてません。 -l 0x80-0xfeのコードをISO-8859-1 (Latin-1)として扱う。 JISコードアウトプットとの組合せみのみ有効。 -s, -e, -xとは両立しない。 -f? 一行?文字になるように簡単な整形をおこなう。デフォルトは 60文字である。 -Z X0208中の英数字と若干の記号をASCIIに変換する。 -Z1 はX0208間隔をASCII spaceに変換する。 -Z2 はX0208間隔をASCII space 二つに変換する。 -J -E -S -X -B 期待される入力コードの性質を指定する。 -J ISO-2022-JPを仮定する。 -E 日本語EUC(AT&T)を仮定する。 -S MS漢字を仮定する。X0201仮名も仮定される。 -X MS漢字中にX0201仮名があると仮定する。 (これを付けなくても、X0201仮名だと判断すれば変換されます) -B 壊れた(Broken)JISコード。ESCがなくなったと仮定する。 -B1 ESC-(, ESC-$ のあとのコードを問わない -B2 改行のあとに強制的にASCIIに戻す -x 通常おこなわれるX0201仮名->X0208の仮名変換をしないで、 X0201仮名を保存する。入力は、MS-Kanjiの1byte仮名、SO/SI、 ESC-(-I, SSOを受け付ける。出力は、日本語EUC中ではSSO、 JISでは ESC-'('-I を使う。 -O ファイル out_file に出力が保存されます。ファイル名が指定され ていない場合は、'nkf.out'又は'wnkf.out'に出力する。 -c 行末にCRコード(0D)を追加(拡張機能 -T と併用不可) -d 行末からCRコード(0D)を削除(拡張機能 -T と併用不可) -L[wmu] 改行モード -Lu unix (LF) -Lw windows (CRLF) -Lm mac (CR) デフォルトは変換なしです。 長い名前のオプションを使えます。これらは、上のオプションの組合せの 別名です。 --fj,--unix,--mac,--msdos, --windows これらのシステムに適した変換をします。 --jis,--euc,--sjis,--mime,--base64 対応する変換をします。 --help --version -- これ以降のオプションを無視する AUTHOR 市川 至 ichikawa@flab.fujitsu.co.jp (was ichikawa@fujitsu.JUNET) 河野真治 kono@ie.u-ryukyu.ac.jp ACKNOWLEDGE morb@fujitsu, kiss@ayumi.stars.flab.fujitsu, cen122@flab.fujitsu, yuki@flab.fujitsu 他、fujitsu & flab.fujitsuの皆さんの協力に感謝。 shinoda@cs.titech, kato@cs.titech, uematsu@cs.titech TNX kono@ie.u-ryukyu.ac.jp, GHG00637@niftyserve.or.jp BUGS 実は、入力のコード系の判定は、EUCとシフトJISとの自動判定であり、最初に 特定できる文字が来た時点で確定してしまう。そして、特定不能の間は保留バッ ファにためておかれ、確定後に処理される。このため、 1)7ビットJISは常に認識される。シフトJIS、EUC混合もほとんどの 場合は問題がない。ただし、 2)シフトJISのX0201仮名とEUCが識別できない。したがって、 デフォルトではシフトJISのX0201仮名はないと仮定している。 3)ちょっと、のろい。(初期の版よりは改良されている) JIS漢字の新旧版の区別とか、ASCIIとJISローマ字の区別などについては保存さ れない。 このフィルタの変換は、コード系に対応した一括写像を施すだけなので、外字 や特殊記号や罫線素片など、JIS第一、第二水準表において定義されていないコー ドに各社により割り当てられた文字がどうなるかまでは関知しない。そして、第 二水準がないとかあるとかによる問題は、このフィルタの範囲外と思える。それ らは、書き手の責任でなんとかしてもらいたい。 いずれにせよ、通常のニュースの記事については問題はなく変換できるはずで ある。(と思うのだが、今ひとつ自信はない) kono@csl.sony.co.jp (Shinji Kono) による変更。 nkf 1.4 の冗長だけど昔は便利だったオプションのいくつかは削除されている。 -n -Bなど。 X0201仮名はデフォルトでX0208に変換される。ただし、シフトJISのX0201仮名 はデフォルトではEUCだと解釈されてしまう。これが望ましくない時には -S や -X などのフラグを使えば良い。-Xを指定すると一旦確定したシフトJISから EUCに移行することはない。ESC-(-Iによる X0201は常に認識される。SI/SO SSOは、-lが指定されていなければX0201と解釈する。 MIME decodeは、ISO-2022-JPのbase64と、ISO-8859-1の16進encodeのみ decodeする。 MIME decodeは、単純な改行や空白は安全に読み飛ばされる。 ということは、 MIME decode中の空白は保存されない。lessやrnで行が分割 された時は、 Terminalによって異なる ESC-[-K などが挿入されるので、 完全にはdecode できない。ISO-8859-1 出力はJIS コード出力としか両立しない。 Fold 機能はfmtと異なり行頭の空白を無視する。禁則処理はあるが指定された 長さ+5で強制改行する。 X0201仮名はrot47されない。 nkf 1.6 kono@ie.u-ryukyu.ac.jp (Shinji Kono) による変更。 MIME のチェックをきびしくして(遅くなった分)安全になった。 したがって複数行にまたがるMIMEはdecodeされない。 MIME の直後の空白は読み飛ばす。Q-Encding の_は空白に変換される。 -B のlevelを0,1,2 に増やした。MIMEのbase64, Q-Encodingを解読する 機能を付けた。ヘッダなどは解読しないので、Encodeされた部分だけを 通す必要がある。 -mB は、nkf1.5と違う動きをするので、-B -m とすること。 nkf 1.6.1 -Z で〜 -> ~の変換を止めた。 -Z1 でX0208間隔->ASCII spaceの変換をおこなう。 -Z2 でX0208間隔->ASCII space 2個の変換をおこなう。 kabe@dais.is.tohoku.ac.jp (Taketo Kabe) による日本語roff のソースが つきました。 ======== nkf 1.62 GHG00637@niftyserve.or.jp (COW) による変更 　市川氏のnkfは、UNIX用のツールであるので、出力のデフォルトの設定が7bit のJISコードであったものを、DOS,Windows版では、S-JISコードを出力デフォル トに設定した。これにより、UNIXで作成されたファイルを、DOS,Windows上で閲 覧することができる。その他の機能追加としてバージョン情報と使用方法を表示 するようにし、ファイル出力機能を追加した。（再コンパイルで変更可能） Windows16bit版のみの拡張について 　Windows16bit版については、リダイレクトやパイプ機能が使えません。よってこの 場合には-Oオプションを利用してファイル出力されたものを利用してもらいたい。 例：　wnkf -e -O nkf.in nkf.out ...nkf.inをEUCコードでnkf,outに出力する。 　Windows16bit版では、標準出力及びエラー出力がウインドウ画面になります。標準 出力の場合はスクロール動作が追加されており、画面が流れないようになっている。 だだし、-Oオプションを指定した場合にはファイルに出力されるため、画面に は何も表示されない。 また、EasyWinのバージョンアップで、400行までのクリップボード転送と印刷も 可能となった。また、ドラッグ・アンド・ドロップにも対応している。 　UNIXファイルのViewerとして使うには、以下のように使用する。これは拡張子 を関連づけしても使用可能と思われる。 例：　wnkf in.euc ...EUCコードのファイルをS-JISで閲覧 　　　wnkf in.jis ...JISコードのファイルをS-JISで閲覧 なお、このwnkf.exeはDOS窓上では起動できないので、コマンドラインで、 Windows16bitソフトが動作できる環境であるComWin,ComRun等を利用してほしい。 (Windows95/NTであれば、コンソールから実行が可能である。) DOS,OS/2,Windows32bit版について 　DOS,OS/2,Windows32bit版はUNIXと同じようにパイプ及びリダイレクトが可能 である。よって、以下のようにしてもファイル出力可能である。 例：　nkf -e nkf.in > nkf.out ...nkf.inをEUCコードでnkf,outに出力する。 　Viewerとして使用する場合は以下のようにする。 例：　nkf in.euc | more ...EUCコードのファイルをS-JISで閲覧 　　　nkf in.jis | more ...JISコードのファイルをS-JISで閲覧 DOS,WindowsとUNIX間のデータ変換機能については、改行コードのCR(0D)を削除 したり追加したりする機能を追加した。(UNIXのアーカイブを展開した時に便利) 例： nkf -j -d nkf.man > nkf.jis ...nkf.manをCRを削除してJISコードに 変換し、nkf.jisに書き込む。 　-Oオプションも使えるように変更したので、上記の例は次のように使用可能 　このコマンドラインでアプリの中から直接起動できて便利のはずですが・・ 例： nkf -j -d -O nkf.man nkf.jis 追加オプションの利用について、 追加された-c,-dオプションは、ftpで転送されたバイナリ圧縮解凍後のテキスト をUNIXとDOS Windows間で使用できるように改行コードを変換するのに利用できる と思う。通常は-Tオプションだけでも十分であろう。 新OS/2版使用における注意 　この新OS/2版を利用するには、GNUによるemx 0.8h以降の環境は不要です。 　以下にIBM VisualAge C++3.0での実行ファイル作成手順を示す。 icc /Fe nkf2.exe nkf.c 変更履歴 このnkfは、1995年3月1日版からの差分パッチ1.5をベースに機能拡張したものである。 このため、前回公開したVersion 1.43より-OオプションがWindows16bitだけに変更さ れ、Windows16bit版は、画面スクロールとクリックボード転送と印刷機能が追加され た。 以前のバージョンでは、JIS変換時に障害があり、-Oオプションのストリームの使用方 法を変更した。また、私COWは、最近インターネットに接続したが、Newsに参加してい ないため、最新でないかもしれないのは、勘弁していただきたい。 Ver1.52において変換のデフォルト表示の間違い等を修正した。申し訳ない。 Ver1.53においてnkf,nkf32,nkf2の-Oオプションを復活した。(方針が気まぐれだ) (コマンドシェルをアプリから実行するのに>や|が認識されない問題があるため) また、OS/2における-c,-dオプション指定時にバイナリモ−ドにならなかった ため、改行コ−ド変換ができないバグを修正した。(iccの仕様が特殊であった。) それに付随して、その他-c,-dオプションのJIS,EUCモードでの不具合も修正した。 Ver1.54において-mオプションでMIMEエンコードされた文字列の扱いのヘッダー部分が、 =?ISO-2022-JP?B?GyRCJCskOiRkJHMbKEI=?= または、 =?iso-2022-jp?B?GyRCJCskOiRkJHMbKEI=?= の場合でも正常に変換できるように修正した。 Ver1.62においてkono氏のVer1.6の-Z,-B levelオプション追加機能に対処した。 それ以外に-cオプションのバグ修正をおこなった。 デフォルトの出力コードを選択できるようにソースを変更した。 パッチについて nkf には数多くの非公式パッチが存在する。今までそれらを編集して きたわけだが、今回「決定版」としてオリジナルからのパッチ一本に 集約した。もちろん、採用したパッチの出典は明記してある。パッチ やドキュメントを書いた人のうち、本パッケージに関わっているのは 以下に示す通りである。(順不同、敬称略) void@merope.pleiades.or.jp (Kusakabe Youichi) nide@ics.nara-wu.ac.jp (NIDE Naoyuki) ohta@src.ricoh.co.jp (Junn Ohta) inouet@strl.nhk.or.jp (Tomoyuki Inoue) a_kuroe@hoffman.cc.sophia.ac.jp (Akihiko Kuroe) kono@ie.u-ryukyu.ac.jp(Shinji Kono) 最後に nkfをGUI化したEasy nkfを公開しています。(http://www.mirai.or.jp/~cow/) 他のソフトもころがっていますので、暇な人は覗いてみてください。 nkf 1.7 ESC-$-(-B などにも対応するようにしました。 MIMEのチェックが厳しすぎるように思うので、STRICT_MIME をdefine した時にのみに厳しいチェックを行う用にしました。 nkf は、本来、network 上に出して安全なコードをデフォルトで出力すべき であるので、デフォルトの出力コードをShift JIS, EUC などにするのは 望ましくないでしょう。 他の人と少し話して、copy right の非営利の条件を緩めました。 Perl Extension として使えるようになりました。 % time perl5 nkf_test.pl 0.609u 2.264s 0:03.24 88.2% 0+0k 6+96io 0pf+0w % time perl5 test.pl 0.494u 0.178s 0:01.17 56.4% 0+0k 0+0io 0pf+0w MIME エンコードの機能を付けました。コード変換されてしまうので、画像と かの単なるエンコーダとしては使えません。かなりいい加減です。Subject や メールアドレスを、エンコードする時に便利なように変換します。 ほとんどのアスキー文字は変換しません。だから、これで変換したから安全な メールアドレスになるなんてことはありません。でも、この方が Subject: 行 や From: 行を変換するには、便利だろうと僕は想像します。結果が76文字/行 を越えることがあります。これは規格違反なんですが、これは、直すのは結構 めんどう。良いアルゴリズムがあるなら採用します。(ないんだったら、こん な規格はなくして欲しいよ) nkf -M | nkf で、もとに戻らないのは、デコードの際にMIMEの後の改行を無 視しないのと、エンコードの時に改行を含めてエンコードしないからです。こ れを、いつ無視するのかを自動的行うことは、できない規格になっているよう です。nkf -MB | nkf -mB では、ちゃんと元に戻ります。 patch 1 for 1.7 version が間違ってました。 MIME decode をデフォルトにしたのに、MIME の条件を緩めたのが 少し緩め過ぎのようですね。uuencode とかがひっかかってしまう。 STRICT_MIME を define すればいいのですが、ちょっと syntax error いれてしまいました。 define STRICT_MIME をデフォルトに直しました。まぁ、仕方ないかなぁ。 次の nkf 1.9 では、command option で切り替えられるようになります。 あと NKF.xs で argc = items - 1; を使うようにしました。(by 木村 巌 ) nkf 1.9 2.0 の準備。それぞれの変換をモジュールにして、オプションにしたがって 接続するようにしました。これで、比較的楽に拡張できるようになりました。 getc <-- iconv --> oconv --> other conversion --> putc という形で、順に呼び出されます。 STRICT_MIME がdefault になりました。 長いオプション名を許すようにしました。 --mac --jis などが使えます。 MIME エンコードの機能を追加しました。(これを追加した時にあまりに スパゲティになったので、モジュールに書き直しました。ついでに、 MIMEのstrict/non strict を選択できるようになりました。 改行のコードを変換を追加しました。 EOFの際に不完全なエスケープシーケンスを出すのを止めました。 2.0 は unicode 対応になるはずですが... SHAR_EOF fi # end of overwriting check if test -f 'MANIFEST' then echo shar: will not over-write existing file "'MANIFEST'" else cat << \SHAR_EOF > 'MANIFEST' nkf.doc MANIFEST Makefile nkf.1 nkf.1j nkf.c nkf_test.pl test.pl NKF/Changes NKF/MANIFEST NKF/Makefile.PL NKF/NKF.pm NKF/NKF.xs NKF/README NKF/test.pl SHAR_EOF fi # end of overwriting check if test -f 'Makefile' then echo shar: will not over-write existing file "'Makefile'" else cat << \SHAR_EOF > 'Makefile' CC = cc CFLAGS = -O SHAR = shar -T # SHAR = shar PERL = perl5 RM = rm -rf VERSION = 19 nkf : nkf.c $(CC) $(CFLAGS) -o nkf nkf.c clean: -$(RM) nkf.o nkf nkf.in nkf.out nkf$(VERSION) *~ *.bad cd NKF; make clean test: nkf $(PERL) test.pl perl: ( cd NKF ; \ $(PERL) Makefile.PL ; \ make ; \ make test ) shar: -mkdir nkf$(VERSION) -mkdir nkf$(VERSION)/NKF for file in `cat MANIFEST`; \ do \ nkf -j -m0 $$file > nkf$(VERSION)/$$file ; \ done ( cd nkf$(VERSION) ; $(SHAR) `cat ../MANIFEST` ) > nkf$(VERSION).shar -$(RM) nkf$(VERSION) SHAR_EOF fi # end of overwriting check if test -f 'nkf.1' then echo shar: will not over-write existing file "'nkf.1'" else cat << \SHAR_EOF > 'nkf.1' .TH NKF 1L 24/Feb/2000 .SH NAME nkf \- Network Kanji code conversion Filter v1.9 .SH SYNOPSIS .B nkf [ .B options ] [ .B file ] .SH DESCRIPTION .PP .B Nkf is a yet another kanji code converter among networks, hosts and terminals. It converts input kanji code to designated kanji code such as 7-bit JIS, MS-kanji (shifted-JIS) or EUC. .PP One of the most unique facicility of .B nkf is the guess of the input kanji code. It currently recognizes 7-bit JIS, MS-kanji (shifted-JIS) and EUC. So users needn't the input kanji code specification. By default X0201 kana is converted into X0208 kana. For X0201 kana, SO/SI, SSO and ESC-(-I methods are supported. For automatic code detection, nkf assumes no X0201 kana in MS-Kanji. To accept X0201 in MS-Kanji, use \-X, \-x or \-S. .PP Options are bellow: .TP .B \-b bufferd output. This is a default. .TP .B \-u unbufferd output. .TP .B \-t no operations. .TP .B \-j output 7-bit JIS code. This is a default. .TP .B \-s output MS-kanji (shifted-JIS) code. .TP .B \-e output EUC (AT&T) code. .TP .BI \-i c output .BI ESC\-$\- c as sequence to designate JIS-kanji (Default is .BR B .) .TP .BI \-o c output .BI ESC\-(\- c as sequence to designate single-byte roman characters (Default is .BR B .) .TP .B \-r {de/en}crypt ROT13/47 .TP .B \-v display Version .TP .B \-T Text mode output (MS-DOS) .TP .B \-m MIME ISO-2022-JP/ISO8859-1 decode. (default) To see ISO8859-1 (Latin-1) \-l is necessary. .TP .B \-mB Decode MIME base64 encoded stream. Remove header or other part before conversion. .TP .B \-mQ Decode MIME quoted stream. '_' in quoted is converted to space. .TP .B \-m0 No MIME decode. .TP .B \-M MIME encode. Header style. All ASCII code and control characters are intact. .TP .B \-MB MIME encode. Base64 stream. Kanji conversion is performed before encoding, so this cannot be used as a picture encoder. .TP .B \-l Input and output code is ISO8859-1 (Latin-1) and ISO-2022-JP. \-s, \-e and \-x are not compatible with this option. .TP .BI \-f n Folding on .BI n length in a line. Default 60. .TP .B \-X Allow X0201 kana in MS-Kanji. X0201 is converted into X0208 by default. This is default in MSDOS. .TP .B \-x Try to preseve X0208 kana. Assume X0201 kana in MS-Kanji. And do not convert X0201 kana to X0208. In JIS output, ESC-(-I is used. In EUC output, SSO is used. .TP .B \-Z Convert X0208 alphabet to ASCII. \-Z1 converts X0208 kankaku to one ASCII space. \-Z2 converts X0208 kankaku to two ASCII spaces. .TP .B \-S Assume MS-Kanji and X0201 kana input. It also accpet JIS. AT&T EUC is recognized as X0201 kana. Without \-x flag, X0201 kana is converted into X0208. .TP .B \-J Assume JIS input. It also accepts Japanese EUC. This is the default. This flag does not excludde MS-Kanji. .TP .B \-E Assume AT&T EUC input. It also accpet JIS. Same as \-J. .TP .B \-B Assume broken JIS-Kanji, which lost ESC. Usefull when your site is using old B-News Nihongo patch. \-B1 allows any char after ESC-( or ESC-$. \-B2 forces ASCII after NL. .TP .B \-O Output result to file. The first name in arguments becomes output. Please be careful. If there are no file arguments, nkf.out is chosen. .TP .B \-c add CR after NL. .TP .B \-d delete CR after NL. .TP .B -L[wmu] new line mode .nf -Lu unix (LF) -Lw windows (CRLF) -Lm mac (CR) default no conversion .fl .TP .B -- long options .nf --fj,--unix,--mac,--msdos, --windows convert for these system --jis,--euc,--sjis,--mime,--base64 convert for named code --jis-input,--euc-input,--sjis-input,--mime-input,--base64-input assume input system -- ignore rest of -option --help --version .fl .SH "FILES" nkf - binary .SH AUTHOR Itaru Ichikawa (was ichikawa@fujitsu.JUNET) .SH EDITOR a_kuroe@hoffman.cc.sophia.ac.jp (Akihiko Kuroe) kono@ie.u-ryukyu.ac.jp (Shinji KONO) .SH BUGS .B Nkf cannot handle some input that contains mixed kanji codes. Automatic code detection becomes very weak with \-x, \-X and \-S. SHAR_EOF fi # end of overwriting check if test -f 'nkf.1j' then echo shar: will not over-write existing file "'nkf.1j'" else cat << \SHAR_EOF > 'nkf.1j' .TH NKF 1 .SH NAME nkf \- ネットワーク用漢字コード変換フィルタ v1.9 .SH SYNOPSIS .B nkf .RI [ options ] .RI [ file ] .SH DESCRIPTION \fInkf\fPはネットワークでメールやニュースの読み書きをするために作られた、漢 字コードの変換フィルタである。 .PP この\fInkf\fPの特徴としては、入力漢字コード系の統計的な自動認識機能がある。 このため、利用者は、入力漢字コード系が何であるかを知らなくても、出力漢字 コード系のみ指定すれば良いことになる。ただ、この判定機構は、理論的には完 全ではないが、通常のニュースやメールのメッセージについては確実に動作する 安全なものにはなっている。 .PP 現在、\fInkf\fPが認識できる入力の漢字コード系は、いわゆる「JISコード」(ISO- 2022-JPに基づくもの)、MS漢字コード(シフトJIS)、日本語EUC(AT&Tコード)のい ずれかである。出力する漢字コード系も、この3種類である。 .PP 入力は、ファイルを指定しなければ、標準入力となる。出力は標準出力である。 .PP 指定できるオプションは、以下の通り。\fB\-mu\fP のように続けることができる。 .TP .B \-b バッファリング出力を行う。(デフォルト) .TP .B \-u 出力時に、バッファリングしない。 rsh localhost | nkf \-u というように使う。 .TP .B \-t 何もしない。 .TP .B \-j JISコードを出力する。(デフォルト) .TP .B \-e EUCコードを出力する。 .TP .B \-s シフトJISコードを出力する。 .TP .BI \-i ? JIS漢字を指示するシーケンスとして \fBESC-'$'-\fP\fI?\fPを使用する。 (デフォルトは、ESC-'$'-'B') .TP .BI \-o ? 1バイト英数文字セットを指示するシーケンスとして、\fBESC-'('-\fP\fI?\fPを使用す る。 (デフォルトは、ESC-'('-'B') .TP .B \-r ROT13/47の変換をする。 .TP .B \-v バージョンを表示する。 .TP .B \-T テキストモードで出力する。(MS-DOS上でのみ効力を持つ) .TP .B \-m[QB0SL] MIME を解読する。(デフォルト) ISO-2022-JP(base64)とISO-8859-1(Q encode) のみを解読する。ISO-8859-1 (Latin-1) を解読する時は、 -lフラグも必要である。\-m0 ではMIMEを解読しない。\-mQ, \-mBでは、 Q encode, B encode されているものとして処理する。 .nf -mB MIME base64 stream を解読する。ヘッダなどは取り除くこと。 -mQ MIME quoted stream を解読する。 -mS MIME のチェックを厳しくする (デフォルト) -mN MIME のチェックを緩くする -m0 MIME を解読しない。 -mS は、宣言の内容と、その後に続くbase64の整合性をチェックします。 かなり遅くなります。S を付けないと、改行で切られたMIMEなども 解読してしまいます。 .fl .TP .B \-l 0x80-0xfeのコードをISO-8859-1 (Latin-1)として扱う。 JISコードアウトプットとの組合せみのみ有効。 \-s, \-e, \-xとは両立しない。 .TP .BI \-f ? 一行\fI?\fP文字になるように簡単な整形をおこなう。デフォルトは 60文字である。 .TP .B \-Z X0208中の英数字と若干の記号をASCIIに変換する。\-Z1 はX0208間隔をASCII spaceに変換する。\-Z2はX0208間隔をASCII space 二つに変換する。趣味によって 使い分けてほしい。 .TP .B "\-J \-E \-S \-X \-B" 期待される入力コードの性質を指定する。 .RS .IP \fB\-J\fP ISO-2022-JPを仮定する。 .IP \fB\-E\fP 日本語EUC(AT&T)を仮定する。 .IP \fB\-S\fP MS漢字を仮定する。X0201仮名も仮定される。 .IP \fB\-X\fP MS漢字中にX0201仮名があると仮定する。 .IP \fB\-B\fP 壊れた(Broken)JISコード。ESCがなくなったと仮定する。 .RS .IP \fB\-B1\fP \fBESC-(\fP, \fBESC-$\fP のあとのコードを問わない .IP \fB\-B2\fP 改行のあとに強制的にASCIIの戻す .RE .RE .TP .B \-x 通常おこなわれるX0201仮名->X0208の仮名変換をしないで、 X0201仮名を保存する。入力は、MS\-Kanjiの1byte仮名、SO/SI、 ESC\-(\-I, SSOを受け付ける。出力は、日本語EUC中ではSSO、 JISでは ESC\-'('\-I を使う。 .TP .B \-M MIME に変換する。JISにコード変換してからbase64されます。 .TP .IP \-M ヘッダ形式に変換する .IP \-MB base64 stream に変換する .TP .B \-O ファイルに出力する。Unixでは不要な機能だがWindowsやMSDOSでは 必要らしい。直後の引き数でなく、最後のファイル名が出力ファイ ル名となり上書きされてしまうので注意。ファイル名がない場合は、 適当に決められる(デフォルト nkf.out)。 .TP .B \-c NLあとにCRを付加する。 .TP .B \-d NLあとのCRを削除する。 .TP .B \-L[wmu] 改行モード .nf -Lu unix (LF) -Lw windows (CRLF) -Lm mac (CR) デフォルトは変換なしです。 .fl .TP .B \-- 長い名前のオプションを使えます。これらは、上のオプションの組合せの 別名です。 .nf --fj,--unix,--mac,--msdos, --windows これらのシステムに適した変換をします。 --jis,--euc,--sjis,--mime,--base64 対応する変換をします。 --help --version -- これ以降のオプションを無視する .fl .SH AUTHOR 市川 至 ichikawa@flab.fujitsu.co.jp (was ichikawa@fujitsu.JUNET) .SH ACKNOWLEDGE morb@fujitsu, kiss@ayumi.stars.flab.fujitsu, cen122@flab.fujitsu, yuki@flab.fujitsu 他、fujitsu & flab.fujitsuの皆さんの協力に感謝。 shinoda@cs.titech, kato@cs.titech, uematsu@cs.titech TNX kono@ie.u-ryukyu.ac.jp .SH BUGS 実は、入力のコード系の判定は、EUCとシフトJISとの自動判定であり、最初に 特定できる文字が来た時点で確定してしまう。そして、特定不能の間は保留バッ ファにためておかれ、確定後に処理される。このため、 .IP 1) 7ビットJISは常に認識される。シフトJIS、EUC混合もほとんどの 場合は問題がない。ただし、 .IP 2) シフトJISのX0201仮名とEUCが識別できない。したがって、 デフォルトではシフトJISのX0201仮名はないと仮定している。 .IP 3) ちょっと、のろい。(初期の版よりは改良されている) .PP JIS漢字の新旧版の区別とか、ASCIIとJISローマ字の区別などについては保存さ れない。 .PP このフィルタの変換は、コード系に対応した一括写像を施すだけなので、外字 や特殊記号や罫線素片など、JIS第一、第二水準表において定義されていないコー ドに各社により割り当てられた文字がどうなるかまでは関知しない。そして、第 二水準がないとかあるとかによる問題は、このフィルタの範囲外と思える。それ らは、書き手の責任でなんとかしてもらいたい。 .PP いずれにせよ、通常のニュースの記事については問題はなく変換できるはずで ある。(と思うのだが、今ひとつ自信はない) .SH "kono@csl.sony.co.jp (Shinji Kono) による変更。" nkf 1.4 の冗長だけど昔は便利だったオプションのいくつかは削除されている。 \- \-n \-Bなど。 .PP X0201仮名はデフォルトでX0208に変換される。ただし、シフトJISのX0201仮名 はデフォルトではEUCだと解釈されてしまう。これが望ましくない時には \-S や \- \-X などのフラグを使えば良い。\-Xを指定すると一旦確定したシフトJISから EUCに移行することはない。ESC-(-Iによる X0201は常に認識される。SI/SO SSOは、\-lが指定されていなければX0201と解釈する。 .PP MIME decodeは、ISO-2022-JPのbase64と、ISO-8859-1の16進encodeのみ decodeする。 MIME decodeは、単純な改行や空白は安全に読み飛ばされる。 ということは、 MIME decode中の空白は保存されない。lessやrnで行が分割 された時は、 Terminalによって異なる ESC-[-K などが挿入されるので、 完全にはdecode できない。ISO-8859-1 出力はJIS コード出力としか両立しない。 .PP Fold 機能はfmtと異なり行頭の空白を無視する。禁則処理はあるが指定された 長さ+5で強制改行する。 .PP X0201仮名はrot47されない。 .SH nkf 1.6 "kono@ie.u-ryukyu.ac.jp (Shinji Kono) による変更。" MIME のチェックをきびしくして(遅くなった分)安全になった。 したがって複数行にまたがるMIMEはdecodeされない。 MIME の直後の空白は読み飛ばす。Q-Encding の_は空白に変換される。 -B のlevelを0,1,2 に増やした。MIMEのbase64, Q-Encodingを解読する 機能を付けた。ヘッダなどは解読しないので、Encodeされた部分だけを 通す必要がある。 -mB は、nkf1.5と違う動きをするので、-B -m とすること。 .SH nkf 1.6.1 \-Z で〜 \-> ~の変換を止めた。 \-Z1 でX0208間隔\->ASCII spaceの変換をおこなう。 \-Z2 でX0208間隔\->ASCII space 2個の変換をおこなう。 .PP kabe@dais.is.tohoku.ac.jp (Taketo Kabe) による日本語roff のソースが できました。 .SH nkf 1.7 .PP ESC-$-(-B などにも対応するようにしました。 .PP MIMEのチェックが厳しすぎるように思うので、STRICT_MIME をdefine した時にのみに厳しいチェックを行う用にしました。 .PP nkf は、本来、network 上に出して安全なコードをデフォルトで出力すべき であるので、デフォルトの出力コードをShift JIS, EUC などにするのは 望ましくないでしょう。 .PP 他の人と少し話して、copy right の非営利の条件を緩めました。 .PP Perl Extension として使えるようになりました。 .PP patch 1 for 1.7 .PP version が間違ってました。 .PP MIME decode をデフォルトにしたのに、MIME の条件を緩めたのが 少し緩め過ぎのようですね。uuencode とかがひっかかってしまう。 STRICT_MIME を define すればいいのですが、ちょっと syntax error いれてしまいました。 .PP define STRICT_MIME をデフォルトに直しました。まぁ、仕方ないかなぁ。 .PP 次の nkf 1.9 では、command option で切り替えられるようになります。 .PP あと NKF.xs で argc = items - 1; を使うようにしました。(by 木村 巌 ) .SH nkf 1.9 .PP MIME エンコードの機能を付けました。コード変換されてしまうので、画像と かの単なるエンコーダとしては使えません。かなりいい加減です。Subject や メールアドレスを、エンコードする時に便利なように変換します。 .PP で、少し言い訳します。ほとんどのアスキー文字は変換しません。だから、こ れで変換したから安全なメールアドレスになるなんてことはありません。でも、 この方が Subject: 行や From: 行を変換するには、便利だろうと僕は想像し ます。たまに76文字/行を越えることがあります。これは規格違反なんですが、 これは、直すのは結構めんどう。良いアルゴリズムがあるなら採用します。( ないんだったら、こんな規格はなくして欲しいよ) .PP nkf \-M | nkf で、もとに戻らないのは、デコードの際にMIMEの後の改行を無 視しないのと、エンコードの時に改行を含めてエンコードしないからです。こ れを、いつ無視するのかを自動的行うことは、できない規格になっているよう です。nkf \-MB | nkf -mB では、ちゃんと元に戻ります。 .PP 2.0 の準備。それぞれの変換をモジュールにして、オプションにしたがって 接続するようにしました。これで、比較的楽に拡張できるようになりました。 .PP getc <-- iconv --> oconv --> other conversion --> putc .PP という形で、順に呼び出されます。 .PP 長いオプション名を許すようにしました。 --mac --jis などが使えます。 .PP MIME エンコードの機能を追加しました。(これを追加した時にあまりに スパゲティになったので、モジュールに書き直しました。ついでに、 MIMEのstrict/non strict を選択できるようになりました。 .PP 改行のコードを変換を追加しました。 .PP EOFの際に不完全なエスケープシーケンスを出すのを止めました。 .PP 1.91 のバグを取りました .PP 2.0 は unicode 対応になるはずですが... SHAR_EOF fi # end of overwriting check if test -f 'nkf.c' then echo shar: will not over-write existing file "'nkf.c'" else cat << \SHAR_EOF > 'nkf.c' /** Network Kanji Filter. (PDS Version) ************************************************************************ ** Copyright (C) 1987, Fujitsu LTD. (Itaru ICHIKAWA) ** 連絡先： （株）富士通研究所　ソフト３研　市川　至 ** （E-Mail Address: ichikawa@flab.fujitsu.co.jp） ** Copyright (C) 1996,1998 ** 連絡先： 琉球大学情報工学科 河野 真治 mine/X0208 support ** （E-Mail Address: kono@ie.u-ryukyu.ac.jp） ** 連絡先： COW for DOS & Win16 & Win32 & OS/2 ** （E-Mail Address: GHG00637@niftyserve.or.p） ** このソースのいかなる複写，改変，修正も許諾します。ただし、 ** その際には、誰が貢献したを示すこの部分を残すこと。 ** 再配布や雑誌の付録などの問い合わせも必要ありません。 ** バイナリの配布の際にはversion messageを保存することを条件とします。 ** このプログラムについては特に何の保証もしない、悪しからず。 ** Everyone is permitted to do anything on this program ** including copying, modifying, improving, ** as long as you don't try to pretend that you wrote it. ** i.e., the above copyright notice has to appear in all copies. ** Binary distribution requires original version messages. ** You don't have to ask before copying, redistribution or publishing. ** THE AUTHOR DISCLAIMS ALL WARRANTIES WITH REGARD TO THIS SOFTWARE. ***********************************************************************/ static char *CopyRight = "Copyright (C) 1987, FUJITSU LTD. (I.Ichikawa),2000 S. Kono, COW"; static char *Version = "1.9"; static char *Patchlevel = "2/0002/Shinji Kono"; /* ** ** ** ** USAGE: nkf [flags] [file] ** ** Flags: ** b Output is bufferred (DEFAULT) ** u Output is unbufferred ** ** t no operation ** ** j Outout code is JIS 7 bit (DEFAULT SELECT) ** s Output code is MS Kanji (DEFAULT SELECT) ** e Output code is AT&T JIS (DEFAULT SELECT) ** l Output code is JIS 7bit and ISO8859-1 Latin-1 ** ** m MIME conversion for ISO-2022-JP ** i_ Output sequence to designate JIS-kanji (DEFAULT_J) ** o_ Output sequence to designate single-byte roman characters (DEFAULT_R) ** M MIME output conversion ** ** r {de/en}crypt ROT13/47 ** ** v display Version ** ** T Text mode output (for MS-DOS) ** ** x Do not convert X0201 kana into X0208 ** Z Convert X0208 alphabet to ASCII ** ** f60 fold option ** ** m MIME decode ** B try to fix broken JIS, missing Escape ** B[1-9] broken level ** ** O Output to 'nkf.out' file ** d Delete \r in line feed ** c Add \r in line feed ** -- other long option ** **/ /******************************/ /* デフォルトの出力コード選択 */ /* Select DEFAULT_CODE */ #define DEFAULT_CODE_JIS /* #define DEFAULT_CODE_SJIS */ /* #define DEFAULT_CODE_EUC */ /******************************/ #if (defined(__TURBOC__) || defined(LSI_C)) && !defined(MSDOS) #define MSDOS #endif #ifndef PERL_XS #include #endif #if defined(MSDOS) || defined(__OS2__) #include #include #include #endif #ifdef MSDOS #ifdef LSI_C #define setbinmode(fp) fsetbin(fp) #else /* Microsoft C, Turbo C */ #define setbinmode(fp) setmode(fileno(fp), O_BINARY) #endif #else /* UNIX,OS/2 */ #define setbinmode(fp) #endif #ifdef _IOFBF /* SysV and MSDOS */ #define setvbuffer(fp, buf, size) setvbuf(fp, buf, _IOFBF, size) #else /* BSD */ #define setvbuffer(fp, buf, size) setbuffer(fp, buf, size) #endif /*Borland C++ 4.5 EasyWin*/ #if defined(__TURBOC__) && defined(_Windows) && !defined(__WIN32__) /*Easy Win */ #define EASYWIN #include #endif #define FALSE 0 #define TRUE 1 /* state of output_mode and input_mode c2 0 means ASCII X0201 ISO8859_1 X0208 EOF all termination c1 32bit data */ #define ASCII 0 #define X0208 1 #define X0201 2 #define ISO8859_1 8 #define NO_X0201 3 /* Input Assumption */ #define JIS_INPUT 4 #define SJIS_INPUT 5 #define LATIN1_INPUT 6 #define FIXED_MIME 7 #define STRICT_MIME 8 /* MIME ENCODE */ #define ISO2022JP 9 #define JAPANESE_EUC 10 #define SHIFT_JIS 11 /* ASCII CODE */ #define BS 0x08 #define NL 0x0a #define CR 0x0d #define ESC 0x1b #define SPACE 0x20 #define AT 0x40 #define SSP 0xa0 #define DEL 0x7f #define SI 0x0f #define SO 0x0e #define SSO 0x8e #define is_alnum(c) \ (('a'<=c && c<='z')||('A'<= c && c<='Z')||('0'<=c && c<='9')) #define HOLD_SIZE 32 #define IOBUF_SIZE 16384 #define DEFAULT_J 'B' #define DEFAULT_R 'B' #define SJ0162 0x00e1 /* 01 - 62 ku offset */ #define SJ6394 0x0161 /* 63 - 94 ku offset */ /* MIME preprocessor */ #ifdef EASYWIN /*Easy Win */ extern POINT _BufferSize; #endif /* function prototype */ /* #define PROTO(x) () */ #define PROTO(x) x static int noconvert PROTO((FILE *f)); static int kanji_convert PROTO((FILE *f)); static int h_conv PROTO((FILE *f,int c2,int c1)); static int push_hold_buf PROTO((int c2,int c1)); static void s_iconv PROTO((int c2,int c1)); static void e_iconv PROTO((int c2,int c1)); static void e_oconv PROTO((int c2,int c1)); static void s_oconv PROTO((int c2,int c1)); static void j_oconv PROTO((int c2,int c1)); static void fold_conv PROTO((int c2,int c1)); static void cr_conv PROTO((int c2,int c1)); static void z_conv PROTO((int c2,int c1)); static void rot_conv PROTO((int c2,int c1)); static void base64_conv PROTO((int c2,int c1)); static void no_connection PROTO((int c2,int c1)); static void std_putc PROTO((int c)); static int std_getc PROTO((FILE *f)); static int std_ungetc PROTO((int c,FILE *f)); static int broken_getc PROTO((FILE *f)); static int broken_ungetc PROTO((int c,FILE *f)); static int mime_begin PROTO((FILE *f)); static int mime_getc PROTO((FILE *f)); static int mime_ungetc PROTO((int c,FILE *f)); static int mime_begin_strict PROTO((FILE *f)); static int mime_getc_buf PROTO((FILE *f)); static int mime_ungetc_buf PROTO((int c,FILE *f)); static int mime_integrity PROTO((FILE *f,unsigned char *p)); static int base64decode PROTO((int c)); static void mime_putc PROTO((int c)); static void open_mime PROTO((int c)); static void close_mime PROTO(()); static void usage PROTO(()); static void version PROTO(()); static void options PROTO((unsigned char *c)); #ifdef PERL_XS static void reinit PROTO(()); #endif /* buffers */ static unsigned char stdibuf[IOBUF_SIZE]; static unsigned char stdobuf[IOBUF_SIZE]; static unsigned char hold_buf[HOLD_SIZE*2]; static int hold_count; /* MIME preprocessor fifo */ #define MIME_BUF_SIZE (1024) /* 2^n ring buffer */ #define MIME_BUF_MASK (MIME_BUF_SIZE-1) #define Fifo(n) mime_buf[(n)&MIME_BUF_MASK] static unsigned char mime_buf[MIME_BUF_SIZE]; static unsigned int mime_top = 0; static unsigned int mime_last = 0; /* decoded */ static unsigned int mime_input = 0; /* undecoded */ /* flags */ static int unbuf_f = FALSE; static int estab_f = FALSE; static int nop_f = FALSE; static int binmode_f = TRUE; /* binary mode */ static int rot_f = FALSE; /* rot14/43 mode */ static int input_f = FALSE; /* non fixed input code */ static int alpha_f = FALSE; /* convert JIx0208 alphbet to ASCII */ static int mime_f = STRICT_MIME; /* convert MIME B base64 or Q */ static int mimebuf_f = FALSE; /* MIME buffered input */ static int broken_f = FALSE; /* convert ESC-less broken JIS */ static int iso8859_f = FALSE; /* ISO8859 through */ static int mimeout_f = FALSE; /* base64 mode */ #if defined(MSDOS) || defined(__OS2__) static int x0201_f = TRUE; /* Assume JISX0201 kana */ #else static int x0201_f = NO_X0201; /* Assume NO JISX0201 */ #endif static int mimeout_mode = 0; static int base64_count = 0; /* X0208 -> ASCII converter */ /* fold parameter */ static int f_line = 0; /* chars in line */ static int f_prev = 0; static int fold_f = FALSE; static int fold_len = 0; /* options */ static unsigned char kanji_intro = DEFAULT_J, ascii_intro = DEFAULT_R; /* Folding */ #define FOLD_MARGIN 10 #define DEFAULT_FOLD 60 /* converters */ #ifdef DEFAULT_CODE_JIS # define DEFAULT_CONV j_oconv #endif #ifdef DEFAULT_CODE_SJIS # define DEFAULT_CONV s_oconv #endif #ifdef DEFAULT_CODE_EUC # define DEFAULT_CONV e_oconv #endif /* process default */ static void (*output_conv)PROTO((int c2,int c1)) = DEFAULT_CONV; static void (*oconv)PROTO((int c2,int c1)) = no_connection; /* s_iconv or oconv */ static void (*iconv)PROTO((int c2,int c1)) = no_connection; static void (*o_zconv)PROTO((int c2,int c1)) = no_connection; static void (*o_fconv)PROTO((int c2,int c1)) = no_connection; static void (*o_crconv)PROTO((int c2,int c1)) = no_connection; static void (*o_rot_conv)PROTO((int c2,int c1)) = no_connection; static void (*o_base64conv)PROTO((int c2,int c1)) = no_connection; /* static redirections */ static void (*o_putc)PROTO((int c)) = std_putc; static int (*i_getc)PROTO((FILE *f)) = std_getc; /* general input */ static int (*i_ungetc)PROTO((int c,FILE *f)) =std_ungetc; static int (*i_bgetc)PROTO((FILE *)) = std_getc; /* input of mgetc */ static int (*i_bungetc)PROTO((int c ,FILE *f)) = std_ungetc; static void (*o_mputc)PROTO((int c)) = std_putc ; /* output of mputc */ static int (*i_mgetc)PROTO((FILE *)) = std_getc; /* input of mgetc */ static int (*i_mungetc)PROTO((int c ,FILE *f)) = std_ungetc; /* for strict mime */ static int (*i_mgetc_buf)PROTO((FILE *)) = std_getc; /* input of mgetc_buf */ static int (*i_mungetc_buf)PROTO((int c,FILE *f)) = std_ungetc; /* Global states */ static int output_mode = ASCII, /* output kanji mode */ input_mode = ASCII, /* input kanji mode */ shift_mode = FALSE; /* TRUE shift out, or X0201 */ static int mime_decode_mode = FALSE; /* MIME mode B base64, Q hex */ /* X0201 / X0208 conversion tables */ /* X0201 kana conversion table */ /* 90-9F A0-DF */ static unsigned char cv[]= { 0x21,0x21,0x21,0x23,0x21,0x56,0x21,0x57, 0x21,0x22,0x21,0x26,0x25,0x72,0x25,0x21, 0x25,0x23,0x25,0x25,0x25,0x27,0x25,0x29, 0x25,0x63,0x25,0x65,0x25,0x67,0x25,0x43, 0x21,0x3c,0x25,0x22,0x25,0x24,0x25,0x26, 0x25,0x28,0x25,0x2a,0x25,0x2b,0x25,0x2d, 0x25,0x2f,0x25,0x31,0x25,0x33,0x25,0x35, 0x25,0x37,0x25,0x39,0x25,0x3b,0x25,0x3d, 0x25,0x3f,0x25,0x41,0x25,0x44,0x25,0x46, 0x25,0x48,0x25,0x4a,0x25,0x4b,0x25,0x4c, 0x25,0x4d,0x25,0x4e,0x25,0x4f,0x25,0x52, 0x25,0x55,0x25,0x58,0x25,0x5b,0x25,0x5e, 0x25,0x5f,0x25,0x60,0x25,0x61,0x25,0x62, 0x25,0x64,0x25,0x66,0x25,0x68,0x25,0x69, 0x25,0x6a,0x25,0x6b,0x25,0x6c,0x25,0x6d, 0x25,0x6f,0x25,0x73,0x21,0x2b,0x21,0x2c, 0x00,0x00}; /* X0201 kana conversion table for daguten */ /* 90-9F A0-DF */ static unsigned char dv[]= { 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00, 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00, 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00, 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00, 0x00,0x00,0x00,0x00,0x00,0x00,0x25,0x74, 0x00,0x00,0x00,0x00,0x25,0x2c,0x25,0x2e, 0x25,0x30,0x25,0x32,0x25,0x34,0x25,0x36, 0x25,0x38,0x25,0x3a,0x25,0x3c,0x25,0x3e, 0x25,0x40,0x25,0x42,0x25,0x45,0x25,0x47, 0x25,0x49,0x00,0x00,0x00,0x00,0x00,0x00, 0x00,0x00,0x00,0x00,0x25,0x50,0x25,0x53, 0x25,0x56,0x25,0x59,0x25,0x5c,0x00,0x00, 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00, 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00, 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00, 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00, 0x00,0x00}; /* X0201 kana conversion table for han-daguten */ /* 90-9F A0-DF */ static unsigned char ev[]= { 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00, 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00, 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00, 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00, 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00, 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00, 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00, 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00, 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00, 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00, 0x00,0x00,0x00,0x00,0x25,0x51,0x25,0x54, 0x25,0x57,0x25,0x5a,0x25,0x5d,0x00,0x00, 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00, 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00, 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00, 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00, 0x00,0x00}; /* X0208 kigou conversion table */ /* 0x8140 - 0x819e */ static unsigned char fv[] = { 0x00,0x00,0x00,0x00,0x2c,0x2e,0x00,0x3a, 0x3b,0x3f,0x21,0x00,0x00,0x27,0x60,0x00, 0x5e,0x00,0x5f,0x00,0x00,0x00,0x00,0x00, 0x00,0x00,0x00,0x00,0x00,0x2d,0x00,0x2f, 0x5c,0x00,0x00,0x7c,0x00,0x00,0x60,0x27, 0x22,0x22,0x28,0x29,0x00,0x00,0x5b,0x5d, 0x7b,0x7d,0x3c,0x3e,0x00,0x00,0x00,0x00, 0x00,0x00,0x00,0x00,0x2b,0x2d,0x00,0x00, 0x00,0x3d,0x00,0x3c,0x3e,0x00,0x00,0x00, 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00, 0x24,0x00,0x00,0x25,0x23,0x26,0x2a,0x40, 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00 } ; #define CRLF 1 static int file_out = FALSE; static int crmode_f = 0; /* CR, NL, CRLF */ #ifdef EASYWIN /*Easy Win */ static int end_check; #endif /*Easy Win */ #ifndef PERL_XS int main(argc, argv) int argc; char **argv; { FILE *fin; unsigned char *cp; #ifdef EASYWIN /*Easy Win */ _BufferSize.y = 400;/*Set Scroll Buffer Size*/ #endif for (argc--,argv++; (argc > 0) && **argv == '-'; argc--, argv++) { cp = *argv; options(cp); } if (binmode_f == TRUE) #ifdef __OS2__ if (freopen("","wb",stdout) == NULL) return (-1); #else setbinmode(stdout); #endif if (unbuf_f) setbuf(stdout, (char *) NULL); else setvbuffer(stdout, stdobuf, IOBUF_SIZE); if (argc == 0) { if (binmode_f == TRUE) #ifdef __OS2__ if (freopen("","rb",stdin) == NULL) return (-1); #else setbinmode(stdin); #endif setvbuffer(stdin, stdibuf, IOBUF_SIZE); if (nop_f) noconvert(stdin); else kanji_convert(stdin); } else { while (argc--) { if ((fin = fopen(*argv++, "r")) == NULL) { perror(*--argv); return(-1); } else { /* reopen file for stdout */ if (file_out == TRUE){ if (argc == 1 ) { if (freopen(*argv++, "w", stdout) == NULL) { perror(*--argv); return (-1); } argc--; } else { if (freopen("nkf.out", "w", stdout) == NULL) { perror(*--argv); return (-1); } } if (binmode_f == TRUE) { #ifdef __OS2__ if (freopen("","wb",stdout) == NULL) return (-1); #else setbinmode(stdout); #endif } } if (binmode_f == TRUE) #ifdef __OS2__ if (freopen("","rb",fin) == NULL) return (-1); #else setbinmode(fin); #endif setvbuffer(fin, stdibuf, IOBUF_SIZE); if (nop_f) noconvert(fin); else kanji_convert(fin); fclose(fin); } } } #ifdef EASYWIN /*Easy Win */ if (file_out == FALSE) scanf("%d",&end_check); else fclose(stdout); #else /* for Other OS */ if (file_out == TRUE) fclose(stdout); #endif return (0); } #endif static struct { unsigned char *name; unsigned char *alias; } long_option[] = { {"base64","jMB"}, {"euc","e"}, {"euc-input","E"}, {"fj","jm"}, {"help","v"}, {"jis","j"}, {"jis-input","J"}, {"mac","sLm"}, {"mime","jM"}, {"mime-input","m"}, {"msdos","sLw"}, {"sjis","s"}, {"sjis-input","S"}, {"unix","eLu"}, {"version","V"}, {"windows","sLw"}, }; static option_mode; void options(unsigned char *cp) { int i; unsigned char *p; if (option_mode==1) return; if (*cp++ != '-') return; while (*cp) { switch (*cp++) { case '-': /* literal options */ if (!*cp) { /* ignore the rest of arguments */ option_mode = 1; return; } for (i=0;i= *cp && *cp>='0') alpha_f |= 1<<(*cp++ -'0'); else alpha_f |= TRUE; continue; case 'x': /* Convert X0201 kana to X0208 or X0201 Conversion */ x0201_f = FALSE; /* No X0201->X0208 conversion */ /* accept X0201 ESC-(-I in JIS, EUC, MS Kanji SI/SO in JIS, EUC, MS Kanji SSO in EUC, JIS, not in MS Kanji MS Kanji (0xa0-0xdf) output X0201 ESC-(-I in JIS (0x20-0x5f) SSO in EUC (0xa0-0xdf) 0xa0-0xd in MS Kanji (0xa0-0xdf) */ continue; case 'X': /* Assume X0201 kana */ /* Default value is NO_X0201 for EUC/MS-Kanji mix */ x0201_f = TRUE; continue; case 'f': /* folding -f60 or -f */ fold_f = TRUE; fold_len = 0; while('0'<= *cp && *cp <='9') { fold_len *= 10; fold_len += *cp++ - '0'; } if (!(0= *cp && *cp>='0') broken_f |= 1<<(*cp++ -'0'); else broken_f |= TRUE; continue; #ifndef PERL_XS case 'O':/* for Output file */ file_out = TRUE; continue; #endif case 'c':/* add cr code */ crmode_f = CRLF; continue; case 'd':/* delete cr code */ crmode_f = NL; continue; case 'L': /* line mode */ if (*cp=='u') { /* unix */ crmode_f = NL; } else if (*cp=='m') { /* mac */ crmode_f = CR; } else if (*cp=='w') { /* windows */ crmode_f = CRLF; } else if (*cp=='0') { /* no conversion */ crmode_f = 0; } continue; default: /* bogus option but ignored */ continue; } } } int std_getc(f) FILE *f; { return getc(f); } int std_ungetc(c,f) int c; FILE *f; { return ungetc(c,f); } void std_putc(c) int c; { putchar(c); } int noconvert(f) FILE *f; { int c; while ((c = (*i_getc)(f)) != EOF) (*o_putc)(c); return 1; } void module_connection() { oconv = output_conv; o_putc = std_putc; /* replace continucation module, from output side */ /* output redicrection */ if (mimeout_f) { o_mputc = o_putc; o_putc = mime_putc; if (mimeout_f == TRUE) { o_base64conv = oconv; oconv = base64_conv; } /* base64_count = 0; */ } if (crmode_f) { o_crconv = oconv; oconv = cr_conv; } if (rot_f) { o_rot_conv = oconv; oconv = rot_conv; } if (fold_f) { o_fconv = oconv; oconv = fold_conv; f_line = 0; } if (alpha_f || x0201_f) { o_zconv = oconv; oconv = z_conv; } i_getc = std_getc; /* input redicrection */ if (mime_f && mimebuf_f==FIXED_MIME) { i_mgetc = i_getc; i_getc = mime_getc; i_mungetc = i_ungetc; i_ungetc = mime_ungetc; } if (broken_f & 1) { i_bgetc = i_getc; i_getc = broken_getc; i_bungetc = i_ungetc; i_ungetc = broken_ungetc; } if (input_f == JIS_INPUT || input_f == LATIN1_INPUT) { estab_f = TRUE; iconv = e_iconv; } else if (input_f == SJIS_INPUT) { estab_f = TRUE; iconv = s_iconv; } else { estab_f = FALSE; iconv = e_iconv; } } /* Conversion main loop. Code detection only. */ int kanji_convert(f) FILE *f; { int c1, c2; module_connection(); c2 = 0; input_mode = ASCII; output_mode = ASCII; shift_mode = FALSE; #define NEXT continue /* no output, get next */ #define SEND ; /* output c1 and c2, get next */ #define LAST break /* end of loop, go closing */ while ((c1 = (*i_getc)(f)) != EOF) { if (c2) { /* second byte */ if (c2 > DEL) { /* in case of 8th bit is on */ if (!estab_f) { /* in case of not established yet */ if (c1 > SSP) { /* It is still ambiguious */ if (h_conv(f, c2, c1)==EOF) LAST; else c2 = 0; NEXT; } else if (c1 < AT) { /* ignore bogus code */ c2 = 0; NEXT; } else { /* established */ /* it seems to be MS Kanji */ estab_f = TRUE; iconv = s_iconv; SEND; } } else /* in case of already established */ if (c1 < AT) { /* ignore bogus code */ c2 = 0; NEXT; } else SEND; } else /* second byte, 7 bit code */ /* it might be kanji shitfted */ if ((c1 == DEL) || (c1 <= SPACE)) { /* ignore bogus first code */ c2 = 0; NEXT; } else SEND; } else { /* first byte */ if (c1 > DEL) { /* 8 bit code */ if (!estab_f && !iso8859_f) { /* not established yet */ if (c1 < SSP) { /* it seems to be MS Kanji */ estab_f = TRUE; iconv = s_iconv; } else if (c1 < 0xe0) { /* it seems to be EUC */ estab_f = TRUE; iconv = e_iconv; } else { /* still ambiguious */ } c2 = c1; NEXT; } else { /* estab_f==TRUE */ if (iso8859_f) { c2 = ISO8859_1; c1 &= 0x7f; SEND; } else if (SSP<=c1 && c1<0xe0 && iconv == s_iconv) { /* SJIS X0201 Case... */ c2 = X0201; c1 &= 0x7f; SEND; } else if (c1==SSO && iconv != s_iconv) { /* EUC X0201 Case */ c1 = (*i_getc)(f); /* skip SSO */ if (SSP<=c1 && c1<0xe0) { c2 = X0201; c1 &= 0x7f; SEND; } else { /* bogus code, skip SSO and one byte */ NEXT; } } else if (c1 < SSP && iconv != s_iconv) { /* strange code in EUC */ iconv = s_iconv; /* try SJIS */ c2 = c1; NEXT; } else { /* already established */ c2 = c1; NEXT; } } } else if ((c1 > SPACE) && (c1 != DEL)) { /* in case of Roman characters */ if (shift_mode) { /* output 1 shifted byte */ if (iso8859_f) { c2 = ISO8859_1; SEND; } else if (SPACE<=c1 && c1<(0xe0&0x7f) ){ c2 = X0201; SEND; } else { /* look like bogus code */ NEXT; } } else if (input_mode == X0208) { /* in case of Kanji shifted */ c2 = c1; NEXT; } else if (c1 == '=' && mime_f && !mime_decode_mode ) { /* Check MIME code */ if ((c1 = (*i_getc)(f)) == EOF) { (*oconv)(0, '='); LAST; } else if (c1 == '?') { /* =? is mime conversion start sequence */ if(mime_f == STRICT_MIME) { /* check in real detail */ if (mime_begin_strict(f) == EOF) LAST; else NEXT; } else if (mime_begin(f) == EOF) LAST; else NEXT; } else { (*oconv)(0, '='); (*i_ungetc)(c1,f); NEXT; } } else { /* normal ASCII code */ SEND; } } else if (c1 == SI) { shift_mode = FALSE; NEXT; } else if (c1 == SO) { shift_mode = TRUE; NEXT; } else if (c1 == ESC ) { if ((c1 = (*i_getc)(f)) == EOF) { /* (*oconv)(0, ESC); don't send bogus code */ LAST; } else if (c1 == '$') { if ((c1 = (*i_getc)(f)) == EOF) { /* (*oconv)(0, ESC); don't send bogus code (*oconv)(0, '$'); */ LAST; } else if (c1 == '@'|| c1 == 'B') { /* This is kanji introduction */ input_mode = X0208; shift_mode = FALSE; NEXT; } else if (c1 == '(') { if ((c1 = (*i_getc)(f)) == EOF) { /* don't send bogus code (*oconv)(0, ESC); (*oconv)(0, '$'); (*oconv)(0, '('); */ LAST; } else if (c1 == '@'|| c1 == 'B') { /* This is kanji introduction */ input_mode = X0208; shift_mode = FALSE; NEXT; } else { /* could be some special code */ (*oconv)(0, ESC); (*oconv)(0, '$'); (*oconv)(0, '('); (*oconv)(0, c1); NEXT; } } else if (broken_f&0x2) { /* accept any ESC-(-x as broken code ... */ input_mode = X0208; shift_mode = FALSE; NEXT; } else { (*oconv)(0, ESC); (*oconv)(0, '$'); (*oconv)(0, c1); NEXT; } } else if (c1 == '(') { if ((c1 = (*i_getc)(f)) == EOF) { /* don't send bogus code (*oconv)(0, ESC); (*oconv)(0, '('); */ LAST; } else { if (c1 == 'I') { /* This is X0201 kana introduction */ input_mode = X0201; shift_mode = X0201; NEXT; } else if (c1 == 'B' || c1 == 'J' || c1 == 'H') { /* This is X0208 kanji introduction */ input_mode = ASCII; shift_mode = FALSE; NEXT; } else if (broken_f&0x2) { input_mode = ASCII; shift_mode = FALSE; NEXT; } else { (*oconv)(0, ESC); (*oconv)(0, '('); /* maintain various input_mode here */ SEND; } } } else { /* lonely ESC */ (*oconv)(0, ESC); SEND; } } else if ((c1 == NL || c1 == CR) && broken_f&4) { input_mode = ASCII; estab_f = FALSE; SEND; } else SEND; } /* send: */ if (input_mode == X0208) (*oconv)(c2, c1); /* this is JIS, not SJIS/EUC case */ else if (input_mode) (*oconv)(input_mode, c1); /* other special case */ else (*iconv)(c2, c1); /* can be EUC/SJIS */ c2 = 0; continue; /* goto next_word */ } /* epilogue */ (*iconv)(EOF, 0); return 1; } int h_conv(f, c2, c1) FILE *f; int c1, c2; { int wc,c3; /** it must NOT be in the kanji shifte sequence */ /** it must NOT be written in JIS7 */ /** and it must be after 2 byte 8bit code */ hold_count = 0; push_hold_buf(c2, c1); c2 = 0; while ((c1 = (*i_getc)(f)) != EOF) { if (c2) { /* second byte */ if (!estab_f) { /* not established */ if (c1 > SSP) { /* it is still ambiguious yet */ SEND; } else if (c1 < AT) { /* ignore bogus first byte */ c2 = 0; SEND; } else { /* now established */ /* it seems to be MS Kanji */ estab_f = TRUE; iconv = s_iconv; SEND; } } else SEND; } else { /* First byte */ if (c1 > DEL) { /* 8th bit is on */ if (c1 < SSP) { /* it seems to be MS Kanji */ estab_f = TRUE; iconv = s_iconv; } else if (c1 < 0xe0) { /* it seems to be EUC */ estab_f = TRUE; iconv = e_iconv; } else { /* still ambiguious */ } c2 = c1; NEXT; } else /* 7 bit code , then send without any process */ SEND; } /* send: */ if ((push_hold_buf(c2, c1) == EOF) || estab_f) break; c2 = 0; continue; } /** now, ** 1) EOF is detected, or ** 2) Code is established, or ** 3) Buffer is FULL (but last word is pushed) ** ** in 1) and 3) cases, we continue to use ** Kanji codes by oconv and leave estab_f unchanged. **/ c3=c1; for (wc = 0; wc < hold_count; wc += 2) { c2 = hold_buf[wc]; c1 = hold_buf[wc+1]; (*iconv)(c2, c1); } return c3; } int push_hold_buf(c2, c1) int c2, c1; { if (hold_count >= HOLD_SIZE*2) return (EOF); hold_buf[hold_count++] = c2; hold_buf[hold_count++] = c1; return ((hold_count >= HOLD_SIZE*2) ? EOF : hold_count); } void s_iconv(c2, c1) int c2, c1; { if (c2 == X0201) { c1 &= 0x7f; } else if ((c2 == EOF) || (c2 == 0) || c2 < SPACE) { /* NOP */ } else { c2 = c2 + c2 - ((c2 <= 0x9f) ? SJ0162 : SJ6394); if (c1 < 0x9f) c1 = c1 - ((c1 > DEL) ? SPACE : 0x1f); else { c1 = c1 - 0x7e; c2++; } } (*oconv)(c2, c1); } void e_iconv(c2, c1) int c2, c1; { if (c2 == X0201) { c1 &= 0x7f; } else if ((c2 == EOF) || (c2 == 0) || c2 < SPACE) { /* NOP */ } else { c1 &= 0x7f; c2 &= 0x7f; } (*oconv)(c2, c1); } void e_oconv(c2, c1) int c2, c1; { if (c2 == EOF) { return; } else if (c2 == 0) { output_mode = ASCII; (*o_putc)(c1); } else if (c2 == X0201) { output_mode = JAPANESE_EUC; (*o_putc)(SSO); (*o_putc)(c1|0x80); } else if (c2 == ISO8859_1) { output_mode = ISO8859_1; (*o_putc)(c1 | 0x080); } else { if ((c1<0x20 || 0x7e> 1) + ((c2 <= 0x5e) ? 0x71 : 0xb1))); (*o_putc)((c1 + ((c2 & 1) ? ((c1 < 0x60) ? 0x1f : 0x20) : 0x7e))); } } void j_oconv(c2, c1) int c2, c1; { if (c2 == EOF) { if (output_mode !=ASCII && output_mode!=ISO8859_1) { (*o_putc)(ESC); (*o_putc)('('); (*o_putc)(ascii_intro); output_mode = ASCII; } } else if (c2==X0201) { if (output_mode!=X0201) { output_mode = X0201; (*o_putc)(ESC); (*o_putc)('('); (*o_putc)('I'); } (*o_putc)(c1); } else if (c2==ISO8859_1) { /* iso8859 introduction, or 8th bit on */ /* Can we convert in 7bit form using ESC-'-'-A ? Is this popular? */ output_mode = ISO8859_1; (*o_putc)(c1|0x80); } else if (c2 == 0) { if (output_mode !=ASCII && output_mode!=ISO8859_1) { (*o_putc)(ESC); (*o_putc)('('); (*o_putc)(ascii_intro); output_mode = ASCII; } (*o_putc)(c1); } else { if (output_mode != X0208) { output_mode = X0208; (*o_putc)(ESC); (*o_putc)('$'); (*o_putc)(kanji_intro); } if (c1<0x20 || 0x7e50 && !mimeout_mode && c2==0 && c1==SPACE) { (*o_putc)(NL); } else if (base64_count>66 && mimeout_mode) { (*o_base64conv)(EOF,0); (*o_putc)(NL); } (*o_base64conv)(c2,c1); } static int broken_buf[3]; static int broken_counter = 0; static int broken_last = 0; int broken_getc(f) FILE *f; { int c,c1; if (broken_counter>0) { return broken_buf[--broken_counter]; } c= (*i_bgetc)(f); if (c=='$' && broken_last != ESC && (input_mode==ASCII || input_mode==X0201)) { c1= (*i_bgetc)(f); broken_last = 0; if (c1=='@'|| c1=='B') { broken_buf[0]=c1; broken_buf[1]=c; broken_counter=2; return ESC; } else { (*i_bungetc)(c1,f); return c; } } else if (c=='(' && broken_last != ESC && (input_mode==X0208 || input_mode==X0201)) { /* ) */ c1= (*i_bgetc)(f); broken_last = 0; if (c1=='J'|| c1=='B') { broken_buf[0]=c1; broken_buf[1]=c; broken_counter=2; return ESC; } else { (*i_bungetc)(c1,f); return c; } } else { broken_last = c; return c; } } int broken_ungetc(c,f) int c; FILE *f; { if (broken_counter<2) broken_buf[broken_counter++]=c; return c; } static int prev_cr = 0; void cr_conv(c2,c1) int c2,c1; { if (prev_cr) { prev_cr = 0; if (! (c2==0&&c1==NL) ) { cr_conv(0,'\n'); } } if (c2) { (*o_crconv)(c2,c1); } else if (c1=='\r') { prev_cr = c1; } else if (c1=='\n') { if (crmode_f==CRLF) { (*o_crconv)(0,'\r'); } else if (crmode_f==CR) { (*o_crconv)(0,'\r'); return; } (*o_crconv)(0,NL); } else { (*o_crconv)(c2,c1); } } /* Return value of fold_conv() \n add newline and output char \r add newline and output nothing ' ' space 0 skip 1 (or else) normal output fold state in prev (previous character) >0x80 Japanese (X0208/X0201) <0x80 ASCII \n new line ' ' space This fold algorthm does not preserve heading space in a line. This is the main difference from fmt. */ int char_size(c2,c1) { return c2?2:1; } void fold_conv(c2,c1) int c2,c1; { int prev0; int fold_state=0; if (c1== '\r') { fold_state=0; /* ignroe cr */ } else if (c1== BS) { if (f_line>0) f_line--; fold_state = 1; } else if (c2==EOF && f_line != 0) { /* close open last line */ fold_state = '\n'; } else if (c1=='\n') { /* new line */ if (f_prev == c1) { /* duplicate newline */ if (f_line) { f_line = 0; fold_state = '\n'; /* output two newline */ } else { f_line = 0; fold_state = 1; } } else { if (f_prev&0x80) { /* Japanese? */ f_prev = c1; fold_state = 0; /* ignore given single newline */ } else if (f_prev==' ') { fold_state = 0; } else { f_prev = c1; if (++f_line<=fold_len) fold_state = ' '; else { f_line = 0; fold_state = '\r'; /* fold and output nothing */ } } } } else if (c1=='\f') { f_prev = '\n'; if (f_line==0) fold_state = 1; f_line = 0; fold_state = '\n'; /* output newline and clear */ } else if ( (c2==0 && c1==' ')|| (c2==0 && c1=='\t')|| (c2=='!'&& c1=='!')) { /* X0208 kankaku or ascii space */ if (f_prev == ' ') { fold_state = 0; /* remove duplicate spaces */ } else { f_prev = ' '; if (++f_line<=fold_len) fold_state = ' '; /* output ASCII space only */ else { f_prev = ' '; f_line = 0; fold_state = '\r'; /* fold and output nothing */ } } } else { prev0 = f_prev; /* we still need this one... , but almost done */ f_prev = c1; if (c2 || c2==X0201) f_prev |= 0x80; /* this is Japanese */ f_line += char_size(c2,c1); if (f_line<=fold_len) { /* normal case */ fold_state = 1; } else { if (f_line>=fold_len+FOLD_MARGIN) { /* too many kinsou suspension */ f_line = char_size(c2,c1); fold_state = '\n'; /* We can't wait, do fold now */ } else if (c2==X0201) { /* simple kinsoku rules return 1 means no folding */ if (c1==(0xde&0x7f)) fold_state = 1; /* ゛*/ else if (c1==(0xdf&0x7f)) fold_state = 1; /* ゜*/ else if (c1==(0xa4&0x7f)) fold_state = 1; /* 。*/ else if (c1==(0xa3&0x7f)) fold_state = 1; /* ，*/ else if (c1==(0xa1&0x7f)) fold_state = 1; /* 」*/ else if (c1==(0xb0&0x7f)) fold_state = 1; /* - */ else if (SPACE<=c1 && c1<=(0xdf&0x7f)) { /* X0201 */ f_line = 1; fold_state = '\n';/* add one new f_line before this character */ } else { f_line = 1; fold_state = '\n';/* add one new f_line before this character */ } } else if (c2==0) { /* kinsoku point in ASCII */ if ( c1==')'|| /* { [ ( */ c1==']'|| c1=='}'|| c1=='.'|| c1==','|| c1=='!'|| c1=='?'|| c1=='/'|| c1==':'|| c1==';' ) { fold_state = 1; /* just after special */ } else if (!is_alnum(prev0)) { f_line = char_size(c2,c1); fold_state = '\n'; } else if ((prev0==' ') || /* ignored new f_line */ (prev0=='\n')|| /* ignored new f_line */ (prev0&0x80)) { /* X0208 - ASCII */ f_line = char_size(c2,c1); fold_state = '\n';/* add one new f_line before this character */ } else { fold_state = 1; /* default no fold in ASCII */ } } else { if (c2=='!') { if (c1=='"') fold_state = 1; /* 、 */ else if (c1=='#') fold_state = 1; /* 。 */ else if (c1=='W') fold_state = 1; /* 」 */ else if (c1=='K') fold_state = 1; /* ） */ else if (c1=='$') fold_state = 1; /* ， */ else if (c1=='%') fold_state = 1; /* ． */ else if (c1=='\'') fold_state = 1; /* ＋ */ else if (c1=='(') fold_state = 1; /* ； */ else if (c1==')') fold_state = 1; /* ？ */ else if (c1=='*') fold_state = 1; /* ！ */ else if (c1=='+') fold_state = 1; /* ゛ */ else if (c1==',') fold_state = 1; /* ゜ */ /* default no fold in kinsoku */ else { fold_state = '\n'; f_line = char_size(c2,c1); /* add one new f_line before this character */ } } else { f_line = char_size(c2,c1); fold_state = '\n'; /* add one new f_line before this character */ } } } } /* terminator process */ switch(fold_state) { case '\n': (*o_fconv)(0,'\n'); (*o_fconv)(c2,c1); break; case 0: return; case '\r': (*o_fconv)(0,'\n'); break; case '\t': case ' ': (*o_fconv)(0,' '); break; default: (*o_fconv)(c2,c1); } } int z_prev2=0,z_prev1=0; void z_conv(c2,c1) int c2,c1; { /* if (c2) c1 &= 0x7f; assertion */ if (x0201_f && z_prev2==X0201) { /* X0201 */ if (c1==(0xde&0x7f)) { /* 濁点 */ z_prev2=0; (*o_zconv)(dv[(z_prev1-SPACE)*2],dv[(z_prev1-SPACE)*2+1]); return; } else if (c1==(0xdf&0x7f)&&ev[(z_prev1-SPACE)*2]) { /* 半濁点 */ z_prev2=0; (*o_zconv)(ev[(z_prev1-SPACE)*2],ev[(z_prev1-SPACE)*2+1]); return; } else { z_prev2=0; (*o_zconv)(cv[(z_prev1-SPACE)*2],cv[(z_prev1-SPACE)*2+1]); } } if (c2==EOF) { (*o_zconv)(c2,c1); return; } if (x0201_f && c2==X0201) { if (dv[(c1-SPACE)*2]||ev[(c1-SPACE)*2]) { /* wait for 濁点 or 半濁点 */ z_prev1 = c1; z_prev2 = c2; return; } else { (*o_zconv)(cv[(c1-SPACE)*2],cv[(c1-SPACE)*2+1]); return; } } /* JISX0208 Alphabet */ if (alpha_f && c2 == 0x23 ) { c2 = 0; } else if (alpha_f && c2 == 0x21 ) { /* JISX0208 Kigou */ if (0x21==c1) { if (alpha_f&0x2) { c1 = ' '; } else if (alpha_f&0x4) { (*o_zconv)(0,' '); (*o_zconv)(0,' '); return; } } else if (0x20' ';i++) { /* start at =? */ if ( ((r[i] = c1 = (*i_getc)(f))==EOF) || nkf_toupper(c1) != p[i] ) { /* pattern fails, try next one */ q = p; while ((p = mime_pattern[++j])) { for(k=2;k i */ if (p[k]!=q[k]) break; if (k==i && nkf_toupper(c1)==p[k]) break; } if (p) continue; /* found next one, continue */ /* all fails, output from recovery buffer */ (*i_ungetc)(c1,f); for(j=0;j> 4) & 0x03); if (c2 != '=') { Fifo(mime_last++) = cc; cc = ((t2 << 4) & 0x0f0) | ((t3 >> 2) & 0x0f); if (c3 != '=') { Fifo(mime_last++) = cc; cc = ((t3 << 6) & 0x0c0) | (t4 & 0x3f); if (c4 != '=') Fifo(mime_last++) = cc; } } else { return c1; } return Fifo(mime_top++); } int mime_ungetc(c,f) int c; FILE *f; { Fifo(--mime_top) = c; return c; } int mime_integrity(f,p) FILE *f; unsigned char *p; { int c,d; unsigned int q; /* In buffered mode, read until =? or NL or buffer full */ mime_input = mime_top; mime_last = mime_top; while(*p) Fifo(mime_input++) = *p++; d = 0; q = mime_input; while((c=(*i_getc)(f))!=EOF) { if (((mime_input-mime_top)&MIME_BUF_MASK)==0) { break; /* buffer full */ } if (c=='=' && d=='?') { /* checked. skip header, start decode */ Fifo(mime_input++) = c; /* mime_last_input = mime_input; */ mime_input = q; switch_mime_getc(); return 1; } if (!( (c=='+'||c=='/'|| c=='=' || c=='?' || is_alnum(c)))) break; /* Should we check length mod 4? */ Fifo(mime_input++) = c; d=c; } /* In case of Incomplete MIME, no MIME decode */ Fifo(mime_input++) = c; mime_last = mime_input; /* point undecoded buffer */ mime_decode_mode = 1; /* no decode on Fifo last in mime_getc */ switch_mime_getc(); /* anyway we need buffered getc */ return 1; } int base64decode(c) int c; { int i; if (c > '@') { if (c < '[') { i = c - 'A'; /* A..Z 0-25 */ } else { i = c - 'G' /* - 'a' + 26 */ ; /* a..z 26-51 */ } } else if (c > '/') { i = c - '0' + '4' /* - '0' + 52 */ ; /* 0..9 52-61 */ } else if (c == '+') { i = '>' /* 62 */ ; /* + 62 */ } else { i = '?' /* 63 */ ; /* / 63 */ } return (i); } static char basis_64[] = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/"; static int b64c; void open_mime(mode) int mode; { char *p; int i; p = mime_pattern[0]; for(i=0;mime_encode[i];i++) { if (mode == mime_encode[i]) { p = mime_pattern[i]; break; } } mimeout_mode = mime_encode_method[i]; /* (*o_mputc)(' '); */ while(*p) { (*o_mputc)(*p++); base64_count ++; } } void close_mime() { (*o_mputc)('?'); (*o_mputc)('='); (*o_mputc)(' '); base64_count += 3; mimeout_mode = 0; } #define itoh4(c) (c>=10?c+'A'-10:c+'0') void mime_putc(c) int c; { if (mimeout_f==FIXED_MIME) { if (base64_count>71) { (*o_mputc)('\n'); base64_count=0; } } else if (c==NL) { base64_count=0; } if (c!=EOF) { if ( c<=DEL &&(output_mode==ASCII ||output_mode == ISO8859_1 ) && mimeout_f!=FIXED_MIME) { if (mimeout_mode=='Q') { if (c<=SPACE) { close_mime(); } (*o_mputc)(c); return; } if (mimeout_mode!='B' || c!=SPACE) { if (mimeout_mode) { mime_putc(EOF); mimeout_mode=0; } (*o_mputc)(c); base64_count ++; return; } } else if (!mimeout_mode && mimeout_f!=FIXED_MIME) { /* if (base64_count>55) { (*o_mputc)('\n'); base64_count = 0; } */ open_mime(output_mode); } } else { /* c==EOF */ switch(mimeout_mode) { case 'Q': case 'B': break; case 2: (*o_mputc)(basis_64[((b64c & 0x3)<< 4)]); (*o_mputc)('='); (*o_mputc)('='); base64_count += 3; break; case 1: (*o_mputc)(basis_64[((b64c & 0xF) << 2)]); (*o_mputc)('='); base64_count += 2; break; } if (mimeout_mode) { if (mimeout_f!=FIXED_MIME) { close_mime(); } else if (mimeout_mode != 'Q') mimeout_mode = 'B'; } return; } switch(mimeout_mode) { case 'Q': if(c>=DEL) { (*o_mputc)('='); (*o_mputc)(itoh4(((c>>4)&0xf))); (*o_mputc)(itoh4((c&0xf))); } else { (*o_mputc)(c); } break; case 'B': b64c=c; (*o_mputc)(basis_64[c>>2]); mimeout_mode=2; base64_count ++; break; case 2: (*o_mputc)(basis_64[((b64c & 0x3)<< 4) | ((c & 0xF0) >> 4)]); b64c=c; mimeout_mode=1; base64_count ++; break; case 1: (*o_mputc)(basis_64[((b64c & 0xF) << 2) | ((c & 0xC0) >>6)]); (*o_mputc)(basis_64[c & 0x3F]); mimeout_mode='B'; base64_count += 2; break; } } #ifdef PERL_XS void reinit() { unbuf_f = FALSE; estab_f = FALSE; nop_f = FALSE; binmode_f = TRUE; rot_f = FALSE; input_f = FALSE; alpha_f = FALSE; mime_f = TRUE; mimebuf_f = FALSE; broken_f = FALSE; iso8859_f = FALSE; x0201_f = NO_X0201; fold_f = FALSE; kanji_intro = DEFAULT_J; ascii_intro = DEFAULT_R; output_conv = DEFAULT_CONV; oconv = DEFAULT_CONV; o_putc = std_putc; o_mputc = std_putc; o_crconv = oconv; o_rot_conv = oconv; o_fconv = oconv; o_zconv = oconv; i_getc = std_getc; i_ungetc = std_ungetc; i_mgetc = std_getc; i_mungetc = std_ungetc; output_mode = ASCII; input_mode = ASCII; shift_mode = FALSE; mime_decode_mode = FALSE; file_out = FALSE; mimeout_mode = 0; mimeout_f = FALSE; base64_count = 0; option_mode = 0; } #endif void no_connection(c1,c2) int c1,c2; { fprintf(stderr,"Module connection faileur.\n"); exit(1); } #ifndef PERL_XS void usage() { fprintf(stderr,"USAGE: nkf(nkf32,wnkf,nkf2) -[flags] [in file] .. [out file for -O flag]\n"); fprintf(stderr,"Flags:\n"); fprintf(stderr,"b,u Output is bufferred (DEFAULT),Output is unbufferred\n"); #ifdef DEFAULT_CODE_SJIS fprintf(stderr,"j,s,e Outout code is JIS 7 bit, Shift JIS (DEFAULT), AT&T JIS (EUC)\n"); #endif #ifdef DEFAULT_CODE_JIS fprintf(stderr,"j,s,e Outout code is JIS 7 bit (DEFAULT), Shift JIS, AT&T JIS (EUC)\n"); #endif #ifdef DEFAULT_CODE_EUC fprintf(stderr,"j,s,e Outout code is JIS 7 bit, Shift JIS, AT&T JIS (EUC) (DEFAULT)\n"); #endif fprintf(stderr,"J,S,E Input assumption is JIS 7 bit , Shift JIS, AT&T JIS (EUC)\n"); fprintf(stderr,"t no conversion\n"); fprintf(stderr,"i_/o_ Output sequence to designate JIS-kanji/ASCII (DEFAULT B)\n"); fprintf(stderr,"r {de/en}crypt ROT13/47\n"); fprintf(stderr,"v Show this usage. V: show version\n"); fprintf(stderr,"m[BQS0] MIME decode [B:base64,Q:quoted,N:non-strict,0:no decode]\n"); fprintf(stderr,"M[BQ] MIME encode [B:base64 Q:quoted]\n"); fprintf(stderr,"l ISO8859-1 (Latin-1) support\n"); fprintf(stderr,"f Folding: -f60 or -f\n"); fprintf(stderr,"Z[0-2] Convert X0208 alphabet to ASCII 1: Kankaku to space,2: 2 spaces\n"); fprintf(stderr,"X,x Assume X0201 kana in MS-Kanji, -x preserves X0201\n"); fprintf(stderr,"B[0-2] Broken input 0: missing ESC,1: any X on ESC-[($]-X,2: ASCII on NL\n"); #ifdef MSDOS fprintf(stderr,"T Text mode output\n"); #endif fprintf(stderr,"O Output to File (DEFAULT 'nkf.out')\n"); fprintf(stderr,"d,c Delete \\r in line feed, Add \\r in line feed\n"); fprintf(stderr,"-L[uwm] line mode u:LF w:CRLF m:CR (DEFAULT noconversion)\n"); fprintf(stderr,"long name options\n"); fprintf(stderr," --fj,--unix,--mac,--windows convert for the system\n"); fprintf(stderr," --jis,--euc,--sjis,--mime,--base64 convert for the code\n"); fprintf(stderr," --help,--version\n"); version(); } void version() { fprintf(stderr,"Network Kanji Filter Version %s (%s) " #if defined(MSDOS) && !defined(_Windows) "for DOS" #endif #if !defined(__WIN32__) && defined(_Windows) "for Win16" #endif #if defined(__WIN32__) && defined(_Windows) "for Win32" #endif #ifdef __OS2__ "for OS/2" #endif ,Version,Patchlevel); fprintf(stderr,"\n%s\n",CopyRight); } #endif /** ** パッチ制作者 ** void@merope.pleiades.or.jp (Kusakabe Youichi) ** NIDE Naoyuki ** ohta@src.ricoh.co.jp (Junn Ohta) ** inouet@strl.nhk.or.jp (Tomoyuki Inoue) ** kiri@pulser.win.or.jp (Tetsuaki Kiriyama) ** Kimihiko Sato ** a_kuroe@kuroe.aoba.yokohama.jp (Akihiko Kuroe) ** kono@ie.u-ryukyu.ac.jp (Shinji Kono) ** GHG00637@nifty-serve.or.jp (COW) ** ** 最終更新日 ** 1998.11.12 **/ /* end */ SHAR_EOF fi # end of overwriting check if test -f 'nkf_test.pl' then echo shar: will not over-write existing file "'nkf_test.pl'" else cat << \SHAR_EOF > 'nkf_test.pl' #!/usr/local/bin/perl # # nkf test program for nkf 1.7 # Shinji KONO # Sun Aug 18 12:25:40 JST 1996 # Sun Nov 8 00:16:06 JST 1998 # # This is useful when you add new patch on nkf. # Since this test is too strict, faileurs may not mean # wrong conversion. # # nkf 1.5 differs on MIME decoding # nkf 1.4 passes Basic Conversion tests # nkf PDS version passes Basic Conversion tests using "nkf -iB -oB " # # Basic Conversion print "\nBasic Conversion test\n\n"; # I gave up simple literal quote because there are big difference # on perl4 and perl5 on literal quote. Of course we cannot use # jperl. $example{'jis'} = unpack('u',<<'eofeof'); M1FERED"6GIAR(%-E8V]N9"!3=&%G92"8I9=Y($AI M#28./ >@Y*#DR!+:6=O=2"!18&'@D^"8(._@]:$081@A+X* eofeof $example{'euc'} = unpack('u',<<'eofeof'); M1FERI?*E\R!+:6=O=2"AIJ'GH["CP:;!IMBGHJ?!J,`* eofeof $example{'jis1'} = unpack('u',<<'eofeof'); M&R1";3%Q<$$L&RA""ALD0F4Z3F\;*$(*&R1"L)C^.7S)AJ"0D* eofeof $example{'euc1'} = unpack('u',<<'eofeof'); 8[;'Q\,&L"N6ZSN\*\NT)ON7.SL_+"0D* eofeof $example{'jis2'} = unpack('u',<<'eofeof'); +&R1".EA&(QLH0@H` eofeof $example{'sjis2'} = unpack('u',<<'eofeof'); %C=:3H0H` eofeof $example{'euc2'} = unpack('u',<<'eofeof'); %NMC&HPH` eofeof # From JIS print "JIS to JIS ... ";&test("$nkf ",$example{'jis'},$example{'jis'}); print "JIS to SJIS... ";&test("$nkf -s",$example{'jis'},$example{'sjis'}); print "JIS to EUC ... ";&test("$nkf -e",$example{'jis'},$example{'euc'}); # From SJIS print "SJIS to JIS ... ";&test("$nkf -j",$example{'sjis'},$example{'jis'}); print "SJIS to SJIS... ";&test("$nkf -s",$example{'sjis'},$example{'sjis'}); print "SJIS to EUC ... ";&test("$nkf -e",$example{'sjis'},$example{'euc'}); # From EUC print "EUC to JIS ... ";&test("$nkf ",$example{'euc'},$example{'jis'}); print "EUC to SJIS... ";&test("$nkf -s",$example{'euc'},$example{'sjis'}); print "EUC to EUC ... ";&test("$nkf -e",$example{'euc'},$example{'euc'}); # From JIS print "JIS to JIS ... ";&test("$nkf ",$example{'jis1'},$example{'jis1'}); print "JIS to SJIS... ";&test("$nkf -s",$example{'jis1'},$example{'sjis1'}); print "JIS to EUC ... ";&test("$nkf -e",$example{'jis1'},$example{'euc1'}); # From SJIS print "SJIS to JIS ... ";&test("$nkf -j",$example{'sjis1'},$example{'jis1'}); print "SJIS to SJIS... ";&test("$nkf -s",$example{'sjis1'},$example{'sjis1'}); print "SJIS to EUC ... ";&test("$nkf -e",$example{'sjis1'},$example{'euc1'}); # From EUC print "EUC to JIS ... ";&test("$nkf ",$example{'euc1'},$example{'jis1'}); print "EUC to SJIS... ";&test("$nkf -s",$example{'euc1'},$example{'sjis1'}); print "EUC to EUC ... ";&test("$nkf -e",$example{'euc1'},$example{'euc1'}); # Ambigous Case $example{'amb'} = unpack('u',<<'eofeof'); MI<*PL:7"L+&EPK"QI<*PL:7"L+&EPK"QI<*PL:7"L+&EPK"QI<*PL:7"L+&E MPK"QI<*PL:7"L+&EPK"QI<(*I<*PL:7"L+&EPK"QI<*PL:7"L+&EPK"QI<*P ML:7"L+&EPK"QI<*PL:7"L+&EPK"QI<*PL:7"L+&EPK"QI<(*I<*PL:7"L+&E MPK"QI<*PL:7"L+&EPK"QI<*PL:7"L+&EPK"QI<*PL:7"L+&EPK"QI<*PL:7" ML+&EPK"QI<(*I<*PL:7"L+&EPK"QI<*PL:7"L+&EPK"QI<*PL:7"L+&EPK"Q MI<*PL:7"L+&EPK"QI<*PL:7"L+&EPK"QI<(*I<*PL:7"L+&EPK"QI<*PL:7" ML+&EPK"QI<*PL:7"L+&EPK"QI<*PL:7"L+&EPK"QI<*PL:7"L+&EPK"QI<(* eofeof $example{'amb.euc'} = unpack('u',<<'eofeof'); M&R1")4(P,25",#$E0C`Q)4(P,25",#$E0C`Q)4(P,25",#$E0C`Q)4(P,25" M,#$E0C`Q)4(P,25",#$E0C`Q)4(;*$(*&R1")4(P,25",#$E0C`Q)4(P,25" M,#$E0C`Q)4(P,25",#$E0C`Q)4(P,25",#$E0C`Q)4(P,25",#$E0C`Q)4(; M*$(*&R1")4(P,25",#$E0C`Q)4(P,25",#$E0C`Q)4(P,25",#$E0C`Q)4(P M,25",#$E0C`Q)4(P,25",#$E0C`Q)4(;*$(*&R1")4(P,25",#$E0C`Q)4(P M,25",#$E0C`Q)4(P,25",#$E0C`Q)4(P,25",#$E0C`Q)4(P,25",#$E0C`Q M)4(;*$(*&R1")4(P,25",#$E0C`Q)4(P,25",#$E0C`Q)4(P,25",#$E0C`Q >)4(P,25",#$E0C`Q)4(P,25",#$E0C`Q)4(;*$(* eofeof $example{'amb.sjis'} = unpack('u',<<'eofeof'); M&RA))4(P,25",#$E0C`Q)4(P,25",#$E0C`Q)4(P,25",#$E0C`Q)4(P,25" M,#$E0C`Q)4(P,25",#$E0C`Q)4(;*$(*&RA))4(P,25",#$E0C`Q)4(P,25" M,#$E0C`Q)4(P,25",#$E0C`Q)4(P,25",#$E0C`Q)4(P,25",#$E0C`Q)4(; M*$(*&RA))4(P,25",#$E0C`Q)4(P,25",#$E0C`Q)4(P,25",#$E0C`Q)4(P M,25",#$E0C`Q)4(P,25",#$E0C`Q)4(;*$(*&RA))4(P,25",#$E0C`Q)4(P M,25",#$E0C`Q)4(P,25",#$E0C`Q)4(P,25",#$E0C`Q)4(P,25",#$E0C`Q M)4(;*$(*&RA))4(P,25",#$E0C`Q)4(P,25",#$E0C`Q)4(P,25",#$E0C`Q >)4(P,25",#$E0C`Q)4(P,25",#$E0C`Q)4(;*$(* eofeof print "Ambiguous Case. "; &test("$nkf",$example{'amb'},$example{'amb.euc'}); # Input assumption print "SJIS Input assumption "; &test("$nkf -Sx",$example{'amb'},$example{'amb.sjis'}); # Broken JIS print "Broken JIS "; $input = $example{'jis'}; $input =~ s/\033//g; &test("$nkf -Be",$input,$example{'euc'}); print "Broken JIS is safe on Normal JIS? "; $input = $example{'jis'}; &test("$nkf -Be",$input,$example{'euc'}); # X0201 仮名 # X0201->X0208 conversion # X0208 aphabet -> ASCII # X0201 相互変換 print "\nX0201 test\n\n"; $example{'x0201.sjis'} = unpack('u',<<'eofeof'); MD5.*<(-*@TR#3H-0@U*#2X--@T^#48-3"I%3B7""8()A@F*"8X)D@F6"9H*! M@H*"@X*$@H6"AH*'"I%3BTR-AH%)@9>!E(&0@9.!3X&5@9:!:8%J@7R!>X&! M@6V!;H%O@7"!CPJ4O(IPMK>X/;FZMMZWWKC>N=ZZWH+&"I2\BG#*W\O?S-_- MW\[?M]^QW@K*W\O?S`IH86YK86MU(,K?R]_,I`K*W\O?S-VA"I2\BG""S(SC !"@!" eofeof $example{'x0201.euc'} = unpack('u',<<'eofeof'); MP;2ST:6KI:VEKZ6QI;.EK*6NI;"ELJ6T"L&TL=&CP:/"H\.CQ*/%H\:CQZ/A MH^*CXZ/DH^6CYJ/G"L&TM:VYYJ&JH?>A]*'PH?.AL*'UH?:ARJ'+H=VAW*'A MHCK>.WHZXCMZ.N8[>CKJ. MWJ3("LB^L]&.RH[?CLN.WX[,CM^.S8[?CLZ.WXZWCM^.L8[>"H[*CM^.RX[? MCLP*:&%N:V%K=2".RH[?CLN.WX[,CJ0*CLJ.WX[+CM^.S([=CJ$*R+ZST:3. #N.4* eofeof $example{'x0201.jis'} = unpack('u',<<'eofeof'); M&R1"030S424K)2TE+R4Q)3,E+"4N)3`E,B4T&RA""ALD0D$T,5$C02-"(T,C M1"-%(T8C1R-A(V(C8R-D(V4C9B-G&RA""ALD0D$T-2TY9B$J(7.5XZ7ALD0B1(&RA""ALD0D@^,U$;*$E*7TM?3%]-7TY? M-U\Q7ALH0@H;*$E*7TM?3!LH0@IH86YK86MU(!LH24I?2U],)!LH0@H;*$E* 97TM?3%TA&RA""ALD0D@^,U$D3CAE&RA""@`` eofeof $example{'x0201.sosi'} = unpack('u',<<'eofeof'); M&R1"030S424K)2TE+R4Q)3,E+"4N)3`E,B4T&RA*"ALD0D$T,5$C02-"(T,C M1"-%(T8C1R-A(V(C8R-D(V4C9B-G&RA*"ALD0D$T-2TY9B$J(7.5XZ7@\;)$(D2!LH2@H;)$)(/C-1&RA*#DI?2U],7TU? M3E\W7S%>#PH.2E]+7TP/&RA*"FAA;FMA:W4@#DI?2U],)`\;*$H*#DI?2U], 672$/&RA*"ALD0D@^,U$D3CAE&RA""@`` eofeof $example{'x0201.x0208'} = unpack('u',<<'eofeof'); M&R1"030S424K)2TE+R4Q)3,E+"4N)3`E,B4T&RA""ALD0D$T,5$;*$)!0D-$ M149'86)C9&5F9PH;)$)!-#4M.68;*$(A0",D)5XF*B@I+2L]6UU[?1LD0B%O M&RA""ALD0D@^,U$E*R4M)2\;*$(]&R1")3$E,R4L)2XE,"4R)30D2!LH0@H; M)$)(/C-1)5$E5"57)5HE724M(2PE(B$K&RA""ALD0B51)50E51LH0@IH86YK M86MU(!LD0B51)50E52$B&RA""ALD0B51)50E525S(2,;*$(*&R1"2#XS421. &.&4;*$(* eofeof # -X is necessary to allow X0201 in SJIS # -Z convert X0208 alphabet to ASCII print "X0201 conversion: SJIS "; &test("$nkf -XZ",$example{'x0201.sjis'},$example{'x0201.x0208'}); print "X0201 conversion: JIS "; &test("$nkf -Z",$example{'x0201.jis'},$example{'x0201.x0208'}); print "X0201 conversion:SI/SO "; &test("$nkf -Z",$example{'x0201.sosi'},$example{'x0201.x0208'}); print "X0201 conversion: EUC "; &test("$nkf -Z",$example{'x0201.euc'},$example{'x0201.x0208'}); # -x means X0201 output print "X0201 output: SJIS "; &test("$nkf -xs",$example{'x0201.euc'},$example{'x0201.sjis'}); print "X0201 output: JIS "; &test("$nkf -xj",$example{'x0201.sjis'},$example{'x0201.jis'}); print "X0201 output: EUC "; &test("$nkf -xe",$example{'x0201.jis'},$example{'x0201.euc'}); # MIME decode print "\nMIME test\n\n"; # MIME ISO-2022-JP $example{'mime.iso2022'} = unpack('u',<<'eofeof'); M/3])4T\M,C`R,BU*4#]"/T=Y4D%.144W96E23TI566Q/4U9)1WEH2S\]"CT_ M:7-O+3(P,C(M2E`_0C]'>5)!3D5%-V5I4D]*55EL3U-624=Y:$L_/0H]/VES M;RTR,#(R+4I0/U$_/3%")$(D1B11/3%"*$)?96YD/ST*&R1`)#TD)B0K)$H; M*$H@/3])4T\M,C`R,BU*4#]"/T=Y4D%.144W96E23U!Y:S=D:'-O4V<]/3\] M(&5N9"!O9B!L:6YE"CT_25-/+3(P,C(M2E`_0C]'>5)!3D5%-V5I4D]0>6LW M9&AS;U-G/3T_/2`]/TE33RTR,#(R+4I0/T(_1WE204Y%13=E:5)/4'EK-V1H M5)!3D5%-V5I 44D]*55EL3QM;2U-624=Y:$L_/0H_ eofeof $example{'mime.ans.strict'} = unpack('u',<<'eofeof'); M&R1"-$$[>B1.)48E.25(&RA""ALD0C1!.WHD3B5&)3DE2!LH0@H;)$(D1B11 M&RA"(&5N9`H;)$(D/20F)"LD2ALH0B`;)$(T03MZ)$X_*3MV&RA"96YD(&]F M(&QI;F4*&R1"-$$[>B1./RD[=C1!.WHD3C\I.W8;*$(*0G)O:V5N(&-A5)!3D5%-V5I4D]*55EL3QM;2U-624=Y:$L_/0H_ eofeof $example{'mime.unbuf.strict'} = unpack('u',<<'eofeof'); M&R1"-$$[>B1.)48E.25(&RA""ALD0C1!.WHD3B5&)3DE2!LH0@H;)$(D1B11 M&RA"(&5N9`H;)$(D/20F)"LD2ALH0B`;)$(T03MZ)$X_*3MV&RA"96YD(&]F M(&QI;F4*&R1"-$$[>B1./RD[=C1!.WHD3C\I.W8;*$(*0G)O:V5N(&-AB1./RD;*$)H5)! M3D5%-V5I4D]0>6LW9&AS;U-G/3T_/0H;)$(T03MZ)$XE1ALH0EM+4U9)1WEH $2S\]"F5I eofeof $example{'mime.ans'} = unpack('u',<<'eofeof'); M&R1"-$$[>B1.)48E.25(&RA""ALD0C1!.WHD3B5&)3DE2!LH0@H;)$(D1B11 M&RA"(&5N9`H;)$(D/20F)"LD2ALH0B`;)$(T03MZ)$X_*3MV&RA"96YD(&]F M(&QI;F4*&R1"-$$[>B1./RD[=C1!.WHD3C\I.W8;*$(*0G)O:V5N(&-AB1./RD;*$)HB1./RD[=ALH0@H;)$(T 603MZ)$XE1ALH0EM+4U9)1WEH2S\]"@`* eofeof $example{'mime.unbuf'} = unpack('u',<<'eofeof'); M&R1"-$$[>B1.)48E.25(&RA""ALD0C1!.WHD3B5&)3DE2!LH0@H;)$(D1B11 M&RA"(&5N9`H;)$(D/20F)"LD2ALH0B`;)$(T03MZ)$X_*3MV&RA"96YD(&]F M(&QI;F4*&R1"-$$[>B1./RD[=C1!.WHD3C\I.W8;*$(*0G)O:V5N(&-AB1./RD;*$)HB1./RD[=ALH0@H;)$(T 603MZ)$XE1ALH0EM+4U9)1WEH2S\]"@`* eofeof $example{'mime.base64'} = unpack('u',<<'eofeof'); M9W-M5"])3&YG$I+-&=Q=4,S24LS9W%Q0E%:3TUI-39,,S0Q-&=S5T)1 M43!+9VUA1%9O3T@*9S)+1%1O3'=K8C)1;$E+;V=Q2T-X24MG9W5M0W%*3EEG <$E+9V=U;4,X64Q&9W)70S592VMG<6U""F=Q eofeof $example{'mime.base64.ans'} = unpack('u',<<'eofeof'); M&R1")$M&?B1I)#LD1D0Z)"TD7B0Y)"PA(D5L-7XV83E9)$tmp1");print OUT pack('u',$tmp);close(OUT); # unbuf mode implies more pessimistic decode print "MIME decode (unbuf) "; &test("$nkf -mNu",$example{'mime.iso2022'},$example{'mime.unbuf'}); print "MIME decode (base64) "; &test("$nkf -mB",$example{'mime.base64'},$example{'mime.base64.ans'}); # MIME ISO-8859-1 $example{'mime.is8859'} = unpack('u',<<'eofeof'); M/3])4T\M.#@U.2TQ/U$_*CU#-V%V83\_/2`*4&5E2P@1$5.34%22R`@7"`B36EN(&OF<&AE 'test.pl' #!/usr/local/bin/perl # # nkf test program for nkf 1.7 # Shinji KONO # Sun Aug 18 12:25:40 JST 1996 # Sun Nov 8 00:16:06 JST 1998 # # This is useful when you add new patch on nkf. # Since this test is too strict, faileurs may not mean # wrong conversion. # # nkf 1.5 differs on MIME decoding # nkf 1.4 passes Basic Conversion tests # nkf PDS version passes Basic Conversion tests using "nkf -iB -oB " # $nkf = "./nkf"; # $nkf = "doscmd nkf.exe"; # If you want to see the testing process, set next flag. $detail_all = 0; $error_count=1; # &library_test0(); sub test { &command_test(@_); } sub command_test { local ($nkf,$in,$ans,$detail) = @_; local ($result); $result = ''; open(OUT,"> nkf.in"); print OUT $in; close(OUT); system("$nkf nkf.out"); # easy open(IN,"< nkf.out"); print STDERR "\nINPUT:\n",$in if ($detail || $detail_all); print STDERR "\nEXPECT:\n", $ans if ($detail || $detail_all); while() { $result .= $_; } print STDERR "\nGOT:\n",$result if ($detail || $detail_all); if( $nkf =~ /-m/) { $result =~ s/ //g; $ans =~ s/ //g; } if ($result ne $ans) { print "Fail\n"; system "mv nkf.in nkf.in.$error_count.bad"; system "mv nkf.out nkf.out.$error_count.bad"; open(OUT,"> nkf.expect.$error_count.bad"); print OUT $ans; close(OUT); $error_count++; } else { print "Ok\n"; } return $result; } do "nkf_test.pl"; SHAR_EOF fi # end of overwriting check if test -f 'NKF/Changes' then echo shar: will not over-write existing file "'NKF/Changes'" else cat << \SHAR_EOF > 'NKF/Changes' Revision history for Perl extension NKF. 1.7 Sat Nov 7 16:50:33 1998 - original version; created by h2xs 1.18 SHAR_EOF fi # end of overwriting check if test -f 'NKF/MANIFEST' then echo shar: will not over-write existing file "'NKF/MANIFEST'" else cat << \SHAR_EOF > 'NKF/MANIFEST' Changes MANIFEST Makefile.PL NKF.pm NKF.xs test.pl SHAR_EOF fi # end of overwriting check if test -f 'NKF/Makefile.PL' then echo shar: will not over-write existing file "'NKF/Makefile.PL'" else cat << \SHAR_EOF > 'NKF/Makefile.PL' use ExtUtils::MakeMaker; # See lib/ExtUtils/MakeMaker.pm for details of how to influence # the contents of the Makefile that is written. WriteMakefile( 'NAME' => 'NKF', 'VERSION_FROM' => 'NKF.pm', # finds $VERSION 'LIBS' => [''], # e.g., '-lm' 'DEFINE' => '', # e.g., '-DHAVE_SOMETHING' 'INC' => '', # e.g., '-I/usr/include/other' 'INC' => '', # e.g., '-I/usr/include/other' ); sub MM::postamble { ' NKF.c: ../nkf.c '; } SHAR_EOF fi # end of overwriting check if test -f 'NKF/NKF.pm' then echo shar: will not over-write existing file "'NKF/NKF.pm'" else cat << \SHAR_EOF > 'NKF/NKF.pm' package NKF; use strict; use vars qw($VERSION @ISA @EXPORT @EXPORT_OK); require Exporter; require DynaLoader; @ISA = qw(Exporter DynaLoader); # Items to export into callers namespace by default. Note: do not export # names by default without a very good reason. Use EXPORT_OK instead. # Do not simply export all your public functions/methods/constants. @EXPORT = qw( nkf ); $VERSION = '1.92'; bootstrap NKF $VERSION; # Preloaded methods go here. # Autoload methods go after =cut, and are processed by the autosplit program. 1; __END__ # Below is the stub of documentation for your module. You better edit it! =head1 NAME NKF - Perl extension for Network Kanji Filter =head1 SYNOPSIS use NKF; $output = nkf("-s",$input); =head1 DESCRIPTION This is a Perl Extension version of nkf (Netowrk Kanji Filter ) 1.7. It converts the last argument and return converted result. Conversion details are specified by flags before the last argument. Flags: C C C C C C C C C C or C<-f>> C C preserves X0201> C C C C C C C C< -Lu unix (LF) > C< -Lw windows (CRLF) > C< -Lm mac (CR) > C< --fj,--unix,--mac,--msdos, --windows convert for these system> C< --jis,--euc,--sjis,--mime,--base64 convert for named code> C< --jis-input,--euc-input,--sjis-input,--mime-input,--base64-input assume input system> C< -- ignore rest of -option> C< --help> C< --version> =head1 AUTHOR Network Kanji Filter Version 1.9 (2/0002/Shinji Kono) Copyright (C) 1987, FUJITSU LTD. (I.Ichikawa),1998 S. Kono, COW =head1 SEE ALSO perl(1). nkf(1) =cut SHAR_EOF fi # end of overwriting check if test -f 'NKF/NKF.xs' then echo shar: will not over-write existing file "'NKF/NKF.xs'" else cat << \SHAR_EOF > 'NKF/NKF.xs' #ifdef __cplusplus extern "C" { #endif #include "EXTERN.h" #include "perl.h" #include "XSUB.h" #ifdef __cplusplus } #endif /* Replace nkf's getchar/putchar for variable modification */ /* we never use getc, ungetc */ #undef getc #undef ungetc #define getc(f) (input_ctr>i_len?-1:input[input_ctr++]) #define ungetc(c,f) input_ctr-- #define INCSIZE 32 #undef putchar #undef TRUE #undef FALSE #define putchar(c) nkf_putchar(c) /* Input/Output pointers */ static unsigned char *output; static unsigned char *input; static STRLEN input_ctr; static STRLEN i_len; static STRLEN output_ctr; static STRLEN o_len; static STRLEN incsize; static SV *result; /* put one char in the result string variable */ static int nkf_putchar_grow(unsigned int c) ; /* inline ... no use */ static int nkf_putchar(unsigned int c) { /* string length is enough? */ if(output_ctr 'NKF/README' v1.7 河野真治 kono@ie.u-ryukyu.ac.jp Sun Nov 8 00:42:15 JST 1998 これは、Perl から nkf を使う拡張モジュールです。 いつものように、 perl5 Makefile.PL make make install とすることにより使えるようになります。 使い方は、 use NKF; $output = nkf($flag,$input); のように使います。flag は、nkf と同じです。 配布の条件は、nkf と同様とします。 SHAR_EOF fi # end of overwriting check if test -f 'NKF/test.pl' then echo shar: will not over-write existing file "'NKF/test.pl'" else cat << \SHAR_EOF > 'NKF/test.pl' #!/usr/local/bin/perl # # nkf test program for nkf 1.7 # Shinji KONO # Sun Aug 18 12:25:40 JST 1996 # Sun Nov 8 00:16:06 JST 1998 # # This is useful when you add new patch on nkf. # Since this test is too strict, faileurs may not mean # wrong conversion. # # nkf 1.5 differs on MIME decoding # nkf 1.4 passes Basic Conversion tests # nkf PDS version passes Basic Conversion tests using "nkf -iB -oB " # $nkf = "./nkf"; # $nkf = "doscmd nkf.exe"; # If you want to see the testing process, set next flag. $detail_all = 0; &library_test0(); sub test { use NKF; &library_test(@_); } sub library_test { local ($nkf,$in,$ans,$detail) = @_; local ($result); $nkf =~ s/^[^_]* //; print "\nINPUT:\n",$in if ($detail || $detail_all); print "\nEXPECT:\n", $ans if ($detail || $detail_all); $result = NKF::nkf($nkf,$in); print "\nGOT:\n",$result if ($detail || $detail_all); if($nkf=~/-m/) { $result =~ s/ //g; $ans =~ s/ //g; } print (($result eq $ans)?"Ok\n":"Fail\n"); return $result; } sub library_test0 { BEGIN { $| = 1; print "1..3\n"; } END {print "not ok 1\n" unless $loaded;} use NKF; $loaded = 1; print "ok 1\n"; ######################### End of black magic. # Insert your test code below (better if it prints "ok 13" # (correspondingly "not ok 13") depending on the success of chunk 13 # of the test code): if ( nkf("-m","-e","1") ) { print "ok 2\n"; } else { print "no 2\n"; } $output = nkf("\033\$@#1#3#2%B"); if ($output) { # print $output,"\n"; print "ok 3\n"; } else { print "no 3\n"; } $output = nkf("-Zj","\033\$@#1#3#2%B"); if ($output) { # print $output,"\n"; print "ok 4\n"; } else { print "no 4\n"; } # conversion makes strings longer $output = "\244\306 " x 1024; $old = length($output); $output = nkf("-j",$output); if ($output) { # print $output,"\n"; print "ok 5 $old ",length($output),"\n"; } else { print "no 5\n"; } } do "../nkf_test.pl"; SHAR_EOF fi # end of overwriting check # End of shell archive exit 0