ぼなんさのMT4自動売買でがっちり！

先日の記事で、これまでのヒストリカルデータの更新日から、毎月第2週の週末に前月末までのヒストリカルデータの追加が行われているようだと推測しましたが、いきなり外しました。

7月分の追加は今度の週末（9日または10日）だと予測していたのですが、先ほど何気なくヒストリカルデータのダウンロードボタンを押したら、データ追加時に起こるチャートのシフトが起こりました。もしやと思って、ヒストリカルデータのフォルダを確認したところ、7月分のデータが追加され、8月分がちょっとダウンロードされてました。

うーん、必ずしも第2週末に更新と言うわけではないんですね・・・だまされました。ひょっとすると今月は来週、ヒストリカルデータの管理担当者が夏休み等でいないので、早めにアップロードしたとか・・・？

早速、各通貨ペアのヒストリカルデータをダウンロードしたので、近日中に7月のバックテスト結果を検証し、随時記事にしたいと思います。

1. 2008/08/05(火) 07:47:33|
2. ヒストリカルデータ
4. | コメント：0

Metaquotes社のヒストリカルデータがようやく6月分まで更新されたようです。これでようやく先月のバックテスト結果を検証できます。あいにく今日はこれから外出してしまうので、明日以降の記事で紹介したいと思います。

ここ数ヶ月の更新確認日を調べてみたら、5/11, 6/8, 7,13だったことがわかりました。いずれも第２日曜日だったので、おそらく第２週目の週末にヒストリカルデータの補充を行っているようです。来月は10日には更新されると言うことになりそうです。更新予定がわかっていると毎日確認しなくても良いので安心ですね。毎日確認しているような人はあまりいないと思いますが・・・。

1. 2008/07/13(日) 06:58:03|
2. ヒストリカルデータ
4. | コメント：0

2006年9月前後でMetaQuotes社のヒストリカルデータの質が変わるという情報についての検証をしていますが、本日はMetaQuotes社のヒストリカルデータでのバックテスト結果とFXDD社提供のヒストリカルデータでのバックテスト結果をBN328で比較してみます。
FXDD社提供のヒストリカルデータはこちらからダウンロードできます。ダウンロードしたデータはこちらで紹介されている方法でMT4に取り込むことが出来ます。
残念ながらFXDD社提供のヒストリカルデータは2005年以降のものしかないようなので、それ以降のバックテスト結果の比較となります。また、2008年4月以降のデータはバックテストするとチャートエラーがたくさん出てしまい、Modelling Qualityがn/aとなってしまうので、直近は2008年3月までの検証としました。

結果は一目瞭然。同じEAの同じ期間のバックテスト結果とは思えないぐらいに違いますね。FXDD社のデータでのバックテスト結果は、2005年～2007年のパフォーマンスが全般的に低下しており、特に2005年はマイナスの結果になってしまっています。唯一の救いは、直近の2008年のパフォーマンスは、MetaQuotes社のデータよりも良くなっていることでしょうか・・・。
2006年以前は例の問題のせいもあってパフォーマンスが大きく変わってしまうのも仕方ないかもしれませんが、2007年以降のパフォーマンスまでも大きく変わることに驚いています。

それにしてもいったい何を基準にEAを検証して行ったらよいのかわからなくなりますね。果たしてどちらのヒストリカルデータでもほとんどパフォーマンスが変わらないようなEAに改良できるのか・・・壁はかなり高いような気がします･･･。

MetaQuotes社のデータ (BN328: 2005-2008/3)


FXDD社のデータ (BN328: 2005-2008/3)

	MetaQuote社のデータ			FXDD社のデータ
Testing Period	Total Trades	Profit Factor	Profit trades (%)	Total Trades	Profit Factor	Profit trades (%)
2005	929	5.86	98.49	448	0.89	91.52
2006	929	3.87	97.74	462	2.21	96.32
2007	384	2.95	97.14	445	1.45	94.61
(-3/31)
2008	114	2.46	96.49	122	3.32	97.54
2005-2008	2356	4.10	97.88	1477	1.41	94.45

1. 2008/06/07(土) 08:27:38|
2. ヒストリカルデータ
4. | コメント：6

MetaQuotes社のヒストリカルデータがおかしいところが見られる件についてODLさんに電話して聞いてみました。
窓口の方が言うには、ちょうど2006年9月と言うのはODLでのスプレッドを狭くした時期にあたるので、その影響ではないかと言うことでした・・・が、それでは納得がいかないので、ODLだけじゃなくて他のブローカーでも同様な現象が観察される旨を伝えると、他の部署に電話を回されました。
いろいろ調べてみてくれたようですが、はっきりとしたことはわからず、イギリスの本社の方に確認して、回答を連絡いただくことになりました。でもちょうど監査時期に入っているとかで、回答にしばらく時間がかかるかもしれないとのことです。
そのまま忘れ去られないように時々確認の電話を入れるようにしたいと思います。

これだけでは、何ですので、情報を少し。
先日コメント欄でブローカー提供のヒストリカルデータがあることを教えていただきましたが、早速ダウンロードしてみたので、先日紹介したEURUSDのデータが切り替わっているように見えるあたりのデータをチャートに表示させて見ました。
なお、データの取り込み方は、FX投機家さんのブログを参考にしました。

MetaQuotes社のデータ（FXDD）


FXDD社のデータ（FXDD)


Alpari社のデータ（Alpari）


プライスの流れは同じような感じですが、細かな動きがまったく異なることがわかりますね。ブローカー提供のデータでは問題の時点の前後での違いは特にないようですが、これがブローカーでの実際の価格変動だとすると、今回問題にしている2006年9月以前のデータの問題よりももっと検討しないといけない問題がありそうに感じます・・・。いったい何を信じてバックテストをすればいいのでしょうか？

BNシリーズはAlpariでは半年以上のバックテストが出来ないので、FXDDのデータについて後日検証結果を記事にしたいと思います。

1. 2008/06/04(水) 08:00:26|
2. ヒストリカルデータ
4. | コメント：3

リンクを貼らせていただいているFX投機家さんのブログで知ったのですが、為替龍さんのところの掲示板にMetaquote社からダウンロードされるヒストリカルデータにおかしいところがあるという内容のスレッドが立っています。
書き込まれた内容によると2006年9月前後のデータの1分足をよくみると、ある時点を境にその前はヒゲが多い足になっているとのことです。自分でもチャートを確認してみましたが、確かに2006年9月の途中で、足のパターンが変わっているのがわかりました。

一例として、EURUSDのM1のチャートを載せておきます。中央の前ではヒゲの多い足になっているのが良くわかると思います。これはFXDDのチャートですが、ODLや他のブローカーでも同様のチャートが観察されました。


ヒゲが多いということは、それだけ価格の変動が大きいと言うことになると思うので、数pipsで決済されるようなEAは頻繁に約定することになってしまいますね。
これまでは相場が荒れているなどの理由で、2007年以降はEAのパフォーマンスが低下するのではないかと思っていたのですが、実は2007年以降のパフォーマンスが低下しているのではなくて、2006年以前のパフォーマンスが過大評価されている可能性が強く疑われます。

それにしても2006年9月以前のデータがどうしてそのようになっているのか、それが人為的なものなのか、それとも本当にそのような価格変動をしていたのか確認する必要がありますね。
取りあえずは、困ったときのODLさんのフリーダイアルに掛けて聞いてみましょうか。

1. 2008/06/01(日) 08:28:18|
2. ヒストリカルデータ
4. | コメント：2

先日の記事に書いたようにUSDJPYのヒストリカルデータをMetaquote社のサーバからダウンロードしようとすると（F2を押してヒストリーセンターを表示させ、USDJPYを選択した後Downloadボタンを押す）、2004年のデータが2月までしかダウンロードされない場合があるようです。
2004年のチャートデータがちゃんと表示されていれば大丈夫ですが、もし一部欠損しているようでしたら、お使いのMT4のフォルダの中のhistory＞downloads＞USDJPYの中を見ていただければ、ヒストリカルデータが月単位のファイルで入っているので、ちゃんとダウンロードされているかどうかわかります。
もし2004年2月以降のデータが大幅に欠損している（3月以降のデータがない）ようでしたら、私がダウンロードしたデータを差し上げますので、こちらからダウンロードして上記のフォルダ（お使いのMT4のフォルダの中のhistory＞downloads＞USDJPY）にコピーしてみてください（ダウンロードデータの再配布は違法ですかね？）。
USDJPY2004年ヒストリカルデータ

コピーしたあと、再度USDJPYのヒストリカルデータをMetaquote社のサーバからダウンロードする（F2を押してヒストリーセンターを表示させ、USDJPYを選択した後Downloadボタンを押す）と、コピーしたデータが認識され、3月以降のデータが補完されると思います。
残念ながら相変わらず2月のデータが途中で終わっているようで、10日以降のデータがありませんが、これが現状で簡単にできる精一杯の対処だと思います。後はデータをインポートするしかないでしょうかね？やったことないので良くわかりません・・・。
ちなみに上記リンク先にからコピーできるデータは、ファイルサイズから推察すると2月分もちゃんとそろっているようなのですが（93KB）、データを認識させようダウンロードボタンを押すと、欠損したデータファイル（36KB）が上書きされてしまうようです。
どなたか何か良い対処法をご存知ありませんか？

1. 2008/05/05(月) 07:10:50|
2. ヒストリカルデータ
4. | コメント：0

5月になったので、4月までのバックテストデータを取ろうかと思ってヒストリカルデータををダウンロードしなおしたのですが、Metaquote社のサーバには1週間前までのデータしか入っていないようですね。
ダウンロード直後に表示させていたチャートの直近のデータが消えてしまい、4/25までしか表示されなくなって、そこから1週間飛んで現在の値の表示になってしまいびっくりしました。
チャートのタイムフレームを変更したり、MT4を再起動すれば、直近のデータが補完されるようですが、どうやらこの1週間分はブローカーのサーバからダウンロードされているようです。
この状態で直近のバックテストを行っても後日データが1週間分入れ替わることを考えると、再現性のない結果が出てしまいます。そういうわけで4月までのバックテストデータの掲載は、1週間後以降に行おうと思います。
ちなみに、ODLライブ口座での結果ですが、BN328は公開以降無敗で（一部異なるブローカーではFOMC後の変動に巻き込まれ負けてしまったようです）、BN323のUSDJPYは4月中無敗で2008年は１敗を死守しております。

1. 2008/05/03(土) 06:15:27|
2. ヒストリカルデータ
4. | コメント：2

これまた他の方のブログに書かれていたことなのですが、今新たにUSDJPYのヒストリカルデータをMetaQuoteのサーバからダウンロードしようとすると、2004年2月～12月のデータがダウンロードされないようです。確かに2004年のバックテストを行うと2月途中で終わってしまいます。これまた原因不明です。
少し前にダウンロードしたMT4のhistoryフォルダの中には今ダウンロードできない期間のデータもそろっていたのでそれをコピーして使ってみたらちゃんとデータが補充されたようで、2004年の最後までバックテストが行われました。心配なのはダウンロードした時期によってデータが変わっていないかということ。
ダウンロードできる過去のデータは常に同じであってもらわないと困るのですが・・・。

追記
2004年のデータですがチャートを見てみたら、2月のデータがまだ一部欠けたままになってました。ヒストリセンタからダウンロードされる一部欠けたデータが上書きされてしまうのでしょうか？
謎は深まるばかりです･･･。

1. 2008/04/08(火) 14:44:20|
2. ヒストリカルデータ
4. | コメント：1

他の方のブログで、あるEAの公表されているバックテスト結果とそのEAを自分でバックテストした結果が異なるという内容の記事がありました。どうやら為替データが1時間ずれてテストされているようだと推察されていました。
その記事を読んで関係あるかどうかわからなかったのですが、つい先日自分におきた出来事をコメントしました。
バックテストをするとチャートエラーがカウントされることがあるので、ダウンロードデータに不備があるのかと思って、一旦ヒストリカルデータを一旦削除した後、新たにダウンロードしなおしたらその前後でバックテスト結果が大きく変わってしまったのです。
原因を探ったところ、ダウンロード行う前後ですべてのデータが1時間ずれていることがわかり、EAで参照している時間をずらして設定したら以前と同じ結果が出るようになりました。
結局どうしてそのようなことになったのかはわかりませんでしたが、ヒストリカルデータをダウンロードする時期によってMT4上の扱いが変わることがあるのかもしれないと思ってしまいました。
ヒストリカルデータの質が保証されないとバックテストでEAを評価するのは難しくなりますね。

1. 2008/04/08(火) 14:04:43|
2. ヒストリカルデータ
4. | コメント：0