プログラムなど個人的メモ

HDF5 : 構造体(COMPOUND型)の書込み

Wed, 27 Feb 2013 22:02:19 +0900

構造体データの書込み

HDFViewをいじって、データの追加などしてみると、通常のDatasetの追加と異なり、CompoundDS(合成型)というものがあるのに気づくと思う。今回はこれの書込み。

このデータを書き込むには構造体が必要になる。ただ構造体を宣言するのではなく、structLayout属性を追加しなければならない。これを宣言しないと外部DLLに数値を渡せない。引数のlayoutKindはsequentialを選んで構造体の宣言順にデータにする。さらにパラメータにあるPackを宣言して1バイトずつパックする宣言を追加する。

[StructLayout(LayoutKind.Sequential,Pack = 1)]
struct TestStruct
{
   public int TestInt;
   public int TestDouble;
}

続いてHDF5ファイルの書込み準備。
必要なIDを準備する。
H5DataSpaceId :
　データの配列などの大きさを指定する。今までの記事を参照

H5DataTypeId :
　H5Tクラスにあるcreateメソッドを使用する。引数にH5TクラスにあるCreateClassの列挙より"COMPOUND"を選択する。もう一つの引数には一つのデータのサイズをバイト単位で指定する。もしint型とdouble型を合成型に書き込む場合は合計サイズ4+8=12バイトを指定する。

H5DataTypeId typeID = H5T.create( H5T.CreateClass.COMPOUND,12);

さらに、このDataTypeIdを使用して、データ領域を指定していく。
使用するメソッドはH5Tクラスにあるinsertメソッド。引数は以下の通り。
　compoundDataType : 上記のH5DataTypeIdを指定
　fieldName : string型。データの名前HDFViewで表示するときや、データを参照する際に使用する
　offset : int型。データが始まる位置。詳しくは下記の例を参照
　fieldId : H5DataTypeId型。挿入するデータの型。
使用方法は下記のようにint型を挿入する場合はfieldId部には"NATIVE_INT"の列挙を使用して作成したH5DataTypeIdクラスを、double型を使用する場合は"NATIVE_DOUBLE"の列挙など、書き込むデータに合わせてH5DataTypeIdを作成する。
offsetには最初は0を指定すればいいが、次に挿入を行う場合には前回までのデータをサイズを足して書いていかなければならない。もちろん上記のCompoundのH5DataTypeIdを指定した時のサイズを超えてはならない。

H5DataTypeId intTypeId = H5T.copy(H5T.H5Type.NATIVE_INT);
H5T.insert(typeID, "IntTestData", 0, intTypeId);
H5DataTypeId doubleTypeId = H5T.copy(H5T.H5Type.NATIVE_DOUBLE);
H5T.insert(typeID, "DoubleTestData", 4, doubleTypeId);

上記の"H5T.insert"メソッドにて、1番目に使用する"H5DataTypeId"を使用して"H5DataSetId"を作成し、H5Arrayクラスを作成して書き込む。write時に使用するジェネリックの型はもちろん使用する配列型を使用する。

H5DataSetId setID = H5D.create(fileID, "COMPOUND", typeID, spaceID);
TestStruct testData = new TestStruct();
testData.TestDouble = 0.123456;
testData.TestInt = -123;
TestStruct[]　testArray = new TestStruct[]{testData};
H5Array<TestStruct> array = new H5Array<TestStruct>(testArray);
H5D.write<TestStruct>(setID, typeID, array);

あとは毎度のようにIDの解放処理を行う。

HDF5DotNet : Enumデータの書込・読込

Tue, 19 Feb 2013 22:24:58 +0900

ENUMデータの書込み、読込みについて。

ENUMデータを書き込むには、"H5T"クラスにある"createEnum"メソッドを使用して"H5DataTypeID"クラスを作成する。引数は"H5T.H5Type"の列挙なので、適当に指定。NATIVE_INTなどでいいと思う。

H5DataTypeId typeID = H5T.enumCreate( H5T.H5Type.NATIVE_INT );

次に、書き込むデータとHDFViewなどを使用した場合に表示されるデータを準備する。使うメソッドは"H5T"クラスにある"enumInsert"のジェネリックメソッド。
引数は以下の通り
　"typeId" : "H5DataTypeId"クラス、上記のメソッドで取得したものを使用する
　"name" : "string"クラス、表示する名前
　"value" : "ref int"クラス、名前表示と関係させる値
例えば、bool値"True"と"False"を作成する場合は、以下のようにする。

int f_index = 0;
int t_index = 1;
H5T.enumInsert<int>( typeID, "FALSE", ref f_index );
H5T.enumInsert<int>( typeID, "TRUE", ref t_index );

あとは"H5DataSetId"クラスを作成して、"write<>"してやればいい。

値を読み込む場合は、値型を読み込む方法を行えば、数値が取得できる。
その後、"H5DataTypeId"クラスを使用して表示名を取り出す。取り出す際に使用するメソッドは"H5T"クラスにある"enumNameOf"というジェネリックメソッドを使用する。引数、戻り値は以下の通り。
　"typeId" : "H5DataTypeId"クラス、読み込み時に使用したもの
　"value" : "ref int"クラス、データと関連付けた値を使用。要は読み取り時に取得した値。
　戻り値："string"クラス。関連付けた名前

string name = H5T.enumNameOf<int>( rTypeID, ref index );

戻ってきた値を調べて、再びenum値に戻してやればC#上で使用できるようになる。
以下、サンプル。

//	書込みサンプル
H5FileId fileID = H5F.open( "C:\\HDFSampleFile.hdf5", H5F.OpenMode.ACC_RDWR );
H5DataSpaceId spaceID = H5S.create_simple( 1, new long[] { 1 } );
H5DataTypeId typeID = H5T.enumCreate( H5T.H5Type.NATIVE_INT );
H5DataSetId dataSetID = H5D.create( fileID,"ENUMDataSet",typeID ,spaceID  );
int[] intArray = new int[] { 1 };
H5Array<int> array = new H5Array<int>( intArray );
H5D.write<int>( dataSetID, dataTypeId, array );
H5D.close( dataSetID );
H5T.close( dataTypeId );
H5S.close( spaceID );
H5F.close( fileID );

//	読み込みサンプル
H5FileId fileID = H5F.open( "C:\\HDFSampleFile.hdf5", H5F.OpenMode.ACC_RDWR );
H5DataSetId datasetID = H5D.open( fileID, "ENUMDataSet" );
H5DataTypeId typeId = H5D.getType( datasetID );
int[] intArray = new int[1];
H5Array<int> array = new H5Array<int>( intArray );
H5D.read<int>( datasetID , typeId , new H5Array<int>( array ) );
int index = intArray[ 0 ];
//	これで文字列で関連付けた表示が取得される。
string name = H5T.enumNameOf<int>( typeId , ref index );
H5D.close( dataSetID );
H5T.close( typeId );
H5F.close( fileID );

プログラムでの値型の精度とか

Fri, 15 Feb 2013 11:33:34 +0900

HDF5DotNetとは別でプログラムの話。

プログラムで、多項式近似の係数を出力する機能がほしくなったので、適当にネットで転がっている情報をもとに作成。参考ページとできたのがこれ

エクセルを用いた最小二乗法 : http://homepage1.nifty.com/gfk/square_ren.htm
逆行列の求め方 : http://thira.plavox.info/blog/2008/06/_c.html

プログラム

//行列の作成
dimWithIntercept = 5;
double[ , ] matrix = new double[ dimWithIntercept, dimWithIntercept];
double[ , ] copy = new double[ dimWithIntercept, dimWithIntercept ];
double[ , ] revMatrix = new double[ dimWithIntercept, dimWithIntercept ];
double[] vector = new double[dimWithIntercept];
List<double> ret = new List<double>( );
int digit = 15;
MidpointRounding rounding = MidpointRounding.AwayFromZero;
for( int i = 0 ; i < xyValues.Count ; i++ ) {
    //	行列の作成
    for( int j = 0 ; j < dimWithIntercept ; j++ ) {
	for( int k = 0 ; k < dimWithIntercept ; k++ ) {
	    matrix[ j, k ] = matrix[ j, k ] + Math.Pow( xyValues[ i ].Key, j );
	    copy[ j, k ] = matrix[ j, k ];
	}
    //ベクトルの作成
    vector[ j ] = vector[ j ] + Math.Pow(xyValues[ i ].Key, j ) ;
    }				
}
//	逆行列の作成
//	まずは単位行列を作る
for( int i = 0 ; i < dimWithIntercept ; i++ ) {
    for( int j = 0 ; j < dimWithIntercept ; j++ ) {
	revMatrix[ i,j ] = (i == j) ? 1.0 : 0.0;
    }
}
//	吐き出し法
double buf;
for( int i = 0 ; i < dimWithIntercept ; i++ ) {
    //	単位化するために、対になる値で割る
    buf = copy[ i, i ];
    //	iの行を単位化するためにbufで割る
    for( int j = 0 ; j < dimWithIntercept ; j++ ) {
	copy[ i, j ] = copy[ i, j ] / buf;
	revMatrix[ i, j ] = revMatrix[ i, j ] / buf;
    }
    for( int j = 0 ; j < dimWithIntercept ; j++ ) {
    //	iと同じ行では計算しない
	if( i != j ) {
	    buf = copy[ j, i ];
	    //n列目の値を0にする(n,nの場所はスルー)
	    for( int k = 0 ; k < dimWithIntercept ; k++ ) {
	        double a = copy[ i, k ] * buf;
		copy[ j, k ] = copy[ j, k ] - a;
		a = revMatrix[ i, k ] * buf;
		revMatrix[ j, k ] =revMatrix[ j, k ] - a;
	    }
	}    	
    }
}

とりあえずテストしてみて、エクセルのLINEST関数の結果と照らし合わせるなどして比較。いけそうだと思ったがうまくいかない場合がでてきた。その場合とは小数点の値を使う場合。たとえば、x = 0.1、0.2、0.3 を使用しての４次元の多項式y=a * x^4 + b * x^3 + c * x^2 + d * x^1 + e の各a,b,c,d,eを求めるために、各項を2乗、３乗としていったが、デバッグで値を見ると、後ろに妙な端数がある。
これは、浮動小数点型を使用して計算を行うとどうしても誤差がでるらしい。
http://dobon.net/vb/dotnet/beginner/floatingpointerror.html

多少誤差が出ようが、似たような計算結果になってほしいところだが、実際に上記のプログラムを使用して算出された値を使い、使用したx値を与えてやっても同じようなy値が算出できなかった。

なので、結局エクセルのLinEstクラスを使用するようにした。
使用するには、HDF5DotNetの時と同じく、参照の追加を行わなければならない。追加するものは、COMにある"Microsoft Office xx(xxはofficeのバージョン)Object Library"。これを追加すると、ソリューションエクスプローラーの中の参照設定の中に"Microsoft.Office.Core"と"Microsoft.Office.Interop.Excel"が追加される。

これでエクセルの編集などができるようになったが、あくまで目的はワークシート関数の"LinEst"を使用すること。

とりあえず、簡単に以下のラッパークラスを作成した。

static public  class CoefficientsClass
{
    static Excel.Application oXL = new Excel.Application( );
    static Excel.WorksheetFunction funk = oXL.WorksheetFunction;
    
    public static Array GetCoefficients(Array y, Array x, bool a, bool b)
    {			
	System.Object coefficients = funk.LinEst( y, x, a, b );
	Array coeffArray = (Array)coefficients;
	return coeffArray;
    }
}

説明するとstaticでエクセル起動とワークシート関数をクラスに置いておく。
データを持ってきてLinEst関数を使用する。ただ単にラップしただけ。
あとはこれを使うだけ

double[ , ] x = new double[ dim , xyValues.Count ];
double[] y = new double[ xyValues.Count ];
for( int i = 0 ; i < xyValues.Count ; i++ ) {
    for( int j = 0 ; j < dim ; j++ ) {
	x[ j, i ] = Math.Round(Math.Pow(xyValues[i].Key,j + 1),
		15,MidpointRounding.AwayFromZero);
    }
    y[ i ] = xyValues[ i ].Value;
}
 
Array coeffArray = CoefficientsClass.GetCoefficients( y, x ,true,false);
List<double> ret = new List<double>();
for(int i = 1 ; i < coeffArray.Length + 1 ; i++){
    ret.Add( (double)coeffArray.GetValue( i ) );
}

xを配列単体で行うとy=ax+bの係数と切片が得られる。xを上記のように二次配列にして、ほしい次元まで乗数倍したx値を用意すれば、多項近似式も得ることができる。

HDF5 : 可変長文字列の書き込み

Thu, 14 Feb 2013 21:35:23 +0900

可変長な文字列の書き込みと読み込みについて
文字の書き込みと読み込みについては、一度固定長の文字列について言及したが、今回は可変長の文字列について

書き込みには"H5DataSetId"クラス("H5DataSetId"クラスを作成するには”H5DataSpaceId”クラスと"H5DataTypeId"クラスが必要)と"H5DataTypeId"クラスが必要になる点はかわらない。
違う点について、
　固定長時は文字列を文字列データとして扱うために、byte配列に変換、変換データを用いて"H5DataType"クラスのサイズ設定と”write<>”メソッドをbyte型にて実行した。
　可変長時はC++などで使用するポインタを使用(といってもポインタを意識するような使い方はしなくてもよい)して、"H5DataSetId"クラスの作成や"write<>"メソッドの実行を行う。

"H5DataSpaceId"クラスの作成については、今までと変わらないので、固定長のものを参考に、ここでは割愛。

"H5DataTypeId"クラスを作成する場合は、"H5T"クラスの"create"メソッドを使用するが、引数の"size"(int型)に-1を指定する。これは、可変長の文字列を使用するときには必ず行う。

H5DataTypeId typeID = H5T.create(H5T.CreateClass.STRING,-1);

"H5DataSetId"クラスは上記の"H5DataSpaceId"クラスと"H5DataTypeId"で作成。作成方法は今までと同じなので割愛。

次に文字列のデータの作成。文字列データへの変換には"UTF８Encoding"クラスなどのEncoding系クラスを使用せず、System.Runtime.InteropServices空間にある"Marshal"クラスにある"StringToHGlobalAnsi"メソッドを使用する。引数は"string"クラス、戻り値は"IntPtr"構造体。要するに、アンマネージ領域に文字列データを用意しておき、ポインタを使用して書き込む。

IntPtr stringPtr = Marshal.StringToHGlobalAnsi( stringValue );

これで、"H5D"クラスの"write<>"メソッドを実行する。ジェネリックの指定はもちろん"IntPtr"構造体を使用する。

H5Array<IntPtr> dataArray = new H5Array<IntPtr>( new []{stringPtr} );
H5D.write<IntPtr>( datasetID, ftypeID, dataArray ) );

使用後は、"close"メソッドができるものは行う。"IntPtr"構造体については"Marshal"クラスにある"FreeHGlobal"メソッドを使用してメモリを開放する。引数は"IntPtr"構造体。

Marshal.FreeHGlobal( stringPtr );

以下、サンプル。

H5FileId fileID = H5F.create("C:\\Test.hdf5" , H5F.CreateMode.ACC_TRUNC );
H5DataTypeId typeID = H5T.create(H5T.CreateClass.STRING,-1);
H5DataSetId datasetID = H5D.create( fileID, "VariableStr", typeID, spaceID );
string stringValue = "This is TestString.";
IntPtr stringPtr = Marshal.StringToHGlobalAnsi( stringValue );
H5Array<IntPtr> dataArray = new H5Array<IntPtr>( new []{stringPtr} );
H5D.write<IntPtr>( datasetID, typeID, dataArray ) );
H5D.close( datasetID );
H5T.close( typeID ); 
H5S.close( spaceID );
H5F.close( fileID );
Marshal.FreeHGlobal( stringPtr );

HDF5DotNet : 文字列の読み込み

Wed, 13 Feb 2013 22:59:04 +0900

HDF5ファイルから文字列データの読み込み方法

文字列の読み込みについても、数値の読み込みと同様の手順を踏めば取り込むことができる。少し違うのが、取得する文字列のサイズを知らなければならない。

まずは、数値の読み込みと同様に、"H5FileId"クラス、もしくは"H5GroupId"と、DataSetの名前を使用して、"H5DataSetId"クラスを取り出す。
その後、取り出した"H5DataSetId"クラスより、"H5DataTypeId"クラスを得る。

H5DataSetId dataSetID = H5D.open( fileID,"TestStringDataSet" );
H5DataTypeId dataTypeID = H5D.getType( dataSetID );

次に文字列データのサイズを取得する。
以前に、文字列データの書き込みについて記述したように、書き込み時は文字列を"byte"型の配列に変換して保存した。なので、読み込み時も"byte"型の配列を得てから変換を行う必要がある。
まずは、"byte"型配列の大きさを取得する。取得するには、"H5T"クラスにあるメソッド"getSize"を使用する。引数は"H5DataTypeId"、戻り値は"int"型。

byte[] byteArray = new byte[ H5T.getSize(dataTypeID)];

あとは値型の時と同じように"H5D"クラスの"read<>"メソッドでデータを読み込むジェネリックには"byte"型を指定する。

H5Array<byte> array = new H5Array<byte>( byteArray );
H5D.read<byte>( dataSetID , dataTypeID , array  );

これでbyteArrayのインスタンスに文字列データが格納されているので、"System.Text.Encoding"クラスにある"GetString"メソッドでデータを変換してやる。使用するエンコーディングは、保存時と同じものを使用する。

string testString = Syste.Text.Encoding.UTF8.GetString(byteArray);

これで文字列の取得は完了。あとはおなじみの"close"メソッドを使用する。
以下、サンプル

H5FileId fileID = H5F.open( "C:\\HDFSampleFile.hdf5", H5F.OpenMode.ACC_RDWR );
H5DataSetId dataSetID = H5D.open( fileID,"TestDataSet" );
H5DataTypeId dataTypeId = H5D.getType( dataSetID );
byte[] byteArray = new byte[ H5T.getSize(dataTypeID)];
H5Array<byte> array = new H5Array<byte>( byteArray );
H5D.read<byte>( dataSetID , dataTypeID , array  );
string testString = Syste.Text.Encoding.UTF8.GetString(byteArray);
H5D.close( dataSetID );
H5T.close( dataTypeId );
H5F.close( fileID );

HDF5DotNet : 値の読み込み

Sat, 09 Feb 2013 21:05:14 +0900

数値型の読み込み方法について

読み込みでは、"H5D"クラスにある、"read<>"のジェネリックメソッドを使用する。
同じクラスにある"write<>"と同じ引数"H5DataSetId"と"H5TypeId"が必要なので、取得する必要がある。もう一つの引数は"H5Array<>"を指定する。

まずは"H5D"クラスにある"open"メソッドを使用する。引数はfileOrGroupId("H5FileOrGroupId"クラス)とdataSetName("string"クラス)。戻り値は"H5DataSetId"。要はこのメソッドで"H5DataSetId"を取り出す。ただし、グループ内に指定の引数指定のdataSetNameがない場合は"Exception"をthrowするので注意。

H5DataSetId dataSetID = H5D.open( fileID,"TestDataSet" );

"H5TypeId”クラスの取得については、上記で取得した"H5DataSetId"を使用して取得できる。"H5D"クラス内の、"getType"メソッドを使用。引数は上記で取得した"H5DataSetId"クラスを指定する。

H5DataTypeId dataTypeID = H5D.getType( dataSetID );

あとは"H5Array<>"を準備する。ジェネリックなので型を指定する。インスタンス作成時の引数はジェネリックで指定した型の配列を入れる。この中にデータの中身が入れられる。

int[] intArray = new int[]{0};
H5Array<int> array = new H5Array<int>( myArray );

仕上げに、"H5D"クラスの"read<>"ジェネリックメソッドを実行してデータを取り出す。

H5D.read<int>( dataSetID , dataTypeID , array  );
int returnValue = intArray[0];

使用後は、"close"メソッドが使用できるものは閉じて終了。
以下、サンプル

H5FileId fileID = H5F.open( "C:\\HDFSampleFile.hdf5", H5F.OpenMode.ACC_RDWR );
H5DataSetId dataSetID = H5D.open( fileID,"TestDataSet" );
H5DataTypeId dataTypeId = H5D.getType( dataSetID );
int[] intArray = new int[] { 0 };
H5Array<int> array = new H5Array<int>( intArray );
H5D.read<int>( dataSetID, dataTypeId, array );
int returnValue = intArray[ 0 ];
H5D.close( dataSetID );
H5T.close( dataTypeId );
H5F.close( fileID );

HDF5DotNet : グループの作成など

Fri, 08 Feb 2013 22:03:25 +0900

グループの作成方法について

HDFViewでは、データツリー表示部分にて、値が追加できる。
簡単に書くと、

データツリー部上でコンテキストメニュー表示(ファイルを読み込んでいない場合は先に読み込むorHDFViewのファイルメニューから作成する。)→New→DataSet→ダイアログを埋めていけばOK。

このコンテキストメニュー上のNewの中には"Group"という項目もある。今回はこのグループを作成する。
(HDFViewについてはまた別にメモするかも)

さて、グループを作成するには"H5G"クラスにある"create"メソッドを使用する。引数と戻り値は以下の通り、
　

　引数
　　"fileOrGroupId" : "H5LocId"インターフェース、名前の通り"H5FileId"クラス、もしくは"H5GroupId"クラスを指定する。
　　"groupName" : "string"クラス、グループ名に使用される。
　
　
　
　戻り値
　　"H5GroupId"クラス、最後はもちろん"H5G"の"close"メソッドで閉じる必要がある。

上記の"fileOrGroupId"は、その名前の通り、"H5FileId"以外に"H5GroupId"も使用可能。なので何層もの階層を作成することができる。WiodowsのExplorerのような物として考えるとわかりやすい。以下グループ作成のサンプル。

H5GroupId groupID = H5G.create( fileID,"TestGroup" );
H5GroupId subGroupID = H5G.create( groupID,"SubTestGroup" );

ここで取得した"H5GroupId"クラスを"H5DataSetId"クラスの作成時に使用すれば、任意のグループ内にデータを作成することができる。グループを閉じる順序は、最後に開いたグループから順に閉じていく。

以下、グループ作成を交えたサンプル

H5FileId fileID = H5F.create("C:\\Test.hdf5" , H5F.CreateMode.ACC_TRUNC );
H5GroupId groupID = H5G.create( fileID,"TestGroup" );
H5GroupId subGroupID = H5G.create( groupID,"SubTestGroup" );
H5DataSpaceId spaceID = H5S.create_simple( 1, new long[] { 1 } );
H5DataTypeId typeID = H5T.copy( H5T.H5Type.NATIVE_DOUBLE );
H5DataSetId datasetID = H5D.create( subGroupID, "PI", typeID, spaceID );
H5D.write<double>( datasetID, typeID, new H5Array<double>( new double[]{ 3.14152649 } ) );
H5D.close( datasetID );
H5T.close( typeID ); 
H5S.close( spaceID );
H5G.close( subGroupID );
H5G.close( groupID );
H5F.close( fileID );

HDF5DotNet : 文字列の書き込み

Fri, 08 Feb 2013 08:18:00 +0900

文字列の書き込み方法について
文字列を書き込む方法はちょっと特殊。

基本は前回の"HDF5 : 値の追加"と同じ方法であるが、C#にある"string"型が使用できない。まずは、"string"型を"byte[]"型にして、"byte"型の配列にしてやる。
"string"型を"byte[]"型に変換するには"UTF8Encoding"クラスなどの"GetBytes"メソッドを使用する。

string stringValue = "This is TestString.";
UTF8Encoding uni = new System.Text.UTF8Encoding( );
Byte[] byteArray = uni.GetBytes( stringValue );

まずはSpaceの作成。ここも少し特殊。書き込みは"byte[]"型であるが、文字列ひとつを一つの型と認識させるので、Spaceの定義は以下のようになる。

H5DataSpaceId spaceID = H5S.create_simple( 1, new long[] { 1 } );

続いて型の定義。基本通り"H5DataTypeId"を作成するが、上記に書いた通り、文字列を一つの型と認識させる必要がある。型の大きさを指定する場合は"H5T"クラスの"create"メソッドを使用する。
引数は以下のように
　"createClass" : "H5T.CreateClass"列挙型を指定。
　"size" : int型、型の大きさを指定する。
文字列を書き込む場合は"H5T.CreateClass"列挙に"STRING"があるので、それを使用する。sizeは上記で取得したbyte[]の配列長さを指定する。型の定義は以下のようになる。

H5DataTypeId typeID = H5T.create(H5T.CreateClass.STRING,byteArray.Length );

また、前回の型定義方法でも可能。"H5T"クラス"copy"メソッドで使用する型定義は"C_S1"の列挙型を指定する。定義後はサイズ指定をする必要がある。
サイズを指定する場合は、"H5T"クラスの"setSize"メソッドを使用する。引数は以下の通り。
　"typeId" : "H5DataTypeId"クラス、同じ"H5T"クラスのメソッド"copy"メソッドで作成した型情報を渡す。
　"size" : "int型"、型のサイズを指定する。

H5DataTypeId typeID = H5T.copy( H5T.H5Type.C_S1 );
H5T.setSize( typeID, byteArray.Length );

後は、数値の書き込みと同じように、"H5DataSetId"を作成して、"H5D"クラスの"write<>"メソッドで書き込む。書き込む内容は上記で取得したbyte[]。

H5DataSetId datasetID = H5D.create( fileID, "Test", typeID, spaceID );
H5D.write<byte>( datasetID, typeID, new H5Array<byte>( byteArray ) );

書き込み終了後は、各ID作成クラスにある"close"メソッドで後処理を行う。
ちなみにこの方法で作成すると、HDFViewでlengthが固定になってしまう。HDFViewで編集することもできるが、lengthを超える値を保存しようとすると、超えた部分は保存されない。
以下、サンプルプログラム

H5FileId fileID = H5F.create("C:\\Test.hdf5" , H5F.CreateMode.ACC_TRUNC );
string stringValue = "This is TestString.";
UTF8Encoding uni = new System.Text.UTF8Encoding( );
Byte[] byteArray = uni.GetBytes( stringValue );
H5DataSpaceId spaceID = H5S.create_simple( 1, new long[] { 1 } );
H5DataTypeId typeID = H5T.create( H5T.CreateClass.STRING, byteArray.Length );
H5DataSetId datasetID = H5D.create( fileID, "Test", typeID, spaceID );
H5D.write<byte>( datasetID, typeID, new H5Array<byte>( byteArray ) );
H5D.close( datasetID );
H5T.close( typeID ); 
H5S.close( spaceID );
H5F.close( fileID );

HDF5DotNet : 値の追加

Thu, 07 Feb 2013 12:13:58 +0900

値の追加方法

値を追加するにはいくつかの手順を踏む必要がある。

1 : 占有スペースの定義作成

2 : 書き込む型の定義作成

3 : 占有スペースと型の定義を合わせた書き込み定義の作成

4 : データの作成

5 : 書き込み

6 : 各IDの処理

1 : 占有スペースの定義作成

　ファイル内にデータを保存するためのスペースを決めるために作成する

　スペース定義を作成するには、"H5S"クラスにある"create_simple”メソッドを使用する。引数は以下の通り

　　"rank" : "int"型、配列の次元数を指定。

　　"dims" : "long[]"型、配列の大きさを指定する。

　戻り値は"H5DataSpaceId"クラス。使用後に同じクラス内の"close"メソッドで閉じる必要があるので、とっておく。

　サンプルとして、一つの値を書き込む場合は以下のようにする。

H5DataSpaceId spaceID = H5S.create_simple( 1, new long[] { 1 } );

2 : 書き込む型の定義作成

　型情報を定義して、スペースの区切りを定義する

　型を定義するには"H5T"クラスの"copy"メソッドを使用する。引数は"H5T.H5Type"の列挙より選択。色々な型がある。今回はint型なので"NATIVE_INT"を使用。

　戻り値は"H5DataTypeId"クラス、もちろん使用後に同じクラス内の"close"メソッドで閉じるなければならないのでとっておく。

　　以下、サンプル。

H5DataTypeId typeID = H5T.copy( H5T.H5Type.NATIVE_INT );

3 : 占有スペースと型の定義を合わせた書き込み定義の作成

　上記1,2を使用して書き込み定義を作成する。

　定義には"H5D"クラスの"create"メソッドを使用する。引数は4つ

　　"groupOrFileId" : "H5FileOrGroupId”クラス、H5FileIdかH5GroupIdを指定する。今回は前者を指定。

　　"dataSetName" : "string"型を指定、データの名前を指定する。

　　"dataTypeId" : "H5DataTypeId"クラスを指定。上記2を指定する。

　　"dataSpaceId" : "H5DataSpaceId"クラスを指定。上記１を指定する

　戻り値は"H5DataSetId"クラス、書き込み時に必要なのでとっておく。

　以下、サンプル。

H5DataSetId setID = H5D.create( fileID, "Index",typeID,spaceID );

4 : データの作成

　書き込みの関数にて、必要になる"H5Array<>"クラスを作成する。このクラスは見ての通りジェネリッククラスなので、書き込みするデータの型を指定する。サンプルはint型を使用。

　引数はジェネリック指定した型の配列なので、配列を用意する必要がある。

　配列は32次元まで指定できる。

以下、サンプル。

H5Array<int> data = new H5Array<int>( new int[]{1} );

5 : 書き込み

　ここまでできたなら、最後は"H5D"クラス内の”write<>”メソッドで書き込む。

　ジェネリックメソッドなので、使用する型を入れる(今回はint型)。

　引数は以下の通り。

　　"dataSetId" : "H5DataSetId"クラスを指定、上記3にて作成

　　"memTypeId" : "H5TypeId"クラスを指定、上記2で作成したものを使用する

　　"data" : "H5Array<>"クラスを指定

　以下、サンプル。

H5D.write<int>(SetID,typeID,data);

6 : 各IDの処理

　書き込みが終われば、IDを各クラスの"close"メソッドで閉じる。

備考：

　・数値型であれば、"int"型の部分を変えれば基本応用が利く。

　　その際は、型定義時の"H5T.H5Type"列挙型を適切なものを選択する。

　　("double"型なら"NATIVE_DOUBLE"とか)

　・例外で、C#の"decimal"型につていは使用できないので注意。

以下、今回のサンプル

///////////////////////////////////////////////////////////////////////////////////////////

H5FileId fileId = H5F.create("C:\\HDFSampleFile.hdf5",H5F.CreateMode.ACC_CREAT );// ファイル作成

//H5FileId fileId = H5F.open("C:\\HDFSampleFile.hdf5", H5F.OpenMode.ACC_RDWR); // ファイルオープン

H5DataSpaceId spaceID = H5S.create_simple(1,new long[]{1});// スペース作成

H5DataTypeId typeID = H5T.copy(H5T.H5Type.NATIVE_INT);// 型作成

H5DataSetId setID = H5D.create(fileId,"Index",typeID,spaceID); //書き込み定義作成

H5Array<int> data = new H5Array<int>(new int[]{1}); // データの作成

H5D.write<int>(setID, typeID, data); //書き込み

//各IDを閉じる

H5D.close(setID);

H5T.close(typeID);

H5S.close(spaceID);

H5F.close(fileId); // ファイルを閉じる

///////////////////////////////////////////////////////////////////////////////////////////

HDF5DotNet : ファイルの作成と読み込み

Wed, 06 Feb 2013 22:31:40 +0900

前回の導入を行えれば、VisualStudioで作成可能になる

まずは上部にusingで参照可能にする

01 using System;
02 using System.Collections.Generic;
03 using System.Linq;
04 using System.Text;
05 using System.Threading.Tasks;
06 using HDF5DotNet;

ファイルを作成する場合は、”H5F”クラスの”create”メソッドを使用する。

引数は”作成するファイル名”と"作成タイプ"、

ファイル名は適当に指定。”作成タイプ”は"H5F.CreateMode"の列挙から”ACC_CREAT”を使用する。

戻り値に"H5FileId”が帰ってくる。これはファイルを閉じる際に使用するのでとっておく。

H5FileId fileId = H5F.create("C:\\HDFSampleFile.hdf5",H5F.CreateMode.ACC_CREAT );

閉じる際は、とっておいた"H5FileId"を使用して、"H5F.close"メソッドを使用する

引数は"H5FileId"

H5F.close(fileId);

これで空ののHDF5ファイルが作成できる。

できたファイルを"HDFView"にて確認（画面左のツリーを確認してほしい）

static void Main(string[] args)
{

H5FileId fileId = H5F.create("C:\\HDFSampleFile.hdf5",H5F.CreateMode.ACC_CREAT );
H5F.close(fileId );

}

読み込む際は"H5F"クラスの"open"メソッドを使用する。

引数は、開くファイル名と、"H5F.OpenMode"の列挙より選択。"ACC_RDONLY"で読み込み専用、"ACC_RDWR"で書き込みもできる。

戻り値は作成と同じく"H5FileId"なので、閉じるまでとっておく。

ファイルを閉じる際は同じく"H5F.close"メソッドを使用

static void Main(string[] args)
{

H5FileId fileId = H5F.open("C:\\HDFSampleFile.hdf5",H5F.OpenMode.ACC_RDONLY );
H5F.close(fileId );

}

次回は簡単な値の書き込み

HDF5DotNet : VisualStudioでの導入

Tue, 05 Feb 2013 23:00:33 +0900

仕事で導入する必要があったのでメモ

HDF5ファイルとは：

　アメリカ国立スーパーコンピューティング応用センター(NCSA; National Center for Supercomputing Applications)が開発している、階層データフォーマット(Hierarchical Data Format)

利点：

　数値、文字列、画像などをまとめて一つのファイルで保存できる。

　保存は配列も可能、構造体での保存も可能、構造体の配列も可能

　内容ごとに圧縮も可能。容量を取らない。

　HDFViewを使用すれば、簡単に内容を参照できる。値のコピーも可能、テキストファイルへの出力も可能、簡単なグラフの表示も可能など高機能

くわしいことは以下のリンク1で(全部英語)

リンク1 : http://www.hdfgroup.org/HDF5/whatishdf5.html

開発を.NetFramework環境で行うので、ラッパーDLLの”HDF5DoｔNet”というDLLを使用する。　詳細は以下のリンク2へ（英語です）

リンク2 : http://hdf5.net/

ついでに、開発には。NetFramework4.0以降からなので、VisualStudio2012以降の開発環境でないとできないかも？

１：HDF5DotNetのバイナリダウンロード

　　a : リンク2のジャンプ先"Installation"の下”Pre-built HDF5DotNet assemblies can be found here”の下から環境にあったビルド済みのバイナリを含む書庫ファイルを取得。

　ついでにさらに下にある”HDF5DotNet source and examples”からソースコードとサンプルがあるので、取得しておくと、参考になります。(この中にはC#ほか、C++、VB、Python（IronPython）のサンプルがあります。)

　b : ダウンロードしたバイナリ群をVisualStudioで作成するプロジェクト実行フォルダにコピーしておく。

　c : DLL”HDF5DotNet.dll”をプロジェクトの参照に組み込んでおく。

　参照方法がわからないなどはググる。

２：HDFViewのインストール

　プログラムで作成したHDF5ファイルの確認に必要なのでインストール。

　また、HDFViewで簡単なグラフがかけたり、画像を追加したりできます。

　データの表示も表形式で表示されるので、内容をコピーして、Excelに張り付ければエクセルでの保存もできます。

　a : リンク1のジャンプ先ページの左側に”Downloads"の項目があるのでジャンプ。

　b : ジャンプ先のページの題名”HDFView and HDF-Java Products”の下にある”Current Release of HDFView”をクリック

　c : ジャンプ先のページ”Download HDFView 2.9”の下くらいにプラットフォームが選べるので、選択してインストーラーをダウンロードする。（今回は32Bit-Distributionsからwindowsを選択）

　d : ダウンロードされたインストーラーを実行して、インストール。

　e : インストールされたプログラムを実行して確認してみる。

次回は、簡単なプログラムを記述予定。