Одна вещь, не затронутая, состоит в том, что некоторые языки имеют понятие исходного файла, встроенного относительно вещей как переменный обзор. Изменение на что-то еще (как хранение функций в базе данных) потребовало бы, чтобы Вы изменили сам язык.
Если вы используете BinaryWriter вместо сериализатора, вы получите желаемый (минимальный) размер.
Я не уверен насчет скорости, но попробуйте.
В моей системе запись 32 МБ занимает менее 0,5 секунды, включая открытие и закрытие потока.
Вам нужно будет написать свои собственные для циклов для записи данных, например:
struct Pair
{
public double X, Y;
}
static void WritePairs(string filename, Pair[] data)
{
using (var fs = System.IO.File.Create(filename))
using (var bw = new System.IO.BinaryWriter(fs))
{
for (int i = 0; i < data.Length; i++)
{
bw.Write(data[i].X);
bw.Write(data[i].Y);
}
}
}
static void ReadPairs(string fileName, Pair[] data)
{
using (var fs = System.IO.File.OpenRead(fileName))
using (var br = new System.IO.BinaryReader(fs))
{
for (int i = 0; i < data.Length; i++)
{
data[i].X = br.ReadDouble();
data[i].Y = br.ReadDouble();
}
}
}
] Сериализация означает, что метаданные добавляются, чтобы данные можно было безопасно десериализовать, вот что вызывая накладные расходы. Если вы сериализуете данные самостоятельно без каких-либо метаданных, вы получите 16 МБ данных:
foreach (double d in array) {
byte[] bin = BitConverter.GetBytes(d);
stream.Write(bin, 0, bin.Length);
}
Это, конечно, означает, что вам также придется десериализовать данные самостоятельно:
using (BinaryReader reader = new BinaryReader(stream)) {
for (int i = 0; i < array.Length; i++) {
byte[] data = reader.ReadBytes(8);
array[i] = BitConverter.ToDouble(data, 0);
}
}
Это скорее комментарий, но это слишком много для одного ... Я не могу воспроизвести ваши результаты. Однако есть некоторые дополнительные накладные расходы на структуру.
Мое тестирование:
-------------------------------------------------------------------------------
Testing array of structs
Size of double: 8
Size of doubles.bin: 16777244
Size per array item: 8
Milliseconds to serialize: 143
-------------------------------------------------------------------------------
-------------------------------------------------------------------------------
Testing array of structs
Size of dd struct: 16
Size of structs.bin: 52428991
Size per array item: 25
Milliseconds to serialize: 9678
-------------------------------------------------------------------------------
Код:
using System;
using System.Collections.Generic;
using System.Text;
using System.Runtime.Serialization;
using System.Runtime.Serialization.Formatters.Binary;
using System.IO;
using System.Diagnostics;
namespace ConsoleApplication5
{
class Program
{
static void Main(string[] args)
{
TestDoubleArray();
TestStructArray();
}
private static void TestStructArray()
{
Stopwatch stopWatch = new Stopwatch();
stopWatch.Start();
dd[] d1 = new dd[2097152];
BinaryFormatter f1 = new BinaryFormatter();
f1.Serialize(File.Create("structs.bin"), d1);
stopWatch.Stop();
Debug.WriteLine("-------------------------------------------------------------------------------");
Debug.WriteLine("Testing array of structs");
Debug.WriteLine("");
Debug.WriteLine("Size of dd struct: " + System.Runtime.InteropServices.Marshal.SizeOf(typeof(dd)).ToString());
FileInfo fi = new FileInfo("structs.bin");
Debug.WriteLine("Size of structs.bin: " + fi.Length.ToString());
Debug.WriteLine("Size per array item: " + (fi.Length / 2097152).ToString());
Debug.WriteLine("Milliseconds to serialize: " + stopWatch.ElapsedMilliseconds);
Debug.WriteLine("-------------------------------------------------------------------------------");
}
static void TestDoubleArray()
{
Stopwatch stopWatch = new Stopwatch();
stopWatch.Start();
double[] d = new double[2097152];
BinaryFormatter f = new BinaryFormatter();
f.Serialize(File.Create("doubles.bin"), d);
stopWatch.Stop();
Debug.WriteLine("-------------------------------------------------------------------------------");
Debug.WriteLine("Testing array of structs");
Debug.WriteLine("");
Debug.WriteLine("Size of double: " + sizeof(double).ToString());
FileInfo fi = new FileInfo("test.bin");
Debug.WriteLine("Size of doubles.bin: " + fi.Length.ToString());
Debug.WriteLine("Size per array item: " + (fi.Length / 2097152).ToString());
Debug.WriteLine("Milliseconds to serialize: " + stopWatch.ElapsedMilliseconds);
Debug.WriteLine("-------------------------------------------------------------------------------");
}
[Serializable]
struct dd
{
double a;
double b;
}
}
}