двумерный массив в java - трудности

Я привык к python и django, но недавно начал изучать java. Поскольку у меня не так много времени из-за работы, я пропустил много уроков, и теперь я немного сбит с толку, что мне нужно делать работу.

РЕДАКТИРОВАТЬ
Программа должна приписывать очки в соответствии со временем, проведенным каждым спортсменом на велосипеде и гонке. У меня есть 4 дополнительных таблицы для мужчин и женщин с точками и временем.
Тогда я должен сравнивать и каждый раз находить соответствующие точки (линейная интерполяция).

Итак, это была моя идея - прочитать файл и использовать arrayList

Одна из проблем, с которыми я столкнулся, - это создание двухмерного массива.
У меня есть файл, похожий на этот:

12    M    23:56    62:50
36    F    59:30    20:60

Где первое число - спортсмен, второе - пол и следующее время разных гонок (которое нужно преобразовать в секунды).

Так как я не могу создать смешанный массив (int и char), мне нужно преобразовать пол в 0 и 1.

Итак, где я сделал то, что я сделал до сих пор:

    public static void main(String[] args) throws FileNotFoundException {
        Scanner fileTime = new Scanner (new FileReader ("time.txt"));
        while (fileTime.hasNext()) {
            String value = fileTime.next();
            // Modify gender by o and 1, this way I'm able to convert string into integer
            if (value.equals("F"))
                value = "0";
            else if (value.equals("M"))
                value = "1";
            // Verify which values has :
            int index = valor.indexOf(":");
            if (index != -1) {
                String [] temp = value.split(":");
                for (int i=0; i<temp.length; i++) {
                    // convert string to int
                    int num = Integer.parseInt(temp[i]);
                    // I wanted to multiply the first number by 60 to convert into seconds and add the second number to the first
                   num * 60; // but this way I multiplying everything
            }
        }
        }   

Я в курсе что, вероятно, есть более простые способы сделать это, но, честно говоря, я немного запутался, любые огни приветствуются.