Этот формат называется ndjson и предназначен для импорта потока (включая gzip). Просто используйте это:
con <- url("http://1usagov.measuredvoice.com/bitly_archive/usagov_bitly_data2013-05-17-1368832207.gz")
mydata <- jsonlite::stream_in(gzcon(con))
Или, альтернативно, используйте пакет curl для повышения производительности или для настройки HTTP-запроса:
library(curl)
con <- curl("http://1usagov.measuredvoice.com/bitly_archive/usagov_bitly_data2013-05-17-1368832207.gz")
mydata <- jsonlite::stream_in(gzcon(con))