Bisakah saya menambahkan kolom bukan nol tanpa nilai DEFAULT

Tidak, Anda tidak bisa.

Karena jika Anda bisa, SQL tidak akan tahu apa yang harus dimasukkan sebagai nilai dalam catatan yang sudah ada. Jika Anda tidak memiliki catatan apa pun di tabel, itu akan berfungsi tanpa masalah.

Cara termudah untuk melakukannya adalah membuat kolom dengan default, lalu menghapus default.

ALTER TABLE dbo.MyTable ADD
MyColumn text NOT NULL CONSTRAINT DF_MyTable_MyColumn DEFAULT 'defaultValue'
ALTER TABLE dbo.MyTable
DROP CONSTRAINT DF_MyTable_MyColumn

Alternatif lain adalah menambahkan kolom tanpa batasan, mengisi nilai untuk semua sel, dan menambahkan batasan.