Бюро цветных войск было создано Военным министерством США в мае 22 1863 г., согласно Генеральному приказу № 143, во время Гражданской войны, для решения «всех вопросов, касающихся организации цветных войск». Майор Чарльз У. Фостер был начальником Бюро, подчинявшегося генерал-адъютанту Лоренцо Томас. Обозначение цветные войска США заменило различные государственные титулы, которые давались афроамериканским солдатам.
Первым официальным разрешением на использование афроамериканцев на федеральной службе было Вторая конфискация и Закон о милиции от 17 июля 1862 года. Этот закон позволил президенту Аврааму Линкольну принимать на военную службу лиц африканского происхождения и разрешил использовать их для любых целей, «он может лучше всего судить Общественное благосостояние." Однако президент не разрешал использовать афроамериканцев в боевых действиях до издания Прокламации об освобождении от 1 января 1863 г.: «И я далее заявляю и сообщаю, что такие лица подходящего состояния будут приняты на вооруженную службу Соединенных Штатов для размещения гарнизонов в фортах, позициях, станциях и в других местах, а также для укомплектования кораблей всех видов указанной службы ". С этими словами армия Союза изменилась.
Во время Гражданской войны в США, в середине 1863 года, административная нагрузка стала настолько обременительной, что Военное министерство решил создать единое подразделение под эгидой Управления генерал-адъютанта , названное Бюро цветных войск, для управления его делами. Бюро, возглавляемое майором Чарльзом У. Фостером, должно было систематизировать процесс набора черных подразделений и обеспечения их офицеров. Он также служил центром обмена информацией об этих единицах. В течение следующего года военное министерство начало менять названия черных команд. Вместо обозначения штата они стали Цветными войсками США, а различные подразделения стали Цветными пехотными, артиллерийскими или кавалерийскими войсками США.
Бюро цветных войск принесло полкам USCT эффективность, но не всегда справедливое отношение. Несмотря на возражения чернокожих лидеров, Бюро настаивало на назначении только белых мужчин на официальные должности. Хотя к концу войны небольшое количество чернокожих солдат получили заказы, в том числе уроженец Вирджинии Мартин Р. Делани, и многие служили унтер-офицерами, USCT оставался в основном организация, возглавляемая белыми. Официальные лица в армии и в правительстве также изначально предполагали, что черные полки будут редко, если вообще когда-либо, использоваться в бою. В результате чернокожие солдаты несли непропорционально большую долю трудовой повинности. Также предположение, что чернокожие солдаты были рабочими, а не бойцами, привело к неравенству в оплате. Первоначально было указано, что чернокожим солдатам будет выплачиваться 13 долларов в месяц, то есть заработная плата белых солдат. Но в Законе о милиции 1862 года Конгресс установил оплату темнокожим солдатам в размере 10 долларов в месяц, из которых 3 доллара могли приходиться на одежду, что было нормой для военных. Темнокожим солдатам также часто отказывали в наградах за вербовку, которые обычно предлагались белым солдатам, и они редко имели право на получение помощи для иждивенцев - льгота, которую законодательство штата часто предоставляло белым мужчинам, служащим в рядах.
После провозглашения Прокламации об освобождении, вербовка черных началась всерьез. Добровольцы из Южной Каролины, Теннесси и Массачусетса пополнили первые утвержденные полки чернокожих. Однако вербовка шла медленно, пока не получили поддержку видные деятели афроамериканской культуры, такие как Фредерик Дуглас и Мартин Делани. Мартин Делани был назначен майором, первым афро-американским полевым офицером армии США во время Гражданской войны в США и принимал активное участие в вербовке чернокожих для Цветные войска США. Фредерик Дуглас, с другой стороны, поощрял чернокожих мужчин становиться солдатами, чтобы обеспечить в конечном итоге полное гражданство. Добровольцы начали откликаться, и в мае 1863 года правительство учредило Бюро цветных войск для управления растущим числом черных солдат.